Краулер (Crawler), также известный как поисковый робот, бот или паук (spider), — это специальная программа, которую поисковые системы Google и Яндекс используют для сканирования интернета. Его основная задача — обходить страницы сайтов, считывать их содержимое и переходить по ссылкам для обнаружения новых, еще неизвестных поисковику страниц.
Если робот по какой-либо причине не сможет получить доступ к вашим страницам, они никогда не попадут в поисковую выдачу. Вся информация, собранная краулером, отправляется на следующий этап — индексацию, где данные анализируются и добавляются в огромную базу данных поисковика.
