Типы поисковых роботов
- Быстрый робот. Такая программа работает с целью индексации актуальной, свежей информации и занимается ее внесением в базу.
- Индексирующий робот. Такая программа осуществляет сбор контента для последующего формирования базы поиска. Индексирующий робот проверяет документы на релевантность, уникальность, тошноту, водность и иные важные параметры.
- Поисковый робот по видео и изображениям. Такая программа занимается поиском актуальных картинок, фотографий, видеоматериалов.
- Технический робот. Эта программа занимается проверкой работоспособности сайта, определяет наличие скриптов, влияние их на пользователей.
Принцип работы роботов
По принципу действия роботы напоминают обычные браузеры. Они анализируют страницы, сохраняют их в специальном формате на сервере поисковика.Механизм работы роботов сводится к:
- получению запроса на активизирование деятельности,
- сканированию сначала крупных серверов и раскрученных ресурсов, затем менее популярных;
- выбору релевантных результатов и формированию списка выдачи, предоставляемого в дальнейшем пользователю.