Участники Рекламной сети Яндекса теперь могут управлять скоростью робота РСЯ

Яндекс объявил в своем корпоративном блоге, что теперь участники Рекламной сети Яндекса могут управлять скоростью обхода своего сайта роботом РСЯ при помощи директивы Crawl-delay в файле robots.txt. Напомним, что поддерживать директиву Crawl-delay прописанную в robots.txt Яндекс начал с 2008 года.

Разработчики сообщают, что директива Crawl-delay устанавливает продолжительность паузы, которую делает робот между загрузками страниц сайта. При отсутствии файла robots.txt или директивы в нём минимальная пауза составляет 2 секунды. Предполагается, что такая пауза обеспечивает оптимальную скорость индексации для большинства сайтов и не создает очень большой нагрузки на серверы и хостинг. При этом
робот РСЯ может полностью проиндексировать сайт, состоящий из нескольких тысяч страниц, за 24 часа.

Отметим, что большим сайтам рекомендуется устанавливать значение crawl-delay менее 2-х секунд. Устанавливать значение Crawl-delay более 2-х секунд логично в том случае, если робот РСЯ создает значительную нагрузку на сайт и мешает его нормальной работе.

В своем пресс-релизе Яндекс напоминает оптимизаторам, что слишком высокое значение Сrawl-delay может понизить качество рекламы и монетизацию ресурса.