Настройка скорости обхода сайта через директиву crawl-delay в файле robots.txt больше не используется ни Яндексом, ни Google. Чтобы указать желаемую скорость обхода сайта, используйте настройки вашего Яндекс.Вебмастера. Данная настройка располагается в разделе “Индексирование” – “Скорость обхода”. Доступна опция “Доверять Яндексу” или выбор вручную (максимальная скорость обхода, доступная к выбору – 3 запроса в секунду). Опция “Доверять Яндексу” действует по скрытому алгоритму Яндекса и нацелена на то, чтобы робот имел возможность загрузить как можно больше актуальных страниц интернет-магазина или сайта без излишней нагрузки на сервер, где хранится ваш сайт.
ВАЖНО: скорость обхода сайта настраивается отдельно для главного сайта и для каждого из поддоменов.
Оптимизация и продвижение сайтов в современной интернет-среде предполагает, что сайт должен в большей мере уделять внимание формированию востребованного и актуального для аудитории контента и корректно представлять этот контент для поисковых систем. Зачем это нужно для продвижения сайта? Профессионально подобранное и проработанное семантическое ядро сайта повышать видимость страниц сайта в поисковой выдаче. Следующий шаг – создание структуры (“скелета”) посадочных страниц, каждая из которых будет продвигаться по нескольким ключевым словам. Так формируется карта поисковых запросов для продвижения сайта.