Клиент агентства 
KINETICA — «Амурфармация». Несмотря на большой ассортимент, продукт сталкивался с рядом проблем, ограничивающих его эффективность в органическом поиске. Команда агентства рассказала Sostav о том, как нестандартный подход к SEO помог аптечной сети ускорить индексацию в поиске.
Цели и задачи сотрудничества
- Сокращение времени индексации новых и обновленных страниц, чтобы актуальная информация о товарах быстрее появлялась в поисковой выдаче.
- Повышение видимости сайта в органической выдаче и конкуренция с маркетплейсами и агрегаторами.
- Оптимизация структуры сайта и технического SEO, чтобы устранить проблемы с индексацией динамических страниц.
- Увеличение кликабельности (CTR) и эффективности органического трафика за счет улучшения сниппетов и работы с метаданными.
- Снижение нагрузки на сервер путем оптимизации кода, изображений и ускорения работы сайта.
Решение
Сфокусировались на основной проблеме — низкий краулинговый бюджет.
Проблемы с индексированием часто встречаются у многостраничных сайтов, особенно после редизайна.
Основные причины:
- Неоптимальная структура страниц — страницы, удаленные от главной, сканируются реже, из-за чего ботам сложно попадать на «отдаленные» разделы.
- Отсутствие страниц в карте сайта — поисковая строка отдает приоритет страницам, указанным в карте сайта (Sitemap).
- Низкий краулинговый бюджет — ограниченное число сканирований сайта ботами снижает частоту обновления страниц.
Для ускорения индексации страниц в поисковой строке «Яндекс» можно воспользоваться функцией «Переобход страниц» в «Яндекс.Вебмастере», отправив список необходимых URL-адресов. «Яндекс» после этого обойдет указанные страницы, но у Google аналогичной функции нет. В Google Search Console возможно отправлять страницы на переобход лишь по одной, что становится очень трудоемким при большом объеме, особенно когда, как в нашем случае, сайт содержит около 80 тыс. страниц.
А как вообще появилась проблема с индексированием?
Низкий краулинговый бюджет — следствие истории предыдущего обхода домена. После редизайна часть страниц оставалась пустой и не содержала контента. Так, из-за пяти месяцев индексирования пустых страниц, поисковые системы снизили краулинговый бюджет сайта на обход HTML-документов в среднем до 50 запросов в сутки.
Какой способ для быстрой индексации мы нашли?
Для решения проблемы с большой долей неиндексируемого контента мы решили разработать и внедрить собственный скрипт с принудительной отправкой основных страниц на индексацию в поисковой строке одним днем с помощью Google Indexing API. Этот скрипт автоматически отправляет URL-адреса на индексацию сразу группами, что значительно сокращает время на индексирование контента, а внедренные правки могут попадать на оценку поисковым системам в течение суток — для последующего ранжирования.
Данный скрипт также позволяет отправлять заявки на удаление «мусорных» страниц из индекса поисковой строки Google. Это помогает экономить краулинговый бюджет для обхода действительно приоритетных страниц.
Принцип работы скрипта основывается на индексации страниц через Google Indexing API:
- Создаем сервисный аккаунт в Google Cloud Console, который будет использоваться для аутентификации и предоставления доступа к Indexing API.
- Добавляем доступы к аккаунтам в Google Search Console (нельзя автоматизировать).
- Загружаем список URL для индексирования в папку «удалить из индекса» или «добавить в индекс».
- Запускаем скрипт.
Скрипт позволяет отправлять на индексацию до 200 страниц в день с одного аккаунта, но при создании дополнительных аккаунтов этот лимит можно увеличить. Это значительно ускоряет появление нового контента в поисковой выдаче Google.
Однако для многотысячных сайтов даже с этим ограничением процесс индексации может растянуться на месяцы. У нас, как у агентства, есть множество проектов, где такой сервис необходим, поэтому возникла потребность в решении, способном масштабировать лимиты отправки страниц.
Для того чтобы решить этот вопрос мы предложили две опции:
- Создать сразу несколько аккаунтов в Google и добавить их в Google Search Console с правами владельцев. В нашем случае число таких аккаунтов составило 50, что давало возможность отправлять до 10 тыс. страниц.
- Отправить форму обратной связи Google с просьбой об увеличении квот для аккаунта, свой запрос необходимо обосновать, и если Google сочтет причину увеличения лимитов обоснованной, то может пойти вам на уступки. Благодаря такой опции мы смогли увеличить лимит до 50 тыс. страниц.
Также при реализации было важно сделать скрипт не только полезным, но и удобным, чтобы отправка страниц на переобход занимала как можно меньше времени. Поэтому мы вынесли основные параметры, задаваемые скрипту, такие как список страниц и желаемый результат (добавляем или удаляем из индекса) в Google-таблицу, чтоб SEO-специалисты могли не погружаться в код.
Результаты
Внедрение скрипта для отправки страниц на индексацию позволило уже через несколько недель занять лидирующие позиции по некоторым кластерам интернет-аптеки.
Спустя еще несколько отправок страниц на переобход по части кластеров значительно увеличились показы в выдаче.
Пример ранжирования запросов кластера «антикоагулянты» в поисковой строке Google.
Благодаря улучшению сканирования сайта и увеличению числа страниц в индексе, внесенные технические и контентные рекомендации стали приносить свои плоды. Органический трафик вырос на 62%: с 59 тыс. в июне до 95,5 тыс. в декабре.
Артем Первухин, продакшн-директор KINETICA:
Мы уделяем внимание разработке собственных решений, чтобы клиенты могли видеть результат быстрее. Создавая такие инструменты, например, как уникальный скрипт, мы обеспечиваем оперативный контроль над индексацией: страницы выходят в выдачу практически мгновенно. Как показывает статистика, немногие агентства не готовы инвестировать в создание собственных продуктов, а для нас это — возможность улучшать работу и предлагать ценные и полезные инструменты.