Бот-трафик: как выявить «плохих» ботов и защитить от них сайт?

Всем привет, это Adlook!

В 2024 году рекламодатели потеряют более $71 млрд из-за поддельного или недействительного трафика. Причина тому — увеличение количества вредоносных ботов, которые уже составляют более 32% всего интернет-трафика. Но что делать в этой ситуации рекламодателям, веб-издателям и владельцам веб-сайтов? Давайте разбираться: сегодня мы обсудим виды ботов, их потенциальный вред и способы борьбы с ними.

Что такое бот-трафик и всегда ли он вреден

Бот-трафиком называют посещение сайта кем-то, кто не является человеком. Конечно, речь не о коте, случайно наступившем лапой на клавиатуру, а именно о ботах — программах, созданных для выполнения повторяющихся действий. Многие считают, что бот-трафик — это абсолютное и безусловное зло, но это далеко не всегда так. Есть и добрые боты-помощники, без которых веб-сервисы просто не смогут работать.

Кстати, всеми любимая Алиса — тоже бот. Согласитесь, без нее наша жизнь была бы чуточку скучнее.  

Итак, помимо вредоносных, существуют и полезные боты, среди них:

1. Поисковые машины — ваши друзья и незаменимые инструменты SEO. Именно они отвечают за то, чтобы ваш сайт оказался в результатах выдачи Яндекса или Гугла. 
2. Поисковые боты — это ПО, которое занимается индексацией и анализом сайтов, помогая юзерам быстро находить то, что нужно.
3. Мониторинговые боты сканируют страницы в поисках вредоносного ПО и подозрительной активности и, чуть что, сообщают о проблеме. 
4. Боты проверки авторского права следят за тем, чтобы никто не использовал чужой контент без разрешения.

Какие бывают вредоносные боты?

А вот этих ребят хорошо бы не подпускать к сайту на пушечный выстрел.

Кликботы 

Клик-боты — это программы, которые автоматизируют процесс кликов на веб-сайтах, особенно на рекламных баннерах и ссылках. Их цель — увеличить количество кликов на определенной рекламе или ссылке. Такие боты  приходят на сайт и нажимают на рекламные объявление, прямо как настоящие люди. Тем самым они наносят огромный ущерб рекламодателям, впустую сливающим бюджет.

Боты-загрузчики файлов

Основная мишень таких ботов — инфобизнесмены, привлекающие целевую аудиторию бесплатными «полезностями» — электронными книгами, чек-листами, планерами и списками типа «50 идей постов для вашего блога». По задумке, читатели придут в восторг от подарка и вскоре прибегут уже за платными курсами или книгами. А если нет — их контакты все равно останутся в базе, и с ними можно будет работать. Вот только если скачивание выполнил бот, в клиента он так и не превратится.

Спамботы

Спамботы специализируются на заполнении форм. Они добывают контактную информацию, включая адреса электронной почты и номера телефонов, а затем создают фейковые аккаунты пользователей, либо крадут чужие аккаунты и действуют от их имени. Такие программы распространяют никому не нужный, а то и опасный контент, например:

1. Спам-комментарии, включая реферальный спам, когда пользователя убеждают перейти по ссылке (и хорошо, если по ней не окажется вредоносного ПО);
2. Фишинг-рассылки по электронной почте: один клик по ссылке в таком письме — и все логины и пароли адресата попадают в руки проходимцам;
3. Перенаправления на сайты;
4. Негативное SEO (aka поисковая пессимизация) сайтов конкурентов.

Боты-шпионы 

Уже из названия понятно, чем они занимаются —  шпионят. Крадут данные, например, адреса электронной почты с сайтов, чат-румов, форумов, и соцсетей.

Боты-скрейперы

Боты-скрейперы посещают сайты и крадут размещенный там контент — например, списки продуктов и прайс-листы — и передают его конкурентам. В результате конкуренты могут разместить украденные материалы на своих страницах, часто предлагая товары или услуги по более низкой цене.

Боты-самозванцы

Помните Барти Крауча-младшего, проникшего в Хогвартс под видом профессора Грюма и безнаказанно творившего там тёмные делишки? Такое ПО может по праву носить его имя, так как выдает себя за того, кем не является. И сайт просматривает, и на кнопочки нажимает; думаешь, человек, а на самом деле — бот. Такие притворщики обходят меры защиты на сайте, чтобы получить доступ к сетям или системам, а иногда устраивают DDoS-атаки.

Знаете ли вы? DDoS — сокращение английской фразы «Distributed Denial of Service», дословно — «Распределенный отказ в обслуживании». Во время DDoS атаки на сервер поступает слишком много запросов из разных мест, и он на время перестает работать.

Конечно, иногда серверы могут выходить из строя по естественным причинам. Например, при выходе новой игры на веб-сайте наблюдается всплеск активности: на него заходят геймеры, которые первыми хотят опробовать новинку. И всё же всегда следует помнить о деятельности киберпреступников.

DDoS-боты

В отличие от ботов-самозванцев, создаются специально для атак на сервер. Загружаются на компьютеры ничего не подозревающих пользователей, а потом дружно нападают на сервер с целью остановить его работу. По данным компании Corero, которая как раз специализируется на защите от DDoS-атак, в среднем по Америке каждый такой инцидент обходится приблизительно в 218 тысяч долларов.

Сканеры уязвимости

Темные двойники мониторинговых ботов. Ходят по сети, выявляют у сайтов слабые места, и сообщают о них, только не владельцам сайтов, а третьим лицам, которые используют эту информацию в своих целях.

Как выявить бот-трафик

Чтобы определить, сколько ботов посещает ваш сайт, нужно регулярно проверять сетевые запросы, которые поступают на сайт. Полная версия Google Analytics в России больше не доступна, а использовать бесплатную можно только после уведомления в Роскомнадзор, иначе получите штраф. С Яндекс Метрикой таких проблем не возникнет. 

Вот основные красные флажки, указывающие на нашествие ботов:

1. Аномально высокие просмотры страницы. Если график отчета «Посещаемость» внезапно взметнулся выше Лахта-центра, это явно дело электронных рук ботов.
2. Аномально высокий показатель отказов. В нем учитывается процент пользователей, которые ушли с веб-сайта не взаимодействуя с контентом.  Простыми словами, это люди, которые открыли сайт и не нашли для себя ничего интересного: не нажали ни на одну кнопку или ссылку и не перешли на другие страницы перед уходом. В Яндекс Метрике как отказ засчитывается посещение, продлившееся меньше 15 секунд. Если вдруг появилось множество быстрых и бесполезных просмотров, то это явный признак того, что за работу взялись роботы.
3. Неожиданно высокая или низкая продолжительность сессии. В Яндекс Метрике этот параметр называется «Время на сайте». Он показывает, как долго тот или иной юзер пробыл на сайте. Когда на страницу приходят люди, длительность визита, конечно, у всех разная, но остается примерно в одном диапазоне. А вот если ни с того, ни с сего значение увеличилось, вполне возможно, что по сайту со скоростью улитки ползает бот, медленно, но верно нанося вам ущерб. И, наоборот, слишком короткая сессия выдает бота, который носится по сети со скоростью, недоступной простым смертным.
4. Ложная конверсия — когда целевое действие совершают не люди, а боты. Подозрения на нее возникают, если в заполненных контактных формах много имейлов, состоящих из случайного набора символов, а также фейковых имен, телефонных номеров или адресов.
5. Скачок трафика из неожиданного региона. Скажем, если на сайт вашей московской или питерской компании вдруг резко повалили жители Магадана, а то и Новой Гвинеи, это явный признак бот-трафика.
   

Итак, враг обнаружен. Как заставить его обходить сайт стороной?

Как пресечь бот-трафик

Вот основные инструменты:

1. Законный арбитраж Интернет-трафика. Арбитраж трафика — это размещение рекламы, например, в Яндекс Директ или VK, за определенную плату. Покупая трафик только у проверенных источников, вы повышаете долю «хорошего» трафика и снижаете долю «плохого».  
2. Файл Robots.txt, в котором содержатся параметры индексирования вашего сайта, предназначенные для роботов и поисковиков. Это поможет минимизировать посещение страниц ботами.
3. Использование JavaScript для оповещения о каждом визите бота на сайт.
4. Списки DDoS: вы можете составить перечень IP-адресов, засветившихся в атаках на ваш сервер, и отклонять запросы, поступающие с этих адресов.
5. Стратегия аутентификации «Вызов-ответ». Просите пользователей вводить капчу при заполнении форм и скачивании материалов. Простой и проверенный способ развернуть ботов на входе.
6. Доскональное изучение лог-файлов. Если ваш веб-админ хорошо разбирается в аналитике данных, то в лог-файлах ошибок сервера он сможет найти и устранить проблемы, вызванные ботами.
7. Специальные программы защиты от ботов, такие как Cloudflare, Botfaqtor или Antibot.
8. Установите брандмауер сетевых приложений (WAF — Web Application Firewall). Кстати, еще к началу 2023 году отечественные программы такого типа полностью «импортозаместили» зарубежные. 
9. Если ваш сайт создан на WordPress, вам доступен  плагин iThemes Security, регистрирующий события, в том числе — действия ботов, в реальном времени.

Максим Кульгин

clickfraud.ru

Больше всего вредоносных ботов в сетях Яндекс.РСЯ. Причина? Скликивание рекламы. Не секрет, что владельцы сайтов, подключающихся к РСЯ, зарабатывают на каждом клике по рекламным блокам на их сайтах. В итоге, владельцам очень выгодно «натравливать» ботов на свои же сайты, чтобы потихоньку скликивать рекламные блоки. Проблема обострилась в последнее время, что признает и сам Яндекс. Есть люди, которые владеют сотнями подобных сайтов и промышляют подобным типом мошенничества.

Заключение

Конечно, на 100 % исключить бот-трафик на ваш сайт невозможно. Но если вы будете внимательно заниматься аналитикой сайта, использовать технические средства защиты и, что немаловажно, постоянно повышать уровень осведомленности сотрудников о проблеме, вы значительно снизите вероятность серьезных атак. 

А чтобы ничего не пропустить и быть в курсе последних трендов, читайте наши блоги: мы активно публикуемся на виси, составе и дзене, а также ведем блог на собственном сайте — там вы найдете полезные материалы о маркетинге и рекламе, новости, обзоры и кейсы. Переходите по ссылкам, читайте и делитесь полезностями с коллегами и друзьями :)

С вами был Adlook. На связи!