Роскомнадзор в конце апреля разослал компаниям из реестра провайдеров хостинга рекомендации по ограничению сбора информации с российских ресурсов иностранными ботами, в том числе компаний Google, OpenAI и Apple. Провайдеры должны в ближайшее время провести анализ рисков на своих сетях, а в случае обнаружения применить правила блокировки. Об этом сообщает «Коммерсантъ» со ссылкой на письмо Центра управления связью общего пользования Роскомнадзора.
В письме ведомства провайдерам содержатся рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. Собеседник издания на рынке интернет-провайдеров пояснил, что речь идёт об иностранных ботах, включая поисковых сервисов Google (Googlebot) или GPTBot компании OpenAI, Apple Bot компании Apple и других.
Авторы письма считают, что ограничение доступа иностранных ботов к сайтам в рунете нужно для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации. В ведомстве рекомендуют провайдерам (428 компаний в реестре на апрель) «провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
Письмо также содержит список идентификаторов, по которым можно отличить вредоносных роботов и сканеры уязвимостей. Получение рекомендаций от Роскомнадзора «Ъ» подтвердили в DDoS-Guard. Там подчеркнули, что принимают его к сведению, отметив, что сейчас указанные боты в «реестр блокировок» Роскомнадзора не включены.
Собеседник издания в крупной IT-компании утверждает, что список идентификаторов в письме «очень большой, и их блокировка может повлиять на стабильность работы IT-систем». Но он считает, что компании, которые увидят риски со стороны зарубежных ботов, начнут их блокировку.
По мнению гендиректора хостинг-провайдера Ruvds Никиты Цаплина, в будущем рекомендации Роскомнадзора могут стать требованиями. При этом эксперт разъяснил, что информацию и для чат-ботов, и для пользователя, делающего запрос в адресной строке браузера, собирают одни и те же роботы.
«Следовательно, организация, которая выполнит рекомендацию, лишит себя возможности индексироваться в Google», — обратил внимание Цаплин. Он подчеркнул, что для крупных компаний это «серьёзный риск», особенно с учётом конкуренции за трафик. Если его часть уйдёт из Google, то бизнесу нужно будет компенсировать долю «переходов» на сайты через доступные поисковики.
Собеседник газеты в другом хостинг-провайдере полагает, что блокировка особенно скажется на компаниях, которые работают в странах СНГ, где позиции Google выше поисковика «Яндекс».
В декабре 2023 года Роскомнадзор предупредил ряд хостинг-провайдеров о выявлении поискового робота GPTBot от OpenAI. В письме ведомство рекомендовало заблокировать возможность бота просматривать и анализировать интернет-страницы для «исключения сбора информации о критических уязвимостях ресурсов», которые находятся в зоне ответственности компаний.