02.05.2024
В конце апреля Центр управления связью общего пользования (ЦМУ ССОП) Роскомнадзора направил письмо компаниям из реестра провайдеров хостинга, содержащее рекомендации по настройке ограничения доступа поисковых ботов иностранных компаний, таких как Google, OpenAI, Apple и других, к информации на российских сайтах. Поисковый робот, используемый для сканирования мировой сети и пополнения поискового индекса системы, начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию. Согласно письму Роскомнадзора, блокировка иностранных ботов позволит осуществить предотвращение сбора данных о критических уязвимостях российских ресурсов, индексации данных россиян и анализа собранной информации. Провайдерам, число которых в реестре на апрель составляло 428, рекомендуется «провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами». В письме также приводится список идентификаторов (User-agent), по которым можно отличить вредоносных роботов и сканеры уязвимостей (642 идентификатора). Интересно, что этот список совпадает с публично доступным перечнем на сервисе GitHub. Некоторые провайдеры, такие как DDoS-Guard, подтвердили получение письма и заявили, что принимают его к сведению. По их словам, в данный момент указанные боты не включены в «реестр блокировок» Роскомнадзора. Представители IT-компаний отмечают, что блокировка идентификаторов может негативно сказаться на стабильности работы IT-систем. Тем не менее, компании, которые видят актуальными для себя риски со стороны зарубежных ботов, могут начать использовать практику их массовой блокировки. Рекомендации Роскомнадзора в будущем могут стать требованиями. Специалисты отрасли предупреждают о возможной потере трафика из поисковых систем, особенно из Google, что может повлиять на бизнес компаний. Также блокировка ботов может серьезно затронуть компании в странах СНГ, где популярность Google выше «Яндекса».