Списки IP ботів: чий це краулер і як це довести

User-Agent — це заява, а не посвідчення

Кожен запит, що приходить на вебсервер, несе рядок тексту про те, хто його надіслав. У браузера там Chrome або Safari, у краулера — Googlebot чи GPTBot. Цей рядок пише той, хто робить запит, і ніхто в інтернеті його не перевіряє. Скопіювати його — одне натискання.

Microsoft формулює наслідок прямо у власній документації: бот, який використовує точнісінько такий самий User-Agent, як Bingbot, від цього Bingbot не стає. Тобто рядок корисний, щоб читати логи, і непридатний, щоб ухвалювати рішення. Усе, що дає доступ, знімає обмеження частоти або звільняє запит від правила, мусить спиратися на щось, чого відправник обрати не може, — а єдине, чого він обрати не може, це адреса, з якої насправді приходять пакети.

Саме про це вся ця сторінка: як перетворити назву на адресу, яку можна перевірити.

Пʼять різновидів ботів, і вони не взаємозамінні

У логах вони змішані в купу — тому «трафік ботів» одним числом не каже майже нічого. Різниця між ними в тому, що вони беруть і що повертають:

Найчастіше помилково зливають два рядки про AI. Навчальний і пошуковий краулери належать одній компанії, приходять зі схожих адрес — і хочуть цілком різного. Заблокувати навчальний не коштує нічого помітного. Заблокувати пошуковий означає зникнути з відповідей, які дає той асистент, — а це вже відчутна частка того, як люди взагалі щось знаходять.

У логах є ще дещо, що ботом не є взагалі: сканери портів і пошуку вразливостей. Вони ніколи не читають robots.txt, вони нічого не обходять, і розмова про них — інша, ніж ця.

Шлях перший: зібрати перелік самому, з першоджерела

Це повільніший шлях і той, який варто розуміти, — бо він не залежить від чиєїсь чесності та свіжості, включно з цією сторінкою.

Спосіб перший: опублікований файл діапазонів

Більшість великих власників публікують адреси своїх краулерів — JSON за сталим URL. Форма усталилася спільна: creationTime і перелік записів ipv4Prefix та ipv6Prefix у записі CIDR. Ви тягнете файл, перевіряєте, чи потрапляє адреса з вашого лога в один із префіксів, — і маєте відповідь, яку підробити не можна.

Три правила відрізняють правильне застосування цього способу від неправильного:

• Це стрічка, а не константа. Ці файли змінюються. Вставивши сьогоднішній вміст у правило фаєрвола, ви отримаєте щось тихо неправильне вже через місяць. Оновлювати за розкладом, а при невдалому завантаженні лишати попередню копію.
• Ніколи не підміняти опублікований файл номером мережі хостера. Спокуса велика: номер легко знайти й він покриває все. І він же неправильний — у тій самій хмарній мережі живе і краулер, і кожен, хто орендував сусідню машину. «Підтверджено за номером мережі» — це відповідь упевнена й хибна.
• Брати той файл, що стосується цього бота. Власники розкладають краулерів по кількох файлах саме тому, що ті роблять різне. Перевіривши навчальний краулер за файлом пошукового, ви змішуєте те, що, можливо, хотіли б розрізняти.

І ще одне застереження, яке коштує людям годин: адреса, ЯКА Є у файлі, доводить, що бот справжній, а от адреса, якої там НЕМАЄ, не доводить майже нічого. Збирачі за запитом людини — ті, що працюють, бо хтось спитав асистента про конкретне посилання, — цілком законно приходять зі звичайних хмарних адрес поза діапазонами краулерів.

Спосіб другий: forward-confirmed зворотний DNS

Кілька великих пошуковиків — Yandex, Baidu, Naver, Seznam та інші — не публікують файла діапазонів узагалі, і їхня документація прямо про це каже: перевіряйте нас зворотним DNS. Перевірка має три кроки, і потрібні всі три:

1. Спитати, яким іменем називається адреса: dig -x 66.249.66.1 +short
2. Переконатися, що імʼя закінчується доменом власника на межі крапки.
3. Розвʼязати це імʼя у зворотний бік — dig crawl-66-249-66-1.googlebot.com +short — і переконатися, що у відповіді є та сама адреса, з якої ви почали.

Саме третій крок і робить перевірку «forward-confirmed», а пропустивши його, ви знецінюєте всю конструкцію: хто керує зворотною зоною власних адрес, той може вказати в ній будь-яке імʼя. Лише повне коло доводить, що з ним згоден DNS самого власника.

У другому кроці ховається пастка, яку легко написати й важко побачити. Перевірка «чи закінчується імʼя на googlebot.com» приймає й evilgooglebot.com. Звіряти треба з .googlebot.com — із крапкою попереду — або з самим доменом цілком. Це помилка в один символ, яка перетворює перевірку на печатку.

Відсутній зворотний запис не є доказом ані в один бік, ані в інший. Він означає «не підтверджено», а не «підтверджено підробку»: чимало цілком законної інфраструктури зворотного DNS не має взагалі.

Хто що публікує

Адреси нижче — це сторінки самих власників. Вони навмисно надруковані текстом: скопіюйте потрібну й відкрийте самі, щоб довіряти врешті файлові вендора, а не чиємусь переписуванню — зокрема й нашому.

Пошукові системи

Вони приводять читачів. Заблокувавши одного, ви зникаєте з тієї пошукової системи — і про це вам ніхто не скаже.

AI-краулери

Під однією назвою ховаються три різні роботи: збір даних для навчання, побудова індексу, з якого асистент бере посилання, і разовий запит однієї сторінки на прохання людини.

Превʼю посилань

Це взагалі не обхід сайту. Один запит, зроблений тому, що жива людина вставила ваше посилання в чат.

SEO та аналітика

Комерційні індекси посилань. Перевірити їх можна так само, як усіх інших — питання не в тому, чи вони справжні, а в тому, чи варті вони вашого трафіку.

Шлях другий: узяти вже зібраний перелік

Довідник вище — це чесний спосіб і повільний спосіб. Якщо діапазони потрібні сьогодні, ось вони: один знімок, що перезбирається щодоби, з усіма діапазонами, які перевірка справді підтвердила — з опублікованих файлів вище й з forward-confirmed зворотного DNS для тих власників, які файлів не публікують.

Знімок зібрано 2026-08-25T02:15:02Z (UTC). Адреси краулерів змінюються; копія, старша за тиждень-два, уже неточна по краях.

Усі діапазони (.txt)З назвами ботів (.csv)Маніфест (.json)

Три формати, бо застосовують їх по-різному. Плаский .txt — це те, що згодовують фаєрволу чи ipset. .csv додає стовпчик, якого в плаского файлу бути не може, — ЧИЙ це діапазон; без нього неможливо повестися з пошуковим краулером інакше, ніж із навчальним. .json — маніфест: кількість діапазонів по кожному краулеру й час збірки, для скриптів, які хочуть перевірити свіжість, перш ніж чомусь вірити.

Що означає присутність у цьому переліку: що адреса справді належить тому краулерові. Чого вона не означає: що його треба пропускати. Це два різні питання, і фактичну відповідь має лише перше. Друге залежить від того, для чого ваш сайт, — і жоден чужий список цього не знає.

Чого в переліку немає навмисно

Деякі відомі боти не можуть потрапити в жоден список адрес, чесний щодо своїх джерел:

• Краулери Meta (facebookexternalhit, Meta-ExternalAgent) файла діапазонів не публікують. Задокументована перевірка — належність адреси до власної мережі Meta, AS32934, яку можна запитати в маршрутному реєстрі. Це перевірка іншого роду, з іншими способами відмовити.
• Discord, WhatsApp і ще кілька збирачів превʼю не публікують ані діапазонів, ані зворотного DNS. Звіряти просто нема з чим. WhatsApp до того ж зазвичай малює превʼю НА ПРИСТРОЇ відправника, тож запит приходить з адреси звичайної людини й на бота не схожий узагалі.
• Bytespider, Cohere і більшість новіших AI-краулерів працюють зі звичайних хмарних адрес, не публікуючи нічого. Рядок у лозі з їхньою назвою — це заява, і заявою вона й лишається.

Внести їх усе одно, з діапазонами, вгаданими зі спостережень, було б найшкідливішим, що ця сторінка могла б зробити: білий список, побудований на здогаді, — це дірка, яка має вигляд сумлінності.

Боти, яких зазвичай обмежують, і чому

Слово «поганий бот» зліплює докупи чотири не повʼязані проблеми, а лікування в кожної своє.

Для першої групи — тих, хто поводиться пристойно, але коштує більше, ніж повертає, — правильний інструмент саме robots.txt, бо вони його читають:

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: SEOkicks
Disallow: /

User-agent: SerpstatBot
Disallow: /

User-agent: ZoominfoBot
Disallow: /

Для другої групи robots.txt — це записка, залишена тому, хто записок не читає. Тут працює лише правило на сервері чи на межі мережі. Правило нижче повторює й назви з першої групи — на випадок, коли ввічливе прохання не дало нічого:

map $http_user_agent $bad_bot {
    default 0;
    "~*bytespider"  1;
    "~*mj12bot"  1;
    "~*blexbot"  1;
    "~*dotbot"  1;
    "~*barkrowler"  1;
    "~*seokicks"  1;
    "~*serpstatbot"  1;
    "~*zoominfobot"  1;
}

server {
    if ($bad_bot) { return 403; }
}

Проти останньої групи не допомагає жоден із цих двох фрагментів, і варто чітко сказати чому: правило, яке спрацьовує за User-Agent, зупиняє лише тих ботів, які кажуть про себе правду. Той, хто вдає Googlebot, назветься браузером тієї ж миті, коли перше правило його зачепить. Це не прогалина у фрагменті — це причина, заради якої існує вся перша половина цієї сторінки.

Три помилки, які коштують дорожче за самих ботів

Дозволити цілу мережу хостера замість опублікованого діапазону

Краулер і кожен, хто орендував поруч віртуалку, мають один номер мережі. Дозвіл відмиває самозванця до статусу гостя.

Вважати «немає в списку» доказом підробки

Це не доказ. Діапазони додають; збирачі за запитом людини за побудовою приходять зі звичайних хмарних адрес; ваша копія файла може бути просто старою. «Є в діапазоні» — це доказ справжності. «Немає» — лише привід придивитися.

Скопіювати список із чийогось допису й назвати це перевіркою

Списки з других рук заморожені на мить, коли їх хтось вставив, і застарівають, жодного разу про це не сказавши. Якщо адреса, з якою ви звіряєтесь, приїхала не з файла, що його публікує власник, ви не перевірили нічого — ви погодилися з незнайомцем.

Принцип, який варто тримати в голові, коротший за все решта: назва в лозі — це те, що відправник обрав, а адреса — те, чого він обрати не міг. Вирішуйте за другим.