3. Проверка доступности сайта для AI-ботов: настоящий кейс и пошаговый аудит

Можно иметь идеально структурированный контент, сильный ссылочный профиль и высокие позиции в органике, но оставаться полностью невидимым для ChatGPT, Perplexity, Google AI Overview и других нейросетей. Причина — техническая блокировка, о которой владелец сайта может не догадываться месяцами. В этой статье разберём, как такое происходит, и, главное, как провести аудит доступности своими руками.

Реальный случай: как mod_security оставил сайт без AI-трафика

В нашу команду обратился владелец довольно крупного информационно-коммерческого проекта. С классическим SEO всё было неплохо — стабильный органический трафик, позиции в топе по десяткам запросов. Но когда он попытался понять, цитируют ли его нейросети, обнаружил пустоту: ни одного упоминания в Perplexity, ноль переходов с chat.openai.com, полное отсутствие в AI Overview.

Первичный осмотр robots.txt и метатегов ничего не дал — файл был настроен адекватно. Однако быстрый тест через ChatGPT (о методике — ниже) показал, что бот OpenAI получает от сервера ошибку 403 Forbidden. Углублённый анализ логов выявил причину: на хостинге был включён mod_security с набором стандартных правил. Одно из них блокировало запросы по определённому паттерну в User-Agent, характерному для AI-краулеров. В итоге все боты — ChatGPT-User, GPTBot, Google-Extended, PerplexityBot — получали 403 и уходили ни с чем. Сайт был полностью исключён из индексов нейросетей на протяжении нескольких месяцев.

После отключения проблемного правила и повторного краулинга цитирования начали появляться в течение двух-трёх недель. Владелец признался, что без целенаправленной проверки мог бы не заметить проблему ещё полгода.

Вывод: техническая доступность для AI-ботов — это не опция, а обязательный этап любого аудита в 2025 году. Рассмотрим, как провести такой аудит пошагово.

3.1 Анализ серверных логов: ищем AI-краулеры и их ошибки

Самый надёжный способ понять, что происходит на вашем сервере, — изучить access-логи. Если у вас есть доступ к хостингу (cPanel, VPS, dedicated), запросите у поддержки или скачайте логи за последние 2–4 недели в формате, пригодном для анализа.

Что именно ищем:

• Какие AI-боты заходят на сайт. Ключевые User-Agent:
  • ChatGPT-User/1.0
  • GPTBot/1.0
  • Google-Extended
  • PerplexityBot/1.0
  • Claude-Web/1.0 (Anthropic)
  • anthropic-ai
  • Bytespider (TikTok, тоже может использоваться для AI)
  • FacebookBot (часть данных Meta AI)
• Какие страницы они пытаются сканировать. Если боты заходят, но игнорируют ключевые разделы, возможно, внутренняя перелинковка не даёт им добраться до важного контента.
• Какие HTTP-коды ответа они получают. Ваша цель — код 200 (или 304 для кэшированных версий). Коды 403 (доступ запрещён), 404 (страница не найдена), 503 (сервис недоступен), а также любые редиректы (301/302) на нецелевые страницы — сигнал тревоги.

Пример строки лога, по которой видно успешное обращение ChatGPT:

40.84.221.231 - - [09/Aug/2024:11:57:00 +0000] "GET /blog/seo-trendy HTTP/1.1" 200 5420 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; + https://openai.com/bo t"

Если вместо 200 вы видите 403 для ботов OpenAI, это практически гарантированно означает блокировку.

Инструменты для анализа логов:

Чек-лист по итогам анализа логов:

• AI-боты зафиксированы в логах хотя бы за последние 7 дней.
• Основные целевые страницы сканируются (проверяем пути).
• Доля ответов 200 для AI-краулеров превышает 95%.
• Отсутствуют массовые 403/503 для ботов.
• Нет редиректов на страницы с другим содержанием (например, на заглушку).

3.2 Быстрая проверка доступности через браузер и ChatGPT

Если доступа к серверным логам нет или нужно мгновенно протестировать конкретный URL, можно использовать метод, который не требует ни FTP, ни панели хостинга. Понадобится только аккаунт ChatGPT (с включённым веб-поиском) и браузер с DevTools.

Пошаговая инструкция:

1. Задайте ChatGPT запрос, явно упоминающий ваш сайт.
   Например: «Что пишут на сайте [ваш-сайт.ru] про [конкретная тема]?». Важно, чтобы поисковый краулер был вынужден зайти на страницу. Можно также дать прямую ссылку: «Просканируй страницу  https://ваш-сайт.ru/stranica  и расскажи, о чём она».
2. Скопируйте Chat ID из адресной строки.
   URL будет выглядеть так:
   https://chatgpt.com/c/695e176d-1c64-832b-b895-054709628a74
   ID — часть после /c/ (в примере 695e176d-1c64-832b-b895-054709628a74).
3. Откройте DevTools в браузере (F12 или ПКМ → «Просмотреть код»).
   Перейдите на вкладку Network (Сеть).
4. В строке фильтра вставьте скопированный Chat ID.
   В некоторых случаях может потребоваться очистить лог (кнопка 🚫) и обновить страницу, чтобы запросы зафиксировались.
5. Обновите страницу чата (F5), если вы только открыли DevTools. Найдите записи типа conversation или search в разделе Fetch/XHR. Откройте их и изучите ответы сервера.

Что можно увидеть:

• HTTP-статус ответа вашего сервера для краулера ChatGPT (обычно в теле ответа или заголовках можно найти status: 200 или ошибки).
• Время ответа — если оно превышает 2–3 секунды, краулер может оборвать загрузку.
• Заголовки и контент, который был реально получен. Так можно проверить, не отдаёт ли сервер вместо страницы пустой блок или сообщение об ошибке.

Этот экспресс-метод здорово выручает, когда нужно быстро проверить гипотезу о блокировке. В кейсе, о котором я рассказал в начале, именно так владелец и обнаружил 403, после чего мы перешли к логам и mod_security.

3.3 Фишка: страницы поддержки, FAQ и «Помощь» — откройте их для AI

Один из самых недооценённых активов — база знаний, FAQ-раздел и страницы техподдержки. Компании часто закрывают их от индексации, опасаясь, что контент украдут конкуренты или что эти страницы будут конкурировать с коммерческими. В контексте AI-продвижения это грубейшая ошибка.

Почему это важно:

• Нейросети учитывают весь путь пользователя. Если AI ищет решение проблемы («как настроить Х в сервисе Y»), он обратится к тому, у кого есть прямой, конкретный ответ.
• FAQ-страницы с чёткими инструкциями — любимый формат LLM. Они легко извлекают шаги, чек-листы и отдают их в ответе.
• Закрывая FAQ от AI-ботов, вы своими руками отдаёте конкурентам монополию на ответы по вашим продуктам.

Что делать:

1. Откройте разделы поддержки и FAQ для AI-краулеров.
   В robots.txt уберите запреты для GPTBot, ChatGPT-User, Google-Extended и других AI-агентов на директории /faq, /help, /support, /knowledge-base. Если используете метатег noindex, снимите его с этих страниц.
2. Структурируйте ответы по реальным сценариям.
   Группируйте статьи по ролям («новичок», «администратор») или по действиям («установка», «оплата», «ошибки»). Каждый ответ должен быть самодостаточным: проблема → причина → решение → результат.
3. Пишите конкретно, без воды.
   Вместо «Обратитесь в службу поддержки» давайте пошаговый алгоритм. AI скопирует эти шаги в ответ дословно. Например:

Ошибка 502 при подключении API

1. 1. Проверьте, активен ли ваш API-ключ в личном кабинете → раздел «Интеграции».
   2. Убедитесь, что IP вашего сервера добавлен в белый список.
   3. Если ошибка сохраняется, сбросьте ключ и создайте новый.
2. Используйте разметку FAQPage (JSON-LD).
   Это позволяет поисковым системам и AI-краулерам не просто прочитать текст, а понять, что перед ними именно вопрос-ответ. Модели, обученные на schema.org, охотнее цитируют такие страницы.

Результат: через несколько недель после открытия FAQ для AI-ботов наш клиент из кейса выше увидел, что Perplexity и ChatGPT начали ссылаться на его базу знаний по десяткам запросов, связанных с устранением неполадок, — бесплатный охват, который раньше уходил к форумам и сторонним агрегаторам.

Бонус: чек-лист базовой доступности для AI-краулеров

Перед тем как углубляться в логи, пройдитесь по этому списку. Многие блокировки устраняются за 5 минут.

Итоги и следующий шаг

Доступность сайта для AI-краулеров — это фундамент. Если боты не могут считать ваш контент, всё остальное (бренд, ссылки, семантика) не имеет значения. Кейс с mod_security — не редкость: системы безопасности часто блокируют нестандартные User-Agent, лишая сайт AI-видимости. Регулярный аудит логов и экспресс-тесты через ChatGPT позволяют вовремя обнаружить и устранить такие проблемы.

В следующей статье мы перейдём к контенту: разберём, как создавать и адаптировать страницы, чтобы AI не только видел их, но и предпочитал цитировать, а не конкурентов. Подробно остановимся на структуре «AI-дружественных» статей, работе с фактологией и встраивании сигналов авторитета прямо в текст. Не переключайтесь.

Обсудить статью, поделиться своими логами или задать вопрос можно в комментариях к этой теме на форуме «Белое SEO». Там же вы найдёте ссылки на упомянутые инструменты и шаблоны.