Почему сайт не индексируется в Яндексе и Google

Индексация — это процесс, а не переключатель

Фраза «сайт не индексируется» объединяет разные ситуации. Робот мог не знать о странице, не суметь её загрузить, увидеть запрет, получить пустой документ, выбрать другой canonical или исключить материал после обработки. Иногда URL присутствует в индексе, но не показывается по ожидаемому запросу. Это уже вопрос релевантности и конкуренции, а не технического отсутствия.

1. 01

   Обнаружение

   Поисковая система узнаёт URL из ссылок, sitemap, ранее известных адресов и других доступных сигналов.

2. 02

   Обход и загрузка

   Робот запрашивает страницу и получает HTTP-ответ, заголовки и ресурсы.

3. 03

   Рендеринг и обработка

   Система извлекает содержание, ссылки, метаданные и сигналы о предпочтительном URL.

4. 04

   Выбор для индекса

   Документ может быть добавлен, объединён с дублем или исключён как непригодный для поиска.

5. 05

   Показ по запросу

   Даже проиндексированный URL участвует только в тех результатах, где алгоритм считает его полезным и релевантным.

Сначала подтвердите симптом для конкретного URL

Проверяйте точный канонический адрес, включая протокол, поддомен, регистр и завершающий слеш. Поиск оператором site может дать приблизительную картину, но не заменяет инструменты проверки URL. В Google Search Console и Яндекс Вебмастере нужно посмотреть состояние страницы, последнюю загрузку, доступность, объявленный и выбранный canonical, а также причины исключения.

• Какой URL считается основным в CMS, sitemap и внутренних ссылках.
• Какой код ответа получает обычный пользователь и поисковый робот.
• Есть ли meta robots noindex или заголовок X-Robots-Tag.
• На какой адрес указывает canonical и доступен ли он.
• Когда робот в последний раз запрашивал страницу.
• Присутствует ли URL в данных об индексации, даже если его нет по выбранной фразе.

Причина 1. Робот не обнаружил страницу

Новая страница может существовать в CMS, но быть недоступной по обычным ссылкам. Так бывает с посадочными, созданными только для рекламной кампании, с материалами внутри клиентского поиска и с URL, которые появляются после выбора фильтра. Если путь строится только через форму или JavaScript-событие без ссылки, робот может не получить адрес.

• Добавьте страницу в актуальный XML Sitemap и укажите sitemap в robots.txt.
• Свяжите документ с релевантным разделом, услугой, кейсом или статьёй обычной HTML-ссылкой.
• Уберите адреса черновиков, редиректов и ошибок из sitemap.
• Проверьте, что новая страница не находится глубже случайной цепочки пагинации.
• После публикации запросите проверку URL в поисковом кабинете, но не отправляйте один адрес многократно без изменений.

Sitemap — способ сообщить об актуальной структуре, а не команда включить каждый документ в индекс. Если страница доступна только из файла карты и не встроена в пользовательский путь, это сигнал слабой архитектуры. Для бизнеса полезнее спроектировать переход от вопроса пользователя к услуге и обращению, чем просто увеличить количество строк в XML.

Причина 2. Доступ запрещён или ограничен

Распространённая причина — оставшиеся настройки тестового окружения: Disallow для всего сайта, meta robots noindex, X-Robots-Tag или защита паролем. Запрет может действовать только на отдельный шаблон, поэтому главная страница индексируется, а услуги или статьи — нет.

Robots.txt и noindex решают разные задачи. Если робот не может загрузить документ из-за robots.txt, он может не увидеть meta robots внутри. Настройки следует проектировать по желаемому состоянию URL, а не наслаивать несколько случайных запретов. После исправления проверьте ответ тем же способом, которым проблема была обнаружена.

Причина 3. Сервер отдаёт ошибку, редирект или мягкую ошибку 404 (soft 404)

Страница может выглядеть нормально в браузере благодаря кэшу или клиентскому коду, но сервер возвращать 5xx, бесконечный редирект либо 200 для шаблона ошибки. Поисковой системе нужен предсказуемый HTTP-ответ. Временный сбой иногда не критичен, однако повторяющиеся ошибки снижают возможность стабильного обхода.

• 200 — для доступного содержательного документа.
• 301 или 308 — для постоянного переноса на эквивалентный новый URL.
• 404 или 410 — для удалённой страницы без подходящей замены.
• 503 — для короткого планового обслуживания с корректным восстановлением.
• Отсутствие цепочек, циклов и массовых редиректов всех старых URL на главную.

Soft 404 возникает по смыслу, а не только по коду: сервер отвечает 200, но документ пуст, сообщает об отсутствии результата или почти не отличается от страницы ошибки. Для каталога это часто случается с несуществующими фильтрами. Такие URL не следует включать в sitemap и связывать из навигации.

Причина 4. Робот не получает основное содержание

Клиентский JavaScript может не выполниться из-за заблокированного ресурса, ошибки API, таймаута или необходимости пользовательского действия. Тогда робот видит заголовок приложения и пустой контейнер. Сравните исходный HTML, отрендеренную версию в поисковом инструменте и то, что видит пользователь без сохранённой сессии.

• Основной текст и ссылки доступны без клика, прокрутки и ввода данных.
• Ресурсы JavaScript, CSS и API не закрыты для робота.
• Контент не зависит от геолокации или cookies так, что базовая версия остаётся пустой.
• Метаданные не меняются после загрузки на ошибочные общие значения.
• Серверный или статический HTML содержит достаточный смысл для коммерческой страницы.

Проект Novera AI показывает, что сложный продукт можно объяснить через назначение, аудиторию, возможности, процесс и архитектуру. Здесь он служит лишь примером структуры информации. Он не подтверждает SEO-результаты и не используется как доказательство индексации.

Причина 5. Поисковая система выбрала другой URL

Если несколько адресов содержат одинаковый или очень похожий материал, поисковая система объединяет их и выбирает представителя. Объявленный canonical является важным, но не единственным сигналом. Редиректы, внутренние ссылки, sitemap и фактическое содержимое должны подтверждать один и тот же выбор.

1. 01

   Сравните варианты

   Проверьте параметры, регистр, http/https, www, завершающий слеш, печатные и AMP-версии, если они существуют.

2. 02

   Проверьте canonical

   Предпочтительный адрес должен возвращать 200, быть индексируемым и содержать основную версию документа.

3. 03

   Согласуйте сигналы

   Используйте основной URL во внутренних ссылках и sitemap; перенаправляйте технические варианты там, где они не нужны пользователю.

4. 04

   Разведите намерения

   Если две страницы действительно решают разные задачи, сделайте различия очевидными в содержании, заголовках и связях.

Причина 6. Страница доступна, но не выбрана для поиска

Доступность для индексирования не означает обязательное присутствие в выдаче. Поисковая система может не включить страницу, если она почти дублирует другой документ, содержит мало самостоятельной ценности, создана массово по одному шаблону или не помогает пользователю решить задачу. Добавление ключевой фразы в title не исправляет отсутствие полезного содержания.

• Страница отвечает на отдельное поисковое намерение, а не меняет только название города или услуги.
• Материал содержит собственное объяснение, методику, сравнение, данные или подтверждённый опыт.
• Автор, дата и область ответственности понятны пользователю.
• Коммерческое предложение не маскируется под справочную статью и соответствует запросу.
• Страница не собрана из автоматических пересказов без редакционной проверки.

Алгоритм диагностики от симптома к исправлению

1. 01

   Зафиксируйте URL и желаемое состояние

   Страница должна индексироваться, перенаправляться, объединяться или быть удалена. Это определяет все дальнейшие проверки.

2. 02

   Проверьте HTTP и запреты

   Получите код, заголовки, robots.txt, meta robots и доступность ресурсов.

3. 03

   Проверьте обнаружение

   Найдите URL в sitemap и обычных внутренних ссылках, убедитесь, что используется основная версия адреса.

4. 04

   Сравните исходный и отрендеренный документ

   Основное содержание, ссылки, title и canonical должны быть доступны и согласованы.

5. 05

   Изучите решение поисковой системы

   Используйте проверку URL, отчёты об индексировании и данные обхода, а не только оператор site.

6. 06

   Исправьте системную причину

   Если проблема повторяется на шаблоне, меняйте генерацию, а не редактируйте сотни страниц вручную.

7. 07

   Запросите повторную обработку и наблюдайте

   Обновите sitemap, внутренние ссылки и отправьте важные URL на проверку. Индексация занимает время и не гарантирует определённую позицию.

Диагностика становится управляемой, когда для каждого URL известны желаемый статус, фактический ответ и этап, на котором поисковый путь прерывается.

Методика Agentix Labs

Как не пропустить повторение проблемы

После исправления добавьте регулярный контроль. Для приоритетных шаблонов полезно проверять код ответа, запреты, canonical, наличие в sitemap и количество внутренних ссылок. Поисковые кабинеты дополняют технический мониторинг данными о реальном обходе, исключениях, показах и кликах.

• Уведомления о росте 5xx и неожиданных 404.
• Проверка sitemap после каждого изменения генератора.
• Контроль случайного noindex на рабочем сайте.
• Список важных URL в Яндекс Вебмастере и Search Console.
• Сравнение числа опубликованных, индексируемых и получающих показы страниц.
• Редакционный процесс, который не публикует черновики и технические дубли.

Если проблема затронула много страниц, сохраните дату релиза и контрольную выборку. Так можно отделить техническое восстановление от сезонности и обычных колебаний выдачи. Ни повторный обход, ни устранение ошибки не дают основания обещать конкретный срок появления или позицию.