6 технических причин, почему страницы продуктов не индексируются｜исключая дублированный контент и ограничения на сканирование

本文作者：Don jiang

2025-07-08

Home » 博客 » Отобранные статьи » 6 технических причин, почему страницы продуктов не индексируются｜исключая дублированный контент и ограничения на сканирование

Причины, по которым страница не индексируется, могут быть скрыты в архитектуре кода или конфигурации сервера.

Например, если поисковый робот не может «понять» динамический контент или из-за неправильного параметра страница распознается как дублирующаяся.

В этой статье с технической точки зрения собраны 6 практических, но часто игнорируемых проблем, которые напрямую влияют на индексирование.

Table of Contens

Медленная загрузка страницы мешает индексации

Например, если время ответа сервера превышает 3 секунды, Googlebot может прервать сканирование или проиндексировать только часть страницы.

Эту проблему часто игнорируют, так как владельцы сайтов фокусируются на пользовательском опыте (например, отображается ли анимация загрузки), но не учитывают «порог терпения» поискового робота.

Слишком долгое время отклика сервера

Диагностика: Используйте Google Search Console (Core Web Vitals) или такие инструменты, как GTmetrix, чтобы проверить время до первого байта (TTFB). Если оно превышает 1,5 секунды, требуется оптимизация.

Решения:

Улучшить конфигурацию сервера (например, увеличить CPU/память) или перейти на более производительный хостинг (например, Cloudways или SiteGround).
Оптимизировать запросы к базе данных: уменьшить сложные объединения таблиц, добавить индексы для таблицы товаров.
Включить кэширование на стороне сервера (например, Redis или Memcached) для сокращения динамической генерации страниц.

Неоптимизированные ресурсы

Типичные проблемы:

Неоптимизированные изображения товаров (например, PNG без конверсии в WebP или разрешение выше 2000px).
Необъединённые CSS/JS-файлы, вызывающие десятки HTTP-запросов.

Шаги по исправлению:

Сжать изображения с помощью Squoosh или TinyPNG, адаптировать их к основным разрешениям экранов (например, ширина 1200px).
Объединить CSS/JS с помощью Webpack или Gulp, чтобы сократить количество запросов.
Включить сжатие Gzip или Brotli для уменьшения размера передаваемых ресурсов.

Скрипты, блокирующие рендеринг

С точки зрения поисковых роботов: При анализе HTML, если встречаются скрипты без асинхронной загрузки (например, синхронно загружаемый Google Analytics), рендеринг страницы останавливается до завершения выполнения скрипта.

Рекомендации по оптимизации:

Добавить атрибут async или defer для не критичных скриптов (например: ).
Отложить загрузку сторонних инструментов (например, онлайн-чата или тепловых карт) до полной загрузки страницы.

Инструменты для диагностики и рекомендации по приоритету

Чек-лист для проверки:

PageSpeed Insights: для определения конкретных проблем с загрузкой ресурсов (например, «Сократите время выполнения JavaScript»).
Screaming Frog: массово проверить TTFB на страницах товаров и найти медленные URL.
Lighthouse: проверить блок «Возможности» с рекомендациями (например, удалить неиспользуемые CSS).

Приоритетная оптимизация: Сначала устраните страницы с TTFB более 2 секунд, страницы с более чем 50 HTTP-запросами и ресурсы изображений размером более 500KB.

Справочные данные: По данным Google, если время загрузки страницы увеличивается с 1 до 3 секунд, вероятность сбоя сканирования возрастает на 32%. После вышеуказанных оптимизаций большинство страниц товаров можно загрузить менее чем за 2 секунды, что значительно повышает шанс индексации.

Ошибочная блокировка каталога товаров в файле robots.txt

Например, если по ошибке прописать Disallow: /tmp/ вместо Disallow: /product/, поисковые роботы полностью пропустят страницы товаров, даже если контент качественный.

Как быстро выявить блокировки robots.txt

Инструменты проверки:

Google Search Console: Перейдите в «Индексирование» > «Страницы», если страницы товаров отображаются как «заблокированные», откройте подробности и проверьте блокировки в robots.txt.
Онлайн-инструменты проверки robots.txt: используйте инструмент проверки robots.txt, чтобы увидеть, имеет ли робот доступ к URL.

Частые ошибки:

Опечатки в путях (например, /produc/ вместо /product/).
Чрезмерное использование символов подстановки * (например, Disallow: /*.jpg$ блокирует все изображения товаров).

Как исправить ошибки в правилах robots.txt

Принципы правильного написания：

Точное указание путей: избегайте неопределённых запретов. Например, для временного каталога используйте Disallow: /old-product/ вместо Disallow: /product/.
Разделение типов поисковых роботов: если нужно заблокировать только определённых ботов, указывайте конкретный User-agent (например: User-agent: MJ12bot).

Обработка параметров：

Разрешайте необходимые параметры (например, пагинацию ?page=2), но блокируйте только ненужные параметры, например Disallow: *?sort=.
Используйте символ $ для указания конца параметра (например: Disallow: /*?print=true$).

Процесс экстренного восстановления и проверки

Пример действий：

Измените файл robots.txt, закомментировав или удалив ошибочные строки (например: # Disallow: /product/).
Отправьте запрос на обновление файла robots.txt через Google Search Console.
С помощью инструмента “Проверка URL” вручную проверьте доступность страниц товаров для поисковых роботов.
Через 24 часа проверьте статус индексации. Если страницы не восстановились, отправьте карту сайта с продуктами вручную.

Защитные меры：

Используйте системы контроля версий (например, Git) для отслеживания изменений в файле robots.txt и возможности отката.
Тестируйте изменения в тестовой среде перед применением их на основном сайте.

Разбор реального случая

Ошибочная настройка：

User-agent: *
Disallow: /
Allow: /product/

Проблема: Правило Disallow: / блокирует весь сайт, делая последующее правило Allow неэффективным.

Корректное исправление：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /product/

Логика: Блокируются только административный раздел и временные папки, при этом доступ к страницам продуктов остаётся открытым.

Страницы продуктов без эффективных внутренних ссылок

Если страница товара не имеет внутренних ссылок (например, через меню навигации, блоки рекомендаций или текстовые ссылки), она становится “изолированным островом”, что затрудняет её индексацию даже при высоком качестве контента.

Это часто происходит с новыми товарами, специализированными лендингами или страницами, массово импортированными через внешние инструменты — они могут не быть интегрированы в структуру сайта.

Отсутствие или плохая структура навигации

Типичные проблемы：

Страницы товаров не добавлены в главное меню или каталоги категорий (доступны только через поиск).
На мобильных устройствах важные ссылки на товары могут быть спрятаны глубоко в выпадающих меню.

Решения：

Инструмент для самопроверки: Используйте Screaming Frog для сканирования сайта и выявления страниц с количеством внутренних ссылок ≤ 1.

Шаги оптимизации：

Добавьте в главное меню прямые ссылки на популярные страницы товаров, например “Популярные новинки” или “Рекомендуемые товары”.
Убедитесь, что каждая страница товара входит хотя бы в одну категорию (например: /category/shoes/product-A).

Неэффективное использование модулей рекомендаций

С точки зрения поисковых систем: Если блоки рекомендаций, такие как “Вам также может понравиться”, загружаются с помощью JavaScript, поисковые роботы могут не индексировать такие ссылки.

Предоставьте статический вход для динамически рекомендуемого контента, например, выделите фиксированный блок с заголовком «Топ-10 продаж недели» с прямыми ссылками на страницы товаров.

Хлебные крошки не охватывают ключевые уровни

Неправильный пример: Слишком короткий путь хлебных крошек, отсутствует ссылка на категорию (например: Главная > Товар A).

Как исправить:

Добавьте все уровни категорий (например: Главная > Спортивная обувь > Беговые кроссовки > Товар A) с кликабельными ссылками на каждом уровне.
Настройте автоматическую генерацию хлебных крошек в CMS, чтобы структура URL соответствовала иерархии категорий (например: /category1/category2/product-name).

Отсутствуют анкорные ссылки на страницах контента

Включите естественные ссылки на связанные товары в описании продукта (например: «Эта камера совместима с штативом X»).
Добавьте блок рекомендаций в разделе отзывов пользователей, например, «Покупатели этого товара также смотрели».

Экстренные меры

Временное решение:

Создайте агрегирующую страницу «Новинки», включающую ссылки на неиндексированные товары, и разместите её в нижнем меню главной страницы.
Разместите ссылки на целевые страницы товаров на авторитетных страницах (например, в блогах) с рекомендациями вроде: «Рекомендуем прочитать: Лучшие беговые кроссовки 2024 года».

Долгосрочные меры:

Еженедельно проверяйте индексирование страниц товаров (например, с помощью Ahrefs Site Audit) и своевременно устраняйте проблемы с внутренними ссылками.

Потеря контента из-за динамической загрузки JavaScript

Например, страницы товаров, разработанные на Vue или React, где ключевая информация (артикулы, характеристики) подгружается асинхронно через API, из-за чего поисковые роботы могут не успеть её загрузить.

Результат: в индекс попадают страницы с заглушками вроде «Загрузка…», что снижает их позиции в поиске.

Как выявить потерю контента из-за динамического рендеринга

Инструменты для самопроверки:

Тест на удобство для мобильных от Google: Введите URL страницы товара и проверьте, отображается ли на скриншоте ключевой контент (цена, кнопка покупки и т.д.).
Эмуляция Googlebot с помощью команды curl: Выполните в терминале команду curl -A "Googlebot" URL и сравните полученный HTML с исходным кодом страницы в браузере.

Основные признаки:

В исходном коде страницы отсутствуют описания товара и отзывы, видны лишь пустые контейнеры вроде
.
В отчётах Google Search Console указано «Сканировано, но не проиндексировано» с причиной «Пустая страница».

Решения: серверный рендеринг (SSR) и предварительный рендеринг

Преимущества SSR: Сервер сразу отправляет полностью сгенерированную HTML-страницу, что гарантирует её доступность для поисковых систем.

Поддерживаемые фреймворки: Next.js (React), Nuxt.js (Vue), Angular Universal.

Пример кода (страница товара на Next.js):

export async function getServerSideProps(context) {

const product = await fetchAPI(`/product/${context.params.id}`);

return { props: { product } };

Альтернативное решение для предварительного рендеринга: для сайтов, которые сложно адаптировать под SSR, можно использовать Prerender.io или Rendertron для создания статичных снимков страниц.

Шаги настройки:

Настроить промежуточное ПО (middleware) на сервере для определения запросов от поисковых роботов и перенаправления их на сервис предварительного рендеринга.
Кэшировать результаты рендеринга, чтобы снизить затраты на повторную генерацию страниц.

Оптимизация времени загрузки динамического контента

Ключевая логика: Основную информацию о продукте (название, цена, характеристики) следует сразу встраивать в начальный HTML, а не загружать её асинхронно с помощью JavaScript.

Неправильный пример:

// Асинхронная загрузка цены (поисковый робот может не дождаться)

fetch('/api/price').then(data => {

document.getElementById('price').innerHTML = data.price;

});

Правильное решение:

<!-- Вставка цены прямо в начальный HTML -->
$99.99

Контроль времени выполнения JavaScript и размера ресурсов

Порог терпения поисковых роботов: Обычно Googlebot ждёт до 5 секунд для выполнения JavaScript и рендеринга страницы.

Меры оптимизации:

Деление кода (Code Splitting): Загружать только необходимые модули JavaScript на странице товара (например, удалить ненужные галереи или слайдеры).

// Динамическая загрузка необязательных модулей (например, видеоплеера для товара)

import('video-player').then(module => {

module.loadPlayer();

});

Отложенная загрузка контента, не входящего в первый экран: Загрузка таких блоков, как комментарии и рекомендации, после события DOMContentLoaded.

Проблема дублирования страниц из-за хаотичных параметров URL

Например, один и тот же товар может иметь разные URL в зависимости от порядка параметров:
/product?color=red&size=10 и /product?size=10&color=red. Поисковые системы могут считать их разными страницами, что приведёт к размыванию веса страницы и даже штрафам за дублированный контент.

Определение влияния параметров URL на дублирование страниц

Инструменты для самопроверки:

Google Search Console: В отчёте «Покрытие» отфильтровать страницы «Отправлено, но не проиндексировано» и проанализировать долю дублированных URL с параметрами.
Screaming Frog: Настроить игнорирование параметров URL при сканировании сайта и оценить количество вариантов URL одной и той же страницы товара.

Типичные проблемные случаи:

Создание разных URL для одного товара из-за использования фильтров (например, сортировка по цене или фильтрация по цвету).
Отсутствие тега rel="canonical" на страницах с пагинацией, что приводит к их восприятию как отдельных страниц.

Нормализация параметров и консолидация веса страниц

Приоритеты решений:

Фиксация порядка параметров: Применять строгие правила сортировки параметров (например, сначала цвет → затем размер → затем сортировка) для предотвращения дублирования URL.

Пример: Принудительно приводить все URL к формату /product?color=red&size=10 и перенаправлять (301) все другие варианты на канонический адрес.

Использование тега Canonical: Добавлять тег canonical в раздел <head> страниц с параметрами, указывающий на основную страницу товара.

Блокировка несущественных параметров

Используйте meta robots noindex или файл robots.txt, чтобы запретить индексацию URL с параметрами отслеживания (например: ?session_id=xxx).

Технологии обработки параметров на стороне сервера

Правила переписывания URL (URL Rewrite):

Пример для Apache (скрытие параметров пагинации и нормализация URL):



RewriteCond %{QUERY_STRING} ^page=([2-9]|10)$

RewriteRule ^product/?$ /product?page=%1 [R=301,L]

Пример для Nginx (объединение параметров сортировки):



if ($args ~* "sort=price") {

rewrite ^/product /product?sort=price permanent;

}

Контроль динамических параметров:

Заранее задать список разрешённых параметров в CMS и отклонять запросы с недопустимыми параметрами (возвращать 404 или перенаправлять на главную страницу).

SEO-стратегии для страниц пагинации и фильтров

Страницы пагинации:

Добавьте теги rel="prev" и rel="next", чтобы указать поисковым системам связь между страницами.
Для всех страниц, кроме первой (например, page=2 и далее), рекомендуется использовать noindex, чтобы индексировалась только первая страница.

Страницы с фильтрами:

Если по заданному фильтру нет товаров (например: /product?color=purple, но на складе нет товара), рекомендуется возвращать 404 или перенаправлять на смежную категорию.

Отсутствие стандартных HTML-тегов

Например, если на странице отсутствует тег H1, поисковые системы могут посчитать, что тема страницы не определена. Также без структурированных данных (Schema Markup) такие важные сведения, как цена или наличие товара, могут не отображаться в результатах поиска.



<link rel="canonical" href="https://example.com/product" />

Отсутствие или дублирование заголовка H1

Поиск проблемы:

Используйте инструменты разработчика браузера, чтобы проверить, есть ли на странице товара единственный тег
с ключевыми словами.
Распространённые ошибки: несколько тегов H1 (например, для названия товара и бренда) или нерелевантный контент в H1 (например, «Добро пожаловать в наш магазин»).

Решение:

На каждой странице товара должен быть только один H1, содержащий модель товара и основное преимущество (например: Кроссовки серии X | Амортизация и воздухопроницаемость, новинка 2024 года
).
Запрещено заменять текст H1 изображением (поисковые системы не читают текст на изображениях); если использование изображения необходимо, добавьте атрибут aria-label.

Неоптимизированный meta description

Влияние: При отсутствии или неполном meta description поисковая система автоматически отображает случайный фрагмент текста страницы, что снижает кликабельность.

Шаги оптимизации:

Длина должна составлять 150-160 символов, включать основные ключевые слова и призыв к действию (например: ).
Настройте в CMS автоматическую генерацию description из полей с преимуществами товара, чтобы избежать пропусков.

Игнорирование структурированных данных Schema

Важность для SEO: Разметка Schema помогает поисковым системам понимать цену товара, рейтинг, наличие на складе и другие важные характеристики, улучшая видимость страницы в поиске.

Как реализовать:
Используйте Schema Markup Generator для генерации JSON-LD разметки типа Product и добавьте её в тег :

<script type="application/ld+json">

{

"@context": "https://schema.org/",

"@type": "Product",

"name": "Кроссовки серии X",

"image": "https://example.com/shoe.jpg",

"offers": {

"@type": "Offer",

"price": "99.99",

"priceCurrency": "USD",

"availability": "https://schema.org/InStock"

}

}

script>

Инструмент проверки: используйте Google Structured Data Testing Tool для проверки правильности разметки.

Отсутствие Alt-текста у изображений

SEO-ценность: Alt-текст помогает поисковым системам понимать содержимое изображения и улучшает доступность сайта.

Распространённые ошибки:

Отсутствие alt () или чрезмерное заполнение ключевыми словами (alt="кроссовки обувь бег амортизация новинка 2024").

Правильное использование:

Опиши изображение и его контекст (например: alt="Фото кроссовок серии X в чёрном цвете, демонстрация амортизирующей подошвы").
Для декоративных изображений используйте alt="", чтобы не добавлять лишнюю информацию.

Неверная Canonical-ссылка

Риск: Если canonical-ссылка указывает на главную страницу или категорию вместо страницы товара, это может привести к неправильному распределению SEO-авторитета.

Проверка и исправление:

Используйте Screaming Frog для массовой проверки страниц товаров и выявления неправильных или внешних canonical-ссылок.
Правильный формат: (должна указывать на каноническую версию текущей страницы).

Выберите страницу товара, которая долго не индексировалась, и проверьте её по этому чек-листу. Обычно ключевые проблемы можно найти менее чем за 30 минут.

Don Jiang

SEO本质是资源竞争，为搜索引擎用户提供实用性价值，关注我，带您上顶楼看透谷歌排名的底层算法。