6 technische Gründe, warum Produktseiten nicht indexiert werden｜ohne doppelte Inhalte und Crawling-Beschränkungen

本文作者：Don jiang

2025-07-08

Home » 博客 » Ausgewählte Artikel » 6 technische Gründe, warum Produktseiten nicht indexiert werden｜ohne doppelte Inhalte und Crawling-Beschränkungen

Der Grund, warum eine Seite nicht indexiert wird, könnte im Code-Aufbau oder in der Server-Konfiguration liegen.

Zum Beispiel kann es sein, dass Crawler deine dynamischen Inhalte nicht „verstehen“ können oder eine fehlerhafte Parametereinstellung dazu führt, dass die Seite als Duplikat eingestuft wird.

In diesem Artikel werden aus technischer Perspektive 6 oft übersehene, aber direkt die Indexierung beeinflussende Probleme zusammengefasst – inklusive praktischer Tipps zur Fehlerbehebung.

Table of Contens

Langsame Ladegeschwindigkeit verhindert Crawling durch Suchmaschinen

Beispielsweise geben Googlebot & Co. Seiten auf, wenn die Server-Antwortzeit länger als 3 Sekunden beträgt, oder sie indexieren nur unvollständige Inhalte.

Dieses Problem wird häufig übersehen, da Website-Betreiber meist nur auf das Frontend und die Nutzererfahrung achten (z.B. ob Animationen angezeigt werden), jedoch die „Geduldsschwelle“ der Crawler ignorieren.

Zu lange Server-Antwortzeiten

Fehlerdiagnose:
Prüfe die „Time to First Byte“ (TTFB) mit Google Search Console unter „Core Web Vitals“ oder Tools wie GTmetrix. Liegt der Wert über 1,5 Sekunden, ist Optimierung nötig.

Lösungen:

Upgrade der Server-Hardware (z.B. CPU, RAM) oder Wechsel zu einem leistungsstärkeren Hosting-Anbieter (z.B. Cloudways, SiteGround).
Optimierung von Datenbankabfragen: Komplexe JOINs vermeiden und Produktdaten-Tabellen indizieren.
Aktivieren von Server-Caching (z.B. Redis, Memcached), um die Häufigkeit dynamischer Seitenaufrufe zu reduzieren.

Unoptimierte Ressourcen-Dateien

Typische Probleme:

Produktbilder nicht komprimiert (z.B. PNG nicht in WebP umgewandelt, Auflösung über 2000px).
Unkomprimierte CSS/JS-Dateien, die dutzende HTTP-Anfragen erzeugen.

Lösungsansätze:

Bilder mit Tools wie Squoosh oder TinyPNG komprimieren und auf gängige Bildschirmgrößen (z.B. 1200px Breite) anpassen.
CSS/JS-Dateien mit Webpack oder Gulp bündeln, um die Anzahl der Anfragen zu minimieren.
Komprimierung per Gzip oder Brotli aktivieren, um Datenübertragungsvolumen zu reduzieren.

Render-blockierende Skripte

Aus Sicht des Crawlers:
Wenn beim Parsen der HTML-Seite ein synchron geladenes Skript (z.B. Google Analytics) auftritt, pausiert der Crawler, bis das Skript ausgeführt wurde.

Optimierung:

Unnötige Skripte mit async oder defer laden (z.B.: ).
Drittanbieter-Tools (z.B. Chat-Plugins, Heatmaps) erst nach dem Laden der Seite ausführen.

Prüf-Tools & Prioritätsempfehlungen

Selbst-Checkliste:

PageSpeed Insights: Identifiziere Ressourcenprobleme (z.B. „JavaScript-Ausführungszeit verkürzen“).
Screaming Frog: Prüfe TTFB auf vielen Produktseiten und filtere langsame URLs heraus.
Lighthouse: Im Bereich „Opportunities“ Verbesserungsvorschläge (z.B. ungenutztes CSS entfernen) umsetzen.

Dringende Optimierung:
Priorisiere Seiten mit TTFB > 2 Sekunden, mehr als 50 HTTP-Anfragen oder Bildern > 500KB.

Referenzdaten:
Laut Google steigt die Wahrscheinlichkeit eines Crawl-Abbruchs um 32 %, wenn die Ladezeit von 1 auf 3 Sekunden steigt. Mit den genannten Maßnahmen können die meisten Produktseiten in unter 2 Sekunden geladen werden, was die Indexierungschancen deutlich erhöht.

Fehlerhafte Sperrung der Produktseiten im robots.txt

Ein typisches Beispiel: Wenn in der robots.txt versehentlich Disallow: /tmp/ als Disallow: /product/ eingetragen wird, werden Produktseiten komplett blockiert – selbst bei hochwertigem Content.

Schnelle Diagnose von robots.txt-Blockaden

Prüf-Tools:

Google Search Console: Unter „Indexierung“ → „Seiten“ prüfen, ob Produktseiten als „blockiert“ angezeigt werden und Details zur robots.txt-Blockade einsehen.
Online-Testtools: Nutze das robots.txt-Testtool, um URLs aus Sicht des Crawlers zu prüfen.

Typische Fehler:

Falsche Schreibweise im Pfad (z.B. /produc/ statt /product/).
Übermäßiger Einsatz von Wildcards * (z.B. Disallow: /*.jpg$ blockiert alle Produktbilder).

Fehlerhafte robots.txt-Regeln korrigieren

Grundsätze für korrektes Schreiben：

Präzise Pfadangabe: Vermeide zu breite Sperrungen, z. B. für temporäre Verzeichnisse besser Disallow: /old-product/ anstelle von Disallow: /product/ verwenden.
Unterscheidung nach Crawler-Typ: Wenn nur Spam-Bots blockiert werden sollen, muss der User-agent gezielt angegeben werden (z. B.: User-agent: MJ12bot).

Umgang mit URL-Parametern：

Erlaube notwendige Parameter (z. B. Seiten-Pagination ?page=2), blockiere gezielt nur bestimmte Parameter, z. B. Disallow: *?sort=.
Nutze das Symbol $, um das Ende von Parametern zu definieren (z. B.: Disallow: /*?print=true$).

Notfall-Wiederherstellung & Prüfprozess

Beispielhafte Vorgehensweise：

Bearbeite die robots.txt-Datei und kommentiere oder entferne fehlerhafte Zeilen (z. B.: # Disallow: /product/).
Reiche die robots.txt-Änderung über die Google Search Console ein.
Nutze das Tool „URL-Prüfung“ zur manuellen Überprüfung der Crawlbarkeit der Produktseiten.
Prüfe nach 24 Stunden erneut den Indexierungsstatus. Falls keine Besserung, Sitemap der Produktseiten aktiv einreichen.

Schutzmaßnahmen：

Verwende ein Versionskontrollsystem (z. B. Git), um Änderungen an der robots.txt zu dokumentieren und rückgängig machen zu können.
Ändere Regeln zuerst in einer Testumgebung, um Fehler im Live-System zu vermeiden.

Praxisbeispiel

Fehlerhafte Konfiguration：

User-agent: *
Disallow: /
Allow: /product/

Problem: Durch Disallow: / wird die gesamte Website blockiert, die nachfolgende Allow-Regel greift nicht.

Korrekte Anpassung：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /product/

Logik: Nur Admin- und temporäre Verzeichnisse werden gesperrt, der Produktbereich bleibt zugänglich.

Produktseiten ohne interne Verlinkung

Wenn eine Produktseite intern nicht verlinkt ist (z. B. in Navigation, Empfehlungen oder als Ankertext im Content), wirkt sie wie eine „einsame Insel“ und wird trotz guter Inhalte nur schwer von Suchmaschinen gefunden.

Dies betrifft häufig neue Produkte, spezielle Kampagnenseiten oder Seiten, die aus externen Tools massenhaft importiert wurden — diese sind oft nicht in die Seitenstruktur eingebunden.

Fehlende oder schlecht gestaltete Navigationsstruktur

Typische Probleme：

Produktseiten sind nicht in die Hauptnavigation oder Kategoriestruktur eingebunden (nur über Suchergebnisse erreichbar).
Auf Mobilgeräten verstecken sich wichtige Produkt-Links in tiefen Untermenüs (z. B. in Hamburger-Menüs).

Lösungsansätze：

Selbstcheck-Tool: Mit Screaming Frog die gesamte Website crawlen und Produktseiten mit „Anzahl interner Links ≤ 1“ identifizieren.

Optimierungsschritte：

Füge im Hauptmenü Kategorien wie „Top-Neuheiten“ oder „Empfohlene Produkte“ hinzu, die direkt auf Produktübersichtsseiten verlinken.
Stelle sicher, dass jede Produktseite mindestens einer Kategorie zugeordnet ist (z. B.: /category/shoes/product-A).

Unzureichende Nutzung von Empfehlungsmodulen

Aus Sicht von Suchmaschinen-Bots: Dynamische „Das könnte Ihnen gefallen“-Module, die via JavaScript geladen werden, sind für Crawler oft nicht sichtbar.

Statische Einstiege für dynamische Empfehlungseinhalte bereitstellen, z. B. festen Bereich für „Top 10 Bestseller der Woche“ anzeigen und direkt zur Produktseite verlinken.

Brotkrümelnavigation deckt wichtige Hierarchieebenen nicht ab

Fehlerhaftes Beispiel: Breadcrumb-Pfad ist zu kurz und verweist nicht auf Kategorieseiten (z. B. Startseite > Produkt A).

Lösungsmethoden:

Vollständige Kategorie-Hierarchie ergänzen (z. B. Startseite > Sportschuhe > Laufschuhe > Produkt A), dabei jede Ebene als klickbaren Link ausführen.
Im CMS automatische Breadcrumb-Generierung konfigurieren, damit die URL-Struktur konsistent ist (z. B. /kategorie1/kategorie2/produkt-name).

Fehlende Ankertext-Links in Inhaltsseiten

Produktbeschreibungen natürlich mit Links zu verwandten Produkten anreichern (z. B. „Diese Kamera ist kompatibel mit Stativ X“).
Im Kundenbewertungsbereich Ankertext-Empfehlungen ergänzen, z. B. „Kunden, die dieses Produkt gekauft haben, interessierten sich auch für:“.

Notfall-Strategie

Temporäre Lösung:

Eine Übersichtsseite „Neuheiten“ erstellen, die nicht indexierte Produkte bündelt, und diese im Footer der Startseite verlinken.
In bestehenden Seiten mit hoher Autorität (z. B. Blog-Artikel) Links zu Zielproduktseiten einfügen (z. B. „Lesetipp: Die besten Laufschuhe 2024“).

Langfristige Maßnahmen:

Wöchentliche Überwachung der Indexierung der Produktseiten (z. B. mit Ahrefs Site Audit) und gezielter Aufbau interner Links bei Lücken.

Inhaltsverlust durch JavaScript-Rendering (dynamische Ausspielung)

Beispiel: Produktseiten, die mit Vue oder React entwickelt wurden, bei denen zentrale Inhalte (z. B. SKU, Produktspezifikationen) asynchron über API geladen werden – Crawler können diese Inhalte ggf. wegen Zeitüberschreitung nicht erfassen.

Das Resultat: Indexierte Seiten zeigen nur Platzhalter wie „Wird geladen“ und verlieren Sichtbarkeit in den Suchergebnissen.

So erkennen Sie fehlende Inhalte durch dynamisches Rendering

Selbsttest-Tools:

Google Mobile-Friendly Test: Produktseiten-URL eingeben, prüfen, ob im gerenderten HTML-Screenshot zentrale Inhalte (Preis, Kaufen-Button etc.) sichtbar sind.
curl-Befehl zur Crawler-Simulation: Terminal-Befehl ausführen curl -A "Googlebot" URL und den HTML-Output mit dem Quellcode im Browser-Developer-Tool vergleichen.

Typische Anzeichen:

Im Seitenquelltext fehlen wichtige Inhalte wie Produktbeschreibungen oder Bewertungen, stattdessen stehen nur Platzhalter wie
.
Im Google Search Console Indexbericht erscheint „Gecrawlt – zurzeit nicht indexiert“ mit dem Hinweis „leere Seite“.

Server-Side Rendering (SSR) und Pre-Rendering als Lösungen

Vorteile von SSR: Der Server erzeugt das komplette HTML vorab und liefert es an den Crawler, sodass alle Inhalte direkt verfügbar sind.

Geeignete Frameworks: Next.js (React), Nuxt.js (Vue), Angular Universal.

Beispielcode (Next.js Produktseiten-Route):

export async function getServerSideProps(context) {

const product = await fetchAPI(`/product/${context.params.id}`);

return { props: { product } };

Alternative Lösung für Pre-Rendering: Für Websites, die nicht auf SSR umgestellt werden können, können Dienste wie Prerender.io oder Rendertron genutzt werden, um statische Snapshots zu generieren.

Konfigurationsschritte:

Middleware auf dem Server einrichten, um Crawler-Anfragen zu erkennen und an den Pre-Rendering-Dienst weiterzuleiten.
Gerenderte Ergebnisse cachen, um wiederholte Render-Kosten zu reduzieren.

Optimierung des Ladezeitpunkts für dynamische Inhalte

Wichtige Logik: Zentrale Produktinformationen (Titel, Preis, Spezifikationen) direkt im initialen HTML einbetten, anstatt sie asynchron per JavaScript zu laden.

Fehlerhaftes Beispiel:

// Preis wird asynchron geladen (Crawler warten evtl. nicht)

fetch('/api/price').then(data => {

document.getElementById('price').innerHTML = data.price;

});

Korrekte Lösung:

<!-- Preis direkt im initialen HTML ausgeben -->
$99.99

Kontrolle der JavaScript-Ausführungsdauer und der Ressourcen-Größe

Akzeptanzgrenze von Crawlern: Googlebot wartet in der Regel maximal ca. 5 Sekunden auf die Ausführung von JavaScript und das Rendern der Seite.

Optimierungsmaßnahmen:

Code-Splitting: Nur notwendige JavaScript-Dateien auf Produktseiten laden (z. B. Galerie- oder Slider-Skripte entfernen, wenn sie nicht benötigt werden).

// Nicht-kritische Module dynamisch laden (z. B. Video-Player für Produkte)

import('video-player').then(module => {

module.loadPlayer();

});

Lazy-Loading für Ressourcen außerhalb des Sichtbereichs: Kommentare, Empfehlungen usw. erst nach DOMContentLoaded laden.

Duplicate Content durch chaotische URL-Parameter

Zum Beispiel kann dasselbe Produkt aufgrund unterschiedlicher Parameter-Reihenfolge (/product?color=red&size=10 und /product?size=10&color=red) von Crawlern als zwei verschiedene Seiten erkannt werden, was zu Ranking-Verlusten oder Duplicate-Content-Problemen führen kann.

Auswirkung von URL-Parametern auf Duplicate Content prüfen

Tools zur Eigenkontrolle:

Google Search Console: Im Bericht „Indexabdeckung“ nach „Eingereicht, aber nicht indexiert“ filtern und die Anteile der URLs mit Parametern prüfen.
Screaming Frog: Crawl mit aktivierter „Ignore Parameters“-Option durchführen, um die Anzahl der URL-Varianten pro Produktseite zu ermitteln.

Typische Problemfälle:

Mehrere URLs für ein Produkt durch Filter (z. B. Sortierung nach Preis, Farbfilter).
Fehlende rel="canonical"-Tags auf paginierten Seiten, was dazu führt, dass jede Seite als separate URL behandelt wird.

Standardisierung von Parametern und Konsolidierung der SEO-Wertigkeit

Priorisierte Lösungen:

Feste Parameter-Reihenfolge: Einheitliche Sortierung der Parameter erzwingen (z. B. Farbe → Größe → Sortierung), um URL-Duplikate zu verhindern.

Beispiel: Alle URLs müssen das Format /product?color=red&size=10 verwenden; andere Varianten werden per 301-Redirect auf die kanonische URL weitergeleitet.

Verwendung von Canonical-Tags: Im <head>-Bereich jeder Parameter-URL ein Canonical-Tag einfügen, das auf die Haupt-Produktseite verweist.

Unnötige Parameter blockieren

Verwenden Sie meta robots noindex oder die robots.txt, um die Indexierung von Tracking-Parametern zu verhindern (z.B. ?session_id=xxx).

Serverseitige Methoden zur Parameterbehandlung

URL-Rewrite-Regeln:

Beispiel für Apache (Ausblenden von Paginierungsparametern und Standardisierung der URL):



RewriteCond %{QUERY_STRING} ^page=([2-9]|10)$

RewriteRule ^product/?$ /product?page=%1 [R=301,L]

Beispiel für Nginx (Zusammenführen von Sortierparametern):



if ($args ~* "sort=price") {

rewrite ^/product /product?sort=price permanent;

}

Dynamische Parameterkontrolle:

Definieren Sie in Ihrem CMS eine Whitelist zulässiger Parameter. Ungültige Parameteranfragen werden mit einem 404-Fehler beantwortet oder zur Startseite umgeleitet.

SEO-Strategien für Paginierungs- und Filterseiten

Paginierungsseiten:

Fügen Sie die Tags rel="prev" und rel="next" hinzu, um die Beziehung zwischen den Seiten für Suchmaschinen klarzustellen.
Setzen Sie für alle Paginierungsseiten außer der ersten (z.B. page=2 und folgende) das Attribut noindex, sodass nur die erste Seite indexiert wird.

Filterseiten:

Wenn bei einer Filteranfrage keine Produkte gefunden werden (z.B. /product?color=purple bei Lagerbestand 0), geben Sie einen 404-Fehler zurück oder leiten Sie mit einem 302-Redirect auf eine relevante Kategorie weiter.

Fehlende standardisierte HTML-Tags

Wenn eine Seite z.B. keinen H1-Tag enthält, könnte sie von Suchmaschinen als „themenlos“ eingestuft werden. Zudem wird ohne strukturierte Daten (Schema Markup) die Darstellung wichtiger Informationen wie Produktpreis oder Lagerbestand in den Suchergebnissen erschwert.



<link rel="canonical" href="https://example.com/product" />

Fehlender oder doppelter H1-Tag

Problemidentifikation：

Über die Entwicklertools des Browsers prüfen, ob auf der Produktseite genau ein
-Tag vorhanden ist, der relevante Keywords enthält.
Häufige Fehler: Mehrere H1-Tags (z.B. gleichzeitig für Produktname und Markenname) oder irrelevante Inhalte im H1 (z.B. „Willkommen im Shop“).

Lösungsansatz：

Sicherstellen, dass jede Produktseite genau ein H1-Tag hat, das den Produktnamen und zentrale Verkaufsargumente enthält (z.B.: Laufschuhe X-Serie | Dämpfend & Atmungsaktiv, Neu 2024
).
Keine Bilder als Ersatz für H1-Text verwenden (Suchmaschinen können den Text in Bildern nicht erkennen). Wenn unbedingt nötig, aria-label hinzufügen.

Meta-Beschreibung (description) nicht optimiert

Auswirkung：Fehlt die Meta-Beschreibung oder ist sie unvollständig, wählt die Suchmaschine automatisch zufälligen Text der Seite als Snippet, was die Klickrate senkt.

Optimierungsschritte：

Die Länge sollte zwischen 150-160 Zeichen liegen und zentrale Keywords sowie eine Handlungsaufforderung enthalten (z.B.: ).
Im CMS Regeln einrichten, damit automatisch Produkt-Highlights als description übernommen werden, um leere Felder zu vermeiden.

Fehlende strukturierte Daten (Schema)

Suchmaschinenanforderung：Schema-Markups helfen, wichtige Produktattribute wie Preis, Bewertung und Lagerbestand klar an Suchmaschinen zu übermitteln und sorgen für erweiterte Suchergebnisse.

Umsetzungsmethode：

Mit dem Schema Markup Generator JSON-LD-Code vom Typ “Product” generieren und im -Bereich einfügen:

<script type="application/ld+json">

{

"@context": "https://schema.org/",

"@type": "Product",

"name": "Laufschuhe X-Serie",

"image": "https://example.com/shoe.jpg",

"offers": {

"@type": "Offer",

"price": "99.99",

"priceCurrency": "USD",

"availability": "https://schema.org/InStock"

}

}

script>

Test-Tool: Mit dem Google Structured Data Testing Tool prüfen, ob das Markup korrekt implementiert wurde.

Bilder ohne Alt-Text

SEO-Wert：Alt-Texte helfen Suchmaschinen, den Bildinhalt zu verstehen, und verbessern die Barrierefreiheit.

Fehlerhafte Beispiele：

Alt-Text leer lassen () oder Keyword-Stuffing betreiben (alt="Laufschuhe Sportschuhe Dämpfungsschuhe Neu 2024").

Richtige Schreibweise：

Bildinhalt und Nutzungskontext klar beschreiben (z.B.: alt="Produktfoto der Laufschuhe X-Serie in Schwarz, zeigt die Dämpfungsstruktur der Sohle").
Bei rein dekorativen Bildern alt="" setzen, um unnötige Informationen zu vermeiden.

Falsche Canonical-Verlinkung

Risiko：Wenn das Canonical-Tag einer Produktseite fälschlicherweise auf eine Kategorieseite oder die Startseite zeigt, wird die SEO-Linkkraft falsch verteilt.

Prüfung & Korrektur：

Mit Screaming Frog alle Produktseiten crawlen und Seiten mit fehlerhaften oder externen Canonical-URLs herausfiltern.
Standard-Format: (zeigt auf die korrekte Version der aktuellen Seite).

Wählen Sie eine Produktseite, die seit längerer Zeit nicht indexiert wurde, und überprüfen Sie diese Punkt für Punkt anhand dieser Liste — oft lassen sich Kernprobleme innerhalb von 30 Minuten identifizieren.

Don Jiang

SEO本质是资源竞争，为搜索引擎用户提供实用性价值，关注我，带您上顶楼看透谷歌排名的底层算法。