Zum Inhalt springen

Seite gecrawlt, aber zurzeit nicht indexiert: Ursachen und Lösungen

8 Min. LesezeitStand: Von David, Gründer von Smart2Index
Management-Kurzantwort

Was bedeutet es, wenn die Search Console eine Seite als gecrawlt, aber zurzeit nicht indexiert meldet?

Meldet die Search Console eine Seite als gecrawlt, zurzeit nicht indexiert, hat Google sie abgerufen, aber nicht in den Index aufgenommen; handeln müssen Sie nur, wenn eine wichtige Zielseite betroffen ist. Im Bericht „Seitenindexierung“ ist diese Meldung bei vielen Websites üblich, etwa bei Archiv- oder Parameter-URLs. Fehlen jedoch Leistungsseiten oder Fachartikel, beheben Sie die Ursache über eigenständige Inhalte, interne Links und eindeutige Canonicals. Nach einem Crawling-Antrag kann die Prüfung einige Tage bis mehrere Wochen dauern.

  • Im Bericht „Seitenindexierung“ bei vielen Websites üblich und bei Hilfsseiten kein Fehler.
  • Kein Abrufproblem: Der Googlebot hat die URL bereits erfolgreich abgerufen.
  • Ohne Google-Indexierung kann eine Seite nicht als Quelle in Google AI Overviews erscheinen.
1 weiterer Punkt
  • Nach einem Crawling-Antrag kann die Neubewertung einige Tage bis mehrere Wochen dauern.
Schaubild von Smart2Index zu Themenclustern und interner Verlinkung mit den Punkten Pillar-Hub, gegenseitige Cluster-Verlinkung und kurzer Klickpfad

Wenn auf einer B2B-Website wichtige Leistungsseiten oder Fachartikel online stehen, aber im Google-Index fehlen, bleiben sie in der Suche und in Google AI Overviews unsichtbar. Marketing- und Website-Verantwortliche im B2B finden hier die Abgrenzung zu verwandten Search-Console-Meldungen, eine Diagnose-Tabelle für die Ursachensuche und einen Ablauf, der harmlose System-URLs von geschäftsrelevanten Ausfällen trennt.

Auf dieser Seite
  1. Management-Kurzantwort
  2. Was die Meldung im Bericht zur Seitenindexierung technisch aussagt
  3. Wie sich gefundene, nicht indexierte Seiten und Duplikat-Meldungen abgrenzen
  4. Typische Ursachen auf B2B-Websites erkennen
  5. Betroffene URLs in der Search Console prüfen und priorisieren
  6. Inhalt, interne Verlinkung und Canonical-Signale korrigieren
  7. Indexierung erneut beantragen und Wartezeiten realistisch planen
  8. Bei welchen URLs Sie die Nicht-Indexierung belassen können
  9. Häufige Fragen von Entscheidern

Was die Meldung im Bericht zur Seitenindexierung technisch aussagt

Eine gecrawlte, aber nicht indexierte URL hat der Googlebot abgerufen, ohne sie in den Suchindex aufzunehmen. Der Abruf ist damit weder an einem Serverfehler noch an der Datei robots.txt oder einem noindex-Vermerk gescheitert. Im Ablauf der Google-Indexierung hat die Seite damit das Crawlen hinter sich und ist erst bei der Aufnahme in den Suchindex ausgeblieben.

Laut der Search Console-Hilfe zum Bericht „Seitenindexierung“ ist der Status „Gecrawlt“ mit dem Zusatz „zurzeit nicht indexiert“ bei vielen Websites üblich und nicht zwingend ein Fehler. Für die Bewertung ruft Google Seiten gemäß der Google-Dokumentation zur Mobile-First-Indexierung mit dem Smartphone-Agent ab und stützt Indexierung sowie Ranking auf die mobile Ansicht. Fehlt auf dem Smartphone wichtiger Hauptinhalt oder ähnelt die URL vorhandenen Seiten zu stark, wird die Aufnahme in den Index weniger wahrscheinlich.

Für B2B-Unternehmen hat die Zurückstellung einer Zielseite direkte Folgen über die klassische Websuche hinaus. Eine URL außerhalb des Google-Index erzielt keine organischen Klicks bei Suchanfragen und scheidet auch für Google AI Overviews als zitierbare Quelle aus.

Wie sich gefundene, nicht indexierte Seiten und Duplikat-Meldungen abgrenzen

Während Google bei gecrawlten, nicht indexierten Seiten den Inhalt bereits abgerufen, aber nicht aufgenommen hat, kennt die Suchmaschine beim Status „Gefunden“ mit dem Zusatz „zurzeit nicht indexiert“ lediglich die URL-Adresse aus einer Sitemap oder einem Link. Der Googlebot hat die Adresse noch gar nicht aufgerufen, meist weil ein zusätzlicher Abruf den Webserver aus Sicht von Google überlastet hätte; das Feld für das letzte Crawling bleibt im Prüfbericht deshalb leer.

  • Bei gefundenen, aber noch nicht gecrawlten Seiten liegen die Hebel bei Antwortzeiten des Servers, schlankeren Parameter-Listen und einer besseren internen Erreichbarkeit.
  • Bei gecrawlten, aber ausgelassenen Seiten greifen reine Server-Maßnahmen zu kurz, weil Google den Seiteninhalt schon abgerufen und trotzdem nicht aufgenommen hat.
  • Steht im Bericht hingegen eine Duplikat-Meldung mit dem Zusatz „vom Nutzer nicht als kanonisch festgelegt“ oder „Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt“, führt Google zwei sehr ähnliche URLs zusammen und indexiert die gewählte Hauptversion.
  • Meldet die Konsole einen „Soft 404-Fehler“, liefert eine fast leere Seite technisch den Statuscode 200 zurück, obwohl dort kein nutzbarer Inhalt steht.

Typische Ursachen auf B2B-Websites erkennen

Auf B2B-Websites entsteht die Nicht-Indexierung gecrawlter Seiten oft durch schablonenhafte Leistungstexte, ähnliche Variantenseiten, fehlende interne Links oder nachgeladene Skript-Inhalte. Manche Content-Management-Systeme legen für jede Branche, Region oder Produktgröße eigene URLs an, denen eigenständige Daten, Spezifikationen und Entscheidungskriterien fehlen.

Typischer FehlerUrsache der ZurückstellungKonkrete Lösung
Schablonenhafte Leistungs- oder StandortseitenText unterscheidet sich kaum von bestehenden Unterseiten und liefert keinen eigenen InformationswertVarianten auf einer starken Zielseite bündeln oder um echte Spezifikationen, Richtwerte und Prüfkriterien ergänzen
Verwaiste Fachartikel und Whitepaper-SeitenURL steht nur in der XML-Sitemap, erhält aber keinen internen Link aus relevanten HauptseitenSeite im Fließtext themenverwandter Ratgeber und Leistungsübersichten verlinken
Ähnliche Produktvarianten und Filter-URLsMehrere URLs zielen auf dasselbe Suchthema und konkurrieren untereinanderGenau eine Zielseite je Thema festlegen und Parameter-Varianten per Canonical auf sie verweisen lassen
Unvollständige Mobil- oder Skript-AnsichtTabellen oder Fachtexte fehlen im initialen HTML für den Smartphone-AgentKerninhalte serverseitig ausliefern und die gerenderte Ansicht im URL-Prüftool kontrollieren

Nach einem Website-Relaunch können sich nicht indexierte Seiten häufen, wenn alte Schlagwort-Archive, unübersetzte Sprachversionen und automatische Katalogfilter gleichzeitig für den Crawler erreichbar sind.

Betroffene URLs in der Search Console prüfen und priorisieren

Sie priorisieren betroffene Seiten am wirksamsten, indem Sie die URL-Liste aus der Search Console exportieren und vor jeder Korrektur in geschäftskritische Zielseiten und verzichtbare System-URLs aufteilen. Wer wahllos Hunderte Nebenseiten bearbeitet, verliert Zeit an URLs ohne Suchpotenzial, während wichtige Angebotsseiten weiter im Index fehlen.

  1. Öffnen Sie in der Google Search Console den Bericht „Seitenindexierung“ und klicken Sie unter den Gründen für fehlende Indexierung auf den Eintrag für gecrawlte, derzeit nicht indexierte Seiten.
  2. Stellen Sie über den oberen Filter „Alle eingereichten Seiten“ ein, damit nur URLs erscheinen, die Sie in einer Sitemap für die Suche gemeldet haben.
  3. Exportieren Sie die Liste und stufen Sie Leistungsseiten, Produktübersichten, Vergleichsseiten und Fachartikel mit klarem Kauf- oder Informationsbezug als Priorität eins ein.
  4. Untersuchen Sie diese Hauptseiten einzeln im URL-Prüftool auf das letzte Crawling-Datum, die von Google gewählte kanonische Adresse und das gerenderte Mobil-HTML; den genauen Prüfablauf zeigt unser Ratgeber Indexstatus bei Google kontrollieren.
  5. Prüfen Sie zusätzlich in Ihrer eigenen Seitenübersicht, ob bereits eine ältere URL Ihrer Website genau dasselbe Suchthema abdeckt.

Inhalt, interne Verlinkung und Canonical-Signale korrigieren

Eine zuvor zurückgestellte B2B-Seite hat bessere Aussichten auf die Aufnahme in den Index, wenn sie sich inhaltlich deutlich von Nachbarseiten abhebt und über interne Links als relevante Zielseite erkennbar ist. Kosmetische Korrekturen an der Meta-Beschreibung oder das bloße Umstellen einzelner Sätze bringen meist wenig, wenn die Seite vorhandenen Seiten zu stark ähnelt.

Ordnen Sie jedem Suchthema auf Ihrer Website genau eine starke Zielseite zu. Wenn mehrere knappe Unterseiten dasselbe Fertigungsverfahren oder Softwaremodul beschreiben, führen Sie die Inhalte auf der stärksten URL zusammen und richten von den abgelösten Adressen eine permanente 301-Weiterleitung ein. Ergänzen Sie auf der Hauptseite konkrete technische Kenndaten, Vergleichstabellen, Einsatzgrenzen und Antworten auf typische Fachfragen aus dem Einkauf.

Verlinken Sie ausgebaute Zielseiten im Fließtext bereits indexierter Übersichtsseiten über eine strukturierte interne Verlinkung nach Themenclustern, damit Nutzer und Crawler sie auf kurzem Klickweg ab der Startseite erreichen. Stellen Sie parallel sicher, dass Sie das Canonical-Tag richtig setzen und dass Sitemap, interne Links und Canonical widerspruchsfrei auf dieselbe URL zeigen.

Indexierung erneut beantragen und Wartezeiten realistisch planen

Um eine überarbeitete oder neue Webseite bei Google indexieren zu lassen, reichen Sie einzelne Adressen nach der Korrektur über das URL-Prüftool mit der Funktion „Indexierung beantragen“ ein und halten für größere Seitenmengen eine aktuelle XML-Sitemap bereit. Stoßen Sie den erneuten Abruf erst an, wenn die inhaltlichen und strukturellen Änderungen live erreichbar sind, damit der Googlebot nicht erneut den alten Stand bewertet.

Planen Sie für die Neubewertung eingereichter Seiten realistische Fristen ein: Laut der Google-Dokumentation zum erneuten Crawlen kann ein beantragter erneuter Abruf einige Tage bis mehrere Wochen dauern. Für einzelne Einreichungen im URL-Prüftool gilt ein Kontingent, und mehrfache Anträge für dieselbe URL beschleunigen die Aufnahme nicht. Umfassen Ihre Umbauten viele Unterseiten, pflegen Sie geänderte URLs gesammelt über die Sitemap ein; worauf es dabei ankommt, zeigt die Anleitung zum XML-Sitemap erstellen und prüfen.

Bing führt einen eigenen Index, ein Antrag bei Google gilt dort nicht. Deshalb ist es ein eigener Schritt, Ihre Website in den Bing-Index zu bringen.

Bei welchen URLs Sie die Nicht-Indexierung belassen können

Sie können die fehlende Indexierung einer gecrawlten URL in der Regel belassen, wenn die betreffende Seite keinen eigenen Suchbedarf abdeckt und Besuchern als direkter Einstieg aus Google keinen Nutzen bietet. Eine B2B-Website muss im Bericht zur Seitenindexierung keine Null-Fehler-Quote erreichen, solange sämtliche Leistungsseiten, Produktseiten, Ratgeber und zentralen Unternehmensseiten zuverlässig im Index stehen.

  • Automatisch erzeugte Schlagwort-Archive, Datums-Archive und blätterbare Folgeseiten ab Seite zwei listen lediglich vorhandene Beiträge ohne eigenen Fachinhalt auf.
  • URLs mit Sortier- oder Tracking-Parametern zeigen bestehende Übersichten in anderer Reihenfolge und gehören nicht als separate Treffer in die Suchergebnisse.
  • Interne Suchergebnisseiten Ihrer Website-Suche, Bestätigungsseiten nach einer Anfrage sowie Login-Masken sind nur für laufende Besuche gedacht.
  • Technische Feed-Adressen im RSS-Format, die viele Redaktionssysteme automatisch unter Beitragsseiten anlegen, dienen Feedreadern und müssen nicht im Google-Index stehen.

Entfernen Sie verzichtbare Hilfs- und System-URLs konsequent aus Ihrer XML-Sitemap, damit der Sitemap-Filter in der Search Console künftig nur noch echte Ausfälle bei Ihren Zielseiten meldet.

Häufige Fragen von Entscheidern

Wie kann ich Suchmaschinen gezielt davon abhalten, meine Website oder einzelne Seiten zu indexieren?

Um eine Seite aus dem Suchindex herauszuhalten, setzen Sie im HTML-Kopfbereich das Meta-Tag „noindex“ oder senden bei PDF-Dateien den HTTP-Header „X-Robots-Tag: noindex“. Wichtig ist, dass die betreffende URL in der Datei robots.txt weiterhin zum Abruf freigegeben bleibt. Sperren Sie die Seite gleichzeitig per robots.txt, kann der Googlebot den noindex-Befehl nicht auslesen und behält bereits verlinkte Adressen mitunter im Index.

Warum wird meine gesamte Website nicht von Google gefunden, obwohl einzelne Seiten gecrawlt wurden?

Wenn Ihre gesamte Website in den Google-Suchergebnissen fehlt, kann ein aus der Testumgebung übernommener noindex-Vermerk oder eine Sperre in der robots.txt die Ursache sein. Bei neu veröffentlichten Domains kann die Erstaufnahme zudem einige Tage bis mehrere Wochen dauern. Prüfen Sie Ihre Startseite zuerst per Live-Test im URL-Prüftool auf Statuscode 200 und freigegebene Indexierung.

Erscheint eine bei Google nicht indexierte Seite trotzdem in ChatGPT oder Claude?

Das ist möglich, eine Nennung lässt sich aber nicht zusagen. Dafür muss Ihre robots.txt die Bots von OpenAI und Anthropic zulassen. OpenAI trennt den OAI-SearchBot (Suche in ChatGPT) vom GPTBot (Training); wer den OAI-SearchBot sperrt, erscheint nicht in den Suchantworten von ChatGPT. Anthropic nutzt Claude-SearchBot und Claude-User; wer sie sperrt, kann an Sichtbarkeit in Claude verlieren.

Sollte ich nicht indexierte Filter- und Parameterseiten in der robots.txt sperren?

Eine Sperre in der Datei robots.txt lohnt sich erst, wenn Ihr Produktkatalog so viele Parameter-Kombinationen erzeugt, dass sie das Crawling wichtiger Zielseiten ausbremsen. Bei überschaubaren B2B-Websites genügt ein sauberes Canonical-Tag auf die Hauptkategorie, weil Google ein Canonical nur auf abrufbaren Seiten lesen kann. Prüfen Sie vor jeder Sperrregel an Beispiel-URLs, dass keine Leistungsseiten oder für das mobile Rendering benötigten Skript- und Stil-Dateien blockiert werden.

Prüfen, ob KI-Assistenten Ihre Firma bei einer Käuferfrage schon nennen

Tragen Sie im kostenlosen KI-Check eine echte Käuferfrage und Ihre Domain ein, um zu prüfen, wen ChatGPT, Perplexity, Gemini, Claude und Google AI heute nennen. Sie starten die Abfrage auf smart2index.de und erhalten das Ergebnis innerhalb eines Werktags per E-Mail.