
robots.txt aufsetzen und richtig steuern
Auf B2B-Websites mit Produktfiltern und Kundenportalen entscheidet die Steuerung der Crawler darüber, ob Bots Leistungsseiten abrufen oder…
Eine XML-Sitemap mit höchstens 50.000 URLs oder 50 MB unkomprimiert pro Datei erstellen Sie in drei Schritten: per CMS, Plugin, Generator oder Skript erzeugen, im Stammverzeichnis ablegen und in der Search Console einreichen. Viele CMS erzeugen sie automatisch. Eine Sitemap erleichtert das Entdecken Ihrer Seiten, garantiert aber weder Crawling noch Indexierung.

Es geht um B2B-Websites mit Leistungs-, Ratgeber- und Vergleichsseiten und um drei Fragen: welche Seiten in die Datei gehören, welches Verfahren zu Ihrer Website passt und wie die Datei aufgebaut ist. Eine Tabelle zeigt, welche Meldung des Sitemaps-Berichts welche Korrektur verlangt.
Eine XML-Sitemap ist eine Datei im Format XML, die jene Adressen Ihrer Website auflistet, die in Suchmaschinen erscheinen sollen. Sie ist ein Hinweis, keine Anweisung: Laut Google Search Central hilft sie beim Entdecken von URLs, garantiert aber kein Crawling und keine Indexierung.
Wichtig wird sie bei großen Websites, auf denen nicht jede Seite sicher von einer anderen verlinkt ist, bei neuen Websites mit wenigen externen Links und bei vielen Medieninhalten oder Google News. Als klein gilt eine Website mit etwa 500 Seiten oder weniger, die in den Suchergebnissen erscheinen sollen. Ist sie zusätzlich vollständig intern verlinkt, kann die Sitemap entfallen, weil Googlebot alle Seiten über Links von der Startseite findet.
B2B-Websites mit Leistungs-, Ratgeber- und Vergleichsseiten profitieren trotzdem: Jede neue Seite wird an einer Stelle gemeldet, und die Sitemap dient als Prüfliste. Was in ihr steht, sollte erreichbar, indexierbar und kanonisch sein. Wie Seiten überhaupt in den Suchindex gelangen, beschreibt der Beitrag zur Google-Indexierung.
In die Sitemap gehören nur kanonische Adressen, die mit Status 200 antworten und in den Suchergebnissen erscheinen sollen. Jede andere Adresse sendet der Suchmaschine widersprüchliche Signale.
| Seitentyp | In die Sitemap? | Grund |
|---|---|---|
| Startseite, Leistungs-, Ratgeber- und Vergleichsseiten | Ja | Diese Seiten sollen gefunden werden. |
| Seiten mit noindex | Nein | Die Sitemap meldet sie an, das Meta-Tag schließt sie aus. |
| Weiterleitungen und gelöschte Seiten (404) | Nein | Tragen Sie stattdessen die Ziel-URL ein. |
| Duplikate, Filter- und Parameter-URLs | Nur die kanonische Fassung | Sonst melden Sie denselben Inhalt mehrfach. |
| Login-Bereiche, Danke-Seiten, Testseiten | Nein | Sie sollen in keiner Suche auftauchen. |
| Per robots.txt gesperrte Adressen | Nein | Der Crawler darf sie nicht abrufen. |
Eine Sitemap hält keine Seite aus dem Index fern. Dafür braucht es ein noindex-Meta-Tag, denn die robots.txt blockiert nur das Crawlen. Im Bericht „Seitenindexierung“ der Search Console erscheinen Weiterleitungen und gelöschte Seiten als „Seite mit Weiterleitung“, „Soft 404-Fehler“ oder „Nicht gefunden (404)“. Stehen solche Adressen noch in der Sitemap, räumen Sie dort zuerst auf.
Am wenigsten Pflege braucht eine Sitemap, die Ihr CMS oder ein SEO-Plugin bei jeder Änderung selbst neu erzeugt. Prüfen Sie deshalb zuerst, ob schon eine existiert: Rufen Sie /sitemap.xml auf, bei WordPress zusätzlich /wp-sitemap.xml. Laut Google haben viele CMS schon eine Sitemap bereitgestellt, etwa WordPress, Wix und Blogger.
| Weg | Passt zu | Schwäche |
|---|---|---|
| CMS oder SEO-Plugin | Websites, die laufend wachsen | Nimmt mitunter noindex-Seiten, Archive oder Tag-Seiten auf; Einstellungen prüfen. |
| Online-Generator oder Desktop-Crawler | Kleine, selten geänderte Websites | Liefert nur den Stand des Crawls; kostenlose Varianten begrenzen oft die URL-Zahl. |
| Skript aus Datenbank oder Seitenliste | Shops, Portale, Eigenentwicklungen | Entwicklungsaufwand, Filterregeln pflegen Sie selbst. |
| Von Hand | Wenige Seiten, statische Website | Jede Änderung ist Handarbeit. |
Welcher kostenlose Sitemap-Generator der beste ist, hängt von vier Prüffragen ab:
Wächst Ihr Bestand laufend, gewinnt die CMS-Lösung. Ein Generator genügt, wenn Sie die Datei nach größeren Änderungen selbst neu erzeugen und hochladen.
Eine XML-Sitemap besteht aus einem urlset-Element mit einem url-Block je Adresse und der Pflichtangabe loc; pro Datei gelten höchstens 50.000 URLs oder 50 MB unkomprimiert. Eine minimale Datei mit einer Adresse (Beispieldomain) besteht aus diesen Zeilen:
| Zeile | Aufgabe |
|---|---|
| <?xml version="1.0" encoding="UTF-8"?> | Deklariert die Kodierung UTF-8. |
| <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> | Wurzelelement mit Namensraum. |
| <url> | Beginnt den Eintrag für eine Adresse. |
| <loc>https://www.ihre-domain.de/leistungen/</loc> | Pflicht: vollständige Adresse mit Protokoll. |
| <lastmod>2026-11-13</lastmod> | Optional: Datum der letzten inhaltlichen Änderung. |
| </url> und </urlset> | Schließen Eintrag und Datei. |
Von Hand erzeugen Sie die Datei in einem Texteditor: Zeilen kopieren, je Seite einen url-Block anlegen, als sitemap.xml in UTF-8 speichern. Adressen schreiben Sie einheitlich mit oder ohne www, Sonderzeichen wie & als &.
Das Datum lastmod trägt Google zufolge nur dann etwas bei, wenn es konsistent und nachprüfbar stimmt; ein neues Copyright-Jahr zählt nicht als Änderung. priority und changefreq ignoriert Google, Sie können sie weglassen. Unsere eigene Sitemap trägt je Adresse nur loc und lastmod ein. Wie das Änderungsdatum mit dem Schema-Markup zusammenspielt, steht im Beitrag zu dateModified. Bei mehr als 50.000 URLs oder mehr als 50 MB teilen Sie die Adressen auf mehrere Sitemaps auf und fassen sie in einer Sitemap-Indexdatei zusammen.
Legen Sie die Sitemap im Stammverzeichnis ab und melden Sie sie doppelt: per Zeile in der robots.txt und im Sitemaps-Bericht der Search Console. So gehen Sie vor:
Laut Search Console-Hilfe wird die Sitemap normalerweise sofort abgerufen; das Crawlen der URLs kann länger dauern, und nicht jede URL wird zwingend gecrawlt. Fehlt danach eine wichtige Seite im Index, beheben Sie zuerst die Ursache, verlinken die Seite intern und testen sie in der URL-Prüfung. Erst dann beantragen Sie die Indexierung, wie es der Beitrag zum Indexstatus beschreibt.
Testen Sie die Sitemap in drei Stufen: die Datei selbst, die Adressen darin und den Sitemaps-Bericht der Search Console. Ein allgemeiner XML-Validator prüft nur, ob die Datei wohlgeformt ist; der Bericht zeigt zusätzlich, was Google mit ihr anfängt.
| Meldung oder Befund | Ursache | Lösung |
|---|---|---|
| „Sitemap enthält URLs, die von der robots.txt-Datei blockiert werden“ | Eine Disallow-Regel trifft Adressen der Sitemap. | Regel anpassen oder Adressen entfernen; robots.txt testen. |
| Meldungen der Gruppe „Sitemap-Parsing-Fehler“ | Das XML ist fehlerhaft, etwa durch ein nicht maskiertes & oder ein fehlendes Schluss-Tag. | Datei korrigieren, & als & schreiben. |
| „Zu viele URLs“ oder „Sitemap-Dateigrößenfehler“ | Mehr als 50.000 URLs oder 50 MB. | Aufteilen und Indexdatei nutzen. |
| „Ungültiges Datum“ | lastmod hat kein gültiges Datumsformat. | W3C-Format verwenden, etwa 2026-11-13. |
| „Nicht übereinstimmende Pfadangaben: www fehlt“ | Die Sitemap-Adresse und die Adressen darin unterscheiden sich in der www-Schreibweise. | Schreibweise vereinheitlichen. |
| „Seite mit Weiterleitung“, „Nicht gefunden (404)“ im Bericht „Seitenindexierung“ | Veraltete Adressen stehen noch in der Sitemap. | Durch Ziel-URL ersetzen oder entfernen. |
Nein, nach kleinen Änderungen müssen Sie nichts neu einreichen; es genügt, die Datei unter derselben Adresse aktuell zu halten. Erzeugt Ihr CMS die Sitemap selbst, passt sie sich bei neuen Seiten an. Nach umfangreichen Änderungen ist ein erneutes Einreichen empfehlenswert. Ein Generator muss dann neu laufen, und die neue Datei ersetzt die alte auf dem Server. Der Sitemaps-Bericht zeigt, ob Google die aktuelle Fassung lesen kann.
Die Datei selbst ruft Google normalerweise sofort ab. Das Crawlen der enthaltenen URLs kann dagegen länger dauern, und nicht jede URL wird zwingend gecrawlt. Schlägt der Abruf fehl, versucht Google es einige Tage lang erneut. Zugesagt ist weder ein Zeitpunkt noch die Indexierung; prüfen Sie wichtige Seiten einzeln in der URL-Prüfung.
Nur wenn Bilder, Videos oder Nachrichten in der Suche erscheinen sollen. Das XML-Format kann Zusatzangaben zu diesen Medien aufnehmen, Google wertet sie dann zusätzlich aus. Für eine B2B-Website mit Text-, Leistungs- und Ratgeberseiten reicht meist die normale Sitemap mit loc und lastmod.
Nein, die Sitemap melden Sie in der robots.txt und im Sitemaps-Bericht. Die llms.txt ist eine eigene Textdatei mit einer Auswahl wichtiger Seiten, die Sitemap listet dagegen alle Adressen, die in Suchergebnissen erscheinen sollen. Jede Adresse aus der llms.txt sollte auch in der Sitemap stehen. Eine Zusage für Nennungen in KI-Antworten ergibt sich aus keiner der beiden Dateien.
Ja, Google akzeptiert auch eine Textdatei mit genau einer URL pro Zeile und der Endung .txt, außerdem RSS und Atom. XML ist das vielseitigste Format, weil es neben der Adresse ein Änderungsdatum und Angaben zu Bildern, Videos und News aufnehmen kann. Viele CMS erzeugen XML ohnehin automatisch.
Der kostenlose KI-Check braucht eine Käuferfrage und Ihre Domain. ChatGPT, Perplexity, Gemini, Claude und Google AI bekommen Ihre Frage, das Ergebnis kommt innerhalb eines Werktags per E-Mail.