So reichen Sie eine aktualisierte oder neue Robots.txt-Datei erneut ein

Roboter txt

Unsere Agentur kümmert sich darum organische Suchberatung für mehrere SaaS-Anbieter in der Branche. Ein Kunde, mit dem wir kürzlich zusammengearbeitet haben, hat eine ziemlich übliche Vorgehensweise durchgeführt, indem er seine Anwendung in einer Subdomain platziert und seine Broschüren-Site in die Kerndomäne verschoben hat. Dies ist eine Standardpraxis, da sowohl Ihr Produktionsteam als auch Ihr Marketingteam bei Bedarf Aktualisierungen vornehmen können, ohne von der anderen abhängig zu sein.

Als ersten Schritt bei der Analyse des Zustands ihrer organischen Suche haben wir sowohl die Broschüre als auch die Anwendungsdomänen in Webmasters registriert. Zu diesem Zeitpunkt haben wir ein unmittelbares Problem festgestellt. Alle Anwendungsseiten wurden von den Suchmaschinen für die Indizierung gesperrt. Wir haben zu ihrem robots.txt-Eintrag in Webmasters navigiert und das Problem sofort identifiziert.

Während der Vorbereitung der Migration wollte das Entwicklungsteam nicht, dass die Anwendungs-Subdomain durch die Suche indiziert wird, und untersagte daher den Zugriff auf Suchmaschinen. Die robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Site. yourdomain.com/robots.txt - Damit weiß die Suchmaschine, ob sie die Site crawlen soll oder nicht. Sie können Regeln schreiben, um die Indizierung für die gesamte Site oder bestimmte Pfade zuzulassen oder zu verbieten. Sie können auch eine Zeile hinzufügen, um Ihre Sitemap-Datei anzugeben.

Das Robots.txt Die Datei hatte den folgenden Eintrag, der verhinderte, dass die Site gecrawlt und in den Suchergebnissen indiziert wurde:

User-Agent: * Disallow: /

Es sollte wie folgt geschrieben worden sein:

User-Agent: * Zulassen: /

Letzteres gewährt jeder Suchmaschine, die die Site crawlt, die Erlaubnis, auf jedes Verzeichnis oder jede Datei innerhalb der Site zuzugreifen.

Großartig ... also jetzt, wo die robots.txt Datei ist perfekt, aber woher weiß Google und wann werden sie die Website erneut überprüfen? Sie können absolut verlangen, dass Google Ihre robots.txt überprüft, aber es ist nicht zu intuitiv.

Navigieren Sie zu der Google Search Console Suchkonsole , und hellen sich wieder auf, wenn Wolken aufziehen. Mit der SnowVision hast du eine Skibrille, die optimale Sicht bei jedem Wetter ermöglicht. Crawl> robots.txt Tester. Sie sehen den Inhalt der zuletzt gecrawlten robots.txt-Datei im Tester. Wenn Sie Ihre robots.txt-Datei erneut senden möchten, klicken Sie auf Senden. In einem Popup werden einige Optionen angezeigt.

Senden Sie robots.txt erneut

Die letzte Option ist Bitten Sie Google um ein Update. Klicken Sie auf die blaue Schaltfläche Senden neben dieser Option und navigieren Sie zurück zu Crawl> robots.txt Tester Menüoption zum erneuten Laden der Seite. Sie sollten jetzt die aktualisierte robots.txt-Datei zusammen mit einem Datumsstempel sehen, der anzeigt, dass sie erneut gecrawlt wurde.

Wenn Sie keine aktualisierte Version sehen, können Sie auf Senden klicken und auswählen Hochgeladene Version anzeigen um zu Ihrer eigentlichen robots.txt-Datei zu navigieren. Viele Systeme werden diese Datei zwischenspeichern. Tatsächlich generiert IIS diese Datei dynamisch basierend auf Regeln, die über die Benutzeroberfläche eingegeben wurden. Sie müssen höchstwahrscheinlich die Regeln aktualisieren und den Cache aktualisieren, um eine neue robots.txt-Datei zu veröffentlichen.

robots-txt-tester

Was denken Sie?

Diese Seite verwendet Akismet, um Spam zu reduzieren. Erfahren Sie, wie Ihre Kommentardaten verarbeitet werden.