Wie finden, crawlen und indizieren Suchmaschinen Ihre Inhalte?

SEO

Ich empfehle Kunden nicht oft, ihre eigenen E-Commerce- oder Content-Management-Systeme aufzubauen, da all die unsichtbaren Erweiterungsoptionen, die heutzutage benötigt werden - hauptsächlich auf Suche und soziale Optimierung ausgerichtet sind. Ich habe einen Artikel über geschrieben wie man ein CMS auswählt und ich zeige es immer noch den Unternehmen, mit denen ich zusammenarbeite, die versucht sind, ein eigenes Content-Management-System aufzubauen.

Es gibt jedoch absolut Situationen, in denen eine benutzerdefinierte Plattform erforderlich ist. Wenn dies die optimale Lösung ist, fordere ich meine Kunden dennoch auf, die erforderlichen Funktionen zu entwickeln, um ihre Websites für die Suche und soziale Medien zu optimieren. Grundsätzlich sind drei Hauptmerkmale erforderlich.

  • Robots.txt
  • XML-Sitemap
  • Metadaten

Was ist eine Robots.txt-Datei?

Robots.txt Datei - die robots.txt Datei ist eine Nur-Text-Datei, die sich im Stammverzeichnis der Site befindet und den Suchmaschinen mitteilt, was sie in die Suchergebnisse aufnehmen und aus diesen ausschließen sollen. In den letzten Jahren haben Suchmaschinen außerdem angefordert, dass Sie den Pfad zu einer XML-Sitemap in die Datei aufnehmen. Hier ist ein Beispiel von mir, mit dem alle Bots meine Site crawlen und sie auch auf meine XML-Sitemap leiten können:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Was ist eine XML-Sitemap?

XML-Sitemap - Genau wie HTML für die Anzeige in einem Browser vorgesehen ist, wird XML so geschrieben, dass es programmgesteuert verarbeitet werden kann. Eine XML-Sitemap ist im Grunde eine Tabelle aller Seiten Ihrer Site und der letzten Aktualisierung. XML-Sitemaps können auch in Reihe geschaltet werden. Dies bedeutet, dass eine XML-Sitemap auf eine andere verweisen kann. Das ist großartig, wenn Sie die Elemente Ihrer Website (FAQs, Seiten, Produkte usw.) logisch organisieren und in ihre eigenen Sitemaps aufteilen möchten.

Sitemaps sind unerlässlich, damit Sie den Suchmaschinen effektiv mitteilen können, welche Inhalte Sie erstellt haben und wann sie zuletzt bearbeitet wurden. Der Prozess, den eine Suchmaschine beim Aufrufen Ihrer Website verwendet, ist ohne Implementierung einer Sitemap und von Snippets nicht effektiv.

Ohne XML-SitemapSie riskieren, dass Ihre Seiten niemals entdeckt werden. Was ist, wenn Sie eine neue Produkt-Landingpage haben, die weder intern noch extern verlinkt ist? Wie entdeckt Google es? Einfach ausgedrückt ... bis ein Link dazu gefunden wird, werden Sie nicht entdeckt. Glücklicherweise ermöglichen Suchmaschinen Content-Management-Systemen und E-Commerce-Plattformen, einen roten Teppich für sie auszurollen!

  1. Google entdeckt einen externen oder internen Link zu Ihrer Website.
  2. Google indiziert die Seite und ordnet sie nach ihrem Inhalt und dem Inhalt und der Qualität der Website des verweisenden Links.

Mit einer XML-SitemapSie überlassen die Entdeckung Ihres Inhalts oder die Aktualisierung Ihres Inhalts nicht dem Zufall! Zu viele Entwickler versuchen, Verknüpfungen zu verwenden, die ihnen ebenfalls schaden. Sie veröffentlichen das gleiche umfangreiche Snippet auf der gesamten Website und stellen Informationen bereit, die für die Seiteninformationen nicht relevant sind. Sie veröffentlichen auf jeder Seite eine Sitemap mit denselben Daten (oder alle werden aktualisiert, wenn eine Seite aktualisiert wird) und geben den Suchmaschinen Warteschlangen, in denen sie das System spielen oder unzuverlässig sind. Oder sie pingen die Suchmaschinen überhaupt nicht an ... sodass die Suchmaschine nicht merkt, dass neue Informationen veröffentlicht wurden.

Was sind Metadaten? Mikrodaten? Reiche Schnipsel?

Rich Snippets sind sorgfältig gekennzeichnete Mikrodaten Das ist dem Betrachter verborgen, aber auf der Seite sichtbar, damit Suchmaschinen oder Social-Media-Websites es nutzen können. Dies wird als Metadaten bezeichnet. Google entspricht Schema.org Als Standard für das Einfügen von Bildern, Titeln, Beschreibungen usw. sowie einer Vielzahl anderer informativer Ausschnitte wie Preis, Menge, Standortinformationen, Bewertungen usw. Das Schema verbessert die Sichtbarkeit Ihrer Suchmaschine und die Wahrscheinlichkeit, dass ein Benutzer darauf klickt, erheblich durch.

Facebook nutzt die OpenGraph Protokoll (natürlich können sie nicht gleich sein), Twitter hat sogar einen Ausschnitt, um Ihr Twitter-Profil anzugeben. Immer mehr Plattformen verwenden diese Metadaten, um beim Veröffentlichen eine Vorschau eingebetteter Links und anderer Informationen anzuzeigen.

Ihren Webseiten liegt eine Bedeutung zugrunde, die die Benutzer beim Lesen der Webseiten verstehen. Suchmaschinen haben jedoch ein begrenztes Verständnis dafür, was auf diesen Seiten diskutiert wird. Durch Hinzufügen zusätzlicher Tags zum HTML-Code Ihrer Webseiten - Tags mit der Aufschrift „Hey Suchmaschine, diese Informationen beschreiben diesen bestimmten Film, Ort, diese Person oder dieses Video“ - können Sie Suchmaschinen und anderen Anwendungen helfen, Ihren Inhalt besser zu verstehen und zeigen Sie es auf nützliche und relevante Weise an. Mikrodaten sind eine Reihe von Tags, die mit HTML5 eingeführt wurden und die Ihnen dies ermöglichen.

Schema.org, Was ist MicroData?

Natürlich ist keines davon erforderlich… aber ich kann es nur empfehlen. Wenn Sie beispielsweise einen Link auf Facebook teilen und kein Bild, Titel oder eine Beschreibung angezeigt wird, sind nur wenige Personen interessiert und klicken sich tatsächlich durch. Und wenn sich Ihre Schema-Snippets nicht auf jeder Seite befinden, können Sie natürlich weiterhin in den Suchergebnissen angezeigt werden. Konkurrenten können Sie jedoch schlagen, wenn zusätzliche Informationen angezeigt werden.

Registrieren Sie Ihre XML-Sitemaps bei der Suchkonsole

Wenn Sie Ihre eigene Content- oder E-Commerce-Plattform erstellt haben, müssen Sie über ein Subsystem verfügen, das die Suchmaschinen anpingt, Mikrodaten veröffentlicht und dann eine gültige XML-Sitemap für die zu findenden Inhalte oder Produktinformationen bereitstellt!

Vergessen Sie nicht, sich für die Suchkonsole jeder Suchmaschine (auch als Webmaster-Tool bezeichnet) zu registrieren, in der Sie den Zustand und die Sichtbarkeit Ihrer Suchmaschine überwachen können, sobald Ihre robots.txt-Datei, XML-Sitemaps und umfangreiche Snippets auf Ihrer Website angepasst und optimiert wurden Website auf Suchmaschinen. Sie können sogar Ihren Sitemap-Pfad angeben, wenn keiner aufgeführt ist, und sehen, wie die Suchmaschine ihn verbraucht, ob es Probleme damit gibt oder nicht, und sogar, wie diese behoben werden können.

Wenn Sie den roten Teppich für Suchmaschinen und soziale Medien ausrollen, werden Sie feststellen, dass Ihr Website-Ranking besser ist, Ihre Einträge auf Suchmaschinen-Ergebnisseiten mehr angeklickt wurden und Ihre Seiten mehr in sozialen Medien geteilt wurden. Das alles summiert sich!

Wie Robots.txt, Sitemaps und MetaData zusammenarbeiten

Das Kombinieren all dieser Elemente ähnelt dem Ausrollen des roten Teppichs für Ihre Site. Hier ist der Crawl-Prozess, den ein Bot zusammen mit der Indizierung Ihrer Inhalte durch die Suchmaschine durchführt.

  1. Ihre Site verfügt über eine robots.txt-Datei, die auch auf Ihren XML-Sitemap-Speicherort verweist.
  2. Ihr CMS oder E-Commerce-System aktualisiert die XML-Sitemap mit einer beliebigen Seite und veröffentlicht Datums- oder Bearbeitungsdatuminformationen.
  3. Ihr CMS oder E-Commerce-System pingt die Suchmaschinen an, um sie darüber zu informieren, dass Ihre Website aktualisiert wurde. Sie können sie direkt anpingen oder RPC und einen Dienst wie verwenden Ping-o-matic an alle wichtigen Suchmaschinen zu drücken.
  4. Die Suchmaschine kehrt sofort zurück, respektiert die Datei Robots.txt, findet neue oder aktualisierte Seiten über die Sitemap und indiziert die Seite.
  5. Wenn Ihre Seite indiziert wird, werden umfangreiche Snippet-Mikrodaten verwendet, um die Suchergebnisseite der Suchmaschine zu verbessern.
  6. Wenn andere relevante Websites auf Ihre Inhalte verweisen, rangieren Ihre Inhalte besser.
  7. Da Ihre Inhalte in sozialen Medien geteilt werden, können die angegebenen umfangreichen Snippet-Informationen dazu beitragen, eine ordnungsgemäße Vorschau Ihrer Inhalte anzuzeigen und diese auf Ihr soziales Profil zu leiten.

2 Kommentare

  1. 1

Was denken Sie?

Diese Seite verwendet Akismet, um Spam zu reduzieren. Erfahren Sie, wie Ihre Kommentardaten verarbeitet werden.