Der HEAD Bereich einer HTML Seite Suchmaschinenspider mittels META-Tag "robots" steuern

Tags: 

Die sogenannten Meta-Tags findet man meistens direkt unter dem Title-Tag im Head-Bereich der HTML-Datei. Es gibt einige nicht standardisierter Meta-Tags und einige speziell festgelegte Meta-Tags, deren Anwendung durchaus sinnvoll ist - dazu gehört der in diesem Artikel beschriebene Meta-Tag "robots" für die Suchmaschinenspider.

Auch bei vorhandener robots.txt hat man immer noch die Möglichkeit entsprechende META-Tags in den einzelnen HTML-Dateien anzubringen.
Bei den Anweisungen für die Suchmaschinenspider (Robots, Crawler) handelt es sich nur um Empfehlungen. Man kann die Suchmaschinenbots nicht beeinflussen sich daran zu halten.

Den Meta-Tag Robots setzt man, wenn eine Suchmaschine eine Seite nicht indexieren soll. In diesem Fall sieht der Meta-Tag folgendermaßen aus:
<meta name="robots" content="noindex, nofollow">

Wenn man möchte, dass der Crawler die Seite indexiert und die gefundenen Links verfolgt, dann verwendet man den folgenden Meta-Tag:
<meta name="robots" content="index, follow">

Falls Sie nicht wollen, dass Ihre Seiten im Cache gespeichert, aber weitherin indexiert werden, sollte folgender Meta-Tag verwendet werden.
<meta name="robots" content="noarchive">
Dieser Meta-Tag findet hauptsächlich für Google Verwendung. Die Internetsurfer können dann nicht (mehr) über den Link auf der Suchergebnisseite von Google "Im Cache" auf die zwischengespeicherte Version der Seite zugreifen.

Seit Mai 2006 hat MSN nun auch einen Meta-Tag vorgestellt, mit dem man die Nutzung der ODP-Daten in den SERPs verhindert kann. Das ist vor allem dann sinnvoll, wenn man mit der Beschreibung im ODP nicht zufrieden ist und den Eintrag dort selbst nicht ändern (lassen) kann. Nachdem MSN diesen Meta-Tag vorgestellt hatte, kam Google noch am selben Tag ebenfalls mit einem Meta-Tag hierfür heraus. (Quelle: http://www.prometeo.de)

Um die Nutzung der ODP-Beschreibung für MSN und Google auszuschließen verwendet man folgenden Tag:
<meta name=”robots” content=”noodp”>
Um die Nutzung nur für MSN auszuschließen kommt dieser zum Einsatz:
<meta name=”msnbot” content=”noodp”>
Um die Nutzung nur für Google auszuschließen nehmen Sie diesen Tag:
<meta name=”googlebot” content=”noodp”>

Der Robots-Meta-Tag wird in der Regel von allen Suchmaschinen beachtet. Wenn man jedoch eine effiziente Kontrolle über die Seiten, die indexiert werden sollen, haben möchte, kommt man um die Einbindung einer robots.txt nicht herum.

Disclaimer

Ungeachtet der Sorgfalt, die auf die Erstellung von Text, Abbildung und Programmen verwendet wurde, kann der Autor für mögliche Fehler und deren Folgen keine juristische Verantwortung oder irgendeine Haftung übernehmen.
Der Artikel enthält eventuell Links zu anderen Seiten im Internet auf deren Inhalt und Design wir keinen Einfluss haben. Der Autor erklärt hiermit ausdrücklich, dass zum Zeitpunkt der Linksetzung keine illegalen Inhalte auf den zu verlinkenden Seiten erkennbar waren. Auf die aktuelle und zukünftige Gestaltung, die Inhalte oder die Urheberschaft der verlinkten/verknüpften Seiten hat der Autor keinerlei Einfluss. Deshalb distanziert er sich hiermit ausdrücklich von allen Inhalten aller verlinkten /verknüpften Seiten, die nach der Linksetzung verändert wurden.

Falls Sie an unseren Leistungen interessiert sind, kontaktieren Sie uns. © Copyright, AlphaNodes GmbH - alle Rechte vorbehalten.