Wenn man dem Robot von einer Suchmaschine die Anweisung geben möchte, dass dieser eine einzelne Seite nicht im Index aufnehmen soll, ist eine robots.txt Datei notwendig.

Doch wie muss man die robots.txt Seite für die Suchmaschinen erstellen?

Das ist kein Problem. Denn es gibt kostenlose Generatoren im Internet um eine robots.txt Datei erstellen zu können. Hier findet Ihr einen Generator im Internet.

http://www.webmaster-elite.de/online-tools/robotstxt.html