Die robots.txt ist eine kleine Datei, die Suchmaschinen sagt, welche Bereiche einer Website sie nicht besuchen sollen.
Sie liegt im Hauptverzeichnis der Website. Üblich ist, den Verwaltungsbereich auszuschliessen. Während der Entwicklung wird oft die ganze Seite gesperrt, damit Google den halbfertigen Stand nicht aufnimmt.
Ein Klassiker: Die Sperre aus der Entwicklungszeit bleibt nach dem Launch aktiv, und die neue Website ist wochenlang unsichtbar. Sehr diskret, aber nicht im Sinn der Sache. Am Tag des Livegangs lohnt sich ein Blick.
Nächster Schritt
Lass uns bauen.
Zwei Minuten für den Projekt-Check, und wir kommen vorbereitet ins Gespräch.