Guten Morgen
Ich hätte da eine Frage zum Thema robots.txt. Beim überprüfen lassen meiner Webseite wurde bemängelt das keine robots.txt zu finden sei. Nun habe ich eine per Texteditor erstellt und auf den Webspace hoch geladen.
Ich habe sie jetzt einfach in das Verzeichnis geladen, in dem meine Webseiten abgelegt sind. So habe ich das jedenfalls verstanden.
Der Inhalt besteht aus; User-agent: *
Disallow:
Damit sollte ja für alle Suchmaschinen die Erlaubnis erteilt sein.
Macht es Sinn irgendwelche Bereiche da auszugrenzen?
Wenn ich jetzt die Seite überprüfen lasse, wird immer noch keine robots.txt gefunden.
Habe ich da irgendwo einen Denkfehler was den Einsatz betrifft?
Gruß borusse
Ich hätte da eine Frage zum Thema robots.txt. Beim überprüfen lassen meiner Webseite wurde bemängelt das keine robots.txt zu finden sei. Nun habe ich eine per Texteditor erstellt und auf den Webspace hoch geladen.
Ich habe sie jetzt einfach in das Verzeichnis geladen, in dem meine Webseiten abgelegt sind. So habe ich das jedenfalls verstanden.
Der Inhalt besteht aus; User-agent: *
Disallow:
Damit sollte ja für alle Suchmaschinen die Erlaubnis erteilt sein.
Macht es Sinn irgendwelche Bereiche da auszugrenzen?
Wenn ich jetzt die Seite überprüfen lasse, wird immer noch keine robots.txt gefunden.
Habe ich da irgendwo einen Denkfehler was den Einsatz betrifft?
Gruß borusse