robots.txt

B

borusse59

kennt sich schon aus
Guten Morgen

Ich hätte da eine Frage zum Thema robots.txt. Beim überprüfen lassen meiner Webseite wurde bemängelt das keine robots.txt zu finden sei. Nun habe ich eine per Texteditor erstellt und auf den Webspace hoch geladen.
Ich habe sie jetzt einfach in das Verzeichnis geladen, in dem meine Webseiten abgelegt sind. So habe ich das jedenfalls verstanden.
Der Inhalt besteht aus; User-agent: *
Disallow:
Damit sollte ja für alle Suchmaschinen die Erlaubnis erteilt sein.
Macht es Sinn irgendwelche Bereiche da auszugrenzen?
Wenn ich jetzt die Seite überprüfen lasse, wird immer noch keine robots.txt gefunden.
Habe ich da irgendwo einen Denkfehler was den Einsatz betrifft?

Gruß borusse
 
Danke. Zumindestens liegt sie im richtigen Verzeichnis. Nur die Kommandozeile hab ich net drinn, war auf der Seite die ich gelesen hatte , nicht mit angegeben. Noch hinzufügen und dann ma sehn.

Gruß borusse
 
Äh, sorry, aber wenn du eh alles erlaubst, dann kannst du dir die robots.txt schenken. Meines Wissens gibt es nirgendwo eine Vorschrift, die besagt, das du eine robots.txt benutzen musst.
 
Ahso, dachte halt, da bei diesen Webseitenchecks die man machen kann bemängelt wurde das da überhaupt keine ist, ich müsst mir sowas ma zulegen^^. Ich dachte das erleichtert den Suchmaschinenbots die Arbeit. Bis jetzt gings ja auch ohne.

Gruß borusse
 
Ich kann mit ruhigem Gewissen sagen, dass ich auf den meisten Seiten, die ich für andere erstellt habe und die in den Suchergebnissen der einschlägigen Suchmaschinen bei allgemeinen Anfragen zum passenden Thema auf der ersten Seite zu finden sind, keine robots.txt verwendet habe.

... obwohl es z.B. Sinn machen würde, Verzeichnisse in denen sich z.B. nur Scripte befinden von der Indizierung auszuschließen, das macht es den Suchmaschinen einfacher, sie indizieren den Kram eh nicht, also müssen sie die entsprechenden Verzeichnisse auch gar nicht erst durchsuchen. Bilderverzeichnisse, in denen nur Seitendeko enthalten ist, würde ich auch ausnehmen - es sei denn, du willst unbedingt die Grafiken mit den Farbverläufen oder Rändern in der Google Bildersuche wieder finden (Ich will solche Ergebnisse da bestimmt nicht sehen :D)
 
Alles klaro, dann besten Dank für die Hilfen und Erklärungen. Zu mindestens bin ich durch das beschäftigen mit dem Thema nicht dümmer geworden :D.
Dann nen schönen Tag noch.

Gruß borusse
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Oben