Webserver Robots.txt-File, das alles verbietet

bastla

mit bastla_Assi

• 24 Mai 2011

• #1

Hallo,

ich habe mir letztens einen FTP-Server auf einem Webhoster zugelegt und möchte dort eine Robots.txt schreiben, die das finden sämtlicher Dateien und Ordner auf dem Server verbietet.

Der Server soll privat sein und nicht durch Google zu finden sein!

Schonmal vielen Dank für Antworten und Gruß
bastla

 

Tequilla

assimiliert

• 24 Mai 2011

• #2

Ich bin zwar nicht mehr auf dem neuesten Stand aber ich denke diese robots erfüllt Deinen gesuchten Zweck

Code:

User-agent: *
Disallow: /dir1/
Disallow: /dir2/
Disallow: /dir3/
.
.
.

 

bastla

mit bastla_Assi

• 24 Mai 2011

• #3

Das wäre eine sehr umständliche Methode, und außerdem würden andere, die die robots.txt aufrufen, dann sehen, welche Verzeichnisse vorliegen.

Besser geht es mit:

Code:

User-agent: *
Disallow: /

Quelle

Trotzdem vielen Dank (bin selbst erst gerade darauf aufmerksam geworden ) und Gruß
bastla

 

HeikeFy

assimiliert

• 24 Mai 2011

• #4

Wenn du verhindern willst, dass keiner die Seite findet oder ohne deine Zustimmung aufruft, dann schütze sie durch ein Passwort per .htaccess
Wie steht z. Bsp. auf SELFHTML

 

Supernature

Und jetzt?

Teammitglied

• 26 Mai 2011

• #5

Ist es nun ein Web- oder ein FTP-Server?
Sowohl htaccess als auch die robots.txt kommen nur bei einem Webserver zum Einsatz.
Und die robots.txt ist eine "Empfehlung" an die Suchmaschinen-Bots, sie können sich daran halten oder auch nicht.