Hi, ich suche einen WebCrawler der mir automatisch alle "Unterseiten" einer Webpage findet, die NoIndex oder Nofollow "an" haben (also von Google und co nicht gefunden werden kann).
Also zB: ich gebe dem Programm eine Webseite vor: "www.beispiel.de" und er sucht jede Seite ab die mit "www.beispiel.de/" anfängt und spuckt mir die Seiten mit NoIndex oder NoFollow in einer Liste oder so aus.
Keine Angst es geht hier um nichts illegales, ich will nur meine eigene Webseite überprüfen.
Kann auch für Linux sein, spez. Debian/Ubuntu, oder halt für Windoof.
Vielen Dank schonmal!
Flo
Also zB: ich gebe dem Programm eine Webseite vor: "www.beispiel.de" und er sucht jede Seite ab die mit "www.beispiel.de/" anfängt und spuckt mir die Seiten mit NoIndex oder NoFollow in einer Liste oder so aus.
Keine Angst es geht hier um nichts illegales, ich will nur meine eigene Webseite überprüfen.
Kann auch für Linux sein, spez. Debian/Ubuntu, oder halt für Windoof.
Vielen Dank schonmal!
Flo