Internet Gigablast Spider nervt mich

Hallo Leute...

kann mir jemand genauere Informationen zu der Suchmaschine Gigablast (Gigablast) geben.
Diese Suchmaschine sagte mir bis vor wenigen Tagen noch gar nichts. Seit einigen Tagen crawlt jedoch der Spider dieser Suchmaschine extrem übereifert meine Webseite. Allein die index.php wurde heute schon fast 50mal vom Gigablast-Spider aufgerufen... das nervt mich.

Habe mir die Suchmaschine mal angeschaut. Wenn sie auch in englischer Sprache ist, gefällt sie mir von Bedienbarkeit und Suchergebnissen sehr gut...

Dennoch überlege ich mir zurzeit, ob ich die Spider-IP sperre... um Traffic zu reduzieren.

Wie hier zu lesen ist, akzeptiert Gigablast eine vorhandene robots.txt

was würden andere Homepagebetreiber dafür geben, dass sich eine Suchmaschine so sehr für ihren Schützling interessiert

Jochen 11 schrieb:

was würden andere Homepagebetreiber dafür geben, dass sich eine Suchmaschine so sehr für ihren Schützling interessiert

Zum Vergrößern anklicken....

Vermutlich eine Menge!
Aber Interesse ist ja nicht zwangsläufig rentabel.

Danke für den Link mit der robots.txt @Supernature