klasch
chronische Wohlfühlitis
Ein echtes Preformance Problem stellen die sogenannten Crawler hier vornehmlich "Yahoo! Slurp Suchmaschine" dar, wenn sie ungehindert und ohne Begrenzung auf ein Board zugreifen können das in so einen hohen Maß mit neuen Beiträgen frequentiert wird.
Um dieses Problem zu beseitigen sollte man die Zeit zwischen den Zugriffen definieren, dies macht für das auffinden der Beiträge überhaupt keinen unterschied.
Jedesmal wenn sich in einem Thema etwas ändert, leißt der Crawler das gesamte Thema neu, dies macht wenig Sinn wegen jedem Einzelpost dauernd alles neu zu lesen. So wird man die Crawler den gesamten Tag nicht los die Folge ist das ständig 300 - 400 Leseaktionen auf dem Board stattfinden.
Was kann man tun, die robots.txt ist das Instrument in dem der Crawler die Anweisung erhält wie er sich auf dem Board zu verhalten hat.
Dieser Eintrag in der robots.txt gibt dem User "Yahoo! Slurp Suchmaschine" die Anweisung ein Thema nur alle xxx Sekunden neu zu lesen.
User-agent: Slurp
Crawl-delay: xxx
Ein guter Wert ist hier 300 man kann aber ein wenig experimentieren mit Werten zwischen 20 - und 86400 (also jedes Thema einmal pro Tag).
Das ist im Prinziep auch Traffic.
Um dieses Problem zu beseitigen sollte man die Zeit zwischen den Zugriffen definieren, dies macht für das auffinden der Beiträge überhaupt keinen unterschied.
Jedesmal wenn sich in einem Thema etwas ändert, leißt der Crawler das gesamte Thema neu, dies macht wenig Sinn wegen jedem Einzelpost dauernd alles neu zu lesen. So wird man die Crawler den gesamten Tag nicht los die Folge ist das ständig 300 - 400 Leseaktionen auf dem Board stattfinden.
Was kann man tun, die robots.txt ist das Instrument in dem der Crawler die Anweisung erhält wie er sich auf dem Board zu verhalten hat.
Dieser Eintrag in der robots.txt gibt dem User "Yahoo! Slurp Suchmaschine" die Anweisung ein Thema nur alle xxx Sekunden neu zu lesen.
User-agent: Slurp
Crawl-delay: xxx
Ein guter Wert ist hier 300 man kann aber ein wenig experimentieren mit Werten zwischen 20 - und 86400 (also jedes Thema einmal pro Tag).
Das ist im Prinziep auch Traffic.