[Wyszukiwarki] Jak spowolnić indeksowanie serwisu przez roboty sieciowe (np. msnbot, Slurp)?

PROBLEM

Chcesz aby roboty indeksujące serwis pobierały jego zawartość znacznie wolniej.

ROZWIĄZANIEnoselect

Jeżeli masz bardzo duży serwis na niezbyt wydajnym serwerze (lub o ograniczonej mocy procesora), na którym przebywa akurat kilka szybko indeksujących robotów (np. Google, Slurp i msnbot), możesz się spodziewać kłopotów z przeciążeniem maszyny. Każdy z nich potrafi indeksować ponad 30 stron na minutę. Mało tego, częste i szybkie indeksowanie zasobów powoduje duży transfer, za który przecież trzeba płacić dostawcy usług internetowych.

Googla aktualnie nie powstrzymasz (chyba, że napiszesz do firmy prośbę o spowolnienie indeksowania), ale roboty msnbot i Slurp możesz ładnie zwolnić. Oto sposób:

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
UWAGA! To tylko fragment strony! Całą zobaczysz po opłaceniu abonamentu!

Słowa kluczowe dla porady

user agent, user-agent, useragent, indeksowanie, robots.txt