Zoekmachines indexeren je websites via hun crawler. Dit kan soms zo snel gaan dat je site overbelast wordt of dat de crawler een ‘429 too many requests’ terug krijgt. Bij onze shared hosting pakketten mogen dit soort crawlers maximaal 1 hit per seconde doen per website.
Om het aantal hits per crawler te beperken zou je dit toe kunnen voegen aan je robots.txt in de /web/ map. Hiermee geef je aan hoe snel een crawler je site mag indexeren:
Crawl-delay: 5
Met deze instelling mag een crawler maximaal 1 hit per 5 seconde doen.
