Som det fremgår af vedstående grafik, er Netarkivets robot ganske aggressiv imod min server – omkring 40% af båndbredden blev brugt af den.
Det kan jeg ikke acceptere, når andre søgerobotter, som Google, kan nøjes med langt mindre. Jeg har derfor konsulteret jeres FAQ, spørgsmål 19, og inkluderet jeres ip-adresser i en drop-regel i min firewall:
130.226.228.7
130.226.228.8
130.226.228.72
130.226.228.73
130.226.228.74
130.226.228.75
130.226.228.78
130.225.26.132
130.225.26.133
130.225.26.135
130.225.26.136
130.225.26.138
130.225.26.139
130.225.27.140
Tilgengæld er det god service, at I informerer om jeres ip-adresser. Skulle I en dag få tunet jeres søgerobotter, så de ikke fremstår så aggressivt, er I naturligvis velkomne til at bede om fornyet adgang.
Pas på du ikke bryder Pligtafleveringsloven 😉
Ikke mindst
8. Hvad sker der hvis jeg forhindrer jer i at høste mit site?
Hvis vi bliver opmærksomme på det, vil vi rette henvendelse og prøve at finde frem til en løsning der tilgodeser dine behov og vores forpligtigelse til at indsamle bevare den danske kulturarv på Internettet. Hvis vi ikke kan blive enige, har vi i allersidste ende muligheden for at gå rettens vej.
Glemte lige et link til deres “let læselige” udgave:
http://www.pligtaflevering.dk/online/vejledning.pdf
Pingback: /var/blog/messages » Netarkivet – hvem og hvad høstes?