/var/blog/messages

For snart et år siden skrev jeg om Netarkivets brutale indeksering af mine hjemmesider, som fuldstændig åd al min dyrebare båndbredde. Jeg beskrev, hvordan jeg greb til hårdhændede midler og simpelthen inkludere Netarkivets ip-adresser i min firewalls drop-regel for http-trafik. Lidt provokerende, for Netarkivet læser selvfølgelig med.

En reaktion udeblev da heller ikke; den 15. oktober 2009 modtog jeg en mail fra Netarkivets daglige leder, Claus Lomborg:

Hej Uffe Andersen

Vi er kede af at vi er kommet til at genere dig med vores crawler.

Derfor vil vi fremover høste dig mindre agressivt.

Og vi vil også bede dig åbne op for vores høstere igen, som du selv foreslår på din blog.

I øvrigt er det korrekt at vi prøver at være så servicevenlige som muligt. Vores opgave er jo netop helt legitim. Vi høster de danske internetdomæner for kulturministeriet under pligtafleveringsloven. Dvs at vi har pligt til at høste de offentlige websider, og webejerne har pligt til at åbne op for vores høstere. Og det hører med til historien at vi selvfølgeligt ikke må genere webstederne. Hvis du har flere domæner som vi skal tage højde for, så sig til.

Venlig hilsen
Claus Lomborg
Daglig leder http://netarkivet.dk

Svaret gav anledning til flere spørgsmål, men det blev dog først i december, at jeg fik forfattet et svar:

Hej Claus

Lad mig først og fremmest takke for din henvendelse og beklage mit manglende svar.

Kan jeg få dig til at uddybe, hvilke domæner I høster? Du skriver nemlig “danske internetdomæner”, men i det konkrete tilfælde høstede I mit “blog.andersen.nu”-domæne og det er jo ikke just dansk. Så mener du i virkeligheden domæner hosted på danske ip-adresser? Hvad gør I så med .dk-domæner, der er hosted i udlandet?

Jeg har følgende domæner hosted på min server:
crystaldragon.dk
klippehjornet.dk
sommerhuset.nu
brokblog.dk
ljungqvist.dk
teamholmracing.dk
teamrnracing.dk
rydtoften.dk
stopdown.dk
87z.dk
ufoto.dk

andersen.nu
traumatic.com
twe.net

- flere af domænerne har flere hosts, f. eks. www.andersen.nu, blog.andersen og galleri.andersen.nu.

Når jeg modtager en bekræftelse på, at I har droslet ned for jeres robotter, vil jeg igen åbne op for jeres crawlere. Afhængigt af din uddybning af jeres høstnings-politik, forbeholder jeg mig retten til fortsat at blokere for mine ikke-.dk-domæner.

Netarkivets svar kom senere på måneden:

Hej Uffe

Tak for mail.

Nu har vi sat høstningen af dine websites til vores allermest forsigtige.

Det handler om en lang række parametre, så jeg vil helst ikke ind i detaljer.

Vi har aldrig modtaget kritiske henvendelser på denne høstningsskabelon, så i givet fald vil du blive den første – men det tror jeg ikke.

Mht hvilke domæner vi høster i Netarkivet, søger vi det, vi kalder danica. Det betyder her websites (eller dele heraf) på dansk sprog eller som har tilknytning til Danmark og et dansk publikum.

I praksis betyder det .dk domæner, domæner der hostes på IP adresser i Danmark (men også .com, .net, .info, .org osv, hvis det er danica), samt danske websider der fx hostes i andre lande – igen forudsat at det er danica. Vi ønsker kun at høste danica. Som du kan regne ud har vi visse problemer med at “opdage” danica på udenlandske IP adresser, vi følger typisk link fra danske IP-adresser og laver en maskinel undersøgelse på dem. Desuden ændrer hostingsmønstret sig ret hurtigt. Fx hoster danske hostingsfirmaer efterhånden mange domæner fra vore nabolande, som vi sjældent er interesseret i.

Håber at dette er tilstrækkeligt svar. Og tak fordi din positive holdning til arkivet.

Vores høstere kommer forbi 2-3 gange om året.

venlig hilsen
Claus Lomborg
Daglig leder http://netarkivet.dk

Det var sådan set den information jeg havde søgt, men som ikke fandtes i Netarkivets FAQ. Din hjemmeside kan og vil blive høstet, hvis den er på dansk eller med tilknytning til Danmark, uanset hvor i verden den befinder sig og uanset hvilket TLD den ligger under.

“Forty-two,”  said Deep Thought, with infinite majesty and calm.

“Good morning”, said Deep Thought at last.

“Er…good morning, O Deep Thought”, said Looquawl nervously, “do you have…er, that is…”

“An answer for you?” interrupted Deep Thought majestically. “Yes. I have.”

The two men shivered with expectancy. Their waiting had not been in vain.

“There really is one?” breathed Phouchg.

“There really is one,” confirmed Deep Thought.

“To everything? To the great Question of Life, the Universe and Everything?”

“Yes”

Both men had been trained for this moment, their lives had been a preparation for it, they had been selected at birth as those who would witness the answer, but even so they found themselves gasping and squirming like exited children.

“And you’re ready to give it to us?” urged Loonquawl.

“I am.”

“Now?”

“Now,” said Deep Thought.

They both licked their dry lips.

“Though I don’t think,” added Deep Thought, “that you’re going to like it.”

“Doesn’t matter!” said Phouchg. “We must know it! Now!”

“Now?” inquired Deep Thought.

“Yes! Now…”

“All right,” said the computer, and settled into silence again. The two men fidgeted. The tension was unbearable.

“You’re really not going to like it,” observed Deep Thought.

“Tell us!”

“All right,” said Deep Thought. “The answer to the great Question…”

“Yes…!”

“Of life, the Universe and Everything…” said Deep Thought.

“Yes…!”

“Is…” said Deep Thought, and paused.

“Yes…!

“Is…”

“Yes…!!!…?”

- nåeh nej, det er jo først i morgen .

A hår sit i mit fjernsyn at no går æ galt.
Mæ åltj det vy skylder å intj hår betålt.
Åel skjæller uk, å kon fo er tefres,
gammel å oeng, ja, siel spæbøen hår stres.
Åel skjæller uk, å kon fo er tefres,
gammel å oeng, ja, siel spæbøen hår stres.

Åelting det stiger, kon kronen går nier.
Åltj mens de ser, vi ska brueg mier å mier.
Så ska vi spåer, å så ska vi brueg.
Parolen dæj skywter trej gåen på en ueg.

Vor bil dæj er tysk å vor fjernsyn japansk.
Å det vi kaitj dar i, det er amerikansk.
Hva er æ for noe? Hva æjjer æ mæ?
Hvodant er vi kommen så tossi årstæ?

Det er val en ting, som vi nøe vil vær ve.
At vi søber de koel, som vi sæel hår svint te.
For de flæst hår jo magten, så det er så næmt,
det blyevr præsis, som de flæst hår bestemt.

Men vo vi klåeg, både for det vi er månner i flok?
Tenk så klåeg vi ku blyev, hvis vi båer var nok.
Dar er no en ting, det var skønt å ha væst,
om de flæst er de bæest eller båer de flæst.

- de sidste to vers er nok noget af det klogeste, der nogensinde er sagt, om demokrati.

Teksten stammer fra festABC, dog lettere redigeret, for at stemme med Youtube-versionen.

Som det fremgår af vedstående grafik, er Netarkivets robot ganske aggressiv imod min server – omkring 40% af båndbredden blev brugt af den.

Det kan jeg ikke acceptere, når andre søgerobotter, som Google, kan nøjes med langt mindre. Jeg har derfor konsulteret jeres FAQ, spørgsmål 19, og inkluderet jeres ip-adresser i en drop-regel i min firewall:

130.226.228.7
130.226.228.8
130.226.228.72
130.226.228.73
130.226.228.74
130.226.228.75
130.226.228.78
130.225.26.132
130.225.26.133
130.225.26.135
130.225.26.136
130.225.26.138
130.225.26.139
130.225.27.140

Tilgengæld er det god service, at I informerer om jeres ip-adresser. Skulle I en dag få tunet jeres søgerobotter, så de ikke fremstår så aggressivt, er I naturligvis velkomne til at bede om fornyet adgang.

Cyanide & Happiness @ Explosm.net

Ja, nogen ting kan bare ikke formuleres, så de ikke kan misforståes

I går skød jeg en hjort med gevær!

Uha, det var godt den ikke skød først så!

I går skød jeg en hjort på 100m!

Det var godtnok en lang hjort!

Jeg faldt over den her, via en af mine facebook-venner, med-ingeniør og med-motorcyklist, Niels. Ja, den siger jo det meste – om omverdnens manglende forståelse for, hvem det er der sørger for vores magelige, vestlige livsstil .