Waar is het oude web gebleven? We volgden 657.607 links om erachter te komen
Een oude databaseback-up van 0.mk bevatte 657.958 links die werden aangemaakt tussen 2009 en 2014, samen met hun klikaantallen. We hebben 657.607 van deze records hersteld als links van vóór 2015 en in augustus 2026 elke bestemming bezocht. Van de 655.178 veilige, crawlbare linkrecords keerde 76,7% niet langer terug naar een ladende pagina.
De meeste gebruikers van 0.mk waren in Macedonië, dus dit is geen volkstelling van het gehele web. Het is een groot overgebleven verslag van wat één online gemeenschap in die periode deelde, inclusief lokaal nieuws, persoonlijke blogs, fotohosts, forums en de grote platforms van die tijd.
Toen 0.mk in 2009 startte, was het een passieproject dat werd gebouwd door een team van drie personen. We werkten eraan wanneer we konden, meestal een paar uur per week naast onze reguliere banen. Zeventien jaar later vond een van ons een oude databaseback-up op een schijf en besloot deze terug te brengen.
Hieronder volgt het overzicht van die zes jaar aan linkcreatie, gevolgd door de lange stilte:
- 2009: 3.668 links
- 2010: 20.283 links
- 2011: 103.053 links
- 2012: 23.148 links
- 2013: 224.931 links
- 2014: 282.524 links
- 2026: 404 links
Dit betreft ruwe linkrecords, niet gebruikers. De piek in 2011 bevat één batch van 83.398 links; 97,8% van de records uit 2013 en 99,9% van de records uit 2014 zijn niet gekoppeld aan een hersteld account. Het kleine fragment uit 2026 is de herlancering.
De overlevingstest
De crawl beslaat alle 657.607 herstelde linkrecords tot en met december 2014. We hebben 2.429 records uitgesloten waarvan de doelen foutief gevormd, intern, beveiligd of geblokkeerd waren door beleid. Dit liet 655.178 crawlbare historische links over:
- Kon geen verbinding maken: 51,24% (DNS, timeout, TLS)
- HTTP-fout: 25,44% (4xx / 5xx)
- Geladen: 23,32% (2xx / 3xx respons)
Zelfs die 23,3% overdrijft hoeveel er echt zijn overleefd. Een login-muur, een geparkeerd domein vol advertenties of een melding "deze inhoud is niet langer beschikbaar" tellen allemaal als 'laden'. Een werkende pagina betekent niet dat de oorspronkelijke inhoud er nog steeds staat.
Unieke URL's versus records
Waarom 657.607 links maar 494.781 URL's? Meerdere korte links wijzen soms naar precies dezelfde bestemming. Er zijn 162.826 van dergelijke dubbele records. Als we elke bestemming slechts één keer tellen, blijven er 494.781 unieke URL's over, waarvan 492.620 crawlbaar waren. Slechts 21,3% hiervan laadde. Het percentage verandert nauwelijks wanneer herhaalde bestemmingen worden verwijderd: 78,7% laadde nog steeds niet.
Op het niveau van unieke URL's faalde 55,0% in de netwerklaag (na het opnieuw proberen van onzekere resultaten vanaf een tweede netwerk) en gaf 23,7% een HTTP-fout terug. Het meest voorkomende HTTP-resultaat was 404, verspreid over 76.403 unieke URL's. Een andere 29.663 gaven 403 of 429 terug; deze pagina's laadde de crawler niet, maar ze blokkeren mogelijk geautomatiseerde verzoeken in plaats van dat ze echt weg zijn. Omdat een 403 of 429 kan betekenen dat de site onze crawler blokkeert, is "laadde niet" eerlijker dan te zeggen dat al deze pagina's verdwenen zijn.
Hetzelfde patroon is zichtbaar op domeinniveau. Van de 133.605 crawlbare hostnames laadde er bij slechts 34.827 minstens één URL. Bij de overige 98.778 laadde er geen enkele.
Aandeel links zonder ladende pagina in de volledige crawl:
| Jaar | URL-niveau (niet geladen) | Host-niveau (niet geladen) |
|---|---|---|
| 2009 | 64,58% | 61,53% |
| 2010 | 60,39% | 60,36% |
| 2011 | 92,53% | 61,74% |
| 2012 | 59,43% | 62,46% |
| 2013 | 75,06% | 75,24% |
| 2014 | 78,16% | 75,45% |
URL-niveau resultaten tellen elk uniek pad; host-niveau resultaten tellen elke hostname één keer.
De uitschieter van 2011 verklaart de vreemde jaarlijkse totalen. Eén account maakte 83.398 unieke links aan naar pelaphptutorials.com. Op URL-niveau laadde 92,5% van de bestemmingen uit 2011 niet. Tel je die host echter slechts één keer, dan is het cijfer 61,7%, wat bijna identiek is aan 2010 en 2012.
De jaarlijkse totalen laten geen instorting zien in het normale gebruik tijdens 2012. Verwijder je die ene batch, dan daalt 2011 van 103.053 records naar 19.655; 2012 had er 23.148. Bijna alle records uit 2013 en 2014 zijn anoniem in de herstelde data, en driekwart van hun hostnames heeft geen ladende URL. Het ruwe linkvolume is dus geen groeicurve van het aantal gebruikers.
Veel van de herkenbare overlevers zijn giganten: YouTube, Wikipedia en Google-producten. Persoonlijke blogs, forums, lokale nieuwssites en fotohosts komen voortdurend voor in de set met niet-beschikbare links. Het gecentraliseerde web heeft het over het algemeen beter volgehouden dan het kleine web.
Een wandeling door het kerkhof
De database leest als een museum van het internet uit de jaren 2010. Enkele bewoners, inclusief het aantal links dat naar hen wijst:
- Facebook photo CDN (fbcdn.net): 835 links, geen enkele laadde
- Google Code: 803 links, redirects nu vele URL's naar het archief
- PureVolume: 796 links, de oude service is weg maar het domein reageert
- Rapidshare: 139 links, geen enkele URL laadde
- Megaupload: 71 links, geen enkele URL laadde
- Picasa Web Albums: 69 links, geen enkele URL laadde
Mensen deelden Facebook-foto's als directe CDN-links; geen van de 789 unieke fbcdn.net-URL's achter die 835 records laadde. Toch geeft PureVolume nu pagina's terug voor 633 van de 653 unieke URL's, en Google Code laadt of redirect 628 van de 754. De oorspronkelijke diensten zijn weg, maar hun domeinen reageren. Een HTTP-respons is echter niet hetzelfde als behouden inhoud.
De Macedonische laag
0.mk was de eerste Macedonische URL-verkorter, dus de data is ook een verslag van een nationaal web dat gedeeltelijk niet meer bestaat. De links wijzen naar A1 Television (gestopt in 2011) en naar de kranten Utrinski Vesnik, Dnevnik en Vest, die allen in 2017 stopten met publiceren. Honderden links naar lokaal nieuws kunnen nergens meer gelezen worden, behalve soms in het Internet Archive. De korte links hebben de redacties overleefd.
De pareltjes
Zeventien jaar aan bladwijzers van anderen bevatten enkele schatten:
De allereerste ingekorte link (14 juli 2009, 03:52 uur) was geen manifest of een aankondigingspost. Het was een CSS-stijlblad op iemands WordPress-blog. Twee kliks in totaal. Rijkdommen beginnen bescheiden.
Op dag twee kortte iemand localhost in. 0.mk/localhost wees naar http://127.0.0.1/. Het kreeg twee kliks, waarbij elke bezoeker naar zijn eigen machine werd gestuurd. De kortste URL voor de eenzaamste bestemming.
De kortste link wijst naar het langste domein. 0.mk/1 heeft 10.415 kliks geregistreerd terwijl het wees naar thelongestlistofthelongeststuffatthelongestdomainnameatlonglast.com, een curiositeit uit de jaren 2000 die zelf inmiddels verdwenen is. Vier tekens die zeventien jaar lang naar zestig drie wezen.
De langste URL die we ooit hebben ingekort bevat 38.753 tekens; een CodePen-link uit 2012 waarvan de query-string letterlijk TRYINGTHEMAXIMUM_URL herhaalt. Iemand was ons aan het testen. We zijn geslaagd, en we hebben hun test nog steeds.
4.478 van onze links wijzen naar andere URL-verkorters: bit.ly, TinyURL, goo.gl. Een korte link naar een korte link; dubbele kwetsbaarheid. Google heeft goo.gl in 2025 stopgezet, dus al deze links zijn nu een ketting met een missend middenstuk: ons deel werkt nog steeds, maar wijst naar een service die niet meer resolvert. Linkrot in het kwadraat.
En de onsterfelijke link: 0.mk/7, aangemaakt op 15 juli 2009, wijst naar google.com. 95.999 kliks en tellende, en hij wijst er vandaag nog steeds naar, zeventien jaar en één wederopstanding later.
Waarom 0.mk terugkwam
Tegen 2014 dekten de inkomsten van 0.mk de hosting of het werk dat nodig was om het draaiende te houden niet meer. Spam was constant. Het filteren hiervan vereiste meer engineering, en misbruikmeldingen moesten door iemand worden beoordeeld. Het oorspronkelijke team sloot de service.
Zeventien jaar later heeft AI die vergelijking veranderd. Tegenwoordig handelt AI een groot deel van de ontwikkeling, spamdetectie, misbruikbeoordelingen, support en monitoring af waar het oude project geen budget voor had. Dat maakte het realistisch om 0.mk terug te brengen. De herstelde links draaien nu vanaf edge-machines in meer dan 300 steden.
Hoe we dit hebben gecontroleerd
We hebben elke herstelde link getest die gedateerd is vóór 1 januari 2015. De crawler volgde tot vijf redirects en probeerde verbindingsfouten opnieuw via een tweede netwerk. We telden HTTP 2xx- en 3xx-responsen als 'ladend', rapporteerden HTTP-fouten apart en maakten nooit contact met lokale of onveilige adressen.
Groetjes,