PhysicsForums en de Dead Internet Theory

Dit is een onthulling over de grootschalige vervalsing van gebruikersberichten op PhysicsForums, een wetenschappelijke gemeenschap die in 2001 werd opgericht. Het is een microkosmos van de dood van het door mensen geschreven internet.

Hoe het internet er in de toekomst uit zal zien

«Herinnert iemand zich Google People nog?» – qntm, 21 augustus 2019

Herinnert iemand zich PhysicsForums?

Het was nooit precies het centrum van het internet, maar in 2001, toen het werd opgericht, had het internet nog geen centraal middelpunt zoals nu. PhysicsForums was één van de duizenden fora, opgericht door de enthousiaste tiener Greg Bernhardt. Het bevond zich in de niche van de 'harde wetenschappen', naast sites als Bad Astronomy, en richtte zich voornamelijk op het geven van hints voor natuurkundehuiswerk aan worstelende studenten, zonder het werk volledig over te nemen.

Tot 2012 groeide het forum gestaag, waarna de populariteit in de jaren 2010 en 2020 afnam ten gunste van meer gecentraliseerde sites zoals StackExchange. Tegen 2025 was er slechts een kleine gemeenschap overgebleven. Maar, in tegenstelling tot veel andere vroege fora, veranderde PhysicsForums tussen 2003 en 2025 nooit van URL, werden oude berichten niet gewist en ging de site nooit volledig offline. Dankzij deze consistentie is PhysicsForums waardevol als tijdcapsule; het biedt een inkijkje in hoe mensen twintig jaar geleden dachten en spraken.

Een voorbeeld hiervan is een bericht uit 2007 over de mogelijkheden van de inmiddels verouderde HP 50g grafische rekenmachine, met een zeer behulpzaam antwoord van de gebruiker ravenprp.

Iets is er terribeel misgegaan

«Ik heb zojuist mijn wachtwoord gereset en voor het eerst in 10 (?) jaar ingelogd op Google People en het volgende ontdekt: 10 jaar aan updates op mijn account, geschreven door mijzelf.» – qntm, 7 september 2019

Op het eerste gezicht is ravenprp een indrukwekkende gebruiker. Hij schreef 2.891 berichten in een periode van slechts zeven maanden (september 2006 tot april 2007), wat neerkomt op gemiddeld meer dan dertien berichten per dag. De meeste hiervan waren geen korte antwoorden. Wie zijn profiel leest, krijgt de indruk dat hij een echte multidisciplinaire wetenschapper is, een moderne Renaissance-man. Hij is lid van een universiteitsfaculteit, student werktuigbouwkunde en hiring manager bij een chemische fabriek (vermoedelijk in Canada). Hij is expert in .VOB- en audiobestanden en bevestigingsmiddelen; hij is constructeur, bioloog, medisch fysicus, chemicus en lucht- en ruimtevaarttechnicus. Bovendien is hij bescheiden en claimt hij geen expertise die hij niet heeft: hij is weliswaar lucht- en ruimtevaarttechnicus, maar geen expert in aerodynamica, werktuigbouwkunde of elektrische modellen.

Opvallend genoeg beslaan deze berichten een periode die begint drie jaar vóórdat het account werd aangemaakt en eindigt een jaar nadat het account voor het laatst was gebruikt. Als kers op de taart is ravenprp zo profetisch dat hij grapt over het feit dat hij een taalmodel is ontwikkeld door OpenAI, zeven jaar voordat OpenAI überhaupt werd opgericht.

Bij het lezen van deze berichten rijst de vraag: hoe zit het met de data van registratie en laatste login? Als dit een volledig gefabriceerd account is, waarom is de creatiedatum dan niet simpelweg vóór het eerste bericht gezet en de laatste login na het laatste bericht? De Wayback Machine geeft het antwoord: terwijl het account nu 2.891 berichten vermeldt, lijst een archief uit 2019 er slechts 74. Sinds 2019 zijn deze berichten direct in de database geplaatst, zonder het profiel bij te werken.

Kijkt men alleen naar die 74 originele berichten, dan ziet men een heel andere ravenprp: een student elektrotechniek die vroeg om advies over MATLAB-boeken, werkte aan problemen over geïntegreerde schakelingen, andere gebruikers hielp met links naar de wet van Bernoulli en informatie zocht bij experts, zoals de computerprofessional ravenprp.

Het lijkt er dus op dat dit ooit een echt account was en dat ravenprp een echt persoon was met echte meningen en vragen. Maar elke originele gedachte in die 74 berichten is vrijwel volledig overstemd door de 2.817 extra berichten die zijn toegevoegd, teruggedateerd en aan hem zijn toegeschreven.

Toch zijn de discussiedraden zelf intact gebleven. In één thread werd hij geholpen door kyle8921. Het antwoord lijkt op het eerste gezicht redelijk, ware het niet voor twee problemen:

1. Kyle8921 besloot vreemd genoeg een onvolledige LaTeX-expressie uit het bericht van ravenprp af te maken voordat hij zijn eigen antwoord begon.
2. Net als ravenprp plaatste Kyle8921 het antwoord meer dan een jaar nadat hij voor het laatst was ingelogd, en bleef hij daarna nog meer dan drie jaar berichten plaatsen.

Hoe diep gaat dit probleem?

Het internet is eeuwig

«Wat betreft de 'dead internet hypothesis': de content waar je vandaag van geniet, zal morgen nog steeds aanwezig zijn.» – LoveMortuus, 24 juli 2024

Oprichter Greg Bernhardt startte PhysicsForums als een eenvoudig GHB-bulletinboard, waarbij elk bericht een uniek numeriek ID kreeg. In tegenstelling tot veel moderne sites was dit ID sequentieel: het eerste bericht kreeg ID 1, het tweede ID 2, enzovoort. Hoewel sommige berichten zijn verwijderd (waaronder alle discussies uit de eerste twee jaar, waardoor bericht #1 uit 2003 stamt en niet uit 2001), zou men verwachten dat de lijn van berichten monotoon stijgend is, zolang er geen berichten retroactief aan de database zijn toegevoegd.

Voor bijna de gehele geschiedenis van PhysicsForums gold deze regel: als bericht A een hoger ID had dan bericht B, dan had bericht A ook een latere tijdstempel. Overal waar deze regel niet geldt, kunnen we er redelijkerwijs vanuit gaan dat de database is gewijzigd en dat een recenter bericht retroactief een oudere datum heeft gekregen.

Databaseaanpassingen en retroactieve datering zijn niet per se slecht. Het grootste voorbeeld was in 2022, toen PhysicsForums fuseerde met MathHelpBoards en een archief van ongeveer 150.000 berichten incorporeerde, waarbij elk bericht zijn oorspronkelijke datum behield. Er zijn ook kleinere, rechtvaardigbare voorbeelden, zoals het splitsen van een thread of het herstellen van een verwijderd bericht.

Maar op 11 maart 2023 werden er plotseling berichten toegevoegd verspreid over de hele tijdlijn, gevolgd door een grotere groep in mei, een nog grotere in oktober, en de grootste groep in januari en februari 2024.

Door de anomale post-ID's te analyseren, de import van MathHelpBoards te filteren en gevallen die plausibel dicht bij hun werkelijke tijdstip liggen te verwijderen, komen we uit op een schatting van 115.000 berichten geschreven door LLM's (Large Language Models) en toegeschreven aan mensen. Hoewel we niet de hele website hebben gescand, wijst een representatieve steekproef uit dat er minimaal 110 gebruikers zijn getroffen. Dit varieert van vroege commentatoren en eenmalige posters tot de oprichter en site-administrator Greg Bernhardt.

In elk geval wordt een naam gekoppeld aan standpunten die die persoon niet noodzakelijkerwijs onderschrijft. Een gemiddelde wetenschapsliefhebber zou waarschijnlijk niet steunen dat $0,999\dots$ niet gelijk is aan $1$, als hij daarvan op de hoogte was. Maar dat is juist het probleem: ze weten het niet. We weten niet wie de meeste van deze mensen zijn en we kunnen geen contact met hen opnemen. Velen zijn allang gestopt met PhysicsForums en hebben geen idee wat er onder hun naam wordt gezegd. Met elk extra bericht worden de archieven van het internet iets platter, worden wetenschappelijke bijdragen verwaterd en krimpt het deel van het internet dat opzettelijk door mensen is geschreven.

De Dead Internet Theory

«Het internet voelt leeg en verstoken van mensen... het is als een luchtballon waar niets in zit.» – Anonymage, “Dead Internet Theory (and much more)”, 16 september 2019

De 'Dead Internet Theory' — de theorie dat een groot deel of het grootste deel van het internet bestaat uit zaken die niet door mensen zijn gemaakt — kreeg zijn naam in 2019. De oorspronkelijke theorie stelde dat het internet rond 2016 of 2017 'stierf'. Opvallend is dat dit voorafging aan bijna elk bekend LLM dat overtuigende lange teksten kan schrijven. In 2016 of 2017 was de stand van de techniek voor tekstgeneratie nog gebaseerd op Markov-ketens, en de meeste bots plaatsten identieke berichten zonder generatieve tekst.

Het gevoel dat het internet is veranderd, had waarschijnlijk andere wortels dan LLM's. Deels kwam dit door de opening van het internet naar een wereldwijd publiek, waardoor kleine gemeenschapsnormen niet meer schaalbaar waren. Deels door de overstap van computer naar smartphone, wat een passievere rol van het publiek stimuleerde. Ook algoritmes die gericht zijn op content-engagement speelden een rol.

Maar nu, zes jaar later, zijn LLM's zeker een onderdeel.

Het probleem is dat deze niet-menselijke toevoegingen geen waarde of bruikbaarheid toevoegen. In de eerder genoemde thread over de HP 50g is er bijvoorbeeld een LLM-gegenereerde samenvatting. AI-gegenereerde samenvattingen hebben de neiging om feiten te 'verrijken' met zaken die wel of niet accuraat zijn.

De rest van de thread bevat een LLM-bericht dat precies één waar feit bevat (het bestaan van de “HP 50g Connectivity Kit”), maar verder niets bevat dat terug te vinden is in de handleiding van de HP 50g of elders. Er is zelfs een FAQ-sectie die refereert aan de “GET” en “PUT” functies van de “HP 50g Spreadsheet”. De handleiding spreekt hier niet over, en een zoekopdracht naar “HP 50g Spreadsheet” levert op het moment van schrijven alleen deze thread op. De FAQ is dus volledig fout, en de samenvatting, die put uit de FAQ, is dat ook.

Als we kijken naar de hoeveelheid tekst in deze specifieke thread:

Sectie	Woordaantal	Menselijk?
Samenvatting	99	Nee
Springo	38	Ja
Phys.org	34	Nee
Shinny_head	11	Ja
Ravenprp	164	Nee
FAQ	260	Nee

De door LLM's geschreven delen van deze thread beslaan 92% van het totale woordaantal. Als dit een representatief voorbeeld van het internet was, zou men het internet als 'dood' kunnen bestempelen.

Gelukkig is de situatie op de gehele PhysicsForums nog niet zo nijpend. De teruggedateerde LLM-berichten maken slechts 1,6% uit van het totale aantal berichten en 3% van het totale woordaantal. Echter, wanneer we de LLM-gegenereerde FAQ's en samenvattingen meetellen, blijkt dat slechts 66% van de woorden op de site door mensen is geschreven. Twee jaar geleden was dat percentage bijna 100%.

Mens tegen Machine

«...met behulp van AI kan men met zeer weinig moeite tonnen onzin genereren en ons gemakkelijk overspoelen.» – PeterDonis, 12 november 2024

De gemeenschap van PhysicsForums merkt dit wel op. In november 2024 merkte gebruiker Renormalize vreemd gedrag op bij Azntoon, die berichten plaatste in threads uit 2022 terwijl hij voor het laatst was ingelogd in 2012. De discussie concludeerde destijds dat het een databasefout was.

Al in 2022 debatteerden forumleden over het beleid rondom ChatGPT-gegenereerde antwoorden. Vanadium 50 klaagde dat de "nauwelijks lucide berichten" van ChatGPT veel werk veroorzaakten en als een DoS-aanval beschouwd konden worden. Administrator Greg Bernhardt vatte de consensus samen:

«Ik ben vrij zeker dat StackOverflow probeert het te verbieden. Ik denk dat we het moeten ontmoedigen, maar ik weet niet hoe ik het hier kan 'verbieden'. Het is zeker een discussie waard. In ieder geval zouden berichten van ChatGPT geciteerd moeten worden.»

Enkele maanden later, op 1 april 2023, veranderde de site tijdelijk alle weergavenamen in 'ChatGPT'. Omdat dit op 1 april was, nam niemand aan dat berichten daadwerkelijk door ChatGPT werden geschreven, terwijl de LLM-inserties dan al waren begonnen. Alexander R. Klotz merkte op Twitter op dat zijn artikel uit 2016 was bewerkt zonder zijn medeweten; de wijzigingen bestonden uit een onhandig geplaatste LLM-samenvatting.

Bovendien zijn de teruggedateerde gebruikers verborgen uit de autocomplete van de zoekfunctie en zijn profiel-links verwijderd uit hun berichten, vermoedelijk om het moeilijker te maken om te ontdekken dat er iets mis is.

Update: FAQ's Tijdens het schrijven van dit artikel werden de FAQ's opgemerkt en is er een discussie gestart. Het bleek dat ze niet zichtbaar waren voor ingelogde gebruikers, wat verklaart waarom regelmatige bezoekers het niet eerder zagen. De FAQ's zijn inmiddels verwijderd, hoewel de LLM-samenvattingen bovenaan gesloten threads nog aanwezig zijn.

Het internet is mensen

«De dead internet theory wordt werkelijkheid.» – Greg Bernhardt, 3 januari 2025

We hebben contact opgenomen met Greg Bernhardt voor commentaar op het gebruik van LLM's in PhysicsForums. Hij antwoordde:

«We hebben veel AI-tests in de maak om waarde toe te voegen aan de gemeenschap. Ik heb een paar weken geleden een feedbackformulier voor 2024 naar leden gestuurd en veel leden willen geen AI-functies. We zullen ofwel met leden samenwerken om ze drastisch te verbeteren of ze uiteindelijk verwijderen. We hebben vorig jaar geëxperimenteerd met AI-antwoorden van testaccounts, maar die voldeden niet aan de kwaliteitsnormen. Als u testaccounts vindt die we gemist hebben, laat het me dan weten. Mijn documentatie was niet de beste.»

Op een vervolgvraag over de feedback antwoordde hij:

«Mathwonk kaartte oorspronkelijk het kwaliteitsprobleem aan. Ik heb met hem samengewerkt om deze te verbeteren met een nieuwer model, maar het is nog steeds niet goed genoeg. De teruggedateerde antwoorden waren een interne test. We bedachten een bot die een kwalitatief goed antwoord zou geven aan een thread zonder reactie na 1+ jaar. Dat is ook mislukt. In plaats daarvan overweeg ik nu alle threads zonder antwoord te verwijderen, omdat ze de fora vervuilen.»

Het is moeilijk voor te stellen dat 110 bestaande gebruikers toestemming hebben gegeven om als testaccounts te dienen voor 115.000 berichten over vier golven in bijna een jaar tijd. Het idee dat dit 'testaccounts die fout gingen' zijn, strookt niet met de feiten.

Dit raakt aan een fundamentele verwachting: mijn identiteit in een online gemeenschap is van mij. Ik heb accounts op fora die ouder zijn dan sommige vriendschappen. Het feit dat ze relatief anoniem zijn, maakt ze niet minder echt. Het kapen van accounts en deze vullen met content die de oorspronkelijke eigenaar niet schreef, verwatert hun inspanningen en vertroebelt hun identiteit.

Er is ook een sociaal contract: wanneer we een account aanmaken, doen we dat in de verwachting dat we primair met mensen interactie hebben. De afspraak met de provider is dat zij ons beschermen tegen shills, bots en adverteerders, in ruil voor onze betrokkenheid en content. Wanneer men interacteert met iets dat zich voordoet als mens, maar slechts matige onzin produceert, gaat de waarde van menselijke interactie via het internet verloren.

Bovendien is het vullen van bestaande accounts met LLM-content destructief. Het is als het asfalteren van een arboretum om plaats te maken voor een generiek winkelcentrum. Internet-archeologie is al een moeilijke zaak; het is zwaar om verloren content te vinden. En nu komt daar een grote hoeveelheid AI-gegenereerde, teruggedateerde data bij. Dit is niet simpelweg 'evolueren' van een website, dit is het herschrijven van de geschiedenis zonder duidelijk gewin.

Het voelt misschien vreemd dat wij duizenden woorden schrijven om te vechten voor de integriteit van een gemeenschap waar wij geen deel van uitmaken. Maar we voelen ons met hen verbonden. Het runnen van een website, zeker een forum, is duur. Serverkosten stijgen, databases gaan kapot, bots vallen aan. Overleven op het internet kost geld, en geld komt via gebruikers en advertenties.

Men moet transformeren om te overleven; dat is een waarheid op het internet. Als je dat niet doet, beland je op de achtste pagina van de Google-resultaten. Maar wanneer gemeenschappen hun moraal en de kern van hun identiteit opofferen om boven water te blijven, en daarmee het fundament van hun toewijding aan hun gebruikers vernietigen, moeten we ons afvragen: was het dat waard?