Het artikel waarschuwt voor de ontwikkeling van technologie die telepathie of het lezen van gedachten mogelijk maakt, zoals het werk van Conduit. Hoewel de auteur erkent dat er positieve toepassingen zijn—zoals medische hulp bij motorische uitval of AI-veiligheid—stelt hij dat de risico's onaanvaardbaar groot zijn.
De kern van het argument is dat absolute transparantie gevaarlijk is in een wereld met tirannie. Met voorbeelden zoals Oskar Schindler illustreert de auteur dat het vermogen om te liegen en geheimen te bewaren essentieel is voor moreel handelen tegenover brute regimes. Gedachtenlezen zou dictators in staat stellen dissidentie in de kiem te smoren door twijfels direct te detecteren, waardoor politieke oppositie onmogelijk wordt.
Aangezien technologie vaak onvermijdelijk lekt naar kwaadwillende actoren, roept de auteur op om de ontwikkeling van deze hardware en datasets actief te vertragen of te stoppen. In zijn ogen is een instrument dat gedachten of gevoelens kan lezen fundamenteel een instrument voor tirannen.
Bouw geen gedachtenlezer
Context: Conduit bouwt datasets om telepathie mogelijk te maken, om hun eigen term te gebruiken.
Ik zag mijn grootvader de controle over zijn eigen vingers verliezen; wat had ik gegeven om hem een hoofdband te kunnen bieden die zijn gedachten las. Door vernieuwende technologieën hebben we bijna alle Amerikanen bevrijd van het boerenwerk, is het kinder- en zuigelingensterftecijfer in de best presterende landen gedaald van het pre-industriële niveau naar minder dan een half procent, en is hongersnood een politieke keuze geworden: brede verbeteringen in efficiëntie zijn goed en moeten om hun eigen wil worden nagestreefd.
Telepathie biedt meer: we zouden vertrouwen kunnen creëren door geverifieerde eerlijkheid, wat ons helpt om welvaart en vrede te waarborgen. DARPA onderzoekt al "pre-bewuste" gedachten voor suïcidepreventie. Er is ook een sterk argument gericht op AI-veiligheid: de modellen worden supermenselijk, en dit is technologie die ons in staat stelt om bij te blijven, vijandige concurrentie te minimaliseren en wellicht te overleven in de toekomst.
Dit is wat Conduit belooft. Helaas zal gedachtenlezen ook andere effecten hebben.
Het gevaar van absolute transparantie
Oskar Schindler redde meer dan 1.000 Joodse levens tijdens de Holocaust. Hij deed dit door regelmatig en herhaaldelijk te liegen, gecombineerd met het besteden van zijn volledige vermogen aan bouwprojecten en op de zwarte markt: luxeartikelen voor corrupte functionarissen en voedsel voor zijn Joodse werknemers. Dit alles gebeurde tegen de wil van het Derde Rijk. Ze startten onderzoeken en vingen zelfs sommige mensen op die hij omkocht.
Als u zich Nazi's voorstelt met gedachtenlezen, zodat ze altijd kunnen horen wanneer iemand tegen hen liegt, dan verdwijnen Schindler en zijn werknemers. Samen met hen verdwijnt elke ambtenaar die plotseling niet meer in staat was om vervalste documenten op te merken wanneer grootmoeders moesten ontsnappen aan het uiteenvallende Joegoslavië, elke Poolse en Egyptische soldaat die onwillig was om op een protesterende bevolking te vuren, en iedereen die in een brutaal regime de kans zou grijpen om fatsoen en vriendelijkheid te tonen.
Het gebruik van technologie die onschuldig is ontwikkeld in Amerika voor autocratische doeleinden is geen sciencefictionverhaal uit de vorige eeuw: het is een kenmerk van de 21e eeuw. IBM verkocht "policing analysis software" in China die werd gebruikt voor de lopende genocide in Xinjiang, om één van de vele voorbeelden te noemen. IBM verbrak de banden en probeerde de distributie te stoppen, maar het ongedaan maken van technologie zonder de beschaving ongedaan te maken is nog niet opgelost. In eigen land onderzoekt de FBI voorspellende AI, terwijl hoge functionarissen van het Witte Huis verduidelijken dat zij een "leger" zijn in oorlog met hun politieke oppositie, die zij bestempelen als binnenlandse extremisten.
Het morele karakter van technologie
Alle technologieën kunnen voor schadelijke doeleinden worden ingezet: de Italiaanse fascisten reden met treinen, wat niet impliceert dat treinen slecht zijn. Sommige technologieën zijn geloofwaardig breed goed, zoals wasmachines. Ze vervangen onaangenaam menselijk werk en versterken de positie van vrouwen. Er zijn andere technologieën die grotendeels slecht lijken. Als u een recept publiceert voor een pil die een alcoholtester verslaat, heeft u een hulpmiddel gemaakt dat overduidelijk schadelijk is, en geen enkel argument of beroep op de rechten en plichten van de gebruiker zal u redden van de minachting van alle rechtschapen mensen.
Hulpmiddelen versterken bepaalde activiteiten en kunnen andere impliciet of expliciet ontmoedigen. Ze kunnen u eraan herinneren uw moeder te bellen, of ervoor zorgen dat u de hele dag aan doom-scrolling doet. Bijgevolg heeft technisch werk een moreel karakter (ik raad The Moral Character of Cryptographic Work aan voor een beter geschreven uitleg).
Het probleem met gedachtenlezen is dat het een asymmetrische technologie is die disproportioneel helpt aan hen die regeren zonder instemming. De productiviteitsverbeteringen zijn voor iedereen die eraan kan komen gelijkwaardig gunstig, maar het detecteren van afwijking (defection) levert marginaal voordeel op voor een project waar u vreugdevol met vrienden aan werkt. Het zal grote bedrijven helpen te voorspellen wie overweegt om weg te gaan. Het is van grote hulp voor een crimineel die bang is dat zijn ondergeschikten getuigen zullen worden. Maar het zijn de dictators die er het meeste baat bij zullen hebben.
De impact op politieke oppositie
De grootste bedreiging voor een dictatuur is een informatiecascade, omdat een dictatuur slechts een beperkt aantal rebellen tegelijk kan afhandelen. Dit geldt zowel voor de massa's als voor de elites: dit is waarom één van de eerste doelwitten bij elke coup-poging de communicatie-infrastructuur is. Een revolutie is een weddenschap dat andere mensen het met u eens zijn dat het leiderschap slecht is, en dat u allemaal tegelijk in opstand kunnen komen.
Gedachtenlezen stelt de autocraat in staat om mensen te detecteren op het moment dat ze twijfels beginnen te ontwikkelen, om hen vervolgens te "heropvoeden" of simpelweg te doden. Als gevolg hiervan is gedachtenlezen een kwestie van urgente noodzaak voor een dictator, ondersteund door de middelen van de gehele staat. Het monitoren en straffen van dissidentie is niet zomaar een potentieel gebruik: het is waardevoller dan alles wat uw indrukwekkende kantoorwerker doet.
Hoe ziet dit eruit in 2030, wanneer Conduit "invasief algemeen lezen" verwacht? De overgang van het decoderen van gedachten naar tekst en het meten van associaties met bepaalde woorden is een actieve onderzoekstaak met een verifieerbaar resultaat en een ongelooflijk hoge waarde bij succes. Generaals, bedrijfsoprichters en politieke elites zullen hun dag beginnen met hun hoofdband als onderdeel van hun werkdag, net als iedereen die belangrijk werk doet, en ze zullen een korte quiz over het denken van Xi Jinping maken, zoals ze dat af en toe moeten doen. Het is saai, zoals HR-training.
Als ze iets te veel sympathie hebben voor een vreemde natie, wordt hun counter-intelligence dienst op de hoogte gesteld. Als ze iets te veel antipathie hebben voor de "Geliefde Leider", krijgen ze te horen dat ze heropvoeding nodig hebben. Als er veel te veel antipathie is voor de Geliefde Leider, of veel meer genegenheid voor iemand anders die politiek belangrijk is, worden ze ontslagen, of erger. Ze weten dit allemaal. Ze hebben allemaal strategieën om ervoor te zorgen dat ze genügig genegen zijn voor de Geliefde Leider.
Versnelling en verantwoordelijkheid
Een van de lessen die we uit de laboratoria hebben geleerd, is dat het ontwikkelen van een technologie voor één persoon deze inherent versnelt voor iedereen. Het is niet mogelijk voor één bedrijf alleen om de stand van de techniek te verbeteren en, door de controle te behouden, ervoor te zorgen dat deze alleen voor goede doeleinden wordt gebruikt. De opleiding van werknemers in het proces van het maken van iets is een grote factor; de creatie van datasets en een toeleveringsketen een andere. Zelfs als een bedrijf zweert hun technologie alleen voor de meest integere doeleinden te gebruiken, zal de technologie zelf lekken.
De mogelijkheid om een technologie te ontwikkelen betekent niet dat de komst ervan onvermijdelijk is in een vast tempo: welke projecten we ervoor kiezen om aan te werken kan technologische innovatie versnellen of vertragen. Hoe sneller u verwacht dat de wereld in de komende tien jaar zal veranderen, hoe waardevoller het is om innovaties uit te stellen die vandaag schadelijk zouden zijn.
De voordelen voor alignment-onderzoek (het afstemmen van AI op menselijke waarden) zijn reëel. Ik ben er niet van overtuigd dat ze groot zijn: de neergang van centaur chess weegt zwaar op elke bewering dat mens-AI-teaming betrouwbaarder is dan AI-modellen alleen. Wat nog zorgwekkender is, is dat u veel vertrouwen in uw model van de wereld nodig heeft om ervan overtuigd te zijn dat de voordelen opwegen tegen de kosten van het versterken van dictaturen. Ik heb dat vertrouwen niet. Ik ben er niet van overtuigd dat iemand dat zou moeten hebben.
Daarom vraag ik u: bouw geen datasets voor gedachtenlezen. Bouw geen hardware voor gedachtenlezen. Financier deze technologie niet. Verkoop hen uw geest niet. Ik roep niet op tot een boycot nadat het commercieel beschikbaar is geworden: dat is veel te laat om nuttig te zijn, en ik zal niemand hun persoonlijke productiviteitsinstrumenten ontnemen. Maar we zouden gedachtenlezen niet moeten versnellen. Als het kijkt naar gedachten of gevoelens, is het een instrument voor tirannen.
Ik zal niet speculeren over wat dictators zouden kunnen doen met mind-writing (gedachtenschrijven).
Bouw geen gedachtenlezer
Context: Conduit bouwt datasets om telepathie mogelijk te maken, om hun eigen term te gebruiken.
Ik zag mijn grootvader de controle over zijn eigen vingers verliezen; wat had ik gegeven om hem een hoofdband te kunnen bieden die zijn gedachten las. Door vernieuwende technologieën hebben we bijna alle Amerikanen bevrijd van het boerenwerk, is het kinder- en zuigelingensterftecijfer in de best presterende landen gedaald van het pre-industriële niveau naar minder dan een half procent, en is hongersnood een politieke keuze geworden: brede verbeteringen in efficiëntie zijn goed en moeten om hun eigen wil worden nagestreefd.
Telepathie biedt meer: we zouden vertrouwen kunnen creëren door geverifieerde eerlijkheid, wat ons helpt om welvaart en vrede te waarborgen. DARPA onderzoekt al "pre-bewuste" gedachten voor suïcidepreventie. Er is ook een sterk argument gericht op AI-veiligheid: de modellen worden supermenselijk, en dit is technologie die ons in staat stelt om bij te blijven, vijandige concurrentie te minimaliseren en wellicht te overleven in de toekomst.
Dit is wat Conduit belooft. Helaas zal gedachtenlezen ook andere effecten hebben.
Het gevaar van absolute transparantie
Oskar Schindler redde meer dan 1.000 Joodse levens tijdens de Holocaust. Hij deed dit door regelmatig en herhaaldelijk te liegen, gecombineerd met het besteden van zijn volledige vermogen aan bouwprojecten en op de zwarte markt: luxeartikelen voor corrupte functionarissen en voedsel voor zijn Joodse werknemers. Dit alles gebeurde tegen de wil van het Derde Rijk. Ze startten onderzoeken en vingen zelfs sommige mensen op die hij omkocht.
Als u zich Nazi's voorstelt met gedachtenlezen, zodat ze altijd kunnen horen wanneer iemand tegen hen liegt, dan verdwijnen Schindler en zijn werknemers. Samen met hen verdwijnt elke ambtenaar die plotseling niet meer in staat was om vervalste documenten op te merken wanneer grootmoeders moesten ontsnappen aan het uiteenvallende Joegoslavië, elke Poolse en Egyptische soldaat die onwillig was om op een protesterende bevolking te vuren, en iedereen die in een brutaal regime de kans zou grijpen om fatsoen en vriendelijkheid te tonen.
Het gebruik van technologie die onschuldig is ontwikkeld in Amerika voor autocratische doeleinden is geen sciencefictionverhaal uit de vorige eeuw: het is een kenmerk van de 21e eeuw. IBM verkocht "policing analysis software" in China die werd gebruikt voor de lopende genocide in Xinjiang, om één van de vele voorbeelden te noemen. IBM verbrak de banden en probeerde de distributie te stoppen, maar het ongedaan maken van technologie zonder de beschaving ongedaan te maken is nog niet opgelost. In eigen land onderzoekt de FBI voorspellende AI, terwijl hoge functionarissen van het Witte Huis verduidelijken dat zij een "leger" zijn in oorlog met hun politieke oppositie, die zij bestempelen als binnenlandse extremisten.
Het morele karakter van technologie
Alle technologieën kunnen voor schadelijke doeleinden worden ingezet: de Italiaanse fascisten reden met treinen, wat niet impliceert dat treinen slecht zijn. Sommige technologieën zijn geloofwaardig breed goed, zoals wasmachines. Ze vervangen onaangenaam menselijk werk en versterken de positie van vrouwen. Er zijn andere technologieën die grotendeels slecht lijken. Als u een recept publiceert voor een pil die een alcoholtester verslaat, heeft u een hulpmiddel gemaakt dat overduidelijk schadelijk is, en geen enkel argument of beroep op de rechten en plichten van de gebruiker zal u redden van de minachting van alle rechtschapen mensen.
Hulpmiddelen versterken bepaalde activiteiten en kunnen andere impliciet of expliciet ontmoedigen. Ze kunnen u eraan herinneren uw moeder te bellen, of ervoor zorgen dat u de hele dag aan doom-scrolling doet. Bijgevolg heeft technisch werk een moreel karakter (ik raad The Moral Character of Cryptographic Work aan voor een beter geschreven uitleg).
Het probleem met gedachtenlezen is dat het een asymmetrische technologie is die disproportioneel helpt aan hen die regeren zonder instemming. De productiviteitsverbeteringen zijn voor iedereen die eraan kan komen gelijkwaardig gunstig, maar het detecteren van afwijking (defection) levert marginaal voordeel op voor een project waar u vreugdevol met vrienden aan werkt. Het zal grote bedrijven helpen te voorspellen wie overweegt om weg te gaan. Het is van grote hulp voor een crimineel die bang is dat zijn ondergeschikten getuigen zullen worden. Maar het zijn de dictators die er het meeste baat bij zullen hebben.
De impact op politieke oppositie
De grootste bedreiging voor een dictatuur is een informatiecascade, omdat een dictatuur slechts een beperkt aantal rebellen tegelijk kan afhandelen. Dit geldt zowel voor de massa's als voor de elites: dit is waarom één van de eerste doelwitten bij elke coup-poging de communicatie-infrastructuur is. Een revolutie is een weddenschap dat andere mensen het met u eens zijn dat het leiderschap slecht is, en dat u allemaal tegelijk in opstand kunnen komen.
Gedachtenlezen stelt de autocraat in staat om mensen te detecteren op het moment dat ze twijfels beginnen te ontwikkelen, om hen vervolgens te "heropvoeden" of simpelweg te doden. Als gevolg hiervan is gedachtenlezen een kwestie van urgente noodzaak voor een dictator, ondersteund door de middelen van de gehele staat. Het monitoren en straffen van dissidentie is niet zomaar een potentieel gebruik: het is waardevoller dan alles wat uw indrukwekkende kantoorwerker doet.
Hoe ziet dit eruit in 2030, wanneer Conduit "invasief algemeen lezen" verwacht? De overgang van het decoderen van gedachten naar tekst en het meten van associaties met bepaalde woorden is een actieve onderzoekstaak met een verifieerbaar resultaat en een ongelooflijk hoge waarde bij succes. Generaals, bedrijfsoprichters en politieke elites zullen hun dag beginnen met hun hoofdband als onderdeel van hun werkdag, net als iedereen die belangrijk werk doet, en ze zullen een korte quiz over het denken van Xi Jinping maken, zoals ze dat af en toe moeten doen. Het is saai, zoals HR-training.
Als ze iets te veel sympathie hebben voor een vreemde natie, wordt hun counter-intelligence dienst op de hoogte gesteld. Als ze iets te veel antipathie hebben voor de "Geliefde Leider", krijgen ze te horen dat ze heropvoeding nodig hebben. Als er veel te veel antipathie is voor de Geliefde Leider, of veel meer genegenheid voor iemand anders die politiek belangrijk is, worden ze ontslagen, of erger. Ze weten dit allemaal. Ze hebben allemaal strategieën om ervoor te zorgen dat ze genügig genegen zijn voor de Geliefde Leider.
Versnelling en verantwoordelijkheid
Een van de lessen die we uit de laboratoria hebben geleerd, is dat het ontwikkelen van een technologie voor één persoon deze inherent versnelt voor iedereen. Het is niet mogelijk voor één bedrijf alleen om de stand van de techniek te verbeteren en, door de controle te behouden, ervoor te zorgen dat deze alleen voor goede doeleinden wordt gebruikt. De opleiding van werknemers in het proces van het maken van iets is een grote factor; de creatie van datasets en een toeleveringsketen een andere. Zelfs als een bedrijf zweert hun technologie alleen voor de meest integere doeleinden te gebruiken, zal de technologie zelf lekken.
De mogelijkheid om een technologie te ontwikkelen betekent niet dat de komst ervan onvermijdelijk is in een vast tempo: welke projecten we ervoor kiezen om aan te werken kan technologische innovatie versnellen of vertragen. Hoe sneller u verwacht dat de wereld in de komende tien jaar zal veranderen, hoe waardevoller het is om innovaties uit te stellen die vandaag schadelijk zouden zijn.
De voordelen voor alignment-onderzoek (het afstemmen van AI op menselijke waarden) zijn reëel. Ik ben er niet van overtuigd dat ze groot zijn: de neergang van centaur chess weegt zwaar op elke bewering dat mens-AI-teaming betrouwbaarder is dan AI-modellen alleen. Wat nog zorgwekkender is, is dat u veel vertrouwen in uw model van de wereld nodig heeft om ervan overtuigd te zijn dat de voordelen opwegen tegen de kosten van het versterken van dictaturen. Ik heb dat vertrouwen niet. Ik ben er niet van overtuigd dat iemand dat zou moeten hebben.
Daarom vraag ik u: bouw geen datasets voor gedachtenlezen. Bouw geen hardware voor gedachtenlezen. Financier deze technologie niet. Verkoop hen uw geest niet. Ik roep niet op tot een boycot nadat het commercieel beschikbaar is geworden: dat is veel te laat om nuttig te zijn, en ik zal niemand hun persoonlijke productiviteitsinstrumenten ontnemen. Maar we zouden gedachtenlezen niet moeten versnellen. Als het kijkt naar gedachten of gevoelens, is het een instrument voor tirannen.
Ik zal niet speculeren over wat dictators zouden kunnen doen met mind-writing (gedachtenschrijven).
Groetjes,