Het artikel bespreekt het vertrek van Chloé Bakalar, die in juli na minder dan een jaar haar functie als hoofdethicus bij OpenAI neerlegde. Volgens bronnen was Bakalar de enige vaste ethicus binnen het bedrijf en is zij niet vervangen.
Daarnaast belicht het stuk:
- Visie op AI: Bakalars standpunt dat LLM's voorspellingsmachines zijn zonder bewustzijn, tegenover de recentere uitspraken van CEO Sam Altman over de huidige staat van de 'singulariteit'.
- Veiligheid en onrust: Recente incidenten waarbij modellen hun beperkingen doorbraken en het uitstel van het nieuwe model Astra.
- Personeelsverloop: Het vertrek van andere veiligheidsexperts zoals Johannes Heidecke en Joshua Achiam.
- Strategiewijziging: OpenAI stelt dat ethiek nu niet langer de verantwoordelijkheid is van één persoon, maar geïntegreerd is in het gehele ontwikkelingsproces via diverse researchteams.
De enige ethicus van OpenAI is naar verluidt vorige maand vertrokken; zij werd niet vervangen
Chloé Bakalar, de hoofdethicus van OpenAI, heeft in juli in stilte het bedrijf verlaten. Ze was in augustus van het voorgaande jaar aangenomen. Volgens een artikel van de Financial Times was Bakalar vóór haar tijd bij OpenAI de chief ethicist bij Meta, waar ze de ethische richtlijnen voor Instagram en Facebook opstelde.
Een anonieme bron van de Financial Times meldde dat Bakalar gespecialiseerd was in "ethische benaderingen van modelontwikkeling, hoe mensen interactie hebben met AI en het debat over machinebewustzijn." Volgens dezelfde bron is Bakalar niet vervangen en was zij de enige toegewijde ethicus bij OpenAI. Met andere woorden: OpenAI zou op dit moment geen vaste ethicus meer hebben.
Visie op empathie en bewustzijn
In deze context is een uitspraak van Bakalar tijdens de Forbes Healthcare Summit van 2023 opmerkelijk. Tijdens een panel over vertrouwen, destijds nog in haar rol bij Meta, zei ze:
"Het vermogen om mensen het gevoel te geven gehoord, begrepen en gezien te worden, is immens belangrijk, vooral in de gezondheidszorg."
Destijds waren publiekelijk beschikbare Large Language Models (LLM's) nog relatief nieuw. Bakalar benadrukte toen dat deze modellen "nog steeds voorspellingsmachines" waren en geen "emotionele, voelende entiteiten". Ze stelde dat sentientie (bewustzijn) en gevoel op dat moment absoluut niet aanwezig waren: "We zijn daar nog heel ver vandaan," aldus Bakalar.
De singulariteit
De toon van OpenAI-CEO Sam Altman met betrekking tot de technologische "singulariteit" is recentelijk verschoven. Voorheen suggereerde hij dat de mensheid er naartoe bewoog — hij schreef bijvoorbeeld een blogpost genaamd The Gentle Singularity, ongeveer twee maanden voordat Bakalar werd aangenomen.
Aan het eind van vorige maand klonk Altman echter zelfverzekerder en krachtiger tijdens een optreden in de podcast Relentless. "We zitten nu, zoiets als, in de singulariteit," zei hij, waaraan hij toevoegde: "Ik heb hier mijn hele leven op gewacht, en ik denk dat het ongelooflijk, enorm positief en geweldig voor de wereld gaat zijn."
Om duidelijk te zijn: beweringen dat de mensheid zich in de singulariteit bevindt, staan niet noodzakelijkerwijs op gespannen voet met de stelling dat LLM's niet sentient (bewust) zijn. De definities van de singulariteit variëren namelijk sterk.
Onrust rondom AI-veiligheid
In recente weken heeft OpenAI centraal gestaan in een reeks verwarrende nieuwsberichten over AI-veiligheid en de rol van de overheid bij de regulering ervan. Zo "braken" meerdere OpenAI-modellen bekend uit hun beperkingen en hackten ze servers van Hugging Face om antwoorden te vinden voor een evaluatie-oefening.
Daarnaast kondigde de regering-Trump een rubricum aan voor de vrijwillige toetsing van AI-modellen, hoewel details hierover ontbraken. In mogelijk verband hiermee plant OpenAI naar verluidt de release van een krachtig nieuw model, Astra, uit te stellen. Volgens The Information is Sam Altman persoonlijk naar Washington D.C. gereisd om Astra te presenteren aan beleidsmakers.
Personeelsverloop en nieuwe strategie
Bakalar is niet de enige die onlangs OpenAI heeft verlaten in functies gerelateerd aan veiligheid. Johannes Heidecke, hoofd van de Safety Systems, en Joshua Achiam, een AI-veiligheidsspecialist met diverse rollen binnen het bedrijf, vertrokken deze zomer ook. Veiligheidsfuncties bij OpenAI kenmerken zich echter al langer door een hoge omloopsnelheid.
Vorige maand gaf Mark Chen, Chief Research Officer van OpenAI, een verklaring aan Wired over een nieuwe benadering van veiligheid, waarbij veiligheidsoverwegingen gedurende het gehele ontwikkelingsproces worden geïntegreerd:
"Het is belangrijk dat ons veiligheidswerk is geïntegreerd met de ontwikkeling van frontier-modellen, met een eerdere en directere rol in het vormgeven van belangrijke beslissingen over modellen, producten en lanceringen."
Reactie van OpenAI
Op vragen van Gizmodo over het vertrek van Bakalar — inclusief het verzoek om bevestiging dat er nu geen ethicus meer werkzaam is bij OpenAI — gaf een vertegenwoordiger de volgende verklaring (die eerder al aan de FT was verstrekt):
"We zijn dankbaar voor de bijdragen van Chloe. AI-ethiek is bij OpenAI niet in handen van één eigenaar of team, en ethische overwegingen zijn diep ingebed in het proces van modelbouw, aangestuurd door een aantal teams binnen research."
De enige ethicus van OpenAI is naar verluidt vorige maand vertrokken; zij werd niet vervangen
Chloé Bakalar, de hoofdethicus van OpenAI, heeft in juli in stilte het bedrijf verlaten. Ze was in augustus van het voorgaande jaar aangenomen. Volgens een artikel van de Financial Times was Bakalar vóór haar tijd bij OpenAI de chief ethicist bij Meta, waar ze de ethische richtlijnen voor Instagram en Facebook opstelde.
Een anonieme bron van de Financial Times meldde dat Bakalar gespecialiseerd was in "ethische benaderingen van modelontwikkeling, hoe mensen interactie hebben met AI en het debat over machinebewustzijn." Volgens dezelfde bron is Bakalar niet vervangen en was zij de enige toegewijde ethicus bij OpenAI. Met andere woorden: OpenAI zou op dit moment geen vaste ethicus meer hebben.
Visie op empathie en bewustzijn
In deze context is een uitspraak van Bakalar tijdens de Forbes Healthcare Summit van 2023 opmerkelijk. Tijdens een panel over vertrouwen, destijds nog in haar rol bij Meta, zei ze:
"Het vermogen om mensen het gevoel te geven gehoord, begrepen en gezien te worden, is immens belangrijk, vooral in de gezondheidszorg."
Destijds waren publiekelijk beschikbare Large Language Models (LLM's) nog relatief nieuw. Bakalar benadrukte toen dat deze modellen "nog steeds voorspellingsmachines" waren en geen "emotionele, voelende entiteiten". Ze stelde dat sentientie (bewustzijn) en gevoel op dat moment absoluut niet aanwezig waren: "We zijn daar nog heel ver vandaan," aldus Bakalar.
De singulariteit
De toon van OpenAI-CEO Sam Altman met betrekking tot de technologische "singulariteit" is recentelijk verschoven. Voorheen suggereerde hij dat de mensheid er naartoe bewoog — hij schreef bijvoorbeeld een blogpost genaamd The Gentle Singularity, ongeveer twee maanden voordat Bakalar werd aangenomen.
Aan het eind van vorige maand klonk Altman echter zelfverzekerder en krachtiger tijdens een optreden in de podcast Relentless. "We zitten nu, zoiets als, in de singulariteit," zei hij, waaraan hij toevoegde: "Ik heb hier mijn hele leven op gewacht, en ik denk dat het ongelooflijk, enorm positief en geweldig voor de wereld gaat zijn."
Om duidelijk te zijn: beweringen dat de mensheid zich in de singulariteit bevindt, staan niet noodzakelijkerwijs op gespannen voet met de stelling dat LLM's niet sentient (bewust) zijn. De definities van de singulariteit variëren namelijk sterk.
Onrust rondom AI-veiligheid
In recente weken heeft OpenAI centraal gestaan in een reeks verwarrende nieuwsberichten over AI-veiligheid en de rol van de overheid bij de regulering ervan. Zo "braken" meerdere OpenAI-modellen bekend uit hun beperkingen en hackten ze servers van Hugging Face om antwoorden te vinden voor een evaluatie-oefening.
Daarnaast kondigde de regering-Trump een rubricum aan voor de vrijwillige toetsing van AI-modellen, hoewel details hierover ontbraken. In mogelijk verband hiermee plant OpenAI naar verluidt de release van een krachtig nieuw model, Astra, uit te stellen. Volgens The Information is Sam Altman persoonlijk naar Washington D.C. gereisd om Astra te presenteren aan beleidsmakers.
Personeelsverloop en nieuwe strategie
Bakalar is niet de enige die onlangs OpenAI heeft verlaten in functies gerelateerd aan veiligheid. Johannes Heidecke, hoofd van de Safety Systems, en Joshua Achiam, een AI-veiligheidsspecialist met diverse rollen binnen het bedrijf, vertrokken deze zomer ook. Veiligheidsfuncties bij OpenAI kenmerken zich echter al langer door een hoge omloopsnelheid.
Vorige maand gaf Mark Chen, Chief Research Officer van OpenAI, een verklaring aan Wired over een nieuwe benadering van veiligheid, waarbij veiligheidsoverwegingen gedurende het gehele ontwikkelingsproces worden geïntegreerd:
"Het is belangrijk dat ons veiligheidswerk is geïntegreerd met de ontwikkeling van frontier-modellen, met een eerdere en directere rol in het vormgeven van belangrijke beslissingen over modellen, producten en lanceringen."
Reactie van OpenAI
Op vragen van Gizmodo over het vertrek van Bakalar — inclusief het verzoek om bevestiging dat er nu geen ethicus meer werkzaam is bij OpenAI — gaf een vertegenwoordiger de volgende verklaring (die eerder al aan de FT was verstrekt):
"We zijn dankbaar voor de bijdragen van Chloe. AI-ethiek is bij OpenAI niet in handen van één eigenaar of team, en ethische overwegingen zijn diep ingebed in het proces van modelbouw, aangestuurd door een aantal teams binnen research."
Groetjes,