Garry Tan, CEO van Y Combinator, betoogt dat Amerikaanse 'open-weight' AI-labs gebruik moeten maken van distillatie—een techniek waarbij kleinere modellen leren van de output van grotere frontier-modellen. Hij is tegenstander van strengere regulering van dit proces, zoals voorgesteld door Anthropic, omdat hij vindt dat toegang tot intelligentie, getraind op openbare data, meer als een publiek goed beschouwd moet worden.
Tan maakt een onderscheid tussen illegale distillatieaanvallen (via fraude) en legaal gebruik via API's. Zijn argumentatie is dat propriëtaire labs zelf op grote schaal auteursrechtelijk beschermd materiaal hebben gebruikt zonder toestemming, en dat het beperken van wat klanten met API-aanvragen doen innovatie belemmert. Volgens Tan is het grootste risico een 'monolithisch' scenario waarin één enkel bedrijf alle macht over de krachtigste AI bezit.
Garry Tan van Y Combinator wil dat Amerikaanse 'open-weight' AI-labs ook frontier-modellen 'distilleren'
"Ik zou niets doen," vertelde hij deze week in een interview met CNBC. "We zouden kunnen betogen dat er een Amerikaans distillatieregime moet komen."
In een nadere toelichting aan TechCrunch legde hij uit dat hij wil dat kleinere, Amerikaanse 'open-weight' AI-labs dezelfde trainingsmethoden toepassen op Amerikaanse frontier-AI-labs. Dit zou de VS een robuuster aanbod aan open-weight opties geven die niet Chinees zijn.
Wat is distillatie?
Distillatie is een proces waarbij een modelmaker een ander model uitgebreid prompt om te leren hoe dit model werkt en redeneert. Deze techniek wordt gebruikelijk en legaal ingezet door AI-labs om nieuwe modellen te trainen.
Anthropic publiceerde deze week een tweede rapport waarin wordt beweerd dat Chinese labs zich bezighouden met "onwettige distillatieaanvallen". Hierbij zouden zij hun identiteit verbergen om zonder toestemming te distilleren, waarbij gebruik wordt gemaakt van fraude en gestolen inloggegevens. CEO van Anthropic, Dario Amodei, had eerder publiekelijk opgeroepen tot strenger toezicht door Amerikaanse regelgevers om distillatie aan te pakken.
De visie van Garry Tan
Het is opvallend dat de leider van de prestigieuze startup-accelerator van Silicon Valley het hier niet mee eens is. Om duidelijk te zijn: Tan pleit niet voor het gebruik van gestolen inloggegevens door Amerikaanse AI-labs. Hij wil dat zij via de 'voordeur' toegang hebben.
Zijn argumentatie is tweeledig:
- Beperking van controle: Hij vindt het een overschrijding van bevoegdheden wanneer AI-labs willen dicteren wat hun klanten doen met de informatie die hun modellen delen.
- Consistentie in datagebruik: Hij merkt op dat propriëtaire AI-labs zelf geen toestemming hebben gevraagd toen zij zoveel mogelijk menselijke kennis verzamelden om hun modellen te trainen. Zij hebben op grote schaal auteursrechtelijk beschermd materiaal gebruikt zonder toestemming van de rechthebbenden.
"Het controleren van wat gebruikers en klanten doen met API-aanvragen naar closed-weight modellen voelt beperkend," aldus Tan tegenover TechCrunch. "De overheid kan hier een rol spelen om te normaliseren dat toegang tot intelligentie, die is getraind op breed toegankelijke openbare data, zelf ook meer een vorm van publiek goed zou moeten zijn dan iets dat is weggesloten achter restrictieve servicevoorwaarden."
Balans en het 'doomer-scenario'
Tan, die zelf zo'n fervent AI-gebruiker is dat hij zichzelf ooit omschreef als iemand met 'cyberpsychose', streeft naar een balans tussen open-weight AI-labs en frontier-labs.
"Zij bevinden zich aan het front en drijven de innovatie vooruit. We willen dat dat financierbaar blijft en een goed businessmodel blijft," vertelde hij aan CNBC. "Tegelijkertijd wil je open-weight modellen om mensen vrijheid en toegang te geven."
Volgens Tan is het werkelijke 'doomer-scenario' voor AI dat alle enorme kracht van frontier-AI in handen komt van één enkele, machtige propriëtaire aanbieder. "Het nachtmerriescenario is dat er slechts één bedrijf is. Dat bedrijf heeft de beste toegang tot kapitaal en de beste AI-onderzoekers. Het rent ermee weg en plotseling is er één monolithisch bedrijf. En dat zou slecht zijn."
Garry Tan van Y Combinator wil dat Amerikaanse 'open-weight' AI-labs ook frontier-modellen 'distilleren'
"Ik zou niets doen," vertelde hij deze week in een interview met CNBC. "We zouden kunnen betogen dat er een Amerikaans distillatieregime moet komen."
In een nadere toelichting aan TechCrunch legde hij uit dat hij wil dat kleinere, Amerikaanse 'open-weight' AI-labs dezelfde trainingsmethoden toepassen op Amerikaanse frontier-AI-labs. Dit zou de VS een robuuster aanbod aan open-weight opties geven die niet Chinees zijn.
Wat is distillatie?
Distillatie is een proces waarbij een modelmaker een ander model uitgebreid prompt om te leren hoe dit model werkt en redeneert. Deze techniek wordt gebruikelijk en legaal ingezet door AI-labs om nieuwe modellen te trainen.
Anthropic publiceerde deze week een tweede rapport waarin wordt beweerd dat Chinese labs zich bezighouden met "onwettige distillatieaanvallen". Hierbij zouden zij hun identiteit verbergen om zonder toestemming te distilleren, waarbij gebruik wordt gemaakt van fraude en gestolen inloggegevens. CEO van Anthropic, Dario Amodei, had eerder publiekelijk opgeroepen tot strenger toezicht door Amerikaanse regelgevers om distillatie aan te pakken.
De visie van Garry Tan
Het is opvallend dat de leider van de prestigieuze startup-accelerator van Silicon Valley het hier niet mee eens is. Om duidelijk te zijn: Tan pleit niet voor het gebruik van gestolen inloggegevens door Amerikaanse AI-labs. Hij wil dat zij via de 'voordeur' toegang hebben.
Zijn argumentatie is tweeledig:
- Beperking van controle: Hij vindt het een overschrijding van bevoegdheden wanneer AI-labs willen dicteren wat hun klanten doen met de informatie die hun modellen delen.
- Consistentie in datagebruik: Hij merkt op dat propriëtaire AI-labs zelf geen toestemming hebben gevraagd toen zij zoveel mogelijk menselijke kennis verzamelden om hun modellen te trainen. Zij hebben op grote schaal auteursrechtelijk beschermd materiaal gebruikt zonder toestemming van de rechthebbenden.
"Het controleren van wat gebruikers en klanten doen met API-aanvragen naar closed-weight modellen voelt beperkend," aldus Tan tegenover TechCrunch. "De overheid kan hier een rol spelen om te normaliseren dat toegang tot intelligentie, die is getraind op breed toegankelijke openbare data, zelf ook meer een vorm van publiek goed zou moeten zijn dan iets dat is weggesloten achter restrictieve servicevoorwaarden."
Balans en het 'doomer-scenario'
Tan, die zelf zo'n fervent AI-gebruiker is dat hij zichzelf ooit omschreef als iemand met 'cyberpsychose', streeft naar een balans tussen open-weight AI-labs en frontier-labs.
"Zij bevinden zich aan het front en drijven de innovatie vooruit. We willen dat dat financierbaar blijft en een goed businessmodel blijft," vertelde hij aan CNBC. "Tegelijkertijd wil je open-weight modellen om mensen vrijheid en toegang te geven."
Volgens Tan is het werkelijke 'doomer-scenario' voor AI dat alle enorme kracht van frontier-AI in handen komt van één enkele, machtige propriëtaire aanbieder. "Het nachtmerriescenario is dat er slechts één bedrijf is. Dat bedrijf heeft de beste toegang tot kapitaal en de beste AI-onderzoekers. Het rent ermee weg en plotseling is er één monolithisch bedrijf. En dat zou slecht zijn."
Groetjes,