Meta ligt onder vuur in diverse rechtszaken vanwege het gebruik van de gepirateerde Books3-dataset voor het trainen van de Llama AI-modellen. Een voormalig onderzoeker, Stephen Roller, heeft getuigd dat hij deze dataset via BitTorrent heeft gedownload en verspreid tijdens zijn periode bij het bedrijf. Hoewel Meta erkent dat Books3 is gebruikt, ontkent het bedrijf dat dit via torrents is gebeurd en stelt dat Roller mogelijk handelde voor eigen gebruik.
Naast de kwestie rondom de dataset eisen eisers inzage in een interne Google Drive-map ("ML Books") en berichten over een interne boekenclub waarbij gepirateerde werken zouden zijn gedeeld. Ook is er onenigheid over ontbrekende serverlogs die inzicht zouden geven in de configuratie van de torrent-software. De zaak, waarbij onder andere Sarah Silverman en diverse uitgevers betrokken zijn, staat gepland voor een proces in het voorjaar van 2027.
Oud-onderzoeker van Meta downloadde dataset met gepirateerde boeken via torrent, verwijderde deze 'vanwege alle rechtszaken'
In een reeks rechtszaken voor de federale rechtbank in Californië wordt Meta aangeklaagd vanwege het gebruik van gepirateerde boeken voor het trainen van de Llama AI-modellen. De zaken zijn afzonderlijk, maar worden gezamenlijk behandeld door rechter Vince Chhabria. De eisers zijn onder anderen auteurs zoals Sarah Silverman en Ta-Nehisi Coates, en uitgevers zoals Entrepreneur Media en Chicken Soup for the Soul.
In augustus vertelde Meta aan Entrepreneur dat het niet geloofde dat de gepirateerde Books3-dataset via BitTorrent was verkregen. Books3 is een collectie van bijna 200.000 boeken, afkomstig uit de bibliotheek van de private torrent-tracker Bibliotik. Recente getuigenverklaringen van een voormalig Meta-onderzoeker schetsen echter een ander beeld.
Getuigenis over het torrenten van Books3
In een gezamenlijk statusrapport dat dinsdag bij Meta is ingediend, stellen de rechthebbenden dat Stephen Roller tijdens een getuigenverhoor vorige week heeft toegegeven dat hij Books3 via torrent heeft gedownload en bewust heeft verspreid. Roller werkte tussen 2017 en 2023 bij Meta, en de download zou in die periode hebben plaatsgevonden.
Roller herinnerde zich niet precies wanneer hij de dataset verkreeg, maar hij erkende dat Books3 in 2020 werd gemaakt en dat hij in die periode niet voor andere bedrijven werkte.
Dit is relevant, aangezien de rechtbank vorig jaar oordeelde dat het trainen van Llama op boeken onder 'fair use' viel. Hierdoor bleven de BitTorrent-downloads van Meta het belangrijkste openstaande punt in de zaak van de auteurs. Onlangs heeft een rechter Meta bevolen de werknemers te noemen die het torrenten vanuit 'shadow libraries' hebben goedgekeurd.
Meta heeft eerder toegegeven Books3 te hebben gebruikt. Begin 2024 gaf het bedrijf toe dat delen van de dataset zijn gebruikt om de Llama 1- en Llama 2-modellen te trainen. In die erkenning werd echter niet vermeld hoe Meta aan de dataset was gekomen.
Roller getuigde ook dat Meta kopieën van Books3 bezat op het moment dat hij de AI-onderzoeksgroep FAIR verliet. Daarnaast noemde hij twee research scientists die, volgens de eisers, waarschijnlijk eigen kopieën hadden verkregen.
Roller heeft zelf geen kopie meer. Volgens de eisers heeft hij deze ongeveer een jaar geleden verwijderd, mogelijk nadat hij voor de tweede keer werd gedagvaard. Hij deed dit "[v]anwege alle rechtszaken", omdat het "omstreden leek om kopieën van The Pile [waar Books3 deel van uitmaakt] te bezitten."
De bewering dat Meta meerdere kopieën had, waarvan er ten minste één via torrent was verkregen, was nieuw voor de eisers. Zij zijn van plan Meta te vragen hoeveel kopieën van Books3 het bedrijf heeft verkregen en op welke manier; indien dit mislukt, zullen zij de rechtbank om tussenkomst vragen.
Standpunt van Meta: Mogelijk voor eigen gebruik
Meta ziet de zaak anders. Het bedrijf merkt op dat het statusrapport de eerste keer is dat de rechthebbenden deze zorgen uiten, en stelt dat de getuigenis van Roller hen niet ondersteunt.
"De heer Roller getuigde dat hij niet wist wanneer hij een kopie van 'The Pile' via torrent downloadde, en hij heeft niet getuigd dat zijn download van 'The Pile' voor Meta of bij Meta was; hij merkte op dat het voor hemzelf of voor een andere werkgever had kunnen zijn," schrijft Meta.
Volgens Meta gaf Roller ook aan dat hij niet wist of er meer dan één kopie was gedownload, of dat de twee genoemde onderzoekers Books3 hadden verkregen. Hij verliet Meta in januari 2023 en heeft sindsdien voor drie andere bedrijven in de AI-sector gewerkt. De verwijderde kopie stond op de persoonlijke computer van Roller. Hij verwijderde deze meer dan twee jaar na zijn vertrek omdat hij "het niet nodig had, dus liever niet wilde hebben."
Een (gepirateerde) boekenclub
Books3 is niet het enige gepirateerde materiaal dat in het statusrapport naar voren komt. De eisers suggereren dat gepirateerde boeken bij Meta mogelijk voor andere doeleinden dan AI-training zijn gebruikt.
Zij eisen dat Meta de inhoud van een interne Google Drive-map getiteld "ML Books" overhandigt. Daarnaast willen zij gegevens over een Meta-boekenclub die mogelijk boeken uit shadow libraries heeft gebruikt.
In een van de documenten die Meta heeft overgelegd, deelde een werknemer een "gepirateerd boek" met een collega. "i know for vellum sake this is prob very ironic," schreef de werknemer. Op de vraag of het boek gepirateerd was, antwoordde de werknemer met een link naar de "ML Books"-map. De ontvanger zei hierover tegen een andere collega: "bro she tryna get me fired" en voegde toe dat hij haar "misschien zou moeten vragen die berichten te verwijderen."
De eisers beschouwen dit als relevant, omdat het gebruik van shadow library-boeken voor een boekenclub de 'fair use'-verdediging van Meta zou kunnen beïnvloeden. Meta stelt echter dat dit verzoek te laat komt, aangezien de eisers de gekoppelde bestanden pas op 9 oktober opvroegen, meer dan een maand nadat de ontdekkingsperiode (discovery period) was gesloten. Wat betreft de map zelf, geeft Meta aan dit te onderzoeken en met de eisers te bespreken zodra er meer bekend is.
Ontbrekende serverlogs
Naast de kopie van Books3 stellen de eisers dat er andere materialen ontbreken. Meta heeft nog steeds niet alle 'command history'-bestanden van het torrenten overhandigd, ondanks gerechtelijke bevelen. Volgens de eisers tonen deze logs aan hoe Meta de torrent-software configureerde en welke torrent-bestanden, en daarmee welke werken, werden getarget.
Specifiek heeft Meta nog geen command history-bestanden overhandigd van de servers die tijdens de torrent-periodes werden gebruikt. De eisers vragen de rechtbank nu om Meta te dwingen te verklaren of deze bestanden zijn verwijderd en wanneer dit is gebeurd.
Meta werpt tegen dat het aanzienlijke hoeveelheden logs van die servers heeft geproduceerd en nog steeds backups doorzoekt, waarbij nieuwe bestanden voortdurend worden overhandigd. Volgens Meta is er geen reden om aan te nemen dat er command history-bestanden zijn verwijderd.
De zaak van Entrepreneur staat gepland voor een proces in het voorjaar van 2027, waarbij de andere uitgevers volgen indien de zaak daarvóór niet wordt geschikt. Ondertussen groeit de lijst met gerelateerde zaken; deze maand hebben uitgevers zoals Elsevier, Hachette en Macmillan, evenals meer auteurs, zich bij de procedure aangesloten.
Oud-onderzoeker van Meta downloadde dataset met gepirateerde boeken via torrent, verwijderde deze 'vanwege alle rechtszaken'
In een reeks rechtszaken voor de federale rechtbank in Californië wordt Meta aangeklaagd vanwege het gebruik van gepirateerde boeken voor het trainen van de Llama AI-modellen. De zaken zijn afzonderlijk, maar worden gezamenlijk behandeld door rechter Vince Chhabria. De eisers zijn onder anderen auteurs zoals Sarah Silverman en Ta-Nehisi Coates, en uitgevers zoals Entrepreneur Media en Chicken Soup for the Soul.
In augustus vertelde Meta aan Entrepreneur dat het niet geloofde dat de gepirateerde Books3-dataset via BitTorrent was verkregen. Books3 is een collectie van bijna 200.000 boeken, afkomstig uit de bibliotheek van de private torrent-tracker Bibliotik. Recente getuigenverklaringen van een voormalig Meta-onderzoeker schetsen echter een ander beeld.
Getuigenis over het torrenten van Books3
In een gezamenlijk statusrapport dat dinsdag bij Meta is ingediend, stellen de rechthebbenden dat Stephen Roller tijdens een getuigenverhoor vorige week heeft toegegeven dat hij Books3 via torrent heeft gedownload en bewust heeft verspreid. Roller werkte tussen 2017 en 2023 bij Meta, en de download zou in die periode hebben plaatsgevonden.
Roller herinnerde zich niet precies wanneer hij de dataset verkreeg, maar hij erkende dat Books3 in 2020 werd gemaakt en dat hij in die periode niet voor andere bedrijven werkte.
Dit is relevant, aangezien de rechtbank vorig jaar oordeelde dat het trainen van Llama op boeken onder 'fair use' viel. Hierdoor bleven de BitTorrent-downloads van Meta het belangrijkste openstaande punt in de zaak van de auteurs. Onlangs heeft een rechter Meta bevolen de werknemers te noemen die het torrenten vanuit 'shadow libraries' hebben goedgekeurd.
Meta heeft eerder toegegeven Books3 te hebben gebruikt. Begin 2024 gaf het bedrijf toe dat delen van de dataset zijn gebruikt om de Llama 1- en Llama 2-modellen te trainen. In die erkenning werd echter niet vermeld hoe Meta aan de dataset was gekomen.
Roller getuigde ook dat Meta kopieën van Books3 bezat op het moment dat hij de AI-onderzoeksgroep FAIR verliet. Daarnaast noemde hij twee research scientists die, volgens de eisers, waarschijnlijk eigen kopieën hadden verkregen.
Roller heeft zelf geen kopie meer. Volgens de eisers heeft hij deze ongeveer een jaar geleden verwijderd, mogelijk nadat hij voor de tweede keer werd gedagvaard. Hij deed dit "[v]anwege alle rechtszaken", omdat het "omstreden leek om kopieën van The Pile [waar Books3 deel van uitmaakt] te bezitten."
De bewering dat Meta meerdere kopieën had, waarvan er ten minste één via torrent was verkregen, was nieuw voor de eisers. Zij zijn van plan Meta te vragen hoeveel kopieën van Books3 het bedrijf heeft verkregen en op welke manier; indien dit mislukt, zullen zij de rechtbank om tussenkomst vragen.
Standpunt van Meta: Mogelijk voor eigen gebruik
Meta ziet de zaak anders. Het bedrijf merkt op dat het statusrapport de eerste keer is dat de rechthebbenden deze zorgen uiten, en stelt dat de getuigenis van Roller hen niet ondersteunt.
"De heer Roller getuigde dat hij niet wist wanneer hij een kopie van 'The Pile' via torrent downloadde, en hij heeft niet getuigd dat zijn download van 'The Pile' voor Meta of bij Meta was; hij merkte op dat het voor hemzelf of voor een andere werkgever had kunnen zijn," schrijft Meta.
Volgens Meta gaf Roller ook aan dat hij niet wist of er meer dan één kopie was gedownload, of dat de twee genoemde onderzoekers Books3 hadden verkregen. Hij verliet Meta in januari 2023 en heeft sindsdien voor drie andere bedrijven in de AI-sector gewerkt. De verwijderde kopie stond op de persoonlijke computer van Roller. Hij verwijderde deze meer dan twee jaar na zijn vertrek omdat hij "het niet nodig had, dus liever niet wilde hebben."
Een (gepirateerde) boekenclub
Books3 is niet het enige gepirateerde materiaal dat in het statusrapport naar voren komt. De eisers suggereren dat gepirateerde boeken bij Meta mogelijk voor andere doeleinden dan AI-training zijn gebruikt.
Zij eisen dat Meta de inhoud van een interne Google Drive-map getiteld "ML Books" overhandigt. Daarnaast willen zij gegevens over een Meta-boekenclub die mogelijk boeken uit shadow libraries heeft gebruikt.
In een van de documenten die Meta heeft overgelegd, deelde een werknemer een "gepirateerd boek" met een collega. "i know for vellum sake this is prob very ironic," schreef de werknemer. Op de vraag of het boek gepirateerd was, antwoordde de werknemer met een link naar de "ML Books"-map. De ontvanger zei hierover tegen een andere collega: "bro she tryna get me fired" en voegde toe dat hij haar "misschien zou moeten vragen die berichten te verwijderen."
De eisers beschouwen dit als relevant, omdat het gebruik van shadow library-boeken voor een boekenclub de 'fair use'-verdediging van Meta zou kunnen beïnvloeden. Meta stelt echter dat dit verzoek te laat komt, aangezien de eisers de gekoppelde bestanden pas op 9 oktober opvroegen, meer dan een maand nadat de ontdekkingsperiode (discovery period) was gesloten. Wat betreft de map zelf, geeft Meta aan dit te onderzoeken en met de eisers te bespreken zodra er meer bekend is.
Ontbrekende serverlogs
Naast de kopie van Books3 stellen de eisers dat er andere materialen ontbreken. Meta heeft nog steeds niet alle 'command history'-bestanden van het torrenten overhandigd, ondanks gerechtelijke bevelen. Volgens de eisers tonen deze logs aan hoe Meta de torrent-software configureerde en welke torrent-bestanden, en daarmee welke werken, werden getarget.
Specifiek heeft Meta nog geen command history-bestanden overhandigd van de servers die tijdens de torrent-periodes werden gebruikt. De eisers vragen de rechtbank nu om Meta te dwingen te verklaren of deze bestanden zijn verwijderd en wanneer dit is gebeurd.
Meta werpt tegen dat het aanzienlijke hoeveelheden logs van die servers heeft geproduceerd en nog steeds backups doorzoekt, waarbij nieuwe bestanden voortdurend worden overhandigd. Volgens Meta is er geen reden om aan te nemen dat er command history-bestanden zijn verwijderd.
De zaak van Entrepreneur staat gepland voor een proces in het voorjaar van 2027, waarbij de andere uitgevers volgen indien de zaak daarvóór niet wordt geschikt. Ondertussen groeit de lijst met gerelateerde zaken; deze maand hebben uitgevers zoals Elsevier, Hachette en Macmillan, evenals meer auteurs, zich bij de procedure aangesloten.
Groetjes,