Een recent peer-reviewed artikel in het tijdschrift New Review of Academic Librarianship over de illegale e-bookbibliotheek Z-Library bevat diverse niet-bestaande bronvermeldingen. TorrentFreak ontdekte dat er naar een niet-bestaand artikel van hen wordt verwezen, waarna verder onderzoek uitwees dat minstens tien van de 44 referenties gefabriceerd zijn, inclusief werken die ten onrechte aan bestaande experts worden toegeschreven.
De auteurs geven toe dat zij Consensus AI en ChatGPT hebben gebruikt in het schrijfproces, wat de 'hallucinaties' van de AI verklaart. Er is sprake van ironie, aangezien het artikel waarschuwt dat shadow libraries de financiering van academische publicaties in gevaar brengen, terwijl het zelf grotendeels door AI is gegenereerd. Uitgever Taylor & Francis heeft aangegeven een onderzoek in te stellen naar de ethische integriteit van het artikel.
AI-ondersteund artikel over Z-Library citeert niet-bestaand TorrentFreak-artikel
Z-Library is een van de grootste illegale e-bookbibliotheken op het internet, die miljoenen boeken en artikelen gratis aanbiedt. Voor studenten en onderzoekers die zich geen dure studieboeken en tijdschriftabonnementen kunnen veroorloven, kan het een nuttige bron zijn. Tegelijkertijd hebben uitgevers jarenlang geprobeerd de site offline te halen met takedown-notices en blokkeringsbevelen, terwijl Amerikaanse autoriteiten de vermeende exploitanten hebben aangeklaagd.
Deze spanning is het onderwerp van een artikel dat eerder deze maand is gepubliceerd in het tijdschrift New Review of Academic Librarianship, geschreven door twee bibliothecarissen aan Nigeriaanse universiteiten.
Het artikel
Het peer-reviewed academische artikel kiest geen partij en de hoofdauteur heeft vriendelijkerwijs een kopie van hun werk met TorrentFreak gedeeld. Hoewel de conclusies niet direct nieuwswaardig zijn, was er één referentie die direct opviel.
Een niet-bestaand TorrentFreak-artikel
In een sectie over de handhaving tegen Z-Library schrijven de auteurs dat grote academische uitgevers, waaronder Elsevier en Springer Nature, vergelijkbare juridische stappen hebben ondernomen. De referentie is een TorrentFreak-artikel uit 2021.
Het probleem is dat deze specifieke juridische actie nieuw voor ons is. In de referentielijst wordt het artikel vermeld als "Publishers continue crackdown on shadow libraries" met een link naar de homepagina van TorrentFreak. Wij hebben echter nooit een artikel met die titel gepubliceerd.
We hebben wel bericht dat Elsevier en Springer Nature een Britse blokkeringsbevel hebben verkregen tegen Sci-Hub, en dat verschillende Z-Library-domeinen tijdelijk werden geschorst vanwege claims over inbreuk op het auteursrecht. We zijn ons echter niet bewust van deze specifieke juridische actie tegen Z-Library.
Meer onjuiste bronnen
Bij nader inzien zien we meer beweringen die niet lijken te kloppen. De beschrijving van de strafzaak tegen Z-Library stelt bijvoorbeeld dat het Amerikaanse ministerie van Justitie (DOJ) in 2022 "individuen heeft gearresteerd".
Het eigen persbericht van het DOJ vermeldt dat de twee vermeende exploitanten, wiens aanklacht we destijds hebben verslagen, in Argentinië zijn gearresteerd "op verzoek van de Verenigde Staten". De titel die het artikel aan dat persbericht geeft, bestaat overigens ook niet.
Deze niet-bestaande citaten lijken plausibel, omdat ze echte publicaties en organisaties in een passende context citeren. Dat betekent echter niet dat ze accuraat zijn. Bij controle van de volledige referentielijst merkten we dat dit voor meer bronnen geldt:
- Een artikel uit 2019 in het Harvard Journal of Law & Technology van professor in het IE-recht Daniel Gervais, getiteld "The future of intellectual property in the shadow of shadow libraries". De inhoudsopgave van de geciteerde editie bevat dit artikel niet, en de genoemde pagina's worden ingenomen door twee artikelen over andere onderwerpen.
- Een artikel uit 2019 in College & Research Libraries toegeschreven aan Carol Tenopir en collega's. De geciteerde editie bevat geen artikel van Tenopir. Zij was wel co-auteur van een artikel uit 2019 over een vergelijkbaar onderwerp, maar dat verscheen in een ander tijdschrift onder een andere titel.
- Andere bronnen die niet konden worden gelokaliseerd zijn een artikel uit 2019 toegeschreven aan Björn Brembs, artikelen toegeschreven aan auteurs genaamd Smith, Piper, Okike en Aronson, en een Kaspersky-rapport over "the hidden dangers of shadow libraries".
In totaal was het lastig om ten minste tien van de 44 referenties in het artikel te vinden, naast andere bronnen die niet noodzakelijkerwijs de gestelde claims ondersteunden.
De rol van AI
De voor de hand liggende vraag is waar deze mysterieuze referenties vandaan komen. De dankwoord-sectie van het artikel geeft mogelijk een hint, aangezien er wordt vermeld dat AI is gebruikt in het onderzoek- en schrijfproces.
De auteurs schrijven: "We bevestigen dat Consensus AI is gebruikt bij het filteren van een groot volume aan literatuur en het extraheren van relevante informatie." Ze voegen eraan toe dat ChatGPT is gebruikt om de taal in delen van het artikel te verbeteren.
AI-chatbots staan erom bekend referenties te verzinnen, vaak met plausibele titels toegeschreven aan echte experts in het vakgebied. Dit zou de bevindingen kunnen verklaren, hoewel het niet bewijst dat AI deze referenties heeft geschreven.
Ook is het abstract en de conclusie van het artikel door de AI-detectietool Pangram gehaald. Voor beide secties rapporteerde de tool dat "100% van de tekst waarschijnlijk AI-gegenereerd is". Dit soort tools zijn niet perfect en kunnen fout-positieven produceren, maar het past in het plaatje.
Ironie en duurzaamheid
Het zou nogal ironisch zijn als AI deze fouten heeft veroorzaakt. Het zou betekenen dat een artikel in een commercieel, peer-reviewed tijdschrift, gepubliceerd door Taylor & Francis, vertrouwde op AI om over Z-Library te schrijven, terwijl veel rechthebbenden AI-bedrijven aanklagen voor het gebruik van shadow libraries om AI-modellen te trainen.
Interessant is dat het artikel expliciet waarschuwt dat sites zoals Z-Library de inkomsten van uitgevers schaden, wat de financiering van peer review en redactie in gevaar brengt.
Er staat: "Het wijdverspreide gebruik van Z-Library vormt aanzienlijke uitdagingen voor de duurzaamheid van academische publicaties. Uitgevers vertrouwen op abonnementskosten en betaalmuren om de peer review, redactie en distributie van wetenschappelijke werken te financieren." Deze tekst is vermoedelijk ook door AI gegenereerd.
Het artikel vermeldt overigens niet dat peer reviewers over het algemeen niet worden betaald voor hun werk, een kwestie die centraal stond in een recente rechtszaak tegen grote academische uitgevers, waaronder Taylor & Francis.
Onderzoek door de uitgever
De hoofdauteur deelde aanvankelijk een kopie van het artikel met ons, maar beantwoordde geen vervolgvragen over de mysterieuze referenties. Ook Gervais, Brembs en Tenopir, naar wie verwezen werd, reageerden niet op de vraag of zij de aan hen toegeschreven artikelen hadden geschreven.
Uitgever Taylor & Francis reageerde wel en gaf aan de zaak te onderzoeken. Een woordvoerder van Taylor & Francis informeerde TorrentFreak: "Ik kan bevestigen dat dit is doorverwezen naar onze Editorial and Publishing Ethics & Integrity teams, die de door u geuite zorgen zullen onderzoeken."
De uitgever zal verder geen commentaar geven zolang het onderzoek loopt. Of het artikel zal worden gecorrigeerd of ingetrokken, moet nog blijken.
AI-ondersteund artikel over Z-Library citeert niet-bestaand TorrentFreak-artikel
Z-Library is een van de grootste illegale e-bookbibliotheken op het internet, die miljoenen boeken en artikelen gratis aanbiedt. Voor studenten en onderzoekers die zich geen dure studieboeken en tijdschriftabonnementen kunnen veroorloven, kan het een nuttige bron zijn. Tegelijkertijd hebben uitgevers jarenlang geprobeerd de site offline te halen met takedown-notices en blokkeringsbevelen, terwijl Amerikaanse autoriteiten de vermeende exploitanten hebben aangeklaagd.
Deze spanning is het onderwerp van een artikel dat eerder deze maand is gepubliceerd in het tijdschrift New Review of Academic Librarianship, geschreven door twee bibliothecarissen aan Nigeriaanse universiteiten.
Het artikel
Het peer-reviewed academische artikel kiest geen partij en de hoofdauteur heeft vriendelijkerwijs een kopie van hun werk met TorrentFreak gedeeld. Hoewel de conclusies niet direct nieuwswaardig zijn, was er één referentie die direct opviel.
Een niet-bestaand TorrentFreak-artikel
In een sectie over de handhaving tegen Z-Library schrijven de auteurs dat grote academische uitgevers, waaronder Elsevier en Springer Nature, vergelijkbare juridische stappen hebben ondernomen. De referentie is een TorrentFreak-artikel uit 2021.
Het probleem is dat deze specifieke juridische actie nieuw voor ons is. In de referentielijst wordt het artikel vermeld als "Publishers continue crackdown on shadow libraries" met een link naar de homepagina van TorrentFreak. Wij hebben echter nooit een artikel met die titel gepubliceerd.
We hebben wel bericht dat Elsevier en Springer Nature een Britse blokkeringsbevel hebben verkregen tegen Sci-Hub, en dat verschillende Z-Library-domeinen tijdelijk werden geschorst vanwege claims over inbreuk op het auteursrecht. We zijn ons echter niet bewust van deze specifieke juridische actie tegen Z-Library.
Meer onjuiste bronnen
Bij nader inzien zien we meer beweringen die niet lijken te kloppen. De beschrijving van de strafzaak tegen Z-Library stelt bijvoorbeeld dat het Amerikaanse ministerie van Justitie (DOJ) in 2022 "individuen heeft gearresteerd".
Het eigen persbericht van het DOJ vermeldt dat de twee vermeende exploitanten, wiens aanklacht we destijds hebben verslagen, in Argentinië zijn gearresteerd "op verzoek van de Verenigde Staten". De titel die het artikel aan dat persbericht geeft, bestaat overigens ook niet.
Deze niet-bestaande citaten lijken plausibel, omdat ze echte publicaties en organisaties in een passende context citeren. Dat betekent echter niet dat ze accuraat zijn. Bij controle van de volledige referentielijst merkten we dat dit voor meer bronnen geldt:
- Een artikel uit 2019 in het Harvard Journal of Law & Technology van professor in het IE-recht Daniel Gervais, getiteld "The future of intellectual property in the shadow of shadow libraries". De inhoudsopgave van de geciteerde editie bevat dit artikel niet, en de genoemde pagina's worden ingenomen door twee artikelen over andere onderwerpen.
- Een artikel uit 2019 in College & Research Libraries toegeschreven aan Carol Tenopir en collega's. De geciteerde editie bevat geen artikel van Tenopir. Zij was wel co-auteur van een artikel uit 2019 over een vergelijkbaar onderwerp, maar dat verscheen in een ander tijdschrift onder een andere titel.
- Andere bronnen die niet konden worden gelokaliseerd zijn een artikel uit 2019 toegeschreven aan Björn Brembs, artikelen toegeschreven aan auteurs genaamd Smith, Piper, Okike en Aronson, en een Kaspersky-rapport over "the hidden dangers of shadow libraries".
In totaal was het lastig om ten minste tien van de 44 referenties in het artikel te vinden, naast andere bronnen die niet noodzakelijkerwijs de gestelde claims ondersteunden.
De rol van AI
De voor de hand liggende vraag is waar deze mysterieuze referenties vandaan komen. De dankwoord-sectie van het artikel geeft mogelijk een hint, aangezien er wordt vermeld dat AI is gebruikt in het onderzoek- en schrijfproces.
De auteurs schrijven: "We bevestigen dat Consensus AI is gebruikt bij het filteren van een groot volume aan literatuur en het extraheren van relevante informatie." Ze voegen eraan toe dat ChatGPT is gebruikt om de taal in delen van het artikel te verbeteren.
AI-chatbots staan erom bekend referenties te verzinnen, vaak met plausibele titels toegeschreven aan echte experts in het vakgebied. Dit zou de bevindingen kunnen verklaren, hoewel het niet bewijst dat AI deze referenties heeft geschreven.
Ook is het abstract en de conclusie van het artikel door de AI-detectietool Pangram gehaald. Voor beide secties rapporteerde de tool dat "100% van de tekst waarschijnlijk AI-gegenereerd is". Dit soort tools zijn niet perfect en kunnen fout-positieven produceren, maar het past in het plaatje.
Ironie en duurzaamheid
Het zou nogal ironisch zijn als AI deze fouten heeft veroorzaakt. Het zou betekenen dat een artikel in een commercieel, peer-reviewed tijdschrift, gepubliceerd door Taylor & Francis, vertrouwde op AI om over Z-Library te schrijven, terwijl veel rechthebbenden AI-bedrijven aanklagen voor het gebruik van shadow libraries om AI-modellen te trainen.
Interessant is dat het artikel expliciet waarschuwt dat sites zoals Z-Library de inkomsten van uitgevers schaden, wat de financiering van peer review en redactie in gevaar brengt.
Er staat: "Het wijdverspreide gebruik van Z-Library vormt aanzienlijke uitdagingen voor de duurzaamheid van academische publicaties. Uitgevers vertrouwen op abonnementskosten en betaalmuren om de peer review, redactie en distributie van wetenschappelijke werken te financieren." Deze tekst is vermoedelijk ook door AI gegenereerd.
Het artikel vermeldt overigens niet dat peer reviewers over het algemeen niet worden betaald voor hun werk, een kwestie die centraal stond in een recente rechtszaak tegen grote academische uitgevers, waaronder Taylor & Francis.
Onderzoek door de uitgever
De hoofdauteur deelde aanvankelijk een kopie van het artikel met ons, maar beantwoordde geen vervolgvragen over de mysterieuze referenties. Ook Gervais, Brembs en Tenopir, naar wie verwezen werd, reageerden niet op de vraag of zij de aan hen toegeschreven artikelen hadden geschreven.
Uitgever Taylor & Francis reageerde wel en gaf aan de zaak te onderzoeken. Een woordvoerder van Taylor & Francis informeerde TorrentFreak: "Ik kan bevestigen dat dit is doorverwezen naar onze Editorial and Publishing Ethics & Integrity teams, die de door u geuite zorgen zullen onderzoeken."
De uitgever zal verder geen commentaar geven zolang het onderzoek loopt. Of het artikel zal worden gecorrigeerd of ingetrokken, moet nog blijken.
Groetjes,