Dermatoloog Dr. Magnus Lynch heeft de diagnostische capaciteiten van moderne LLM's (GPT-6 Astra en Claude Fable 5.1) vergeleken met een verouderd Convolutioneel Neuraal Netwerk (CNN, Inception v3) voor het diagnosticeren van huidkanker.
Uit een test met 200 bevestigde laesies uit de MILK10k-dataset bleek dat het gefinetunede CNN een nauwkeurigheid van 62% behaalde, terwijl de LLM's slechts 42% scoorden. Vooral bij het identificeren van onschadelijke laesies (zoals moedervlekken en seborroïsche keratosen) was het CNN superieur. De LLM's vertoonden een neiging tot 'favoriete' antwoorden, waarbij ze bepaalde types kanker vaker diagnosticeerden dan feitelijk aanwezig waren.
De auteur concludeert dat een klein, gespecialiseerd en lokaal draaiend netwerk aanzienlijk beter presteert in deze specifieke medische taak dan de meest geavanceerde algemene AI-modellen van dit moment.
Een 10 jaar oud CNN presteert beter dan moderne LLM's bij de diagnose van huidkanker
Ik ben dermatoloog. Ik heb het vermogen van GPT-6 Astra en Claude Fable 5.1 getest om huidkanker te diagnosticeren en ontdekte dat ze minder nauwkeurig waren dan ik had verwacht. Tot mijn verbazing bleek een 10 jaar oud CNN (Convolutioneel Neuraal Netwerk) superieur te zijn.
Casus: Melanoom
Afbeelding 1: Invasief melanoom op het oor, minder dan 0,8 mm dik. Beide LLM's noemden het een seborroïsche keratose en stelden dat de patiënt ontslagen kon worden. Het CNN identificeerde het correct als een melanoom. (Links: klinische foto, rechts: dermoscopisch beeld. Afbeeldingen: MILK10k, MILK study team, CC BY-NC).
Ik liet deze twee afbeeldingen — een klinische foto en een dermoscopisch beeld (huidmicroscoop) — zien aan GPT-6 Astra en Claude Fable 5.1, twee van de meest geavanceerde AI-modellen die in oktober 2026 beschikbaar zijn. Beiden stelden dat het ging om een seborroïsche keratose, een onschadelijke wratachtige uitwas, en dat de patiënt naar huis kon. Vervolgens liet ik de beelden zien aan een gefinetunede versie van Inception v3, een convolutioneel neuraal netwerk (CNN) dat voor het eerst in 2015 door Google werd gepubliceerd en hier is gefinetuned op openbare dermatologische afbeeldingen. Het CNN gaf op basis van het dermoscopische beeld het juiste antwoord.
Dit was één van de 200 door biopsie bevestigde laesies die ik aan alle drie de modellen voorlegde. Het CNN stelde de juiste diagnose (uit 6 mogelijkheden) bij 125 gevallen (62%). De twee geavanceerde LLM's deden dit bij respectievelijk 84 en 85 gevallen (42%). Een tien jaar oud netwerk, dat ongeveer twintig minuten is gefinetuned, versloeg hen beiden in het herkennen van huidkanker.
De test
De laesies zijn afkomstig uit MILK10k, een openbare dataset die in 2025 is vrijgegeven via de International Skin Imaging Collaboration. Van elke laesie zijn twee foto's gemaakt: een klinische close-up en een dermoscopisch beeld, genomen met de verlichte vergrotingslens die dermatologen gebruiken. Ik selecteerde willekeurig 200 laesies, waarvan alle diagnoses histopathologisch zijn bevestigd:
- 100 laesies die niet ontslagen mogen worden: 30 melanomen, 25 basaalcelcarcinomen, 25 plaveiselcelcarcinomen (inclusief het ziektebeeld van Bowen) en 20 actinische keratosen.
- 100 laesies die veilig ontslagen kunnen worden: 50 goedaardige naevi (moedervlekken) en 50 seborroïsche keratosen.
Elke laesie is gebiopsieerd, inclusief de goedaardige. Dit maakt de diagnose lastiger: een moedervlek die iemand besluit weg te halen, is er vaak een die een clinicus zorgen baarde.
Voorbeelden uit de testset:
- Basaalcelcarcinoom op de romp van een man van 75 jaar. Alle drie de modellen antwoordden correct.
- Invasief melanoom (minder dan 0,8 mm dik, met zeer weinig pigment). GPT-6 Astra noemde het met 95% zekerheid een basaalcelcarcinoom. Claude Fable 5.1 en het CNN noemden het correct een melanoom.
- Seborroïsche keratose op het been. Beide LLM's noemden het een actinische keratose en het CNN een plaveiselcelcarcinoom: alle drie zaten ernaast, hoewel alle drie de modellen zouden adviseren de laesie te behouden in plaats van deze te ontslaan.
(Afbeelding 2: Drie van de 200 testlaesies. Links: klinische foto, rechts: dermoscopisch beeld. Afbeeldingen: MILK10k, MILK study team, CC BY-NC).
Methodologie
De LLM's kregen beide afbeeldingen en niets anders. Ze werden gevraagd — zoals een clinicus ze zou gebruiken — naar de meest waarschijnlijke van de zes diagnoses (of "onzeker"), een betrouwbaarheidsscore, een tweede keuze, en of de laesie veilig kon worden ontslagen zonder behandeling, biopsie of follow-up. Beide modellen kregen dezelfde prompt bij standaardinstellingen; geen van beide weigerde een casus.
Het CNN is bewust niet 'state of the art'. Ik gebruikte Inception v3, vooraf getraind op alledaagse foto's, en finetunede vervolgens alle lagen op 68.011 dermoscopische en klinische beelden uit het ISIC-archief op een enkele H100 GPU. Deze 200 testlaesies (en elke andere foto van dezelfde laesie of patiënt) waren vóór de training verwijderd uit de data (inclusief de validatieset), zodat het model ze nooit eerder had gezien. Het model scoorde beide afbeeldingen van elke laesie en combineerde deze, waarbij het meeste gewicht werd toegekend aan het dermoscopische beeld.
Het model is klein genoeg om volledig in een telefoonbrowser te draaien via WebGPU, waardoor er niets wordt geüpload.
Resultaten: 62% tegenover 42%
Het CNN had overall vaker gelijk en presteerde beter bij de meeste diagnoses. Als een tweede keuze werd toegestaan, bereikte het 173 van de 200 correcte diagnoses, tegenover 134 en 138 voor de LLM's. Het identificeerde 13 van de 30 melanomen, tegenover 8 en 11.
Het grootste verschil zat bij de onschadelijke laesies: het CNN herkende 37 van de 50 moedervlekken en 26 van de 50 seborroïsche keratosen. Ter vergelijking: GPT-6 Astra herkende er 16 en 13, en Claude Fable 5.1 herkende er 33 en 6. Het CNN scoorde één punt lager dan GPT-6 Astra bij basaalcelcarcinomen en lag achter op beide LLM's bij actinische keratosen.
De modellen faalden op verschillende manieren. Elke LLM had een 'favoriet' antwoord:
- GPT-6 Astra noemde 75 laesies een basaalcelcarcinoom, terwijl er slechts 25 waren (inclusief 14 van de 30 melanomen).
- Claude Fable 5.1 noemde 53 laesies een actinische keratose, terwijl er slechts 20 waren.
- Het CNN maakte bij melanomen de tegenovergestelde fout: van de 17 die het fout had, noemde het 8 een naevus en 6 een seborroïsche keratose.
Overzichtstabel resultaten
| Metriek | GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) |
|---|
| Correcte diagnose (van 200) | 84 (42%) | 85 (42%) | 125 (62%) |
| Correct in 1e of 2e keuze | 134 | 138 | 173 |
| Melanoom als 1e keuze (van 30) | 8 | 11 | 13 |
| Onveilige laesies behouden (van 100) | 97 | 96 | 77 (preset) / 98-99 (matched) |
| Veilige laesies ontslagen (van 100) | 32 | 22 | 76 (preset) |
| Melanomen ontslagen (van 30) | 3 | 4 | 18 (preset) / 1-2 (matched) |
Kanttekeningen
- Kleine aantallen: Tweehonderd laesies zijn voldoende om een patroon te tonen, maar niet om zeer dicht bij elkaar liggende resultaten definitief te rangschikken. De 30 melanomen zorgen voor een grote onzekerheidsmarge in de belangrijkste cijfers. Elke LLM-casus is één keer gedraaid; antwoorden kunnen variëren tussen verschillende runs.
- Moeilijke gevallen: Elke laesie is gebiopsieerd. Op gewone afbeeldingen uit het archief scheidde het CNN laesies die ontslagen moesten worden veel beter (AUC van de ROC-curve 0,96, tegenover 0,86 in deze test).
- Contaminatie: MILK10k is sinds 2025 openbaar, dus de LLM's kunnen dit in hun training hebben gezien; dat zou hen juist hebben geholpen. Het CNN heeft dit zeker niet gezien.
- Geen 'state of the art': Inception v3 is een baseline. Moderne AI voor huidkankerdiagnose gebruikt ensembles van image transformers die op meer data zijn getraind, en de gereguleerde producten die daarop gebouwd zijn, presteren aanzienlijk beter.
Vragen vanuit het perspectief van een patiënt
Wanneer de modellen werden gevraagd als patiënt, met enkel de klinische foto en de vraag "moet ik naar een dokter?", adviseerden beide LLM's in bijna elk geval om een arts te bezoeken, inclusief bij onschadelijke laesies. Dit gold voor 99 en 98 van een extra set van 100 bevestigde melanomen.
Conclusie
Een klein, oud en gespecialiseerd netwerk met een verouderde architectuur herkent huidlaesies veel beter dan twee geavanceerde frontier LLM's.
***
Over de auteur: Dr. Magnus Lynch is Consultant Dermatoloog en Mohs-chirurg bij Guy's Hospital en Honorary Reader (equivalent aan Associate Professor) aan King's College London. Zijn klinische werk omvat huidkanker, Mohs- en facial reconstructieve chirurgie en lasers; zijn onderzoek richt zich op de celbiologie van huidkankers en littekens, en het gebruik van AI in de dermatologie.
Een 10 jaar oud CNN presteert beter dan moderne LLM's bij de diagnose van huidkanker
Ik ben dermatoloog. Ik heb het vermogen van GPT-6 Astra en Claude Fable 5.1 getest om huidkanker te diagnosticeren en ontdekte dat ze minder nauwkeurig waren dan ik had verwacht. Tot mijn verbazing bleek een 10 jaar oud CNN (Convolutioneel Neuraal Netwerk) superieur te zijn.
Casus: Melanoom
Afbeelding 1: Invasief melanoom op het oor, minder dan 0,8 mm dik. Beide LLM's noemden het een seborroïsche keratose en stelden dat de patiënt ontslagen kon worden. Het CNN identificeerde het correct als een melanoom. (Links: klinische foto, rechts: dermoscopisch beeld. Afbeeldingen: MILK10k, MILK study team, CC BY-NC).
Ik liet deze twee afbeeldingen — een klinische foto en een dermoscopisch beeld (huidmicroscoop) — zien aan GPT-6 Astra en Claude Fable 5.1, twee van de meest geavanceerde AI-modellen die in oktober 2026 beschikbaar zijn. Beiden stelden dat het ging om een seborroïsche keratose, een onschadelijke wratachtige uitwas, en dat de patiënt naar huis kon. Vervolgens liet ik de beelden zien aan een gefinetunede versie van Inception v3, een convolutioneel neuraal netwerk (CNN) dat voor het eerst in 2015 door Google werd gepubliceerd en hier is gefinetuned op openbare dermatologische afbeeldingen. Het CNN gaf op basis van het dermoscopische beeld het juiste antwoord.
Dit was één van de 200 door biopsie bevestigde laesies die ik aan alle drie de modellen voorlegde. Het CNN stelde de juiste diagnose (uit 6 mogelijkheden) bij 125 gevallen (62%). De twee geavanceerde LLM's deden dit bij respectievelijk 84 en 85 gevallen (42%). Een tien jaar oud netwerk, dat ongeveer twintig minuten is gefinetuned, versloeg hen beiden in het herkennen van huidkanker.
De test
De laesies zijn afkomstig uit MILK10k, een openbare dataset die in 2025 is vrijgegeven via de International Skin Imaging Collaboration. Van elke laesie zijn twee foto's gemaakt: een klinische close-up en een dermoscopisch beeld, genomen met de verlichte vergrotingslens die dermatologen gebruiken. Ik selecteerde willekeurig 200 laesies, waarvan alle diagnoses histopathologisch zijn bevestigd:
- 100 laesies die niet ontslagen mogen worden: 30 melanomen, 25 basaalcelcarcinomen, 25 plaveiselcelcarcinomen (inclusief het ziektebeeld van Bowen) en 20 actinische keratosen.
- 100 laesies die veilig ontslagen kunnen worden: 50 goedaardige naevi (moedervlekken) en 50 seborroïsche keratosen.
Elke laesie is gebiopsieerd, inclusief de goedaardige. Dit maakt de diagnose lastiger: een moedervlek die iemand besluit weg te halen, is er vaak een die een clinicus zorgen baarde.
Voorbeelden uit de testset:
- Basaalcelcarcinoom op de romp van een man van 75 jaar. Alle drie de modellen antwoordden correct.
- Invasief melanoom (minder dan 0,8 mm dik, met zeer weinig pigment). GPT-6 Astra noemde het met 95% zekerheid een basaalcelcarcinoom. Claude Fable 5.1 en het CNN noemden het correct een melanoom.
- Seborroïsche keratose op het been. Beide LLM's noemden het een actinische keratose en het CNN een plaveiselcelcarcinoom: alle drie zaten ernaast, hoewel alle drie de modellen zouden adviseren de laesie te behouden in plaats van deze te ontslaan.
(Afbeelding 2: Drie van de 200 testlaesies. Links: klinische foto, rechts: dermoscopisch beeld. Afbeeldingen: MILK10k, MILK study team, CC BY-NC).
Methodologie
De LLM's kregen beide afbeeldingen en niets anders. Ze werden gevraagd — zoals een clinicus ze zou gebruiken — naar de meest waarschijnlijke van de zes diagnoses (of "onzeker"), een betrouwbaarheidsscore, een tweede keuze, en of de laesie veilig kon worden ontslagen zonder behandeling, biopsie of follow-up. Beide modellen kregen dezelfde prompt bij standaardinstellingen; geen van beide weigerde een casus.
Het CNN is bewust niet 'state of the art'. Ik gebruikte Inception v3, vooraf getraind op alledaagse foto's, en finetunede vervolgens alle lagen op 68.011 dermoscopische en klinische beelden uit het ISIC-archief op een enkele H100 GPU. Deze 200 testlaesies (en elke andere foto van dezelfde laesie of patiënt) waren vóór de training verwijderd uit de data (inclusief de validatieset), zodat het model ze nooit eerder had gezien. Het model scoorde beide afbeeldingen van elke laesie en combineerde deze, waarbij het meeste gewicht werd toegekend aan het dermoscopische beeld.
Het model is klein genoeg om volledig in een telefoonbrowser te draaien via WebGPU, waardoor er niets wordt geüpload.
Resultaten: 62% tegenover 42%
Het CNN had overall vaker gelijk en presteerde beter bij de meeste diagnoses. Als een tweede keuze werd toegestaan, bereikte het 173 van de 200 correcte diagnoses, tegenover 134 en 138 voor de LLM's. Het identificeerde 13 van de 30 melanomen, tegenover 8 en 11.
Het grootste verschil zat bij de onschadelijke laesies: het CNN herkende 37 van de 50 moedervlekken en 26 van de 50 seborroïsche keratosen. Ter vergelijking: GPT-6 Astra herkende er 16 en 13, en Claude Fable 5.1 herkende er 33 en 6. Het CNN scoorde één punt lager dan GPT-6 Astra bij basaalcelcarcinomen en lag achter op beide LLM's bij actinische keratosen.
De modellen faalden op verschillende manieren. Elke LLM had een 'favoriet' antwoord:
- GPT-6 Astra noemde 75 laesies een basaalcelcarcinoom, terwijl er slechts 25 waren (inclusief 14 van de 30 melanomen).
- Claude Fable 5.1 noemde 53 laesies een actinische keratose, terwijl er slechts 20 waren.
- Het CNN maakte bij melanomen de tegenovergestelde fout: van de 17 die het fout had, noemde het 8 een naevus en 6 een seborroïsche keratose.
Overzichtstabel resultaten
| Metriek | GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) |
|---|
| Correcte diagnose (van 200) | 84 (42%) | 85 (42%) | 125 (62%) |
| Correct in 1e of 2e keuze | 134 | 138 | 173 |
| Melanoom als 1e keuze (van 30) | 8 | 11 | 13 |
| Onveilige laesies behouden (van 100) | 97 | 96 | 77 (preset) / 98-99 (matched) |
| Veilige laesies ontslagen (van 100) | 32 | 22 | 76 (preset) |
| Melanomen ontslagen (van 30) | 3 | 4 | 18 (preset) / 1-2 (matched) |
Kanttekeningen
- Kleine aantallen: Tweehonderd laesies zijn voldoende om een patroon te tonen, maar niet om zeer dicht bij elkaar liggende resultaten definitief te rangschikken. De 30 melanomen zorgen voor een grote onzekerheidsmarge in de belangrijkste cijfers. Elke LLM-casus is één keer gedraaid; antwoorden kunnen variëren tussen verschillende runs.
- Moeilijke gevallen: Elke laesie is gebiopsieerd. Op gewone afbeeldingen uit het archief scheidde het CNN laesies die ontslagen moesten worden veel beter (AUC van de ROC-curve 0,96, tegenover 0,86 in deze test).
- Contaminatie: MILK10k is sinds 2025 openbaar, dus de LLM's kunnen dit in hun training hebben gezien; dat zou hen juist hebben geholpen. Het CNN heeft dit zeker niet gezien.
- Geen 'state of the art': Inception v3 is een baseline. Moderne AI voor huidkankerdiagnose gebruikt ensembles van image transformers die op meer data zijn getraind, en de gereguleerde producten die daarop gebouwd zijn, presteren aanzienlijk beter.
Vragen vanuit het perspectief van een patiënt
Wanneer de modellen werden gevraagd als patiënt, met enkel de klinische foto en de vraag "moet ik naar een dokter?", adviseerden beide LLM's in bijna elk geval om een arts te bezoeken, inclusief bij onschadelijke laesies. Dit gold voor 99 en 98 van een extra set van 100 bevestigde melanomen.
Conclusie
Een klein, oud en gespecialiseerd netwerk met een verouderde architectuur herkent huidlaesies veel beter dan twee geavanceerde frontier LLM's.
***
Over de auteur: Dr. Magnus Lynch is Consultant Dermatoloog en Mohs-chirurg bij Guy's Hospital en Honorary Reader (equivalent aan Associate Professor) aan King's College London. Zijn klinische werk omvat huidkanker, Mohs- en facial reconstructieve chirurgie en lasers; zijn onderzoek richt zich op de celbiologie van huidkankers en littekens, en het gebruik van AI in de dermatologie.
Groetjes,