Het artikel introduceert PhotoScan, een experimenteel deep learning-framework dat smartphonefoto's gebruikt om de lichaamssamenstelling van een persoon te schatten. Het model richt zich specifiek op het voorspellen van insulineresistentie, een vaak ondergediagnosticeerde drijver van metabole ziekten.
Kernpunten van de technologie:
- Metingen: In tegenstelling tot BMI, schat PhotoScan het vetpercentage (BF%), de Android-to-Gynoid ratio (A/G) en de Visceral-to-Subcutaneous ratio (V/S).
- Ontwikkeling: Het model is gebaseerd op een ResNet-50 backbone, vooraf getraind op data van de UK Biobank (35.000+ records) en gefinetuned met een cohort van 677 volwassenen.
- Validatie: In tests bleek PhotoScan nauwkeuriger in het bepalen van het vetpercentage dan de BIA-sensoren in smartwatches en benaderde het de nauwkeurigheid van de klinische gouden standaard, de DXA-scan.
Conclusie: PhotoScan biedt een schaalbaar en niet-invasief alternatief voor dure klinische beeldvorming, waardoor vroege detectie van cardiometabolische risico's toegankelijker wordt via digitale fenotypering.
Verder kijken dan BMI: Cardiometabolisch risico inschatten met smartphone-beelden
We tonen de haalbaarheid aan van PhotoScan, een deep learning-benadering die de lichaamssamenstelling schat op basis van smartphonefoto's. Hiermee kan insulineresistentie worden voorspeld met een nauwkeurigheid die vergelijkbaar is met DXA-scans in een klinische onderzoeksomgeving.
Inleiding: Het probleem van insulineresistentie
Insulineresistentie is een van de meest kritieke, maar ondergediagnosticeerde drijfveren van moderne metabole ziekten. Het gaat vaak jaren vooraf aan het klinische begin van type 2 diabetes. Een verminderde insulinegevoeligheid tast stilletjes de vasculaire gezondheid, de leverfunctie en het energiemetabolisme aan, lang voordat de nuchtere bloedsuikerspiegel stijgt tot diagnostische waarden.
De Homeostasis Model Assessment for Insulin Resistance (HOMA-IR) modelleert de feedbackloop tussen glucoseproductie in de lever en insulineafscheiding onder nuchtere omstandigheden. Op basis van epidemiologische reviews wordt een HOMA-IR-score hoger dan 2,9 beschouwd als insulineresistent.
Recente studies tonen aan dat multimodale machine learning-frameworks, die data van wearables combineren met routinematige laboratoriumtests, HOMA-IR nauwkeurig kunnen voorspellen om vroege metabole risico's te signaleren. Het integreren van objectieve maten van de lichaamssamenstelling biedt een essentiële aanvulling op wearable-technologie; waar wearables dagelijkse fysiologische gedragingen volgen, biedt de lichaamssamenstelling een structurele beoordeling van de adipositeit (vetgehalte) om een volledig beeld van het metabole risico te vormen.
Biomarkers van lichaamssamenstelling
Hoewel het totale vetpercentage een goede basislijn is om adipositeit tegenover vetvrije massa af te wegen, bieden aanvullende biomarkers van de lichaamssamenstelling veel diepere klinische inzichten:
- Android-to-Gynoid fat ratio (A/G-ratio): Vergelijkt het vet opgeslagen in de romp (een "appel"-vorm) met het vet in de heupen en dijen (een "peer"-vorm).
- Visceral-to-Subcutaneous fat area ratio (V/S-ratio): Maakt onderscheid tussen het hoogmetabole interne vet rondom de organen (visceraal) en het subcutane vet dat vlak onder de huid is opgeslagen.
Verhoogde A/G-ratio's en een hogere viscerale vetmassa correleren sterk met de prevalentie van insulineresistentie. Momenteel is de gouden standaard voor het meten van de werkelijke lichaamssamenstelling Dual-Energy X-Ray Absorptiometry (DXA). Deze scans zijn uiterst nauwkeurig, maar zijn niet geschikt voor dagelijkse screening omdat ze duur zijn, gespecialiseerde klinische infrastructuur vereisen en patiënten blootstellen aan lage doses straling.
Introductie van PhotoScan
Voortbouwend op de groeiende capaciteit van smartphones om passief de gezondheid van gebruikers te monitoren (zoals continue hartslagmeting), introduceren wij PhotoScan. Dit is een experimenteel deep learning-framework dat driedimensionale metrieken van de lichaamssamenstelling — waaronder het vetpercentage (BF%), de A/G-ratio en de V/S-ratio — direct schat vanuit standaard 2D-smartphonefoto's.
Om dit te realiseren, is een diep neuraal netwerk vooraf getraind op meer dan 35.000 deelnemersrecords van de UK Biobank en vervolgens gefinetuned met een diverse nieuwe cohort van 677 volwassenen. PhotoScan toont een hogere nauwkeurigheid in het voorspellen van het vetpercentage dan bio-elektrische impedantieanalyse (BIA)-sensoren in smartwatches. Bovendien ontsluit het de A/G- en V/S-ratio's, die buiten het bereik van BIA liggen, waardoor een schaalbaar en niet-invasief framework ontstaat om insulineresistentie te voorspellen met een nauwkeurigheid die benadert die van DXA.
De pipeline van lichaamssamenstelling
De procesgang werkt als volgt: eerst worden de metrieken van de lichaamssamenstelling geschat met het pretrained PhotoScan-model. Vervolgens worden deze kenmerken, gecombineerd met demografische gegevens van de gebruiker, gebruikt voor de classificatie van insulineresistentie.
Hoe PhotoScan werkt
PhotoScan omzeilt klinische metingen door geometrische lichaamsinformatie direct uit smartphonebeelden te extraheren. Het framework is ontwikkeld en geëvalueerd in drie fasen:
- Pre-training (UK Biobank, N = 35.323): Met een subset van de UK Biobank-dataset, die zowel MRI-beelden als lichaamssamenstelling-gegevens van DXA bevat, trainden we een ResNet-50 backbone. Deze voorspelt lichaamssamenstellingsmetrieken vanuit 2D-frontale en laterale projectiebeelden (gegenereerd uit 3D MRI-scans), waarbij DXA-scans als grondwaarheid dienen. Het model combineerde beeldkenmerken met geslacht, lengte, gewicht en interne BMI via een laatste dense layer.
- Fine-tuning (PhotoBIA-cohort, N = 677): Met de PhotoBIA-dataset is het model gefinetuned met behulp van echte smartphonefoto's gekoppeld aan DXA-gegevens, via 5-voudige kruisvalidatie. Om de trainingsdata aan te vullen, selecteerde een geautomatiseerde landmark-detectiepipeline de optimale frontale en laterale pose-frames uit 360-graden video's van deelnemers.
- Validatie (MetabolicMosaic-cohort, N = 132): Geëvalueerd op een onafhankelijke cohort. PhotoScan behaalde een sterke overeenstemming met DXA voor BF%, de A/G-ratio en de V/S-ratio. Deze dataset was afkomstig uit een longitudinaal onderzoek van 30 weken in San Francisco, waarbij deelnemers complete gepaarde data hadden van DXA, PhotoScan, BIA, antropometrie, nuchtere bloedwaarden (glucose, insuline, volledig lipidenpanel) en passieve continue Fitbit-tracking.
Belangrijkste resultaten
Nauwkeurigheid van de lichaamssamenstelling
Voor het PhotoBIA-cohort toonde het gefinetunede PhotoScan-model een gemiddelde gemiddelde absolute fout (MAE) van 2,15 voor de voorspelling van het vetpercentage (BF%), terwijl het BIA-gebaseerde model een MAE van 2,91 behaalde. De gemiddelde MAE was 0,107 voor A/G en 0,094 voor V/S.
Voor het MetabolicMosaic-cohort (onafhankelijke validatie) waren de MAE-waarden voor BF%, A/G en V/S vergelijkbaar met die van het PhotoBIA-cohort (respectievelijk 2,13, 0,085 en 0,085). De kleine afname in A/G en V/S in het MetabolicMosaic-cohort wordt veroorzaakt door een hoger aandeel vrouwen (67% tegenover 57%), aangezien vrouwen over het algemeen lagere absolute A/G- en V/S-ratio's vertonen door voornamelijk gynoïde, subcutane vetopslag.
Classificatie van insulineresistentie
We vergeleken hoe verschillende combinaties van data insulineresistentie voorspelden. We gebruikten een gradient boosting classifier op de MetabolicMosaic-cohort en testten vijf verschillende feature-sets:
- Baseline demografie (leeftijd, geslacht, BMI)
- Standaard antropometrie (met lintmeetband)
- Smartwatch BIA-sensoren
- Smartphone PhotoScan-metrieken
- Klinische DXA-scans (gouden standaard)
De evaluatie richtte zich op de Area Under the Receiver Operating Characteristic curve (AUROC) en de Net Reclassification Index (NRI).
- Baseline demografisch model: Behaalde een AUROC van 0,692.
- Demografie + PhotoScan: De nauwkeurigheid verbeterde naar een AUROC van 0,760 en een NRI van 0,593. Dit is bijna net zo effectief als het gebruik van klinische DXA-data (AUROC 0,773, NRI 0,748).
- Demografie + BIA: Leverde geen verbetering op in AUROC of NRI, aangezien BIA alleen een schatting van het vetpercentage (BF%) geeft, waarvan het belang significant lager is dan dat van de A/G- en V/S-ratio's in het PhotoScan-model.
Conclusies en toekomstperspectieven
Onze bevindingen tonen aan dat smartphone-gebaseerde schattingen van de lichaamssamenstelling een schaalbaar instrument zijn voor cardiometabolisch onderzoek. Waar klinische DXA-beeldvorming het meest nauwkeurig is maar niet schaalbaar, en wearable BIA-sensoren handig zijn maar beperkt blijven tot basisvetpercentages, biedt PhotoScan een veelbelovend middenpad.
Dit onderzoek benadrukt hoe digitale fenotypering de beperkingen van traditionele antropometrie, zoals BMI, kan aanpakken. BMI mist vaak klinisch significante variaties in de lichaamssamenstelling. Hoewel PhotoScan nog een onderzoeksprototype is, wijst deze aanpak naar een toegankelijke, niet-invasieve screening voor het risico op insulineresistentie.
Toekomstig onderzoek zal zich richten op multi-modale dataintegratie, waarbij lichaamssamenstellingsschattingen worden gecombineerd met continue wearable-data, glucosedynamiek en klinische bloedbiomarkers voor een holistische benadering van metabole gezondheid.
***
Voetnoten en bronnen:
- Deze studie is uitgevoerd met behulp van de UK Biobank Resource onder applicatienummer 65275.
- Gegevens verzameld via Pixel-telefoonfotografie en smartwatch BIA tegenover DXA, IRB Pro00065782.
- 132 individuen namen deel aan een longitudinaal onderzoek, IRB-goedkeuringsnummer 20241060.
Verder kijken dan BMI: Cardiometabolisch risico inschatten met smartphone-beelden
We tonen de haalbaarheid aan van PhotoScan, een deep learning-benadering die de lichaamssamenstelling schat op basis van smartphonefoto's. Hiermee kan insulineresistentie worden voorspeld met een nauwkeurigheid die vergelijkbaar is met DXA-scans in een klinische onderzoeksomgeving.
Inleiding: Het probleem van insulineresistentie
Insulineresistentie is een van de meest kritieke, maar ondergediagnosticeerde drijfveren van moderne metabole ziekten. Het gaat vaak jaren vooraf aan het klinische begin van type 2 diabetes. Een verminderde insulinegevoeligheid tast stilletjes de vasculaire gezondheid, de leverfunctie en het energiemetabolisme aan, lang voordat de nuchtere bloedsuikerspiegel stijgt tot diagnostische waarden.
De Homeostasis Model Assessment for Insulin Resistance (HOMA-IR) modelleert de feedbackloop tussen glucoseproductie in de lever en insulineafscheiding onder nuchtere omstandigheden. Op basis van epidemiologische reviews wordt een HOMA-IR-score hoger dan 2,9 beschouwd als insulineresistent.
Recente studies tonen aan dat multimodale machine learning-frameworks, die data van wearables combineren met routinematige laboratoriumtests, HOMA-IR nauwkeurig kunnen voorspellen om vroege metabole risico's te signaleren. Het integreren van objectieve maten van de lichaamssamenstelling biedt een essentiële aanvulling op wearable-technologie; waar wearables dagelijkse fysiologische gedragingen volgen, biedt de lichaamssamenstelling een structurele beoordeling van de adipositeit (vetgehalte) om een volledig beeld van het metabole risico te vormen.
Biomarkers van lichaamssamenstelling
Hoewel het totale vetpercentage een goede basislijn is om adipositeit tegenover vetvrije massa af te wegen, bieden aanvullende biomarkers van de lichaamssamenstelling veel diepere klinische inzichten:
- Android-to-Gynoid fat ratio (A/G-ratio): Vergelijkt het vet opgeslagen in de romp (een "appel"-vorm) met het vet in de heupen en dijen (een "peer"-vorm).
- Visceral-to-Subcutaneous fat area ratio (V/S-ratio): Maakt onderscheid tussen het hoogmetabole interne vet rondom de organen (visceraal) en het subcutane vet dat vlak onder de huid is opgeslagen.
Verhoogde A/G-ratio's en een hogere viscerale vetmassa correleren sterk met de prevalentie van insulineresistentie. Momenteel is de gouden standaard voor het meten van de werkelijke lichaamssamenstelling Dual-Energy X-Ray Absorptiometry (DXA). Deze scans zijn uiterst nauwkeurig, maar zijn niet geschikt voor dagelijkse screening omdat ze duur zijn, gespecialiseerde klinische infrastructuur vereisen en patiënten blootstellen aan lage doses straling.
Introductie van PhotoScan
Voortbouwend op de groeiende capaciteit van smartphones om passief de gezondheid van gebruikers te monitoren (zoals continue hartslagmeting), introduceren wij PhotoScan. Dit is een experimenteel deep learning-framework dat driedimensionale metrieken van de lichaamssamenstelling — waaronder het vetpercentage (BF%), de A/G-ratio en de V/S-ratio — direct schat vanuit standaard 2D-smartphonefoto's.
Om dit te realiseren, is een diep neuraal netwerk vooraf getraind op meer dan 35.000 deelnemersrecords van de UK Biobank en vervolgens gefinetuned met een diverse nieuwe cohort van 677 volwassenen. PhotoScan toont een hogere nauwkeurigheid in het voorspellen van het vetpercentage dan bio-elektrische impedantieanalyse (BIA)-sensoren in smartwatches. Bovendien ontsluit het de A/G- en V/S-ratio's, die buiten het bereik van BIA liggen, waardoor een schaalbaar en niet-invasief framework ontstaat om insulineresistentie te voorspellen met een nauwkeurigheid die benadert die van DXA.
De pipeline van lichaamssamenstelling
De procesgang werkt als volgt: eerst worden de metrieken van de lichaamssamenstelling geschat met het pretrained PhotoScan-model. Vervolgens worden deze kenmerken, gecombineerd met demografische gegevens van de gebruiker, gebruikt voor de classificatie van insulineresistentie.
Hoe PhotoScan werkt
PhotoScan omzeilt klinische metingen door geometrische lichaamsinformatie direct uit smartphonebeelden te extraheren. Het framework is ontwikkeld en geëvalueerd in drie fasen:
- Pre-training (UK Biobank, N = 35.323): Met een subset van de UK Biobank-dataset, die zowel MRI-beelden als lichaamssamenstelling-gegevens van DXA bevat, trainden we een ResNet-50 backbone. Deze voorspelt lichaamssamenstellingsmetrieken vanuit 2D-frontale en laterale projectiebeelden (gegenereerd uit 3D MRI-scans), waarbij DXA-scans als grondwaarheid dienen. Het model combineerde beeldkenmerken met geslacht, lengte, gewicht en interne BMI via een laatste dense layer.
- Fine-tuning (PhotoBIA-cohort, N = 677): Met de PhotoBIA-dataset is het model gefinetuned met behulp van echte smartphonefoto's gekoppeld aan DXA-gegevens, via 5-voudige kruisvalidatie. Om de trainingsdata aan te vullen, selecteerde een geautomatiseerde landmark-detectiepipeline de optimale frontale en laterale pose-frames uit 360-graden video's van deelnemers.
- Validatie (MetabolicMosaic-cohort, N = 132): Geëvalueerd op een onafhankelijke cohort. PhotoScan behaalde een sterke overeenstemming met DXA voor BF%, de A/G-ratio en de V/S-ratio. Deze dataset was afkomstig uit een longitudinaal onderzoek van 30 weken in San Francisco, waarbij deelnemers complete gepaarde data hadden van DXA, PhotoScan, BIA, antropometrie, nuchtere bloedwaarden (glucose, insuline, volledig lipidenpanel) en passieve continue Fitbit-tracking.
Belangrijkste resultaten
Nauwkeurigheid van de lichaamssamenstelling
Voor het PhotoBIA-cohort toonde het gefinetunede PhotoScan-model een gemiddelde gemiddelde absolute fout (MAE) van 2,15 voor de voorspelling van het vetpercentage (BF%), terwijl het BIA-gebaseerde model een MAE van 2,91 behaalde. De gemiddelde MAE was 0,107 voor A/G en 0,094 voor V/S.
Voor het MetabolicMosaic-cohort (onafhankelijke validatie) waren de MAE-waarden voor BF%, A/G en V/S vergelijkbaar met die van het PhotoBIA-cohort (respectievelijk 2,13, 0,085 en 0,085). De kleine afname in A/G en V/S in het MetabolicMosaic-cohort wordt veroorzaakt door een hoger aandeel vrouwen (67% tegenover 57%), aangezien vrouwen over het algemeen lagere absolute A/G- en V/S-ratio's vertonen door voornamelijk gynoïde, subcutane vetopslag.
Classificatie van insulineresistentie
We vergeleken hoe verschillende combinaties van data insulineresistentie voorspelden. We gebruikten een gradient boosting classifier op de MetabolicMosaic-cohort en testten vijf verschillende feature-sets:
- Baseline demografie (leeftijd, geslacht, BMI)
- Standaard antropometrie (met lintmeetband)
- Smartwatch BIA-sensoren
- Smartphone PhotoScan-metrieken
- Klinische DXA-scans (gouden standaard)
De evaluatie richtte zich op de Area Under the Receiver Operating Characteristic curve (AUROC) en de Net Reclassification Index (NRI).
- Baseline demografisch model: Behaalde een AUROC van 0,692.
- Demografie + PhotoScan: De nauwkeurigheid verbeterde naar een AUROC van 0,760 en een NRI van 0,593. Dit is bijna net zo effectief als het gebruik van klinische DXA-data (AUROC 0,773, NRI 0,748).
- Demografie + BIA: Leverde geen verbetering op in AUROC of NRI, aangezien BIA alleen een schatting van het vetpercentage (BF%) geeft, waarvan het belang significant lager is dan dat van de A/G- en V/S-ratio's in het PhotoScan-model.
Conclusies en toekomstperspectieven
Onze bevindingen tonen aan dat smartphone-gebaseerde schattingen van de lichaamssamenstelling een schaalbaar instrument zijn voor cardiometabolisch onderzoek. Waar klinische DXA-beeldvorming het meest nauwkeurig is maar niet schaalbaar, en wearable BIA-sensoren handig zijn maar beperkt blijven tot basisvetpercentages, biedt PhotoScan een veelbelovend middenpad.
Dit onderzoek benadrukt hoe digitale fenotypering de beperkingen van traditionele antropometrie, zoals BMI, kan aanpakken. BMI mist vaak klinisch significante variaties in de lichaamssamenstelling. Hoewel PhotoScan nog een onderzoeksprototype is, wijst deze aanpak naar een toegankelijke, niet-invasieve screening voor het risico op insulineresistentie.
Toekomstig onderzoek zal zich richten op multi-modale dataintegratie, waarbij lichaamssamenstellingsschattingen worden gecombineerd met continue wearable-data, glucosedynamiek en klinische bloedbiomarkers voor een holistische benadering van metabole gezondheid.
***
Voetnoten en bronnen:
- Deze studie is uitgevoerd met behulp van de UK Biobank Resource onder applicatienummer 65275.
- Gegevens verzameld via Pixel-telefoonfotografie en smartwatch BIA tegenover DXA, IRB Pro00065782.
- 132 individuen namen deel aan een longitudinaal onderzoek, IRB-goedkeuringsnummer 20241060.
Groetjes,