U beëindigt uw training, kijkt naar uw hartslag en vindt een getal dat zeer geruststellend is qua nauwkeurigheid: 427 verbrande calorieën. Vierhonderdzevenentwintig, niet ‘min of meer een beetje’. Het probleem is dat die figuur veel meer verbeeldingskracht heeft dan hij doet vermoeden. Een nieuwe studie gepubliceerd in PLOS Eén vergeleek vier populaire smartwatches met een laboratoriummeting en vond consistente fouten bij het schatten van het energieverbruik. Met nog een complicatie: de fout nam toe naarmate het percentage lichaamsvet toenam.
De auteurs van Florida International University testten de Apple Watch Series 8, Garmin Forerunner 955, Samsung Galaxy Watch 5 en Fitbit Sense 2. Apple liet gemiddeld de kleinste afwijking zien; Garmin en Samsung hebben calorieën systematisch overschat. Fitbit leverde veel grilliger resultaten op, waaronder enkele waarden die zo extreem waren dat ze apart moesten worden behandeld in de analyse. Kortom, het kleine getal op het display blijft bruikbaar als indicatie. Als het gaat om de cent van onze stofwisseling, beslist minder.
Vier smartwatches tegen een machine die de ademhaling meet
Bij de test waren 58 Latijns-Amerikaanse volwassenen tussen de 18 en 50 jaar oud betrokken, met een gemiddelde leeftijd van 23 jaar: 31 vrouwen en 27 mannen. Vijfentwintig deelnemers hadden een body mass index van 30 of hoger. Ze deden allemaal een korte sessie op de ligfiets: vijf minuten rust, tien minuten oefening met afwisselend gematigde en krachtige intervallen, en daarna nog eens vijf minuten herstel.
De verschillende apparaten zaten tegelijkertijd om de polsen. Het referentie-energieverbruik werd gemeten door een COSMED K5, een metabolische analysator die het verbruikte zuurstof en de door de ademhaling geproduceerde koolstofdioxide detecteert. Het is indirecte calorimetrie: beslist minder praktisch om mee te nemen naar de supermarkt, veel geschikter om te begrijpen hoeveel energie het lichaam werkelijk verbruikt.
Smartwatches moeten hetzelfde resultaat bereiken door een veel langere rit te maken. De optische sensor onder de behuizing maakt gebruik van fotoplethysmografie om de hartslag te schatten; versnellingsmeters en andere sensoren registreren beweging; de software combineert deze signalen vervolgens met persoonlijke informatie zoals leeftijd, geslacht, lengte en gewicht. Het eindresultaat gaat via bedrijfseigen algoritmen die onderzoekers uiteraard niet kunnen openen om te zien wat er binnenin gebeurt.
En sommige versnellingen kraakten, althans tijdens deze test.
Apple maakt minder fouten, Garmin en Samsung voegen vaak calorieën toe
Na kwaliteitscontroles waren er 52 metingen bruikbaar voor Apple, 51 voor Garmin, 50 voor Samsung en 44 voor Fitbit. De gemiddelde afwijking van de calorimetrie was ongeveer 21,6 overtollige calorieën voor Apple, 68,6 voor Garmin en 56,8 voor Samsung. In alle drie de gevallen was de gemiddelde overschatting statistisch significant, zo blijkt uit de door de onderzoekers gepubliceerde resultaten.
Bij zo’n kort protocol zijn bijna 69 calorieën die door de pols worden gedoneerd niet bepaald een metabolisch zakgeld.
Fitbit verdient zijn eigen haakje. Door de als onwaarschijnlijk beschouwde resultaten te elimineren, daalde het gemiddelde verschil tot slechts 3,1 calorieën en was dit niet statistisch significant. Jammer dat zeven metingen, ongeveer 13% van de Fitbit-tests, de door het laboratoriumsysteem gedetecteerde waarde met 450% overschreden. Eén sessie leverde geen schattingen op. Als we de uitschieters buiten beschouwing laten, steeg de gemiddelde bias naar 128,6 calorieën. Achter een ogenschijnlijk uitstekend gemiddelde ging dus een spreiding schuil die allesbehalve geruststellend was.
Kijkend naar de absolute procentuele fout, d.w.z. hoeveel de schatting afwijkt van de referentiewaarde, ongeacht de richting van de afwijking, lagen de medianen van de vier apparaten grofweg tussen de 15 en 25%. Geen van de vier transformeerde tijdens deze test de pols daarom in een metabolisch laboratorium.
Hoe hoger het lichaamsvet, hoe slechter de schattingen
Het meest interessante resultaat betreft echter wie het horloge droeg. In statistische modellen werd een hoger percentage lichaamsvet geassocieerd met grotere fouten bij alle vier de merken, hoewel de toename van apparaat tot apparaat varieerde.
De auteurs wijzen op verschillende mogelijke verklaringen, zonder te kunnen vaststellen welke verantwoordelijk is voor het resultaat. Vetweefsel en weefselbewegingen rond de pols kunnen de kwaliteit van het optische signaal beïnvloeden; Mogelijk zijn de algoritmen ook ontwikkeld op monsters die bepaalde lichaamstypes minder goed representeren. Hun structuur is echter bedrijfseigen, dus het toeschrijven van de fout aan een specifieke oorzaak zou verder gaan dan de beschikbare gegevens.
In het onderzoek werd ook gezocht naar een mogelijk effect van huidskleur. Hij vond geen statistisch robuust exemplaar, maar hier moet voorzichtigheid worden betracht bij het resultaat: alle deelnemers behoorden tot de Fitzpatrick-fototypes III, IV of V en slechts vier werden geclassificeerd in type V. De onderzoekers waarschuwen zelf dat de steekproef ons niet toestaat de vraag te sluiten.
Dit betekent niet dat de smartwatch nutteloos is
Het onderzoek meet een heel precieze situatie: een enkele sessie, op een ligfiets, in het laboratorium en op een jong en specifiek monster. We weten niet of dezelfde fouten optreden tijdens het hardlopen, wandelen, gewichtheffen of gedurende de dag. Bovendien bleef de trainingsmodus van de horloges actief, zelfs tijdens de eerste vijf minuten rust en de laatste vijf minuten van herstel, een element dat door de auteurs zelf als een van de limieten werd aangegeven. De resultaten kunnen daarom niet automatisch naar elke smartwatch, activiteit of persoon worden overgedragen.
Er is echter een nogal lastig precedent. Al in 2017 verscheen er een studie over Tijdschrift voor gepersonaliseerde geneeskunde en gecoördineerd door onderzoekers van Stanford University, hadden zeven polsapparaten getest op 60 mensen: de hartslag werd over het algemeen vrij goed gedetecteerd, terwijl de schatting van het energieverbruik veel zwakker was. Zelfs Stanford, die de resultaten presenteerde, onderstreepte dat zelfs het beste apparaat toen een gemiddelde fout van 27% vertoonde. Modellen en algoritmen zijn sindsdien behoorlijk veranderd. Het calorieprobleem verdween blijkbaar niet samen met de oudere generaties smartwatches.
Jason Kostrna, hoofdauteur van het nieuwe werk, vatte de praktische consequentie heel eenvoudig samen: dat getal mag niet als een exacte meting worden beschouwd. Florida International University vestigt ook vooral de aandacht op het risico van het gebruik ervan om te beslissen hoeveel je moet eten of om met wiskundige precisie een calorietekort te construeren.
De smartwatch kan blijven vertellen of we meer of minder zijn verhuisd, de voortgang van de training volgen en nuttige persoonlijke trends weergeven. De auteurs erkennen zelf dat een fout in de absolute waarde de mogelijkheid niet uitsluit om relatieve veranderingen in de tijd te volgen. Die 427 calorieën verdienen in ons vertrouwen echter een paar decimalen minder. De weergave is nauwkeurig. Het metabolisme is, helaas voor degenen die van ronde rekeningen houden, nog steeds veel minder coöperatief.
