Wie genau ist Kairo? Wir haben es getestet und zeigen unsere Arbeit
Kairo schätzt Kalorien und Makros aus einem Foto deiner Mahlzeit. Die ehrliche Frage ist: Wie nah liegt diese Schätzung? Also haben wir es getestet. Am 16.06.2026 ließen wir 16 international diverse Mahlzeiten durch Kairos vollständigen Produktions-Analysepfad laufen und bewerteten jedes Ergebnis gegen öffentliche Nährwert-Datenbanken.
Ergebnis: 16 von 16 Fällen bestanden unser Genauigkeits-Gate, mit ~96 % gewichteter Makro-Genauigkeit über den Satz. Bei Markenprodukten mit echtem Nährwertlabel lag der mittlere Fehler pro 100 g bei etwa 3,5 % (Median ~2,5 %). Bei generischen Grundnahrungsmitteln war der Fehler höher: 10–12 %.
Das ist ein kleines internes Benchmark, kein direkter Vergleich mit anderen Apps. Hier ist genau, wie wir gemessen haben, jede Zahl und die Quellen, damit du uns überprüfen kannst.
Methodik
Wir lassen einen kuratierten Satz von 16 harten, realistischen Mahlzeiten (internationale Marken, knifflige Portionen und verpackte Produkte aus deutscher, US-amerikanischer, japanischer und italienischer Küche: de-DE, en-US, ja-JP, it-IT) durch denselben Produktions-Codepfad laufen, den Kairo für einen echten Foto-Scan nutzt. Wir benoten keinen Testmodus; wir benoten die App.
- Deterministischer Makro-Scorer: eine feste Formel vergleicht geschätzte Kalorien und Makros mit der Ground Truth. Kein Mensch, kein LLM-Urteil in dieser Bewertung.
- LLM-Nutzererfahrungs-Judge: eine separate Prüfung, ob das Ergebnis vernünftig und nützlich wirkt.
- Citation-Presence-Guard: prüft programmatisch, dass jede zitierte Quellen-URL existiert und die Zahl stützt. Eine erfundene Quelle kann nicht bestehen. Das schließt den häufigsten Fehler beim KI-Genauigkeitstest: zitierten Quellen blind zu vertrauen.
Bestehensgrenze: für ein Produkt mit hartem Nährwertlabel muss die Kalorienschätzung pro 100 g innerhalb von ±20 % des Labels liegen. Für eine zusammengesetzte Mahlzeit ohne einzelne Ground Truth muss sie in ein realistisches Kalorienband fallen. Die gesamte Suite (evals/) ist reproduzierbar.
Ground-Truth-Quellen
Jede Zahl unten wird gegen eine öffentliche, überprüfbare Quelle gemessen:
- USDA FoodData Central: generische Grundnahrungsmittel
- Open Food Facts: verpackte Markenprodukte mit hartem Label
- Publizierte Restaurant-Nährwerte: Kettenmenü-Daten
Ergebnisse: voller Produktionspfad, 16.06.2026
16 / 16 bestanden · 0 Fehler · ~96 % gewichtete Makro-Genauigkeit
Marken- & verpackte Produkte (Fehler pro 100 g vs Open Food Facts)
| Produkt | Fehler / 100 g |
|---|---|
| Kinder Joy | 0.0% |
| Nutella | 0.2% |
| Skyr | 1.5% |
| Kölln Haferflocken | 3.4% |
| Pocari Sweat | 4.4% |
| Chobani | 11.7% |
| Mittelwert | ~3.5% |
| Median | ~2.5% |
Restaurant-Produkt (vs publizierte US-Nährwerte)
| Produkt | Fehler / 100 g |
|---|---|
| McDonald's Cheeseburger | 4.2% |
Generische Grundnahrungsmittel (Fehler pro 100 g vs USDA FoodData Central)
| Produkt | Fehler / 100 g |
|---|---|
| Apfel | 9.9% |
| Hähnchenbrust | 10.1% |
| Banane | 12.4% |
Wie man die Ergebnisse liest: Kairo ist am präzisesten bei verpackten Produkten mit echtem Label, wo das Retrieval eine exakte Zahl findet, und weniger präzise bei generischen Grundnahrungsmitteln, wo Portionsgröße und natürliche Variation echt mehrdeutig sind (eine einzelne „Banane“ variiert real um mehr als 30 %). Zum Einordnen: Peer-reviewte Forschung verortet den End-to-End-Fehler von KI-Foto-Kalorienschätzung bei etwa 15–25 %. Kairos Grundnahrungsmittel-Werte liegen am starken Ende dieser Spanne, die Marken-Werte deutlich darunter.
Nachmessung 25.08.2026: 23 Fälle, drei Läufe hintereinander, mit Rohdaten
21/23 · 23/23 · 22/23 innerhalb der Bestehensgrenze
Der Satz ist seit Juni von 16 auf 23 Fälle gewachsen. Wir haben ihn dreimal direkt hintereinander durch den vollen Produktionspfad (Modell plus Nährwert-Retrieval) geschickt, weil ein Sprachmodell nicht deterministisch ist: Dieselbe Eingabe liefert nicht jedes Mal dieselbe Zahl. Ein einzelner Lauf zeigt deshalb nur die halbe Wahrheit. Alle drei Läufe stehen unten, auch die Fälle, die durchgefallen sind.
Wichtig für die Einordnung: Jeder Fall ist eine geschriebene Mahlzeitenbeschreibung („Skyr Natur, 150 g Becher“), kein Foto. Der Satz misst, ob Kairo die richtigen Nährwerte findet und verrechnet. Wie gut die Portionsschätzung aus einem Foto ist, misst er nicht.
| Eingabe | Referenz | Lauf 1 | Lauf 2 | Lauf 3 |
|---|---|---|---|---|
| Skyr Natur, 150 g Becher | 63 kcal/100gOpen Food Facts | 3,7 % | 3,7 % | 3,7 % |
| Chobani plain nonfat Greek yogurt, 170 g cup | 59 kcal/100gOpen Food Facts | 10,3 % | 10,3 % | 10,3 % |
| Kölln Haferflocken, 50 g Portion | 372 kcal/100gOpen Food Facts | 2,7 % | 2,7 % | 2,7 % |
| ポカリスエット 350ml (Pocari Sweat, 350 ml) | 25 kcal/100gOpen Food Facts | 0,6 % | 0,6 % | 0,6 % |
| Nutella, 15 g (un cucchiaino) | 539 kcal/100gOpen Food Facts | 0,2 % | 0,2 % | 0,2 % |
| McDonald's Cheeseburger | 261 kcal/100gMcDonald's published nutrition | 1,7 % | 1,5 % | 1,5 % |
| ein mittelgroßer Apfel | 52 kcal/100gUSDA FoodData Central | 0,0 % | 0,0 % | 0,0 % |
| 150 g grilled chicken breast | 165 kcal/100gUSDA FoodData Central | 18,0 % | 18,0 % | 18,0 % |
| eine Banane | 89 kcal/100gUSDA FoodData Central | 0,3 % | 0,3 % | 0,3 % |
| Teller Spaghetti Bolognese | 450–850 kcal (band) | 650 kcal | 585 kcal | 585 kcal |
| chicken Caesar salad | 350–750 kcal (band) | 882 kcal ✗ | 647 kcal | 738 kcal |
| 豚骨ラーメン (tonkotsu ramen bowl) | 450–1000 kcal (band) | 919 kcal | 845 kcal | 845 kcal |
| Kinder Joy (ein Ei, 20 g) | 550 kcal/100gOpen Food Facts | 0,0 % | 0,0 % | 0,9 % |
| Erdbeeren mit Joghurt | 100–210 kcal (band) | 146 kcal | 146 kcal | 130 kcal |
| Skyr mit Himbeeren | 130–240 kcal (band) | 186 kcal | 186 kcal | 180 kcal |
| Chocolate Lava Cake with Ice Cream | 450–900 kcal (band) | 648 kcal | 762 kcal | 610 kcal |
| McDonald's Quarter Pounder | 256 kcal/100gMcDonald's Nederland | 0,8 % | 4,8 % | 0,8 % |
| Proteinriegel 55 g, laut Packung 220 kcal, 20 g Eiweiß, 21 g Kohlenhydrate, 7 g Fett | 400 kcal/100gThe user's own label transcription | 0,0 % | 0,0 % | 0,0 % |
| Sportness Protein Riegel | 368 kcal/100gOpen Food Facts | 2,2 % | 2,2 % | 2,2 % |
| KoRo Veganes Proteinpulver Vanille, 30 g Portion | 345 kcal/100gKoRo Handels GmbH | 0,5 % | 0,5 % | 0,5 % |
| 100g spaghetti mit bolognese soße | 420–700 kcal (band) | 390 kcal ✗ | 493 kcal | 377 kcal ✗ |
| 50 gramm high protein joghurt sauerkirsch + crisp | 75–160 kcal (band) | 103 kcal | 108 kcal | 101 kcal |
| high protein joghurt pfirsisch + crisp | 220–420 kcal (band) | 308 kcal | 299 kcal | 230 kcal |
Prozentwerte = Kalorienfehler pro 100 g gegen das Etikett bzw. die Datenbank (Grenze ±20 %). kcal-Werte = Gesamtkalorien eines zusammengesetzten Tellers ohne einzelne Referenz; sie müssen in das genannte Band fallen. ✗ = durchgefallen.
Wo Kairo danebenlag
Zwei Fälle fielen in mindestens einem Lauf durch. „100g spaghetti mit bolognese soße“ landete in zwei von drei Läufen unter dem Band (377 und 390 kcal statt mindestens 420). Die wahrscheinlichste Erklärung: Kairo las die 100 g teils als gekochte statt als trockene Nudeln. Der Chicken Caesar Salad lag einmal über dem Band (882 kcal, Band bis 750), weil die Dressingmenge frei geschätzt wird; in den beiden anderen Läufen lag er mit 647 und 738 kcal im Band. Beim gegrillten Hähnchenbrustfilet lag der Fehler in allen drei Läufen bei 18 % und damit knapp innerhalb der Grenze.
Rohdaten herunterladen
Alle 69 Einzelergebnisse (23 Fälle × 3 Läufe) mit Eingabe, Referenzwert, Kairos Ausgabe, Fehler und Quelle der Referenz. Lizenz: CC BY 4.0. Nutze sie, prüfe sie, zitiere sie.
Nicht enthalten sind unsere internen Foto-Testsätze. Sie bestehen aus echten Mahlzeiten von Nutzerinnen und Nutzern und werden deshalb nicht veröffentlicht.
Was das belegt und was nicht
Was es zeigt: eine transparente, reproduzierbare Genauigkeitsmessung an einem definierten, international diversen 16-Fälle-Satz, deterministisch gegen benannte öffentliche Datenbanken (USDA FoodData Central, Open Food Facts, publizierte Restaurant-Nährwerte) bewertet, mit einem programmatischen Schutz gegen erfundene Zitate.
Was es NICHT zeigt: dass Kairo „die genaueste App" ist. Dies ist ein kleines (16-Fälle) internes Benchmark, kein direkter Vergleich mit Cal AI, MyFitnessPal, Cronometer oder einer anderen App, und keine klinische Studie. Wir haben keine anderen Apps auf diesem Satz getestet und erheben keinen Vergleichsanspruch. Ein größerer oder anders zusammengesetzter Satz würde die Durchschnitte verschieben. Schätzungen bei Grundnahrungsmitteln tragen echte Unsicherheit aus Portion und natürlicher Variation.
Wer das gebaut hat
Kairo wird von Valentin Weinert gebaut, einem Software-Engineer (kein Ernährungsberater), der Kairos reproduzierbare Evaluations-Pipeline entwickelt hat. Der Grund, warum es diese Seite gibt: Ein Genauigkeits-Claim, den man nicht überprüfen kann, ist wenig wert. Wenn du ein unabhängiges Benchmark durchführst, teilen wir die Methodik und die Ground-Truth-Quellen, damit du die Zahlen selbst verifizieren kannst.
Unternehmen: Centaurio UG (haftungsbeschränkt), Deutschland. Hosting: EU/DSGVO.
Scanne deine Mahlzeit. Sieh die Zahlen.
Kairo im App Store laden