AI card scanning in a trading-card mobile app

Kontext / Context

Ein Collectibles-Commerce-Projekt brauchte eine End-to-End-Mobile-App, die Sammler die eigene Collection in Minuten statt Stunden digitalisieren lässt. Fokus: Genauigkeit, Latenz, Kosten.

Funktionaler Umfang

• Live-Camera-Scanning mit Auto-Focus, Edge-Detection und Stabilisierung bevor der Frame an die Vision-API geht
• Bulk-Upload via ZIP bis 100 Karten pro Batch, parallele Inferenz mit Backpressure
• Ximilar-Collectibles-API als Vision-Backend: Recognition, Condition-Grading 1-10, Foil-Detection, Set-Identification
• Multi-Language-Karten inklusive Japanese, Korean, Simplified-Chinese, Deutsch, Französisch, Englisch
• Real-Time-Pricing aus CardMarket-API mit Fallback-Caching
• Digital-Binders mit Drag-&-Drop, Advanced-Filter (Set, Rarity, Condition, Foil)
• Cloud-Sync über Postgres + S3 für Bilder

AI-Architektur

• Pre-Clustering-Layer vor Ximilar: ein lokal laufendes Mini-Modell (MobileNet-basiert) kategorisiert den Frame grob (TCG-Type, grob Rarity). Nur wenn das Signal schwach ist, geht der Request an die externe API. Ergebnis: ~40 % Kosten gespart bei gleicher End-Genauigkeit.
• Quality-Gate vor Submit: Schärfe-Score, Lighting-Check, Cropping-Confidence. Schlechte Frames werden gar nicht erst hochgeladen; der User bekommt eine konkrete Korrektur-Anweisung (“Karte waagerecht halten”, “mehr Licht”).
• Eval-Framework: 2.000 gelabelte Ground-Truth-Karten pro TCG. CI-Gating auf Regressions: wenn Accuracy unter 92 % fällt oder mean-latency über 3s steigt, blockiert der Build.

Deliverable

• App-Store-ready Mobile-App (iOS + Android)
• Backend-Services für Sync, Pricing, User-Accounts
• Eval-Suite mit automatischem Daily-Run gegen Ground-Truth
• Runbook für Cost-Monitoring und Model-Drift-Alerts
• Onboarding für das interne Support-Team

Take-Aways

• Vision-API-Kosten sind der Haupt-Angriffsvektor auf Unit-Economics. Pre-Clustering, Quality-Gates und aggressives Caching sind Pflicht, nicht Nice-to-have.
• Multi-Language-Support lebt oder stirbt mit Edge-Case-Testing. 2.000 Ground-Truth-Karten waren das Minimum, um bei japanischen Karten stabil zu sein.
• Real-Time-Pricing braucht Fallback-Caching, sonst killt eine CardMarket-Rate-Limit-Episode die UX.