Benchmarks

Tous les bancs, défaites comprises

Des chiffres avec l'artefact d'où ils sortent, et les lacunes nommées.

Tous les bancs d'essai de ce site, y compris ceux que nous perdons. Chacun renvoie à l'artefact d'où le chiffre est lu, et chacun dit ce qui n'a pas été mesuré.

Atome LM EDGE face à TensorFlow Lite for Microcontrollers

La comparaison la plus soigneusement menée ici : UCI HAR, 2 947 fenêtres de test issues de 30 sujets, le même réseau de 6 567 paramètres dans les deux moteurs, 5 graines, découpe par sujet sans fuite.

Flash : GAIN 4,64× Par décision en flux : GAIN 27,3× Précision : ÉGALITÉ Latence par fenêtre : PERTE 2,89×

Lire la comparaison complète

Modèle de langage : ternaire routé contre transformeur flottant

TinyStories, 3 000 pas, une seule graine. Une direction plutôt qu'un résultat, et étiquetée comme telle.

RégimeAtome LMFP32 classiqueVerdict
60K, paramètres égaux6,31 ppl8,12 pplAtome −22 %
60K, flash égale6,31 ppl13,10 pplAtome −52 %
944K, paramètres égaux2,87 ppl2,54 pplAtome +11 % — perd
944K, sur disque271 Ko3,7 MoAtome 20× plus petit

Une seule graine. L'inversion à 944K est le titre honnête : cette architecture est un pari sur le régime sous-1M et elle perd en dehors.

Face au reste du domaine

ProjetPlus petitPoidsTourne sur
BitNet b1.58700M – 3Bternairesserveur / téléphone
llama2.c (Stories260K)260K – 110MFP32 / Q8classe MCU possible
TinyMaix, esp32-llm~15MQ8 / FP32ESP32-S3 avec PSRAM
Atome LM60K · 944Kternaires, sans tasCortex-M3 sous QEMU, bit à bit ; ESP32-WROOM-32 physique