Est-ce que ce modèle tourne sur ta machine ?

Une vérification avant de télécharger 40 Go pour rien. Le calcul est écrit en clair, et le lien garde ton réglage.

Architecture lue sur unsloth/gemma-3-12b-it, le dépôt officiel demandant d'accepter une licence. Le fichier y est identique.

Mémoire installée

Le processeur et le GPU se partagent cette mémoire.

03 Quantification

Environ 4,9 bits par paramètre dans un fichier GGUF.

04 Contexte

8 192tokens

Entrée + réponse. Le modèle accepte 131 072 tokens au maximum.

05 Requêtes en parallèle

Une seule conversation à la fois dans presque tous les cas.

Ce qui passe sur cette machine

Les plus gros modèles du catalogue qui tiennent en Q4_K_M avec 8 192 tokens de contexte.

48couches

3 840largeur

16têtes

8têtes KV

262 kvocabulaire

131 kContexte

Attention à fenêtre glissante : le cache réel peut être plus petit que l’estimation.