Est-ce que ce modèle tourne sur ta machine ?

Une vérification avant de télécharger 40 Go pour rien. Le calcul est écrit en clair, et le lien garde ton réglage.

Mémoire installée

Le processeur et le GPU se partagent cette mémoire.

03 Quantification

Environ 4,9 bits par paramètre dans un fichier GGUF.

04 Contexte

8 192tokens

Entrée + réponse. Le modèle accepte 131 072 tokens au maximum.

05 Requêtes en parallèle

Une seule conversation à la fois dans presque tous les cas.

Ce qui passe sur cette machine

Les plus gros modèles du catalogue qui tiennent en Q4_K_M avec 8 192 tokens de contexte.

36couches

2 880largeur

64têtes

8têtes KV

201 kvocabulaire

131 kContexte

4 experts actifs sur 128 — Mélange d’experts : toute la mémoire est chargée, mais un token n’en traverse qu’une partie.

Attention à fenêtre glissante : le cache réel peut être plus petit que l’estimation.