Est-ce que ce modèle tourne sur ta machine ?

Une vérification avant de télécharger 40 Go pour rien. Le calcul est écrit en clair, et le lien garde ton réglage.

Mémoire installée

Le processeur et le GPU se partagent cette mémoire.

03 Quantification

Environ 4,9 bits par paramètre dans un fichier GGUF.

04 Contexte

8 192tokens

Entrée + réponse. Le modèle accepte 40 960 tokens au maximum.

05 Requêtes en parallèle

Une seule conversation à la fois dans presque tous les cas.

Ce qui passe sur cette machine

Les plus gros modèles du catalogue qui tiennent en Q4_K_M avec 8 192 tokens de contexte.

36couches

4 096largeur

32têtes

8têtes KV

152 kvocabulaire

41 kContexte