Découvrez gpt-oss-20b : Un LLM Puissant Installé Localement par Christian Lemous

Cette installation LLM est déployée sur une machine personnelle équipée d'une carte graphique NVIDIA 3090 avec 24 Go de VRAM, 16 Go de RAM DDR4 et un processeur non spécifié. Le système utilise le logiciel LM Studio pour héberger deux modèles : gpt-oss-20b comme modèle principal et Qwen comme modèle secondaire. L'installation est réalisée directement sur la machine, sans recours à un fournisseur cloud ou externe, et fonctionne en réseau local. La configuration est conçue pour une utilisation personnelle, avec une puissance suffisante pour traiter des entrées de grande taille rapidement, bien que l'arrêt nocturne limite son fonctionnement continu.

L'installation permet une utilisation à la fois personnelle et professionnelle, répondant à des besoins concrets à petite échelle. Les performances sont jugées rapides, potentiellement supérieures à celles d'une API commerciale, grâce à la puissance de calcul locale. Les coûts initiaux s'élèvent entre 500 et 1000 euros, correspondant principalement à l'achat de la carte graphique, tandis que les coûts opérationnels restent faibles, estimés entre 0 et 100 euros par mois, principalement liés à la consommation électrique. L'objectif principal est l'expérimentation et la formation, avec la possibilité d'utiliser des modèles sans restrictions.