Déployez gpt-oss-20b sur votre machine avec Cédric Trachsel pour une IA puissant
Résumé de cette installation par l'IA
Cette installation repose sur une machine Dell Precision 5820 équipée d'un processeur Intel Xeon W-2125, de 32 Go de RAM DDR4 et de deux cartes graphiques Nvidia Quadro P5000, offrant un total de 32 Go de VRAM. Le système d'exploitation et les logiciels nécessaires, Ollama et OpenWebUI, sont déployés via Docker. L'installation utilise principalement le modèle GPT-OSS-20B, complété par Mistral Small 3.2, sans entraînement de modèles personnalisés. La machine est située dans une cave et fonctionne avec une consommation électrique modérée, estimée à 9 € par mois, en étant éteinte la nuit.
Cette configuration permet de répondre à des besoins professionnels concrets pour une petite équipe de 1 à 5 personnes, avec des performances moyennes, inférieures à 40 tokens par seconde. L'installation a été réalisée pour un coût total de 800 à 1000 €, incluant l'achat de la machine et des cartes graphiques d'occasion. Elle garantit la confidentialité des données, évitant tout partage avec des services externes, et offre une souveraineté complète sur les informations traitées.
- Type d'installation
- Directement sur ma machineSur un serveur hébergé localement (je paie pour le matériel avec une installation sur site ou chez un prestataire IT local)Sur un cloud (je ne gère pas le matériel ou je le loue)
- Modèle LLM principal
- gpt-oss-20b
- Autres modèles utilisés
- Mistral small 3.2
- Entraînement de modèles
- Oui j'entraîne mes propres modèlesNon, j'utilise des modèles existantsLes deux
- Logiciels et SaaS utilisés
- ollama et openwebui les deux dockerisé
- Cartes graphiques
- Oui sur machine personnelle
- Détails de la machine
- Dell Precision 5820
- Détails GPU et VRAM
- 2x Nvidia Quadro pro 5000 soit 2x 16Go de vram donc 32Go de vram
- Autres précisions matériel
- la machine vit a la cave, le cpu est un Intel Xeon W-2125 avec 2x 16Go de ram ddr4
- Utilisation de l'installation
- 1-5 personnes
- Performances obtenues
- Moyen (moins de 40 tokens/s) - on peut attendre la réponse du modèle ou le laisser tourner
- Raison de cette installation
- Pour bidouiller et me former • Car je manipule des données confidentielles • Je préfère ne pas partager mes données personnelles ou d'entreprise même non confidentielles • Pour garantir la souveraineté de mes données • Parce que je le peux
- Usage professionnel
- Oui elle répond à des besoins professionnels concrets à mon échelleOui elle est pleinement fonctionnellePartiellement elle nécessite encore du travailNon elle n'est pas vraiment fonctionnelleJe ne sais pas
- Coût d'installation
- 500-1000€ - équivalent d'un ordinateur portable simple ou d'une carte graphique de gaming
- Coût d'opération quotidien
- 0-100€ / mois
- Précisions sur les coûts
- la machine 800. • sur internet en occasion avec un quadro p5000 et la deuxième quadro p5000 120. • sur ebay l'année passée
- Autres informations partagées
- les coût mois sont du a la consommation d'électricité la machine me coûte 9.-/mois, elle est arrêtée la nuit
Configuration générale
Infrastructure et matériel
Usage et performances
Coûts
Informations complémentaires
Contribuez au projet LLM Maison 2025
Partagez votre expérience avec votre installation LLM et aidez la communauté française à mieux comprendre l'écosystème local.
Répondre au questionnaireToutes les réponses sont repartagées publiquement sous licence libre permissive CC-0
Autres installations de la communauté
Découvrez quelques autres configurations partagées par la communauté LLM française.
Voir toutes les installationsLLM Maison (anonyme)
Installation: Directement sur ma machine
Logiciels: OpenWebUI
Performance: Rapide (plus de 40 tokens/s) - les réponses ont un ressenti temps réel
LLM Maison (anonyme)
Installation: Sur un serveur hébergé localement (je paie pour le matériel avec une installation sur site ou chez un prestataire IT local)
Logiciels: Openweb UI
Performance: Rapide (plus de 40 tokens/s) - les réponses ont un ressenti temps réel
LLM Maison (anonyme)
Installation: Directement sur ma machine
Logiciels: Ollama
Performance: Rapide (plus de 40 tokens/s) - les réponses ont un ressenti temps réel