Optimisation d'un LLM Qwen-3B sur Serveur Local : Performance et Autonomie
Résumé de cette installation par l'IA
Cette installation repose sur un serveur local hébergé sur site ou chez un prestataire IT, équipé d'un processeur Rizen 8845HS et de 16 Go de RAM. L'installation utilise uniquement le CPU, sans carte graphique, et fonctionne avec le modèle Qwen-3B via l'interface Openweb UI. L'utilisateur n'entraîne pas de modèles personnalisés et se limite aux versions préexistantes. Le coût initial, compris entre 100 et 500 euros, correspond à l'achat du matériel nécessaire, tandis que les coûts d'exploitation sont nuls, sans maintenance particulière requise.
L'installation permet d'obtenir des performances rapides, avec un débit supérieur à 40 tokens par seconde, offrant une sensation de temps réel dans les interactions. L'utilisateur l'emploie à des fins personnelles, notamment pour des tâches mineures ou pour se former, tout en garantissant la souveraineté et la confidentialité de ses données. L'absence de partage avec des fournisseurs externes ou des services cloud répond à une volonté de maîtrise totale de l'infrastructure.
- Type d'installation
- Directement sur ma machineSur un serveur hébergé localement (je paie pour le matériel avec une installation sur site ou chez un prestataire IT local)Sur un cloud (je ne gère pas le matériel ou je le loue)
- Modèle LLM principal
- qwen:3b
- Entraînement de modèles
- Oui j'entraîne mes propres modèlesNon, j'utilise des modèles existantsLes deux
- Logiciels et SaaS utilisés
- Openweb UI
- Cartes graphiques
- Aucune - je n'utilise que le CPU
- Détails de la machine
- Rizen 8845HS
- Autres précisions matériel
- 16Go Ram
- Utilisation de l'installation
- Juste pour moi
- Performances obtenues
- Rapide (plus de 40 tokens/s) - les réponses ont un ressenti temps réel
- Raison de cette installation
- Pour bidouiller et me former • Je préfère ne pas partager mes données personnelles ou d'entreprise même non confidentielles • Pour garantir la souveraineté de mes données • Parce que je le peux
- Usage professionnel
- Oui elle répond à des besoins professionnels concrets à mon échelleOui elle est pleinement fonctionnellePartiellement elle nécessite encore du travailNon elle n'est pas vraiment fonctionnelleJe ne sais pas
- Coût d'installation
- 100-500€ - équivalent d'une carte graphique simple
- Coût d'opération quotidien
- 0 - pas de maintenance particulière
Configuration générale
Infrastructure et matériel
Usage et performances
Coûts
Contribuez au projet LLM Maison 2025
Partagez votre expérience avec votre installation LLM et aidez la communauté française à mieux comprendre l'écosystème local.
Répondre au questionnaireToutes les réponses sont repartagées publiquement sous licence libre permissive CC-0
Autres installations de la communauté
Découvrez quelques autres configurations partagées par la communauté LLM française.
Voir toutes les installationsEric Burel - LBKE
Installation: Directement sur ma machine
Logiciels: Open WebUI
Performance: Lent (moins de 10 token/s) - le modèle doit tourner en toile de fond
Charles Bonnissent
Installation: Sur un cloud (je ne gère pas le matériel ou je le loue)
Logiciels: Openwebui, sst/opencode
Performance: Rapide (plus de 40 tokens/s) - les réponses ont un ressenti temps réel
Patrice Cosson
Installation: Sur un serveur hébergé localement (je paie pour le matériel avec une installation sur site ou chez un prestataire IT local)
Logiciels: OpenWebUI Ollama
Performance: Lent (moins de 10 token/s) - le modèle doit tourner en toile de fond