Déploiement Local de Llama2-uncensored : Performance et Confidentialité sur Serv

Cette installation LLM est déployée sur un serveur local hébergé sur site, équipé d'une carte graphique RTX 3050 avec 6 Go de mémoire. Le matériel, identifié sous le nom de code MS-01, consomme environ 70W et est installé dans un rack. L'infrastructure utilise le logiciel Ollama Open WebUI pour héberger les modèles, avec Llama2-uncensored comme modèle principal, complété par Mistral et Llama3. L'installation ne dispose pas de capacités de formation de modèles, se limitant à l'utilisation de modèles pré-entraînés. La performance est évaluée comme moyenne, avec un débit inférieur à 40 tokens par seconde, nécessitant une attente pour les réponses. Le coût initial s'élève entre 500 et 1000 euros, tandis que les coûts opérationnels mensuels restent inférieurs à 100 euros.

L'installation répond à des besoins spécifiques de confidentialité, évitant le partage de données personnelles ou professionnelles, même non sensibles. Elle permet l'utilisation de modèles non censurés, bien que son usage professionnel soit limité en raison de sa performance moyenne. Destinée à un usage restreint (1 à 5 personnes), elle offre une solution autonome mais avec des contraintes en termes de rapidité et de fonctionnalité. L'objectif principal est de garantir un contrôle total sur les données, au détriment de certaines performances et de la scalabilité.