Découvrez le modèle GPT-OSS 20B du CNRS pour une IA puissante directement sur vo

Cette installation LLM est déployée localement sur une machine personnelle équipée d'un GPU Apple Metal, utilisant le framework Ollama. Elle intègre deux modèles principaux : gpt-oss:20b et llama3.2-vision, sans entraînement de modèles personnalisés. L'infrastructure repose sur un ordinateur portable haut de gamme, d'une valeur estimée entre 1000 et 3000 euros, offrant des performances rapides (plus de 40 tokens par seconde), permettant des interactions en temps réel. L'installation est conçue pour une utilisation exclusive, sans dépendance à un fournisseur externe ou à un service cloud, garantissant ainsi une souveraineté totale des données.

L'installation est utilisée à des fins professionnelles au sein du CNRS, où elle joue un rôle central dans le traitement de données confidentielles. Son coût opérationnel est nul, sans maintenance particulière requise. Elle répond à des besoins spécifiques liés à la manipulation de données sensibles et à la formation technique, tout en évitant les risques liés aux solutions hébergées. L'objectif principal est de permettre une utilisation flexible et sécurisée des modèles de langage, en alignement avec les exigences de confidentialité et d'autonomie de l'organisation.