Déploiement Local d'un LLM sur Serveur Hébergé par EBII s.a.s.u.

Cette installation LLM est déployée sur un serveur hébergé localement, avec un Mac Studio équipé de 512 Go de mémoire. L'infrastructure utilise des logiciels tels que LMStudio et VLLM, ainsi qu'un développement personnalisé. Aucun modèle n'est entraîné sur place, mais plusieurs options sont envisagées, notamment Qwen3, Devstral, GML4.5, Apertus et Lucie. L'installation repose sur une configuration matérielle dédiée, avec un budget compris entre 3 000 et 10 000 euros, couvrant l'achat et la maintenance du matériel. Les performances sont estimées comme moyennes, avec un débit inférieur à 40 tokens par seconde, ce qui implique des temps de réponse plus longs. L'objectif principal est d'assurer la souveraineté des données et de proposer des solutions IA hors ligne, tout en servant des besoins professionnels concrets.

Cette installation permet d'expérimenter et de se former aux technologies LLM tout en garantissant un contrôle total sur les données traitées. Elle est utilisée à la fois pour des projets personnels et professionnels, notamment pour développer des produits IA autonomes. Bien que les coûts d'exploitation soient nuls, l'investissement initial reste significatif, justifié par la nécessité d'une infrastructure locale et sécurisée. Les résultats obtenus répondent aux attentes en termes de souveraineté et de fonctionnalités, malgré des performances limitées par le matériel disponible. L'installation s'inscrit dans une démarche de maîtrise technique et d'indépendance vis-à-vis des solutions cloud.