Découvrez l'installation locale de Gemma3:270m par Patrice Cosson - Performances

Cette installation LLM est déployée sur un serveur local hébergé par un prestataire IT ou sur site, utilisant un matériel payé par l'utilisateur. L'infrastructure repose sur un TuringPi 2 équipé de modules Turing RK1 avec 16 Go et 8 Go de RAM, fonctionnant sans GPU. Le système exploite des modèles open source, dont gemma3:270m comme modèle principal, ainsi que deepseek-r1:1.5b, Qwen3-4B-Instruct et qwen3:4b. L'installation utilise OpenWebUI Ollama pour l'interface et ne nécessite aucune formation de modèles, se limitant à l'utilisation de versions pré-entraînées. L'absence de GPU entraîne des performances lentes, avec un débit inférieur à 10 tokens par seconde, obligeant les modèles à fonctionner en arrière-plan.

L'installation est principalement utilisée à des fins personnelles, sans objectif professionnel. Elle sert d'outil d'apprentissage et d'expérimentation, avec un coût d'installation et de fonctionnement nul, reposant uniquement sur des logiciels open source. Les performances limitées en font un système adapté à des tâches mineures ou à un usage occasionnel, sans exigence de réactivité élevée. L'utilisateur, Patrice Cosson, n'a pas partagé de détails supplémentaires sur son utilisation ou ses résultats.