Serveur LLM : définition et fonctionnement

Depuis le 12 novembre 2026, la Commission européenne a publié ses lignes directrices sur les obligations de transparence prévues par l’article 50 de l’AI Act. À compter du 2 août 2026, tout système d’IA interagissant directement avec des personnes doit, sauf exceptions, les informer qu’elles échangent avec une intelligence artificielle.

Cette échéance concerne directement les serveurs LLM déployés sous forme de chatbots ou d’API internes, y compris ceux déjà en service dans l’Union européenne. Concevoir un serveur LLM ne se limite plus au choix du matériel ou du mode d’hébergement : la conformité réglementaire devient une composante technique du déploiement.

A lire également : Les inconvénients de l’automatisation en entreprise

Journaux d’inférence et conformité AI Act : ce qu’un serveur LLM doit tracer

Un serveur LLM est une infrastructure (physique ou virtualisée) qui exécute un modèle de langage pour répondre à des requêtes textuelles en temps réel. Le moteur d’inférence (vLLM, Ollama, TGI) charge le modèle en mémoire GPU, reçoit les prompts via une API, calcule les tokens de sortie et renvoie la réponse.

La question technique que les guides d’hébergement n’abordent pas : quels journaux ce serveur doit-il produire pour démontrer sa conformité sans exposer les données des utilisateurs ?

A voir aussi : La blockchain en entreprise : des usages bien réels

Les lignes directrices de la Commission distinguent deux obligations. La première porte sur l’information de l’utilisateur qu’il interagit avec une IA. La seconde concerne le marquage lisible par machine des contenus synthétiques générés. Ces deux exigences appellent des mesures techniques distinctes au niveau du serveur.

Pour la première, le serveur doit pouvoir prouver qu’un message de divulgation a été affiché avant toute interaction. Cela implique de journaliser l’horodatage de l’affichage du bandeau d’information, sans stocker le contenu de la conversation elle-même. Pour la seconde, les sorties textuelles doivent intégrer des métadonnées de provenance (watermark statistique ou balise de métadonnées) permettant leur identification comme contenu artificiel.

Couloir de salle de serveurs avec des baies rack alignées, des câbles organisés et des voyants LED clignotants représentant l'infrastructure d'un serveur LLM

Un point à ne pas négliger : le fournisseur du système déployé reste responsable même si le modèle sous-jacent vient d’un tiers. Utiliser Mistral, Llama ou un autre modèle open source ne dispense pas l’opérateur du serveur de ses obligations de transparence. Les lignes directrices précisent que les fournisseurs de modèles sont encouragés à intégrer des mesures de transparence au niveau du modèle, mais la charge de conformité du système final revient à celui qui le déploie.

Séparer les journaux de conformité des données personnelles

Le piège le plus courant consiste à journaliser les prompts complets pour prouver le bon fonctionnement du système. Cette approche crée un conflit direct avec le RGPD si les requêtes contiennent des données personnelles.

Une architecture conforme sépare trois flux de journaux :

  • Les journaux de conformité AI Act : horodatage de la divulgation, identifiant de session anonymisé, présence du watermark en sortie, version du modèle utilisé
  • Les journaux techniques d’inférence : latence, nombre de tokens générés, taux d’erreur, charge GPU, sans contenu des échanges
  • Les journaux applicatifs (optionnels) : contenu des échanges, stockés uniquement si l’utilisateur y consent, avec durée de rétention définie et chiffrement au repos

Cette séparation permet de démontrer la conformité réglementaire lors d’un audit sans donner accès aux conversations.

Architecture matérielle d’un serveur LLM local : GPU, mémoire et dimensionnement

Le moteur d’inférence charge l’intégralité des paramètres du modèle en mémoire vive du GPU (VRAM). Un modèle de plusieurs dizaines de milliards de paramètres en précision standard nécessite une quantité de VRAM proportionnelle. La quantification (réduction de la précision des poids, par exemple en 4 bits) permet de diviser cette exigence par un facteur significatif, au prix d’une légère dégradation de la qualité des réponses.

Le choix du matériel dépend du cas d’usage. Pour un usage mono-utilisateur ou un prototype, un serveur AMD Ryzen AI Max+ avec 128 Go de mémoire unifiée peut exécuter un modèle comme Llama 3 70B sur une seule machine, sans carte GPU dédiée. Pour un déploiement multi-utilisateurs en production, des GPU dédiés de type datacenter restent la référence.

Le dimensionnement ne se limite pas à la VRAM. La bande passante mémoire détermine la vitesse de génération token par token. Le nombre de requêtes simultanées dicte le besoin en batch d’inférence, une technique où le moteur regroupe plusieurs requêtes pour optimiser l’utilisation du GPU.

Moteurs d’inférence et pile logicielle

Trois composants logiciels forment le socle d’un serveur LLM fonctionnel :

  • Le moteur d’inférence (vLLM, Ollama, TGI) gère le chargement du modèle, le batching des requêtes et l’exposition d’une API compatible OpenAI
  • L’interface utilisateur (AnythingLLM, Open WebUI) fournit un point d’accès web aux utilisateurs non techniques et peut intégrer le bandeau de divulgation AI Act
  • La base vectorielle (Qdrant, pgvector) stocke les embeddings de documents internes pour le RAG (retrieval-augmented generation), permettant au modèle de répondre à partir de sources spécifiques à l’organisation

L’ensemble de cette pile peut reposer sur des briques 100 % open source, ce qui élimine la facturation au token mais transfère la responsabilité de maintenance et de conformité à l’opérateur.

Développeuse utilisant une interface de chat alimentée par un serveur LLM sur une tablette dans un bureau à domicile

Serveur LLM cloud, local ou hybride : arbitrer au-delà du coût

Le débat cloud contre local se résume souvent à une question de coût par token face à un investissement matériel initial. Cette grille de lecture est incomplète depuis l’entrée en vigueur des obligations de l’AI Act.

En cloud, l’opérateur délègue l’infrastructure mais conserve la responsabilité du système déployé. Si le fournisseur d’API ne propose pas de mécanisme de watermarking ou de journalisation conforme, l’intégrateur doit les ajouter en surcouche. En local, l’opérateur contrôle l’intégralité de la chaîne, des journaux aux sorties, ce qui simplifie la démonstration de conformité mais impose de maintenir le matériel et les mises à jour de sécurité.

L’approche hybride consiste à exécuter les requêtes contenant des données sensibles sur un serveur local, et à router les requêtes non sensibles vers une API cloud pour absorber les pics de charge. Ce routage ajoute une couche de complexité : il faut classifier les requêtes avant de les envoyer, ce qui pose la question de savoir si le classificateur lui-même est un système d’IA soumis aux mêmes obligations.

Les lignes directrices de la Commission précisent que les systèmes déjà en service doivent être conformes à partir du 2 août 2026. La conformité ne concerne donc pas uniquement les nouveaux déploiements. Tout serveur LLM exposé à des utilisateurs dans l’Union européenne, quel que soit son mode d’hébergement, doit intégrer ces mécanismes de transparence dans son cycle de vie.

La conception d’un serveur LLM en 2026 ne se réduit pas à un arbitrage GPU et tokens par seconde. L’architecture de journalisation, le marquage des sorties et la séparation des flux de données sont devenus des critères de conception à part entière, au même titre que la latence ou la disponibilité.

Ne ratez rien de l'actu

Tech

Interfaces plutôt que classes : les avantages de ce choix

En programmation orientée objet, le choix entre interface et classe ne se…

Immo

Risques d’une SCPI : les points de vigilance à connaître

Une SCPI collecte l'épargne de plusieurs investisseurs pour acquérir et gérer un…

Sorties

Le pays scandinave le plus sûr à visiter

La Scandinavie figure chaque année parmi les régions les mieux classées du…