★ Le guide anti-POC · LLM / RAG · Production
La plupart des features LLM ne meurent pas en production — elles n'y arrivent jamais. Le POC impressionne en démo, puis s'enlise : pas de moyen de mesurer s'il s'améliore, des coûts par requête découverts trop tard, un agent qui s'effondre au premier cas limite. Cette page liste les quatre causes d'échec que je vois revenir, les questions à poser à n'importe quel prestataire avant de signer — moi compris — et les cas où, honnêtement, vous n'avez pas besoin d'un LLM.
~20 %
du travail, c'est le modèle. Le reste : le pipeline
1
jeu d'évaluation minimum, sinon vous pilotez à l'aveugle
60s→10s
ce que donne un pipeline bien fait (Upfund)
Parfois 0
LLM nécessaire — la recherche classique suffit souvent
Sans jeu d'évaluation — des cas réels, des réponses attendues, un score — « l'IA marche » est une opinion. Chaque itération de prompt devient un pari, et le projet s'arrête le jour où quelqu'un d'important tombe sur une mauvaise réponse. L'éval n'est pas une option de luxe : c'est la première chose à construire, avant même le pipeline.
« On va prendre GPT-4 » est une décision de réunion, pas d'ingénierie. Latence cible, coût par requête à votre volume réel, sensibilité des données : c'est ce triangle qui désigne le modèle — parfois une API cloud, parfois un modèle local via Ollama, parfois un petit modèle qui suffit largement. Le benchmark se fait sur votre cas, pas sur un classement public.
Un agent de démo a vu dix cas ; vos utilisateurs en apporteront dix mille. Sans garde-fous, sans périmètre d'outils maîtrisé, sans gestion du « le modèle s'est trompé », la confiance s'évapore à la première sortie de route — et elle ne revient pas. La différence entre démo et production, c'est tout ce qui ne se voit pas en réunion.
Un notebook qui marche n'est pas une feature. Tant que le LLM n'est pas derrière votre API, dans votre interface, surveillé par votre observabilité et déployé par votre CI, il n'existe pas pour vos utilisateurs. C'est souvent là que les projets s'arrêtent : l'équipe data a fini, et personne n'est responsable du dernier kilomètre.
Q1
Si le prestataire ne peut pas vous montrer comment il mesure la qualité des réponses sur un projet passé, vous financez ses expérimentations. Chez Upfund, c'est l'éval qui a permis de dire « 6× plus rapide ET plus pertinent » — pas une impression, une mesure.
Q2
Un POC à 50 requêtes par jour ne dit rien d'une prod à 50 000. Exigez le chiffre à votre échelle avant de signer : c'est lui qui décide entre API cloud et modèle local, et il change parfois toute l'architecture.
Q3
Il se trompera. La bonne réponse parle de garde-fous, de fallbacks et de ce que voit l'utilisateur ce jour-là. Si on vous répond « avec un bon prompt ça n'arrive pas », raccrochez.
Rejoignez la liste d'attente : je préviens d'abord les personnes inscrites quand un créneau freelance se libère. Laissez votre email ci-dessous, ou écrivez-moi directement à alielmufti25@gmail.com.
Rejoindre la listeSouvent, non. Si une recherche full-text bien configurée, des règles métier ou un formulaire mieux conçu résolvent le problème, c'est plus simple, moins cher et plus fiable. Le LLM se justifie quand l'entrée est du langage naturel imprévisible ou que la réponse demande une synthèse — c'était le cas de la recherche Upfund, ce n'est pas le cas de tout.
RAG d'abord, dans la grande majorité des cas produits : il branche le modèle sur vos données à jour, coûte moins cher et s'évalue facilement. Le fine-tuning ne se justifie que pour un ton, un format ou un domaine très spécifiques — et rien n'empêche de l'ajouter plus tard.
Oui. J'ai monté des stacks entièrement locales — Ollama, LanceDB, FastAPI — quand la confidentialité l'exigeait : aucune donnée ne sort de votre infrastructure. On perd en puissance brute face aux gros modèles cloud ; le compromis se chiffre sur votre cas, et il est parfois très acceptable.
Mon TJM démarre à 600 € HT/jour. Un POC sérieux — vos données, un cas d'usage, une évaluation — tient en quelques jours et vous dit si ça vaut le coup d'aller plus loin. La mise en production se chiffre ensuite en semaines selon le périmètre ; fourchette précise après un appel de 30 minutes.