L’IA multimodale est trompeusement facile à démontrer et vraiment difficile à bien expédier. Vous montrez à quelqu'un un modèle analysant une capture d'écran et tout le monde est impressionné. Ensuite, vous le mettez en production et découvrez qu'il lit mal les données du tableau 30 % du temps, identifie mal les éléments UI lorsque la mise en page n'est pas standard et coûte quatre fois plus que ce que vous aviez budgétisé car les jetons d'image sont chers.
L'écart entre « cela fonctionne dans notre démo » et « cela fonctionne de manière fiable pour nos utilisateurs » est le point où la plupart des fonctionnalités multimodales rencontrent des difficultés. Et comme les systèmes multimodaux combinent différents types de capacités d’IA (vision, audio, texte), les modes de défaillance sont plus variés et plus difficiles à diagnostiquer que les fonctionnalités textuelles.
Des rétrospectives régulières vous aident à combler systématiquement cet écart au lieu de jouer à la taupe avec les problèmes de production. Voici comment les structurer spécifiquement pour les fonctionnalités multimodales.
Ce qui rend le multimodal différent
Lorsque votre fonctionnalité d’IA traite uniquement du texte, l’évaluation est relativement simple. L'entrée est du texte, la sortie est du texte et vous pouvez les comparer avec les méthodes établies.
Les fonctionnalités multimodales brisent cette simplicité de plusieurs manières :
Les entrées sont plus difficiles à normaliser. Une image peut varier en termes de résolution, d'éclairage, d'orientation, de compression, de format et de contenu, contrairement au texte. Un fichier audio comporte un bruit de fond, des accents, des haut-parleurs qui se chevauchent et une qualité d'enregistrement variable. Votre évaluation doit tenir compte de cet écart d’entrée.
Les erreurs sont plus difficiles à détecter automatiquement. Lorsqu'un modèle de texte produit un mauvais résultat, les métriques automatisées peuvent souvent le signaler. Lorsqu’un modèle de vision interprète mal un graphique, vous avez généralement besoin d’un humain pour le détecter. Lorsqu'un modèle audio supprime un mot, le taux d'erreur de mot automatisé le détecte, mais lorsqu'il entend mal un nom propre qui en modifie le sens, seule une évaluation contextuelle le trouve.
Les coûts sont moins prévisibles. Les jetons image et audio coûtent plus cher que les jetons texte, et les coûts évoluent en fonction de la taille de l'entrée. Une fonctionnalité qui traite des images haute résolution peut coûter un ordre de grandeur plus élevé que prévu si les utilisateurs téléchargent des fichiers plus volumineux que prévu.
Les attentes des utilisateurs ne sont pas claires. Les utilisateurs ont des intuitions bien développées sur la qualité de l'IA textuelle. Ils ont des attentes beaucoup moins calibrées en matière de fonctionnalités visuelles et audio, ce qui peut signifier à la fois d’agréables surprises et des déceptions déroutantes.
Évaluation de chaque modalité
Votre rétrospective nécessite des objectifs de qualité différente pour chaque modalité. Voici ce qu'il faut regarder.
Modèles de vision
Si vous utilisez des modèles pour analyser des images, des captures d'écran, des documents ou du contenu visuel, suivez ces catégories d'échec :
Précision de la description. Lorsque le modèle décrit le contenu d'une image, est-ce correct ? Recherchez spécifiquement les objets hallucinés (les choses que le modèle « voit » qui ne sont pas là) et les objets manqués (les choses qui sont là mais que le modèle ignore). Les deux sont importants, mais les objets hallucinés ont tendance à éroder plus rapidement la confiance des utilisateurs.
Extraction de texte (OCR). Si vous utilisez des modèles de vision pour lire du texte à partir d'images, vérifiez l'exactitude sur différents types de contenu : texte imprimé, texte manuscrit, texte dans des tableaux, texte sur des arrière-plans inhabituels, petit texte, texte dans des langues autres que l'anglais. Chacun d’entre eux a des taux d’erreur différents et vous devez savoir lesquels affectent vos utilisateurs.
Raisonnement spatial. Le modèle peut-il identifier correctement les relations entre les éléments ? "Le bouton est en dessous de l'en-tête" est simple. "La troisième colonne du deuxième tableau montre les revenus trimestriels" est difficile. Si votre fonctionnalité repose sur la compréhension spatiale, testez-la explicitement.
Cas Edge qui cassent les choses : Très grandes images, très petites images, captures d'écran avec mode sombre, contenu à faible contraste, images avec filigranes, captures d'écran de la propre sortie du modèle (oui, cela arrive).
Modèles audio
Pour les fonctionnalités de synthèse vocale, de transcription et d'analyse audio :
Taux d'erreur de mot par condition. Ne vous contentez pas de suivre le WER global - décomposez-le par qualité d'enregistrement, accent, vitesse de parole, niveau de bruit de fond et nombre de haut-parleurs. Votre WER global peut être acceptable alors que les conditions spécifiques sont terribles.
Attribution des locuteurs. Si vous effectuez une diarisation des locuteurs (qui a dit quoi), vérifiez la précision spécifiquement au niveau des transitions des locuteurs et lorsque les locuteurs se chevauchent. C'est là que se produisent la plupart des erreurs de diarisation.
Noms propres et vocabulaire de domaine. La transcription générique gère bien les mots courants. Les noms d’entreprises, les noms de produits, le jargon technique et les noms de personnes sont les lieux où se concentrent les erreurs. Si votre fonctionnalité audio dessert un domaine spécifique, testez avec du contenu spécifique au domaine.
Précision de l'horodatage. Si votre fonctionnalité lie la transcription à des moments spécifiques de l'audio, testez si les horodatages sont réellement corrects. Une petite dérive s'accumule sur de longs enregistrements.
Génération d'images
Si votre produit génère des images :
Adhésion rapide. L'image générée correspond-elle à ce qui a été demandé ? Ceci est subjectif, vous avez donc besoin de critères d’évaluation cohérents. Définissez ce que signifie « correspond à l'invite » pour votre cas d'utilisation et soyez précis.
Cohérence. Lorsque les utilisateurs génèrent plusieurs images avec des invites similaires, les résultats sont-ils cohérents en termes de style, de qualité et d'approche ? Ou la qualité varie-t-elle énormément entre les générations ?
Modes d'échec. Chaque modèle de génération d'images présente des faiblesses connues : rendu du texte, mains et doigts, dispositions spatiales spécifiques, certains styles. Connaissez les faiblesses de votre modèle et vérifiez si elles affectent les demandes réelles de vos utilisateurs.
Sécurité du contenu. Que se passe-t-il lorsque les utilisateurs (intentionnellement ou non) demandent un contenu qui ne devrait pas être généré ? Vos garde-corps fonctionnent-ils ? Sont-ils trop agressifs (bloquant les demandes légitimes) ?
Organiser la rétrospective
Avant la réunion
La préparation est plus importante pour les rétros multimodales que pour les rétros textuelles, car les échecs sont plus difficiles à résumer verbalement. Celui qui prépare la session doit rassembler :
Une galerie visuelle d'échecs. Collectez littéralement des captures d'écran et des exemples des pires échecs de la période passée. Affichez l'entrée (image, clip audio, invite), ce que le modèle a produit et ce qu'il aurait dû produire. Voir les échecs est plus efficace que de lire à leur sujet.
Mesures de qualité par condition. Ne vous contentez pas d'apporter des moyennes. Décomposez les métriques selon les dimensions importantes : type d'image, qualité audio, segment d'utilisateurs, domaine de contenu. Les moyennes cachent les conditions dans lesquelles la qualité est inacceptablement mauvaise.
Données de coût. Combien a coûté le traitement multimodal sur cette période ? Des surprises ? Des questions individuelles qui se sont révélées étonnamment coûteuses ?
Pendant la réunion (60 minutes)
Visite pas à pas de la galerie (15 minutes). Afficher les exemples d'échecs. Pour chacun d'entre eux, demandez à l'équipe de classer : s'agit-il d'une limitation du modèle (quelque chose que le modèle ne peut fondamentalement pas bien faire) ? Un problème de prétraitement (mauvais traitement des entrées avant que le modèle ne le voie) ? Un problème d'intégration (la sortie du modèle était correcte mais nous l'avons mal utilisée) ? Un problème d'invite/de configuration (nous pourrions obtenir de meilleurs résultats avec de meilleures instructions) ?
Identification des modèles (20 minutes). Recherchez des modèles parmi les échecs. Les échecs sont-ils concentrés dans une modalité spécifique ? Une condition de saisie spécifique ? Un workflow utilisateur spécifique ? Les modèles pointent vers des correctifs systémiques plutôt que des correctifs au cas par cas.
Examen des coûts et de la valeur (10 minutes). Pour chaque fonctionnalité multimodale, demandez-vous honnêtement : la valeur qu'elle apporte vaut-elle ce qu'elle coûte ? Existe-t-il des cas où vous utilisez une approche multimodale coûteuse alors qu'une solution plus simple fonctionnerait ? À l’inverse, existe-t-il des domaines dans lesquels investir davantage (traitement à plus haute résolution, meilleurs modèles) améliorerait de manière significative l’expérience utilisateur ?
Éléments d'action (15 minutes). Hiérarchiser les correctifs. Un cadre qui aide : tracer les échecs sur une fréquence de 2x2 (à quelle fréquence cela se produit) par rapport à leur gravité (à quel point est-ce grave quand cela se produit). La fréquence élevée et la gravité élevée sont corrigées en premier. N'essayez pas de tout réparer : choisissez 2 ou 3 améliorations.
Modèles d’amélioration pratique
Voici des approches qui aident systématiquement les équipes à améliorer la qualité multimodale :
Portes de prétraitement. Avant d'envoyer une image ou un fichier audio vers un modèle coûteux, effectuez des vérifications bon marché : la résolution de l'image est-elle suffisante ? La qualité audio est-elle supérieure à un seuil minimum ? Le type de fichier est-il pris en charge ? Rejeter rapidement les mauvaises entrées coûte moins cher et produit une meilleure expérience utilisateur que le traitement des déchets et leur retour.
Normalisation d'entrée. Redimensionnez les images à une résolution cohérente, convertissez l'audio en un format standard, normalisez les niveaux de volume. La réduction de la variance d’entrée réduit la variance de sortie.
Seuils de confiance. Lorsque la confiance du modèle est faible, ne présentez pas le résultat comme fiable. Marquez-le pour examen humain, demandez à l'utilisateur de fournir une meilleure contribution ou communiquez honnêtement l'incertitude. Les utilisateurs gèrent bien mieux « Je ne suis pas sûr de ce résultat » plutôt qu'une sortie erronée avec confiance.
Retours spécifiques à la modalité. Lorsque le modèle de vision ne peut pas lire un tableau de manière fiable, revenez à un pipeline d'extraction de texte. Lorsque la qualité audio est trop faible pour une transcription précise, informez-en l’utilisateur plutôt que de produire une mauvaise transcription. Concevez une dégradation gracieuse pour chaque modalité.
Mise en cache et réutilisation. Si vous traitez des entrées identiques ou similaires à plusieurs reprises, mettez les résultats en cache. Ceci est particulièrement pertinent pour le traitement de documents où le même document peut être analysé plusieurs fois.
Quand le multimodal n’en vaut pas la peine
L’un des résultats les plus précieux d’une rétrospective multimodale est l’évaluation honnête de la question de savoir si une approche multimodale est réellement la bonne solution. Parfois, ce n'est pas le cas.
Si votre fonction d'analyse d'image est peu précise et que vos utilisateurs bénéficieraient également de la possibilité de coller du texte, l'approche multimodale ajoute du coût et de la complexité sans valeur proportionnelle. Si votre transcription audio présente des taux d'erreur élevés pour les conditions d'enregistrement spécifiques de vos utilisateurs, une simple saisie de texte pourrait mieux les servir.
Ce n'est pas un échec, c'est la rétrospective qui fait son travail. Le but n’est pas d’utiliser l’IA multimodale car c’est impressionnant. C'est pour résoudre les problèmes des utilisateurs. Si une approche plus simple fonctionne mieux, c'est la bonne réponse.
Essayez NextRetro gratuitement — Utilisez des colonnes pour chaque modalité (vision, audio, génération) et votez pour prioriser les problèmes de qualité à résoudre en premier.
Dernière mise à jour : février 2026
Temps de lecture : 7 minutes
