Un jeu d’évaluation relie des entrées représentatives à des critères explicites. Il sert à comparer les versions et à détecter les régressions, pas à prouver une perfection générale.
Écrire le critère avant le résultat
Pour un assistant fictif qui extrait des échéances, vérifiez la date, la source et l’absence d’invention lorsqu’aucune échéance n’existe. Une appréciation globale « bonne réponse » peut masquer une erreur de date importante. Séparez les dimensions plutôt que de les fondre immédiatement dans une note unique.
| Famille | Exemple de cas |
|---|---|
| Ordinaire | Une échéance clairement formulée |
| Ambiguë | Deux dates avec des rôles différents |
| Absente | Aucun engagement daté |
| Contradictoire | Ancienne et nouvelle version du document |
| Adverse | Texte tentant de modifier les consignes |
Préserver une comparaison honnête
Conservez une partie des cas hors de l’ajustement quotidien. Versionnez les entrées, les critères et la configuration évaluée. Si le métier change sa définition du succès, notez la rupture de comparaison. Faites relire les cas où plusieurs réponses raisonnables sont possibles.
Combien de cas faut-il ?
Le nombre dépend de la diversité et du risque, pas d’un seuil universel. Commencez avec des familles bien couvertes, puis ajoutez les erreurs observées en usage. Une bonne moyenne ne compense pas un échec critique ; examinez les catégories séparément avant d’autoriser un déploiement.
Sources et lectures utiles
Du guide à votre projet
Intelligence artificielle ↗
Nous partons d’une tâche et d’un critère de qualité. L’IA intervient quand elle améliore réellement le service rendu.
Parlez-nous de votre idéeLes exemples sont pédagogiques et ne décrivent pas des résultats clients. Contenu préparé avec assistance IA ; voir notre politique éditoriale. Notre méthode ↗