BaselineÉvaluation par rubrique : une seule définition de la qualité
L'évaluation par rubrique permet de donner à « bonne sortie » le même sens pour tout le monde, pour que la qualité cesse de vivre dans la tête de chaque relecteur. Vous l'écrivez une fois sous forme de critères pondérés, et cette rubrique devient l'unique définition selon laquelle mesurent chaque exécution d'évaluation, chaque planification et chaque exécution d'optimisation.
Ce que c’est, et pourquoi c’est important
Demandez à trois personnes si une réponse d'IA est « bonne » et vous obtiendrez trois réponses. L'une tient à l'exactitude, une autre au ton, une autre à la longueur. Ce désaccord reste invisible jusqu'à ce qu'il se traduise par une qualité inconsistante au lancement, et c'est pourquoi des scores que personne n'a définis sont des scores auxquels personne ne se fie.
Une rubrique rend le standard explicite. Vous découpez « bon » en critères nommés et vous les pondérez selon ce qui compte vraiment pour votre produit. Désormais, tout le monde, et chaque évaluateur automatique, note selon la même chose. Le jugement flou devient un artefact partagé et écrit dont votre équipe est propriétaire.
Comme la rubrique est un objet unique et réutilisable, elle relie tout le flux de travail. Les critères qui définissent une exécution d'évaluation réussie pilotent les vérifications planifiées et l'optimisation qui corrige les régressions. Changez la définition de la qualité à un endroit et tout le reste suit.
Voyez-le dans Baseline, étape par étape
Plantez le décor
Une rubrique commence par une description de scénario et un résultat attendu en langage clair : ce que l'on demande à l'IA, et ce qu'accomplit une bonne réponse. Un contexte d'ancrage facultatif donne au juge des documents de référence pour vérifier.
Pondérez ce qui compte
Ajoutez des critères et pondérez-les pour que le score global reflète vos priorités. Les étapes de notation sous chaque critère disent au juge exactement comment noter, avec les mots de votre équipe.
Une rubrique, chaque mesure
La rubrique terminée pilote aussi bien les exécutions d'évaluation ponctuelles que les planifications récurrentes et les exécutions d'optimisation. Modifiez la définition une fois et tout ce qui en dépend mesure selon la mise à jour.
Comment Baseline procède
Scénario et résultat attendu
La rubrique capture d'abord la tâche et l'objectif en prose, si bien que les critères ont un contexte et qu'un nouveau collègue peut lire ce que « bon » veut dire ici.
Critères pondérés
Nommez les dimensions de la qualité et pondérez-les par importance. Les pondérations totalisent 1, si bien que les priorités sont explicites et que le score global les reflète.
Étapes de notation
Chaque critère porte les instructions pas à pas que le juge suit, ce qui transforme une étiquette comme « exactitude » en une procédure reproductible.
Propriété de l'équipe
Les contributeurs rédigent et modifient dans le navigateur ; les membres en lecture seule voient chaque résultat pendant que le standard reste stable.
Ce que vous obtenez
- Chaque relecteur, humain ou automatique, note selon un seul standard écrit.
- La qualité devient un artefact écrit et explicite dont l'équipe est propriétaire.
- Les experts métier définissent la qualité directement, dans le navigateur.
- Une seule rubrique alimente l'évaluation, la supervision et l'optimisation.
Questions fréquentes
- Qu'est-ce qu'une rubrique, exactement, ici ?
- Un ensemble de critères pondérés qui définissent une bonne sortie, rédigés en langage clair dans le navigateur. C'est le standard unique et partagé selon lequel note chaque évaluation, planification et optimisation.
- Qui rédige la rubrique ?
- La personne qui sait à quoi ressemble la qualité, généralement un expert métier ou un responsable produit plutôt qu'un ingénieur. Baseline est conçu pour qu'elle la rédige et la modifie directement dans l'interface.
- Puis-je changer les critères plus tard ?
- Oui. Modifiez la rubrique, et chaque exécution d'évaluation, planification et exécution d'optimisation qui la référence mesurera selon la définition mise à jour. Un seul changement, appliqué partout.