Section 5.4 Fiabilité et projet de synthèse

Arbitrer fiabilité, coût et latence

Un modèle plus grand ou un contexte plus long peut améliorer certaines réponses et compliquer le service. Une comparaison utile évalue donc plusieurs dimensions sur les mêmes demandes. Définir un temps de réponse mesuré du point de vue du lecteur, la limite de passages fournis et le coût des demandes reprises par une personne.

Mesurer des compromis observables

Le temps médian décrit une requête typique sous le protocole observé. Le 95e centile décrit un seuil sous lequel se trouvent environ 95 % des temps, selon la convention d’estimation choisie. Une moyenne ne montre pas les requêtes longues qui peuvent rendre une interaction difficile. Enregistrer séparément recherche, traitement des entrées et génération permet de localiser le délai. Un service peut renvoyer rapidement un extrait puis préparer une synthèse lorsque la preuve est suffisante.

Deux distributions de temps montrent une médiane proche et une queue plus longue pour la deuxième configuration. La médiane et le 95e centile sont indiqués.
Figure 5.4. Temps construits. Une performance typique similaire peut coexister avec des temps de réponse très différents dans la queue.

Mettre l’abstention au bilan

Une stratégie qui traite 60 demandes sur 100 et répond correctement à 54 des 60 donne 90 % de réussite parmi les réponses et 60 % de couverture. Une autre en traite 90 et a raison sur 72, soit 80 % sur les réponses et 90 % de couverture. Les résultats n’impliquent pas le même travail de suivi. Comparer les erreurs coûteuses, la couverture et la capacité de revue. En exploitation, compter aussi les réessais, les réponses incomplètes et les problèmes de source.