Quel modèle entend bien vos appelants ?

Testez sur vos propres appels

Un mardi soir de cet été, un appelant a téléphoné à [société], qui livre des colis pour des boutiques en ligne, et a dit à son agent IA : « Bonjour, c'est pour le colis PX 4827 3315. Laissez-le pas chez le voisin d'à côté, s'il vous plaît. Je suis absent jusqu'à jeudi et je le récupérerai moi-même. » Dans la transcription, tous les mots étaient justes, sauf « pas », qui avait disparu. Sans ce mot, la phrase demandait le contraire, et le colis a été laissé chez le voisin. Jeudi, le même appelant était de nouveau au bout du fil, furieux.

Aurélie, responsable de la ligne client de [société], a lu la transcription le lendemain matin. Il manquait un mot, et c'était celui dont dépendait tout l'appel. L'agent prenait les appels du soir tout l'été, dans le cadre d'une phase pilote. Il utilisait le modèle de reconnaissance vocale livré avec la solution du fournisseur, le modèle A de cet article. La page du fournisseur lui attribuait un score élevé pour les mots justes au total. [société], Aurélie, la phase pilote, les appels, les deux modèles et tous les chiffres de cet article sont un exemple, pas des données réelles.

Un score pareil n'aurait pas alerté Aurélie. Il compte tous les mots de la même façon, alors qu'un appel repose sur quelques-uns : le numéro de suivi, le nom de famille, le jour, l'adresse et toute négation qui inverse le sens d'une demande. Le modèle qui entend bien vos appelants est celui qui reconnaît ces mots-là. Pour choisir la reconnaissance vocale (ou transcription automatique) de vos appels, testez les candidats sur vos propres enregistrements. Dans chaque enregistrement, marquez les mots décisifs de l'appel, comptez combien chaque modèle en reconnaît sans la moindre erreur, et regardez ce que devient chaque erreur. Fondez votre choix sur ce qu'une liste de mots ne pourra pas corriger après coup, et demandez à l'agent de reformuler chaque demande qui change quelque chose.

Peut-on se fier au score du fournisseur ?

La page du fournisseur résume un modèle en un seul chiffre, le nombre de mots justes sur 100. Certaines pages comptent plutôt les erreurs et affichent le taux d'erreur de mots. Dans les deux cas, c'est une moyenne sur tous les mots testés, si bien qu'un « euh » pèse autant que le troisième chiffre d'un numéro de suivi.

Avec ce calcul, la transcription du mardi a l'air excellente. Le modèle a écrit le numéro de suivi, le voisin, le jour et tout le reste de ce que disait l'appelant, et il a perdu « pas », le mot qui inversait la demande.

Ce score a aussi été mesuré sur d'autres enregistrements que les vôtres. Vos appelants sont en voiture, sur haut-parleur ou dans la rue, leur voix passe par une ligne téléphonique avant d'arriver au modèle, et ils dictent à toute vitesse un numéro de suivi qu'ils lisent dans un message sur leur téléphone. Avant de vous fier au chiffre du fournisseur, demandez-lui si ses enregistrements ressemblent à ces appels-là.

• Quelles voix ont été enregistrées, dans quelle langue et quelle variante régionale ?
• Les locuteurs lisaient-ils un texte ou parlaient-ils librement ?
• Le son passait-il par une ligne téléphonique ou par un micro de studio ?
• Y avait-il du bruit autour d'eux, ou une pièce calme ?

Quels sont les mots décisifs ?

Aurélie a retenu 50 appels enregistrés d'une semaine ordinaire de la phase pilote, celle de l'appel du mardi, qui en fait donc partie. On y retrouve ses soirées habituelles : des appelants en voiture, sur haut-parleur ou dehors, des personnes âgées, des gens qui ont un accent, et quelques-uns qui prononçaient un nom de rue dans une autre langue. Choisissez des enregistrements que votre équipe a le droit d'utiliser pour ce test, et conservez les transcriptions avec le même soin que les enregistrements.

Les transcriptions du modèle A étaient déjà là, issues de la phase pilote. Aurélie a demandé au fournisseur de faire tourner le modèle B, le second candidat, sur les mêmes enregistrements, et de donner pour les deux modèles le score des mots justes au total sur ces appels. Deux conseillers qui répondent chaque jour à ce genre d'appels ont ensuite écouté chaque enregistrement une fois, noté les mots décisifs tels que l'appelant les avait dits, et vérifié les deux transcriptions sur ces seuls mots.

La vérification était stricte. Un numéro de suivi n'était juste que si chaque lettre et chaque chiffre l'étaient, car un numéro presque bon ne trouve aucun colis, ou celui de quelqu'un d'autre. Un nom de famille comptait s'il correspondait au nom inscrit sur le colis, et une négation comptait quand la transcription l'avait gardée.

Un même appel peut contenir à la fois un numéro de suivi, un nom de famille et un jour, si bien que le total de 150 relevé par les conseillers compte des mots, et non des appels.

Quel modèle s'en sort le mieux ?

Sur le score du fournisseur pour ces 50 appels, le modèle A était en tête, avec 94 mots justes sur 100 contre 92 pour le modèle B. Avec la vérification des conseillers, c'est le modèle B qui passe devant.

Le modèle B a reconnu 131 des 150 mots décisifs, et le modèle A 112. Le plus gros écart concerne les numéros de suivi, 40 sur 44 contre 30. Quand les appelants dictaient vite le numéro, le modèle A perdait un chiffre ou en intervertissait deux.

Le modèle A a aussi perdu 3 des 18 négations, dont le « pas » de l'appelant du mardi. Le modèle B a gardé les 18 sur ces 50 appels. Les noms de famille ont donné du mal aux deux modèles : 20 justes sur 36 pour le modèle A, 23 pour le modèle B. Il ne faut donc se fier à aucune des deux transcriptions pour un nom de famille.

La plupart des mots qui ont fait reculer le modèle B sur le score global étaient de petits mots et des mots de remplissage, comme « euh », « alors » ou « le », qui ne déclenchent aucune action. Aurélie a choisi le modèle B pour la ligne client. Si deux modèles arrivent au coude à coude sur les mots décisifs dans votre propre test, ajoutez des appels avant de trancher.

Que se passe-t-il quand il entend mal ?

Une erreur peut finir de trois façons. Un contrôle dans vos données la repère, l'agent la rattrape en reformulant la demande, ou bien elle passe.

Le modèle A s'est trompé sur 38 des 150 mots décisifs. Ses 14 numéros de suivi erronés ne correspondaient à aucun colis, et l'agent les a redemandés. Quant à ses 16 noms de famille erronés, ils ne correspondaient pas au nom inscrit sur le colis, et l'agent a demandé à l'appelant de les épeler. Les 8 autres erreurs, elles, n'étaient rattrapées par rien : 4 adresses, 1 jour et 3 négations. Pendant la phase pilote, l'agent ne reformulait pas les demandes, et ces 8 erreurs sont donc passées telles que le modèle les avait entendues.

Le modèle B s'est trompé sur 19 des 150. Sur ses transcriptions, le contrôle dans vos données aurait repéré 4 numéros de suivi erronés et 13 noms de famille erronés. Sans reformulation, rien n'aurait rattrapé ses 2 adresses erronées.

Quand le modèle entendait bien le numéro de suivi, l'agent trouvait le colis du premier coup. Dans ces appels, aucun numéro mal entendu ne correspondait au colis de quelqu'un d'autre, mais cela peut arriver, et c'est pourquoi l'agent vérifie aussi le nom de famille.

Vos données ne peuvent pas vérifier une nouvelle adresse, un nouveau jour ni l'endroit où l'appelant veut qu'on laisse le colis. L'agent reformule donc chaque demande qui change quelque chose : il dit avec ses propres mots ce qu'il s'apprête à faire, puis demande si c'est bien cela. L'appelant entend ainsi l'action, qui est justement ce qu'il doit contrôler. Pour une négation, la reformulation est le seul contrôle possible, puisqu'aucune donnée ne peut dire si l'appelant a dit « pas ».

Si l'agent avait reformulé la demande, l'appel du mardi se serait passé ainsi, avec la même transcription du modèle A.

Appelant : « Laissez-le pas chez le voisin d'à côté, s'il vous plaît. Je suis absent jusqu'à jeudi et je le récupérerai moi-même. »

Agent : « Donc on laisse votre colis chez votre voisin. C'est bien ça ? »

Appelant : « Non, surtout pas. Je le récupérerai moi-même jeudi, à mon retour. »

Agent : « Toutes mes excuses. Donc on garde votre colis au dépôt jusqu'à ce que vous veniez le chercher jeudi. C'est bien ça ? »

Appelant : « Oui, merci. »

Le « pas » que le modèle A avait perdu devient une correction pendant l'appel, au lieu d'un second appel furieux jeudi. L'agent s'excuse une seule fois et passe directement à l'action corrigée, pour que l'appelant vérifie aussi ce nouveau plan. La reformulation ne rattrape pas toutes les erreurs, mais celle-là, elle l'aurait rattrapée, et le colis du mardi serait resté au dépôt.

Que peut corriger une liste de mots ?

Une fois votre choix fait, vous pouvez encore donner une liste de mots au modèle. Pour [société], ce sont les noms de rues et de villes où elle livre, le format de ses numéros de suivi, deux lettres suivies de huit chiffres, et les noms de ses services. Les fournisseurs parlent de « vocabulaire personnalisé » ou de « mots-clés », et une telle liste aide n'importe quel modèle sur les mots qu'il n'a jamais rencontrés.

Aurélie a ajouté les rues et les villes de la zone de [société] et a fait repasser les mêmes 50 appels par le modèle B. À la seconde passe, il a reconnu correctement les 22 adresses.

Comparez donc les modèles sur ce qu'une liste de mots ne peut pas corriger. Aucune liste n'apprend à un modèle à garder une négation, ni à entendre la langue de vos appelants telle qu'ils la parlent, avec son parler régional, ses accents et ses voix plus âgées. Une ligne téléphonique bruyante, depuis une voiture, un haut-parleur ou la rue, reste aussi bruyante avec une liste. Le choix du modèle décide aussi s'il écrit pendant que l'appelant parle encore ou seulement après qu'il s'est tu. Un modèle qui attend ralentit chaque réponse, et notre article sur pourquoi votre agent IA fait attendre les appelants examine cette pause.

Les noms de famille restent eux aussi difficiles. Aucune liste ne contient le nom de chaque appelant, et l'agent continue donc de le comparer avec le nom inscrit sur le colis.

Ce que devient la transcription après le modèle, du nettoyage des chiffres et des dates jusqu'à la compréhension de ce que veut l'appelant, nous l'expliquons dans notre article sur la façon dont l'IA vocale corrige ce qu'elle entend mal.

Si votre ligne client reçoit des appels dans plusieurs langues, refaites le test pour chacune. Le modèle qui entend le mieux vos appelants qui parlent allemand n'est pas forcément celui qui entend le mieux ceux qui parlent turc.

Où DRING intervient-il ?

DRING n'enferme pas un agent dans un seul modèle de reconnaissance vocale. Dans le moteur vocal de DRING, les modèles de reconnaissance, de langage et de voix sont choisis par agent et par langue, et un parcours peut passer à un autre modèle sans changer de plateforme. Des appelants qui parlent allemand et d'autres qui parlent turc peuvent être entendus par des modèles différents. L'appel est transcrit en temps réel, puis corrigé et normalisé avant que l'agent ne raisonne.

Dans Agent Factory, où DRING crée, teste et améliore ses agents, vos appels et vos processus deviennent un agent opérationnel, et les conversations difficiles deviennent des tests. Un appel comme celui du mardi peut en devenir un. Un modèle de reconnaissance vocale plus performant n'entre en production qu'après avoir passé la batterie de non-régression de toute la pile technique.