Welk model verstaat uw bellers?

Test het op uw eigen gesprekken

Op een dinsdagavond afgelopen zomer had [bedrijf], dat pakketten voor webwinkels bezorgt, een beller aan de lijn. Tegen de AI-agent zei de beller: “Hoi, het gaat om pakket PX 4827 3315. Graag niet bij de buren afgeven. Ik ben tot donderdag weg en haal het zelf op.” In het transcript klopte elk woord, behalve “niet”. Zonder dat woord vroeg de zin om het tegenovergestelde, en het pakket werd bij de buren afgegeven. Op donderdag belde dezelfde beller weer, nu boos.

Irene, die de klantenservice van [bedrijf] leidt, las de volgende ochtend het transcript. Er ontbrak één woord, juist het woord waar het gesprek om draaide. In een pilot nam de agent de hele zomer de avondgesprekken aan, met het spraakherkenningsmodel dat standaard bij de opzet van de leverancier zat. In dit artikel heet dat Model A. Op de pagina van de leverancier kreeg Model A een hoge score voor goed herkende woorden in totaal. [bedrijf], Irene, de pilot, de gesprekken, de twee modellen en alle aantallen in dit artikel zijn een voorbeeld, geen echte data.

Zo'n score zou Irene niet hebben gewaarschuwd. Die telt elk woord even zwaar, terwijl een telefoongesprek om een paar kernwoorden draait: het trackingnummer, de achternaam, de dag, het adres en elke ontkenning die een verzoek omdraait. Het model dat uw bellers verstaat, heeft precies die woorden goed. Test de kandidaten voor spraakherkenning aan de telefoon (ook wel spraak naar tekst genoemd) op uw eigen opgenomen gesprekken. Markeer in elke opname de kernwoorden, tel hoeveel ervan elk model precies goed heeft en kijk hoe elke fout afloopt. Baseer uw keuze op wat een woordenlijst later niet meer kan herstellen, en laat de agent bij elk verzoek dat iets verandert een bevestigingsvraag stellen.

Kunt u de score van de leverancier vertrouwen?

De pagina van de leverancier vat een model samen in één getal: hoeveel van de 100 woorden het goed heeft. Sommige pagina's tellen juist de fouten en noemen het woordfoutpercentage (word error rate). In beide gevallen is het een gemiddelde over alle woorden waarop het model is getest, dus een “eh” telt even zwaar als het derde cijfer van een trackingnummer.

Volgens die score ziet het transcript van de dinsdagavond er uitstekend uit. Het model schreef het trackingnummer, de buren, de dag en al het andere dat de beller zei correct op, en liet alleen “niet” weg, het woord dat het verzoek omdraaide.

De score is ook gemeten op opnames van iemand anders. Uw bellers zitten in de auto, bellen op speaker of lopen op straat. Hun stem bereikt het model via een telefoonlijn, en het trackingnummer lezen ze snel voor, van een bericht op hun telefoon. Vraag eerst hoe dicht de opnames van de leverancier bij zulke gesprekken liggen, voordat u op dat getal afgaat.

• Wiens stemmen zijn opgenomen, in welke taal en welke regionale variant?
• Lazen de sprekers een tekst voor of praatten ze vrij?
• Kwam het geluid via een telefoonlijn binnen of via een studiomicrofoon?
• Was er lawaai om de sprekers heen of een stille kamer?

Wat zijn de kernwoorden van een gesprek?

Irene koos 50 opgenomen gesprekken uit één gewone week van de pilot, de week van het dinsdaggesprek, dus dat gesprek zit erbij. Ze geven een goed beeld van haar avonden, met bellers in de auto, op speaker en buiten, oudere bellers, bellers met een accent en een paar die een straatnaam in een andere taal noemden. Kies opnames die uw team hiervoor mag gebruiken en ga met de transcripten even zorgvuldig om als met de opnames.

Van deze gesprekken had Irene de transcripten van Model A al, uit de pilot. Ze vroeg de leverancier om Model B, de tweede kandidaat, op dezelfde opnames te laten draaien en voor beide modellen de score voor goed herkende woorden in totaal op deze gesprekken uit te rekenen. Twee medewerkers die elke dag zulke gesprekken aannemen, luisterden daarna elke opname één keer, schreven de kernwoorden op zoals de beller ze zei en controleerden beide transcripten alleen op die woorden.

De controle was streng. Een trackingnummer telde alleen mee als elke letter en elk cijfer klopte, want een nummer dat bijna goed is, vindt geen pakket of juist het pakket van een ander. Een achternaam telde mee als die overeenkwam met de naam op het pakket, en een ontkenning telde mee als het transcript die behield.

Eén gesprek kan een trackingnummer, een achternaam en een dag tegelijk bevatten, dus de 150 die de medewerkers telden, zijn woorden en geen gesprekken.

Welk model had de kernwoorden goed?

Op de score van de leverancier voor deze 50 gesprekken lag Model A voor, met 94 van de 100 woorden goed tegen 92 bij Model B. Bij de controle van de medewerkers lag Model B voor.

Model B had 131 van de 150 kernwoorden goed, Model A 112. Het grootste verschil zat bij de trackingnummers, 40 van de 44 tegen 30. Als bellers het nummer snel voorlazen, liet Model A een cijfer weg of verwisselde het er twee.

Model A liet ook 3 van de 18 ontkenningen vallen, en één daarvan was het “niet” van de beller op die dinsdag. Model B behield alle 18 in deze 50 gesprekken. Achternamen waren voor beide modellen lastig. Model A had er 20 van de 36 goed en Model B 23, dus voor een achternaam is geen van beide transcripten op zichzelf te vertrouwen.

Model B liep op de score van de leverancier voor het grootste deel achter door kleine woorden en stopwoordjes zoals “eh”, “dus” en “de”, waar niemand iets mee doet. Irene koos Model B voor de klantenservice. Liggen twee modellen in uw eigen test dicht bij elkaar op de kernwoorden, neem dan meer gesprekken mee voordat u beslist.

Wat als het model iets verkeerd verstaat?

Een fout kan op drie manieren aflopen. Een controle aan de hand van uw gegevens vangt hem op, de agent vangt hem op met een bevestigingsvraag, of hij glipt er ongezien doorheen.

Model A had 38 van de 150 kernwoorden fout. De 14 verkeerde trackingnummers hoorden bij geen enkel pakket, dus de agent vroeg het nummer nog een keer, en de 16 verkeerde achternamen kwamen niet overeen met de naam op het pakket, dus de agent liet de beller de naam spellen. De overige 8 fouten werden door niets opgevangen: 4 adressen, 1 dag en 3 ontkenningen. In de pilot stelde de agent geen bevestigingsvragen, dus die 8 gingen erdoor zoals het model ze had verstaan.

Model B had er 19 van de 150 fout. Bij de transcripten van Model B had de controle aan de hand van uw gegevens 4 verkeerde trackingnummers en 13 verkeerde achternamen opgevangen. De 2 verkeerde adressen zouden zonder bevestigingsvraag door niets zijn opgevangen.

Als het model het trackingnummer goed verstond, vond de agent het pakket in één keer. In deze gesprekken hoorde geen van de verkeerde nummers bij het pakket van een ander. Dat kan wel gebeuren, en daarom controleert de agent ook de achternaam.

Uw gegevens kunnen een nieuw adres, een nieuwe dag of de plek waar de beller het pakket wil laten afgeven niet controleren. Daarom stelt de agent bij elk verzoek dat iets verandert een bevestigingsvraag. De agent zegt eerst in eigen woorden wat hij gaat doen en vraagt dan of dat klopt. Zo hoort de beller wat er gaat gebeuren, en dat is het deel dat nagekeken moet worden. Bij een ontkenning is de bevestigingsvraag de enige controle die er is, want nergens in uw gegevens staat of de beller “niet” zei.

Had de agent een bevestigingsvraag gesteld, dan was het dinsdaggesprek zo verlopen, met hetzelfde transcript van Model A.

Beller: “Graag niet bij de buren afgeven. Ik ben tot donderdag weg en haal het zelf op.”

Agent: “Dus we geven uw pakket af bij de buren. Klopt dat?”

Beller: “Nee, graag niet. Ik haal het zelf op als ik donderdag terug ben.”

Agent: “Excuses daarvoor. Dus we houden uw pakket in het depot tot u het donderdag ophaalt. Klopt dat?”

Beller: “Ja, prima, bedankt.”

De ontkenning die Model A liet vallen wordt zo een correctie tijdens hetzelfde gesprek, in plaats van een tweede, boos telefoontje op donderdag. De agent biedt één keer excuses aan en noemt meteen wat het nieuwe plan is, zodat de beller ook dat controleert. Een bevestigingsvraag vangt niet elke fout op. Hier had de bevestigingsvraag het pakket van die dinsdag wel in het depot gehouden.

Wat kan een woordenlijst oplossen?

Ook na uw keuze kunt u het model nog een woordenlijst geven. Voor [bedrijf] zijn dat de straatnamen en plaatsen in het bezorggebied, de opbouw van het trackingnummer, twee letters en acht cijfers, en de namen van de diensten. Leveranciers noemen zo'n lijst “custom vocabulary” of “keywords”, en die helpt elk model met woorden die het nog niet kent.

Irene voegde de straten en plaatsen uit het bezorggebied van [bedrijf] toe en liet Model B dezelfde 50 gesprekken nog eens verwerken. De tweede keer had het model alle 22 adressen goed.

Vergelijk de modellen dus op wat een woordenlijst niet kan herstellen. Geen enkele lijst leert een model een ontkenning te behouden, of de taal van uw bellers te verstaan zoals ze die spreken, met streektaal, accenten en oudere bellers. Een woordenlijst maakt de telefoonlijn niet stiller, of het lawaai nu van een auto, een speaker of de straat komt. Met het model kiest u ook of het meeschrijft terwijl de beller nog praat of pas begint als die stopt. Een model dat wacht, vertraagt elk antwoord, en ons artikel over waarom uw AI-agent bellers laat wachten gaat in op die pauze.

Ook achternamen blijven lastig. Geen lijst bevat de achternaam van elke beller, dus de agent blijft de naam op het pakket controleren.

Wat er na het model met het transcript gebeurt, van het opschonen van cijfers en datums tot het achterhalen van wat de beller wil, staat in ons artikel over hoe voice-AI herstelt wat ze verkeerd verstaat.

Spreekt uw klantenservice bellers in meer dan één taal, herhaal de test dan per taal. Het model dat uw Duitstalige bellers het best verstaat, verstaat uw Turkstalige bellers niet per se ook het best.

Waar komt DRING in beeld?

DRING bindt een agent niet aan één spraakherkenningsmodel. In de Speech Core van DRING worden de spraak-, taal- en stemmodellen per agent en per taal gekozen, en een workflow kan naar een ander model worden geleid zonder over te stappen op een ander platform. Duitstalige bellers en Turkstalige bellers kunnen door verschillende modellen worden verstaan. Het gesprek wordt realtime getranscribeerd en daarna gecorrigeerd en genormaliseerd voordat de agent gaat redeneren.

In Agent Factory, waar DRING zijn agents bouwt, test en verbetert, worden uw gesprekken en workflows een werkende agent en worden lastige gesprekken tests. Een gesprek als dat van die dinsdag kan er een van worden. Een sterker spraakherkenningsmodel gaat pas live als het de regressieset doorstaat die de hele stack draait.