Que modelo ouve bem os seus clientes?

Teste nas suas próprias chamadas

Numa terça-feira à noite deste verão, um cliente telefonou à [empresa], que entrega encomendas de lojas online, e disse ao agente de IA: «Boa noite, é por causa da encomenda PX 4827 3315. Por favor, não deixe a encomenda com o vizinho do lado. Estou fora até quinta-feira e vou buscá-la eu mesmo.» A transcrição tinha todas as palavras certas, menos o «não». Sem ele, a frase pedia o contrário, e a encomenda foi deixada com o vizinho. Na quinta-feira, o mesmo cliente voltou a ligar, zangado.

A Raquel, responsável pela linha de apoio ao cliente da [empresa], leu a transcrição na manhã seguinte. Faltava uma palavra, justamente aquela de que a chamada dependia. Durante todo o verão, o agente atendia as chamadas da noite num piloto, com o modelo de reconhecimento de voz que vinha com a configuração do fornecedor, a que aqui chamamos Modelo A. A página do fornecedor dava ao Modelo A uma nota alta em palavras certas no geral. A [empresa], a Raquel, o piloto, as chamadas, os dois modelos e todos os números deste artigo são um exemplo, não dados reais.

Uma nota assim não teria avisado a Raquel. Conta todas as palavras por igual, e uma chamada depende de poucas: o número de seguimento, o apelido, o dia, a morada e qualquer «não» que inverta o sentido de um pedido. O modelo que ouve bem os seus clientes é o que acerta nessas palavras. Ao escolher o reconhecimento de voz para as chamadas, a que também se chama fala para texto, teste os candidatos nas suas próprias gravações. Em cada uma, marque as palavras decisivas, conte quantas cada modelo acerta por inteiro e veja onde vai parar cada erro. Para decidir, pese o que uma lista de palavras não vai conseguir corrigir mais tarde, e peça ao agente que repita o pedido ao cliente sempre que ele muda alguma coisa.

Pode confiar na nota do fornecedor?

A página do fornecedor resume um modelo num só número, quantas palavras acertou em cada 100. Algumas contam antes os erros e citam a taxa de erro de palavras. Seja como for, é uma média de todas as palavras em que o modelo foi testado, e por isso um «ahn» pesa tanto como o terceiro dígito de um número de seguimento.

Medida assim, a transcrição de terça-feira parece excelente. O modelo escreveu o número de seguimento, o vizinho, o dia e tudo o resto que o cliente disse, e perdeu o «não», a palavra que invertia o pedido.

Além disso, a nota saiu de gravações que não são as suas. Os seus clientes ligam do carro, em alta-voz ou na rua. A voz chega ao modelo por uma linha telefónica, e eles leem depressa o número de seguimento a partir de uma mensagem no telemóvel. Antes de confiar no número do fornecedor, pergunte até que ponto as gravações dele se parecem com chamadas assim.

• De quem são as vozes gravadas, em que língua e em que variante regional?
• Os falantes liam um texto ou falavam à vontade?
• O som chegou por uma linha telefónica ou por um microfone de estúdio?
• Havia ruído à volta ou estavam numa sala silenciosa?

Quais são as palavras decisivas?

A Raquel escolheu 50 chamadas gravadas de uma semana normal do piloto, a da chamada de terça-feira, que por isso é uma delas. Soam às noites dela, com clientes no carro, em alta-voz e na rua, clientes mais velhos, clientes com sotaque e alguns que disseram o nome de uma rua noutra língua. Escolha gravações que a sua equipa possa usar para este fim e guarde as transcrições com o mesmo cuidado das gravações.

As transcrições do Modelo A já existiam, feitas durante o piloto. A Raquel pediu ao fornecedor que passasse o Modelo B, o segundo candidato, pelas mesmas gravações e que calculasse, para os dois modelos, as palavras certas no geral nestas chamadas. Depois, dois operadores da equipa, que atendem chamadas destas todos os dias, ouviram cada gravação uma vez, anotaram as palavras decisivas tal como o cliente as disse e verificaram as duas transcrições só nessas palavras.

A verificação foi rigorosa. Um número de seguimento só contava como certo se não falhasse uma letra nem um dígito, porque um número quase certo não localiza encomenda nenhuma, ou localiza a de outra pessoa. Um apelido contava quando coincidia com o nome na encomenda, e um «não» contava quando a transcrição o mantinha.

Uma chamada pode trazer ao mesmo tempo um número de seguimento, um apelido e um dia, e por isso o total de 150 dos operadores conta palavras, não chamadas.

Que modelo acertou mais?

Na nota do fornecedor para estas 50 chamadas, o Modelo A estava à frente, com 94 palavras certas em 100 contra 92 do Modelo B. Na verificação dos operadores, quem ficou à frente foi o Modelo B.

O Modelo B acertou 131 das 150 palavras decisivas, e o Modelo A 112. A maior diferença esteve nos números de seguimento, 40 de 44 contra 30. Quando os clientes diziam o número depressa, o Modelo A perdia um dígito ou trocava dois.

O Modelo A perdeu ainda 3 dos 18 «não», e um deles foi o do cliente de terça-feira. O Modelo B manteve os 18 nestas 50 chamadas. Os apelidos deram trabalho aos dois. O Modelo A acertou 20 de 36 e o Modelo B 23, por isso, para um apelido, nenhuma das duas transcrições chega por si só.

A maior parte das palavras que deixaram o Modelo B atrás na nota geral eram palavras pequenas e de enchimento, como «ahn», «então» e «o», que não mudam nada do que o agente faz. A Raquel escolheu o Modelo B para a linha de apoio. Se, no seu teste, dois modelos ficarem perto nas palavras decisivas, junte mais chamadas antes de decidir.

E quando o modelo ouve mal?

Um erro pode acabar de três maneiras. Uma verificação nos seus registos apanha-o, o agente apanha-o ao repetir o pedido, ou ninguém dá por ele e segue em frente.

O Modelo A falhou 38 das 150 palavras decisivas. Os 14 números de seguimento errados não correspondiam a nenhuma encomenda, por isso o agente voltou a perguntar. Os 16 apelidos errados não batiam com o nome na encomenda, e o agente pediu ao cliente que o soletrasse. Os outros 8 erros não tinham nada que os apanhasse: 4 moradas, 1 dia e 3 «não». No piloto, o agente não repetia os pedidos, e esses 8 passaram tal como o modelo os ouviu.

O Modelo B falhou 19 das 150. Nas transcrições deste modelo, a verificação nos registos teria apanhado 4 números de seguimento errados e 13 apelidos errados. As 2 moradas erradas, sem a repetição do pedido, não teriam nada que as apanhasse.

Quando o modelo ouvia bem o número de seguimento, o agente localizava a encomenda à primeira. Nestas chamadas, nenhum número mal ouvido coincidiu com a encomenda de outra pessoa, mas podia coincidir, e é por isso que o agente verifica também o apelido.

Os seus registos não conseguem confirmar uma morada nova, um dia novo, nem onde o cliente quer que a encomenda seja deixada. Por isso o agente repete todos os pedidos que mudam alguma coisa: diz, com as suas próprias palavras, o que vai fazer e só depois pergunta se está certo. Assim, o cliente ouve a ação, que é justamente o que lhe cabe verificar. Quanto a um «não», a repetição do pedido é a única verificação que existe, porque nenhum registo sabe se o cliente disse «não».

Se o agente tivesse repetido o pedido, a chamada de terça-feira teria corrido assim, com a mesma transcrição do Modelo A.

Cliente: «Por favor, não deixe a encomenda com o vizinho do lado. Estou fora até quinta-feira e vou buscá-la eu mesmo.»

Agente: «Então vamos deixar a encomenda com o vizinho. Está certo?»

Cliente: «Não, por favor, não deixe. Vou buscá-la eu mesmo quando voltar, na quinta-feira.»

Agente: «Peço desculpa. Então a encomenda fica no armazém até o senhor a vir buscar, na quinta-feira. Está certo?»

Cliente: «Sim, obrigado.»

O «não» que o Modelo A deixou cair vira uma correção na própria chamada, em vez de uma segunda chamada, zangada, na quinta-feira. O agente pede desculpa uma só vez e passa logo à ação corrigida, para que o cliente confirme também o novo plano. Repetir o pedido não apanha todos os erros, mas este apanhava, e a encomenda de terça-feira teria ficado no armazém.

O que corrige uma lista de palavras?

Depois de escolher, ainda pode dar ao modelo uma lista de palavras. Para a [empresa], isso quer dizer os nomes das ruas e das localidades onde entrega, o formato do número de seguimento (duas letras e oito dígitos) e os nomes dos seus serviços. Os fornecedores chamam a uma lista destas «custom vocabulary» ou «keywords», e ela ajuda qualquer modelo com palavras que ainda não conhece.

A Raquel juntou as ruas e as localidades da zona onde a [empresa] entrega e voltou a passar as mesmas 50 chamadas pelo Modelo B. Na segunda vez, acertou todas as 22 moradas.

Por isso, compare os modelos pelo que uma lista de palavras não corrige. Nenhuma lista ensina um modelo a manter um «não», nem a ouvir a língua dos seus clientes tal como eles a falam, com o falar da região, os sotaques e os clientes mais velhos. Uma linha telefónica ruidosa, seja no carro, em alta-voz ou na rua, continua tão ruidosa com uma lista como sem ela. A escolha do modelo decide ainda se ele escreve enquanto o cliente fala ou só depois de este parar. Um modelo que espera torna todas as respostas mais lentas, e o nosso artigo sobre porque esperam os clientes pelo agente de IA trata dessa pausa.

Os apelidos continuam difíceis. Nenhuma lista traz o apelido de todos os clientes, por isso o agente continua a verificar o nome na encomenda.

O que acontece à transcrição depois do modelo, desde limpar os números e as datas até perceber o que o cliente quer, conta-se no nosso artigo sobre como a IA de voz corrige o que ouve mal.

Se a sua linha de apoio recebe chamadas em mais do que uma língua, repita o teste para cada uma. O modelo que melhor ouve os clientes que falam alemão pode não ser o que melhor ouve os que falam turco.

Onde entra a DRING?

A DRING não prende um agente a um só modelo de reconhecimento de voz. No núcleo de voz da DRING, os modelos de fala, de linguagem e de voz são escolhidos por agente e por língua, e um processo pode passar para outro modelo sem mudar de plataforma. Os clientes que falam alemão e os que falam turco podem ser ouvidos por modelos diferentes. A chamada é transcrita em tempo real e depois corrigida e normalizada antes de o agente raciocinar.

No Agent Factory, onde a DRING constrói, testa e melhora os seus agentes, as suas chamadas e processos tornam-se um agente em funcionamento e as conversas difíceis tornam-se testes. Uma chamada como a de terça-feira pode ser um deles. Um modelo de reconhecimento de voz melhor só entra em produção depois de passar na bateria de regressão que toda a stack executa.