Neler test ediliyor
Açılış cümlesi, ton, ses, temp, soruların sırası, bir itirazın ele alınış biçimi. Her varyantta tek değişken bulunur, böylece sonuç doğru şekilde atfedilebilir.
Kalite
Her agent test edilmiş halde yayına alınır. Yazılım gibi, çünkü öyle.
Bir agent gerçek bir çağrı almadan önce, zor olanlar dahil yüzlerce simüle edilmiş konuşmaya karşı çalıştırılır. Yayına alındıktan sonra da her canlı çağrı, her hafta bir önceki sürüme karşı puanlanır.
1,000+agent başına yayın öncesi simüle edilmiş konuşma
2her test çağrısını puanlayan bağımsız yapay zeka hakemi
Haftalıkönceki sürüme karşı regresyon taraması
100%puanlanan üretim çağrısı
Süreç
Bir agent yayına alınmadan önce neler olur
Kullanım senaryosu ne kadar basit görünürse görünsün, her agent için aynı süreç işler.
- 01
Persona üretimi
Test personaları sinirli arayanları, yanlış sipariş senaryolarını, politika tuzaklarını, sessizliği ve kesintileri içerir.
- 02
Otomatik konuşmalar
Agent, her personayı tam bir simüle edilmiş konuşma boyunca çalıştırır.
- 03
Çift hakem puanlaması
Her konuşmayı iki bağımsız yapay zeka hakemi puanlar; anlaşmazlıklar insanlar tarafından denetlenir.
- 04
Regresyon kontrolü
Herhangi bir şey yayına alınmadan önce sonuçlar bir önceki sürümle karşılaştırılır.
- 05
Yönlendirme yolu kontrolleri
İnsana yükseltme varsayılmaz, açıkça doğrulanır.
- 06
Kademeli devreye alma
Canlı trafik her adımda puanlar izlenerek %10, ardından %50, ardından %100'e çıkarılır.
Değerlendirme
Neden iki hakem
Tek bir yapay zeka hakemi kayabilir veya bir nüansı kaçırabilir. İki bağımsız hakem çalıştırmak ve anlaşamadıkları noktaları denetlemek, tek başına birinin yakalayacağından daha fazlasını yakalar.
Bu süreç, canlı üretim çağrılarında insan kalite kontrol denetçilerine karşı kontrol edilir: yapay zeka çağrı analizi, insan denetçilerle %94 oranında uyuşur.
Hakem AÇözüldü
Hakem BÇözüldü
UyumEşleşiyor
İnsan denetimiGerekli değil
Üretimde A/B testi
Daha iyi açılış, fikirlere değil sonuçlara göre kazanır.
Hangi açılış cümlesinin, tonun veya sesin işe yaradığına, trafiğin kontrollü bir payıyla canlı çağrılarda karar verilir. Varyantlar, kampanyanın var olma amacı olan sonuca göre karşılaştırılır, kazanan kademeli olarak yükseltilir ve yükseltilen her değişiklik yine de regresyon test setinden geçer. Canlı bir giden arama kampanyasında, seçim yapmadan önce trafiğin yüzde onunda on açılış varyantı denedik.
Canlı test · açılış varyantlarıAşama 1 · eşit trafik
0 çağrı
0 çağrı
0 çağrı
Minimum örneklem büyüklüğüne ulaşılmadı. Trafiği bölmeye devam edin.
Kazanan nasıl seçilir
Kampanyanın kendi sonuç metriğine göre, sonuç durumunun olumlu payına bakılarak, her karardan önce varyant başına bir minimum örneklem şartıyla. Duygu durumu ve yönlendirme oranı koruma kuralı olarak işler: sonuçlarda kazanan ama karşılamada kaybeden bir varyant yayına alınmaz.
Nasıl yayına alınır
Kazanan trafiğin yüzde 10, 50, 100'üne kademeli olarak yükseltilir, kaybedenler devre dışı bırakılır ve değişiklik kaydedilir, böylece gelecek ayın karşılaştırması bilinen bir referans noktasından başlar.
Üretim
Üretimde her çağrı puanlanır
Test etme yayınla durmaz. Her canlı çağrı, sürekli olarak aynı şekilde puanlanır.
Çözüm
Çağrının, müşterinin aradığı nedeni gerçekten çözüp çözmediği.
Duygu durumu
Müşterinin tonunun çağrı boyunca nasıl değiştiği.
Politika uyumu
Agent'ın kendisine verilen kurallar içinde kalıp kalmadığı.
Gecikme
Konuşma boyunca yanıt süresi.
Her çağrı ayrıca yapılandırılmış bir çağrı sonu özeti üretir. Sapma uyarıları, puanları beklenen aralığın dışına çıkan agent'ları işaretler ve bunu erken yakalamak için tüm canlı agent'lar üzerinde haftalık taramalar çalışır.
Koruma kuralları
Bir agent'ın asla yapmayacağı şeyler
Kapsam dışını reddeder
Bir agent, ele almak üzere kurulmadığı talepleri reddeder.
Asla politika uydurmaz
Kendisine verilmemiş bir politikayı tahmin etmez.
Hassas konuları yükseltir
Hassas talepler agent tarafından ele alınmak yerine bir insana yönlendirilir.
Her zaman yönlendirme sunar
Arayan için bir insan seçeneği her zaman kullanılabilir.
Ölçüm
Neyi ölçüyoruz
| Metrik | Tanım | Neden önemli |
|---|---|---|
| Çözüm | Müşterinin arama nedeninin gerçekten ele alınıp alınmadığı. | Agent'ın işini yapıp yapmadığının temel ölçüsü. |
| Duygu durumu | Müşterinin tonunun çağrının başından sonuna nasıl değiştiği. | Kağıt üzerinde çözülmüş ama müşteriyi hayal kırıklığına uğratmış çağrıları yakalar. |
| Politika uyumu | Agent'ın eylemlerinin kendisi için yapılandırılan kurallar içinde kalıp kalmadığı. | Agent'ı işletmenin belirlediği sınırlar içinde tutar. |
| Gecikme | Müşterinin konuşmayı bitirmesinden agent'ın yanıt vermesine kadar geçen süre. | Yanıt doğru olsa bile yavaş yanıtlar kötü bir bağlantı gibi hissettirir. |
| Yönlendirme doğruluğu | Agent'ın gerektiğinde insana yükseltip yükseltmediği. | Kaçırılan bir yükseltme, gereksiz bir yükseltmeden daha kötüdür. |
| Regresyon farkı | Aynı test setinde bir önceki sürüme karşı puan değişimi. | Agent'ı sessizce kötüleştiren bir sürümü yakalar. |
SSS
Test soruları
Test etme sadece yayında değil, her sürümden önce mi gerçekleşiyor?+
Evet. Regresyon taramaları önceki sürüme karşı haftalık çalışır ve her değişiklik aynı kademeli devreye alma sürecinden geçer.
İki hakem anlaşamazsa ne olur?+
Anlaşmazlıklar, sonuç kesinleşmeden önce denetim için bir insan incelemecisine yönlendirilir.
Agent'ımız için test senaryolarını görebilir miyiz?+
Evet. Test personaları ve senaryoları sizin özel politikalarınız ve uç durumlarınız etrafında oluşturulur ve süreç sırasında görülebilir.
Canlı bir agent'ın puanları saptığında ne olur?+
Sapma uyarıları bunu otomatik olarak işaretler ve tüm canlı agent'lar için yapılan haftalık taramanın bir parçası olarak incelenir.
Test sürecini kendi kullanım senaryonuzda görün
Agent'ınız için bir yayına almanın nasıl görüneceğini birlikte inceleyelim.