Chatbot Başarısı Nasıl Ölçülür? Altı Gösterge ve Formül

Chatbot başarısı, konuşma sayısıyla değil, konuşmaların ne kadarının müşterinin sorusunu doğru biçimde çözdüğüyle ölçülür. Bunun için altı gösterge yeterlidir: çözüm oranı, insana devir oranı, yanlış cevap oranı, yanıtsız kalan sorular, konuşmadan talebe geçiş ve müşteri tarafından gelen sinyal. Aşağıda her göstergenin formülünü, verinin nereden alınacağını ve haftada yirmi konuşma okuyarak bu sayıları nasıl elde edeceğinizi anlatıyoruz.

Bu yazı, asistanı yayına almış ya da almak üzere olan bir işletme için. Yayından önce yapılacak testleri ayrı ele aldık; burada konu, asistan gerçek müşterilerle konuşmaya başladıktan sonra işini yapıp yapmadığını anlamak.

"Kaç konuşma yaptı" sorusu neden yanlış başlangıç

Sohbet platformlarının panelinde ilk görünen sayı genellikle toplam konuşma adedidir. Bu sayı asistanın ne kadar kullanıldığını gösterir, ne kadar işe yaradığını göstermez. Bir asistan ayda bin konuşma yapıp bunların büyük kısmında müşteriyi yanlış yönlendirebilir; bir başkası iki yüz konuşma yapıp neredeyse hepsini doğru kapatabilir. İlk panelde bu iki durum birbirinden ayırt edilemez.

Konuşma sayısının bir başka zaafı, artışının iyi mi kötü mü olduğunun belli olmamasıdır. Konuşma sayısı arttıysa bu, müşterilerin asistanı daha çok kullandığı anlamına gelebilir. Aynı soru için iki üç kez yazmak zorunda kaldıkları anlamına da gelebilir. Hangisinin doğru olduğunu ancak konuşmaların içine bakarak anlarsınız.

Bu yüzden ölçüme panelden değil, tanımdan başlamak gerekir: sizin işletmeniz için "başarılı bir konuşma" ne demektir? Bir güzellik salonunda bu, müşterinin randevu saatini öğrenip randevu talebi bırakması olabilir. Bir e-ticaret sitesinde kargo durumunu öğrenmesi. Tanımı yazmadan sayılan her gösterge, ne ölçtüğü belirsiz bir sayıdır.

Altı gösterge, formül ve veri kaynağı

Aşağıdaki tablo, altı göstergenin tamamını tek yerde topluyor. Formüllerdeki "örneklem" kelimesi, her hafta okuyacağınız konuşma setini ifade ediyor; bunun nasıl seçileceği aşağıda ayrı bir bölümde anlatılıyor.

Bu göstergelerden ikisi platformdan otomatik gelir, ikisi okuma gerektirir, ikisi de işletmenin kendi kayıtlarıyla birleştirilmeyi bekler. Otomatik gelen sayılarla yetinmek cazip ama yanıltıcıdır: devir oranı panelde düşük görünebilir, çünkü asistan devretmesi gereken konuşmayı devretmemiştir. Bunu yalnızca okuma gösterir.

Çözüm oranı nasıl sayılır

Çözüm oranı, asistanın müşterinin sorusunu doğru cevapladığı ve bir insana ihtiyaç bırakmadığı konuşmaların payıdır. Burada iki koşul birlikte aranır: cevabın doğru olması ve konuşmanın asistanla kapanması. Asistan bir soruyu cevaplamış ama cevap yanlışsa, o konuşma çözülmüş sayılmaz.

Panel bazen "çözüldü" diye bir sayı verir. Bu sayı çoğu zaman müşterinin konuşmayı kendiliğinden bitirmesini ya da "teşekkürler" yazmasını çözüm saydığı için iyimser olabilir. Müşteri cevabı beğenmediği için de konuşmayı bırakabilir. Platformun bu sayıyı nasıl hesapladığını sağlayıcınıza sorun; tanımı yazılı değilse sayıyı kendi okumanızla doğrulayın.

Sayım için her konuşmaya tek bir etiket verin: çözüldü, doğru devredildi, yanlış devredildi, devredilmesi gerekirken devredilmedi, cevap yanlış, konu dışı. Bu altı etiketle aynı okumadan birden fazla gösterge çıkar. Etiketi konuşmayı okuyan kişi verir, asistan değil.

İnsana devir oranı: düşük olması iyi mi

İnsana devir oranı, asistanın konuşmayı bir çalışana aktardığı konuşmaların payıdır. İlk bakışta bu oranın düşük olması iyi gibi görünür, çünkü asistan işi kendisi bitiriyor demektir. Ama oranın tek başına iyi ya da kötü bir anlamı yoktur; asıl soru devirlerin doğru yerde yapılıp yapılmadığıdır.

İki tür hata vardır. Birincisi gereksiz devir: asistanın bilgi tabanında cevabı olan bir soruyu insana aktarması. Bu, çalışanın zamanını harcar ve asistanın bilgi tabanında bir boşluk ya da tanınmayan bir soru kalıbı olduğunu gösterir. İkincisi eksik devir: şikâyet, iade talebi ya da sağlık sorusu gibi insanın görmesi gereken bir konuşmayı asistanın kendisi cevaplamaya çalışması. İkinci hata daha pahalıdır, çünkü müşteri kaybına ya da yanlış bilgiye dönüşebilir.

Devir kurallarının nasıl tasarlandığını hibrit chatbot modeli yazısında anlattık. Ölçüm açısından yapılacak şey, haftalık okumada "yanlış devredildi" ve "devredilmesi gerekirken devredilmedi" etiketlerini ayrı saymaktır. İkinci etiketin sayısı sıfır değilse, devir oranının ne olduğu ikinci planda kalır.

Yanlış ya da uydurma cevap oranı

Yanlış cevap oranı, örneklemdeki konuşmalardan en az birinde asistanın yanlış ya da bilgi tabanında olmayan bir bilgi verdiği konuşmaların payıdır. Dil modelleri bilmedikleri bir şeyi akıcı ve emin bir dille söyleyebilir; bu yüzden bu gösterge yalnızca okuyarak bulunur, panelde karşılığı yoktur.

Okurken iki ayrı durumu ayırın. Birincisi yanlış bilgi: asistanın bilgi tabanındaki fiyat, saat ya da koşulu yanlış aktarması. Genellikle bilgi tabanındaki eski bir metinden ya da çelişkili iki kayıttan kaynaklanır. İkincisi uydurma: bilgi tabanında hiç olmayan bir hizmeti, kampanyayı ya da politikayı varmış gibi anlatması. Örneğin bir emlak ofisinin asistanının, ofisin hiç sunmadığı bir kredi danışmanlığı hizmetinden söz etmesi. Uydurma, sistem talimatında "bilmediğin konuda cevap verme, devret" kuralının yeterince güçlü olmadığını gösterir.

ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün NIST AI Risk Yönetimi Çerçevesi, gönüllü kullanım için yazılmış ve güvenilirlik değerlendirmesini yapay zeka sistemlerinin tasarımından kullanımına ve değerlendirilmesine kadar bütün aşamalara yaymayı öneren bir çerçeve. Küçük bir işletme için bu çerçevenin tamamını uygulamak gerekmez; ama ana fikri işe yarar: doğruluk bir kez test edilip bırakılmaz, kullanım sırasında da ölçülür.

Yanıtsız kalan sorular listesi

Yanıtsız soru listesi, asistanın "bu konuda bilgim yok" dediği, konuyu değiştirdiği ya da müşteriyi genel bir cevapla geçiştirdiği soruların listesidir. Bu gösterge bir oran değil, bir iş listesidir ve altı göstergenin en doğrudan iyileştirme getireni odur.

Listeyi tutarken her soruyu bir kez değil, kaç kez geldiğiyle birlikte yazın. Bir hafta içinde üç farklı müşterinin "hafta sonu açık mısınız" diye sorduğu ve asistanın cevaplayamadığı bir soru, bilgi tabanına eklenecek ilk maddedir. Tek seferlik ve çok özel sorular ise listede kalabilir; her soruyu bilgi tabanına eklemek asistanı daha iyi yapmaz, daha karmaşık yapar.

Liste ayrıca yayından önce hazırladığınız test setinin ne kadar isabetli olduğunu gösterir. Gerçek müşterilerin sorduğu ama test setinde olmayan soru tipleri, bir sonraki test turuna eklenmelidir. Bilgi tabanı ile test setinin nasıl birlikte güncellendiğini chatbot bilgi tabanı ve test seti yazısında ele aldık.

Konuşmadan talebe geçiş: GA4 ve kendi kaydınız

Konuşmadan talebe geçiş, asistanla yapılan konuşmaların ne kadarının bir randevu talebine, teklif isteğine ya da siparişe dönüştüğünü gösterir. Bu gösterge asistanın işletmeye ne kazandırdığı sorusuna en yakın olanıdır, ama ölçmesi en zor olanıdır da, çünkü talep çoğu zaman asistanın dışında bir kanalda tamamlanır.

İki katmanda ölçmeyi öneririz. Birinci katman web sitesindeki etkileşimdir. Google Analytics 4, sitedeki belirli etkileşimleri etkinlik olarak ölçmenize izin veriyor ve GA4 önemli etkinlikler belgesine göre bir etkinliği önemli etkinlik olarak işaretlediğinizde o işlemi gerçekleştiren kullanıcı sayısını ve kullanıcıları o işleme getiren kanalları görebiliyorsunuz. Asistan sitedeyse, "talep formu gönderildi" ya da "randevu talebi bırakıldı" adımını bir etkinlik olarak tanımlayıp önemli etkinlik olarak işaretlemek, bu katmanı kurar.

İkinci katman işletmenin kendi kaydıdır. Talep bırakan müşterinin gerçekten randevuya gelip gelmediği, teklif isteyenin satın alıp almadığı GA4'te görünmez. Bunu takvimden, siparişten ya da CRM'den eşleştirmek gerekir. Eşleştirme için en basit yol, asistanın bıraktığı talep kaydına "kaynak: asistan" etiketi koymaktır. Talep yolculuğunun tamamını bu şekilde izlemenin genel mantığını web sitesinden talep gelmiyor teşhisi yazısında, müşteri verisinden hangi metriklerin çıkarılacağını ise KOBİ müşteri verisi metrikleri yazısında anlattık.

Müşteri tarafı sinyal: anket tek başına yetmez

Müşteri tarafı sinyal, müşterinin asistan deneyimine kendisinin verdiği tepkidir. En bilinen biçimi konuşma sonundaki "yardımcı oldu mu" sorusudur. Bu soru faydalıdır ama küçük bir kısmı cevaplar ve cevaplayanlar çoğu zaman ya çok memnun ya da çok kızgın olanlardır. Tek başına kullanıldığında asistanın genel performansını temsil etmez.

Anketin yanına iki dolaylı sinyal koyun. Birincisi tekrar yazma: aynı müşterinin aynı konuda yirmi dört saat içinde yeniden yazması, ilk konuşmanın sorunu çözmediğinin işaretidir. İkincisi şikâyet: telefonda, e-postada ya da yorumlarda asistana atıfla yapılan şikâyetler. Bir otel için bu, resepsiyona "sohbet penceresi bana yanlış giriş saati söyledi" diye gelen bir misafir olabilir. Bu şikâyetleri ayrı bir satıra yazmak, ölçümün en değerli parçasıdır çünkü asistanın verdiği zararın görünür olduğu tek yer burasıdır.

Müşteri hizmetlerinde asistanın teoride nerede fayda sağlayabileceğini chatbotun müşteri hizmetlerindeki avantajları yazısında ele aldık. Ölçüm, o teorik faydanın sizin işletmenizde gerçekleşip gerçekleşmediğini gösteren tek yoldur.

Haftalık örneklem: yirmi konuşma okumak

Göstergelerin üçü okuma gerektirdiği için bir okuma rutini kurmanız gerekir. Önerdiğimiz rutin basit: her hafta yirmi konuşma seçin, her birine yukarıdaki altı etiketten birini verin ve sonuçları tek bir tabloya yazın. Yirmi, küçük bir işletmede bir kişinin bir saatte rahatça okuyabileceği bir sayıdır; istatistiksel bir kesinlik vaat etmez ama haftalar boyunca eğilimi gösterir.

Seçimi rastgele yapın. Yalnızca uzun konuşmaları ya da yalnızca devredilenleri okursanız sonuç çarpık çıkar. Basit bir yöntem: haftanın konuşma listesini tarihe göre sıralayıp eşit aralıklarla yirmi tane seçmek. Toplam konuşma yirmiden azsa hepsini okuyun.

Varsayımsal bir hesapla gösterelim. Bir diş kliniği bir haftada yüz konuşma almış olsun ve okunan yirmi konuşmanın etiketleri şöyle çıksın: on iki çözüldü, dört doğru devredildi, bir yanlış devredildi, bir devredilmesi gerekirken devredilmedi, iki cevap yanlış. Bu durumda çözüm oranı 12 / 20 = %60, yanlış cevap oranı 2 / 20 = %10 olur ve devredilmeyen bir konuşma ayrıca kayda geçer. Rakamlar örnek içindir; sizin oranlarınız bunlardan çok farklı olabilir. Önemli olan, aynı yöntemle her hafta ölçüp yönü izlemektir.

Okumayı her hafta aynı kişinin yapması, etiketlerin tutarlı kalmasını sağlar. Mümkünse ayda bir, ikinci bir kişi aynı yirmi konuşmanın birkaçını ayrı etiketlesin; iki etiket arasında fark çıkıyorsa etiket tanımlarını netleştirin.

Göstergeler kötüyse: bilgi tabanı mı, kapsam mı, kanal mı

Göstergelerden biri kötü çıktığında nedenini bulmanın sırası şudur. Yanlış cevaplar bilgi tabanındaki eski ya da çelişkili bir metinden geliyorsa sorun bilgi tabanındadır ve o metni düzeltmek genellikle yeterlidir. Yanıtsız sorular hep aynı konuda birikiyorsa, asistanın kapsamı müşterinin beklediğinden dardır; ya o konu eklenir ya da asistan o konuda baştan devredecek şekilde ayarlanır. Uydurma cevaplar ve eksik devirler ise sistem talimatının ve devir kurallarının gücüyle ilgilidir.

Bir de kanal sorunu olabilir. Asistan web sitesinde iyi çalışırken WhatsApp'ta daha kötü sonuç veriyorsa, müşterilerin o kanalda farklı ve daha kısa sorular sorduğunu düşünün. Kanal seçiminin teknik ve maliyet tarafını WhatsApp Business uygulaması mı API mi yazısında ayrıca ele alıyoruz. Telefonla gelen talepler için sesli bir asistan düşünüyorsanız, aynı göstergelerin orada nasıl uygulandığını yapay zeka çağrı asistanı kararı yazısında bulabilirsiniz.

Ayda bir, dört haftalık tabloya bakıp üç karardan birini verin. Genişlet: çözüm oranı istikrarlı, yanlış cevap seyrek ve şikâyet yoksa asistana yeni bir konu ya da kanal eklenebilir. Daralt: belirli bir konuda yanlış cevaplar sürüyorsa, o konu asistanın kapsamından çıkarılıp doğrudan devredilir. Kapat: düzeltmelere rağmen yanlış cevaplar ve şikâyetler azalmıyorsa, asistanı kapatıp gelen mesajları bir süre insanların karşılaması daha doğrudur. Kapatmak bir başarısızlık itirafı değil, ölçümün verdiği bir karardır. Tıbbi sınırı olan alanlarda eksik devir sayısının neden her hafta ayrıca izlenmesi gerektiğini sağlık turizminde chatbot yazısında anlattık; orada tek bir eksik devir bile daraltma kararı için yeterli bir gerekçedir.

Konuşma okumayı ekipte tutun, bağlantı işini ayırın

Haftalık yirmi konuşma okumak, etiketlemek ve tabloyu doldurmak tamamen işletmenin kendi ekibiyle yapılabilecek bir iştir. Hatta bunu dışarıya vermemenizi öneririz; konuşmaları okuyan kişi, müşterinin gerçekte ne sorduğunu da ilk öğrenen kişidir ve bu bilgi bilgi tabanını iyileştirmenin ham maddesidir. Yanıtsız soru listesini bilgi tabanına aktarmak da çoğu platformda teknik bilgi gerektirmez.

Ekibin dışına taşabilecek kısım daha teknik. Konuşmadan talebe geçişi ölçmek için GA4'te etkinlik tanımlamak, asistanın bıraktığı talebi CRM'e "kaynak: asistan" etiketiyle aktarmak, devir kurallarını anahtar kelime ve niyet tetikleyicileriyle güçlendirmek ve birden fazla kanalı tek bilgi tabanına bağlamak bu gruba girer. Bunlardan devir kuralları, kanalların tek akışa bağlanması, konuşma kaydının düzenli gözden geçirilmesi ve konuşmanın randevu ya da teklif kaydına dönüşmesinin sayılması müşteri hizmetleri yapay zeka asistanı kapsamımızda yazılı; GA4 ve CRM bağlantısı kullandığınız yazılıma göre ayrıca konuşulur. Belirli bir çözüm oranına ulaşma sözü vermiyoruz; verdiğimiz şey, göstergelerin tanımının ve ölçüm yönteminin baştan yazılı olmasıdır.

Sıkça Sorulan Sorular

Chatbot başarısı nasıl ölçülür?

Chatbot başarısı altı göstergeyle ölçülür: sorunun doğru cevaplanıp asistanla kapandığı konuşmaların payı olan çözüm oranı, insana devir oranı, yanlış ya da uydurma cevap oranı, yanıtsız kalan soruların listesi, konuşmadan randevu, teklif veya sipariş talebine geçiş ve müşterinin tekrar yazma, şikâyet ya da anket yoluyla verdiği sinyal. Bu göstergelerin üçü haftalık konuşma okumasıyla, diğerleri platform kaydı ve işletmenin kendi kayıtlarıyla bulunur.

İyi bir çözüm oranı kaçtır?

Herkes için geçerli bir hedef oran vermiyoruz, çünkü bağımsız ve doğrulanabilir bir sektör ortalaması bilmiyoruz ve oran işletmenin asistana hangi soruları bıraktığına bağlı. Yalnızca kargo ve çalışma saati soran bir asistanın oranı ile randevu ve fiyat sorularını da karşılayan bir asistanın oranı karşılaştırılamaz. Doğru yaklaşım, aynı yöntemle her hafta ölçüp oranın yönünü izlemek ve yanlış cevap oranını onunla birlikte okumaktır.

Chatbotun yanlış bilgi verdiğini nasıl yakalarım?

Konuşmaları okuyarak yakalarsınız; sohbet platformlarının panelinde yanlış bilgiyi gösteren otomatik bir sayı genellikle yoktur. Her hafta rastgele seçilen yirmi konuşmayı okuyup asistanın verdiği fiyat, saat, koşul ve hizmet bilgisini bilgi tabanıyla karşılaştırın. Bilgi tabanındaki eski bir metinden gelen hata metni düzelterek, bilgi tabanında hiç olmayan bir bilginin uydurulması ise sistem talimatı ve devir kuralları güçlendirilerek giderilir.

Müşteriler chatbottan memnun mu nasıl anlarım?

Konuşma sonundaki memnuniyet sorusu bir başlangıçtır ama tek başına yetmez, çünkü müşterilerin küçük bir kısmı cevaplar. Ankete iki dolaylı sinyal ekleyin: aynı müşterinin aynı konuda yirmi dört saat içinde yeniden yazması ve telefon, e-posta ya da yorumlarda asistana atıfla yapılan şikâyetler. Bu üç sinyali aylık olarak yan yana koymak, memnuniyeti tek bir anket sonucundan daha güvenilir biçimde gösterir.

Chatbot ne zaman kapatılmalı?

Bilgi tabanı düzeltmelerine ve devir kurallarının güçlendirilmesine rağmen yanlış cevaplar ve asistana atıfla gelen şikâyetler birkaç hafta boyunca azalmıyorsa kapatmayı düşünmek gerekir. Kapatmadan önce daraltmayı deneyin: sorunun belirli bir konuda yoğunlaştığı durumlarda o konuyu asistanın kapsamından çıkarıp doğrudan insana devretmek çoğu zaman yeterlidir. Kapatma kararı, haftalık ölçüm tablosuna dayanarak verilmelidir.