Sohbet başlatıcı: Çığır açan yeni AI sohbet robotumuz hakkında bir sohbet

Yapay zeka dünyası hızla ilerliyor ve burada, Intercom'da bu hızın belirlenmesine yardımcı oluyoruz. Bugün, OpenAI'nin GPT-4'ü ve Intercom'un tescilli makine öğrenimi teknolojisi tarafından desteklenen yeni sohbet robotumuz Fin'i tanıtmaktan mutluluk duyuyoruz.

Sadece birkaç hafta önce, müşteri hizmetleri temsilcileri için bir dizi faydalı araç olan Intercom'daki ilk GPT destekli özelliklerimizi duyurduk ve müşterilerimiz bu özelliklerin sağladığı ekstra verimliliğin gerçekten keyfini çıkarıyor.

Ancak asıl amaç, müşteri sorgularına doğrudan yanıt verebilecek GPT destekli bir sohbet robotu yaratmaktı. Bunu yapmak için, büyük dil modellerinin gücünden yararlanabilmesi gerekiyordu, ancak "halüsinasyonların" yarattığı dezavantajlar olmadan. Başlangıçta, bu sorunu çözmenin ne kadar süreceğinden emin değildik, ancak şimdi, OpenAI tarafından GPT-4'ün piyasaya sürülmesiyle, müşteri sorularını yüksek standartlarda güvenilir bir şekilde yanıtlayabilen bir sohbet robotu oluşturduğumuzu gösterebiliriz. . Adını Fin koyduk.

Inside Intercom podcast'inin bugünkü bölümünde, Makine Öğrenimi Direktörümüz Fergal Reid ile yeni AI chatbot'umuzu, onu nasıl oluşturduğumuzu, ne yaptığını ve bu olağanüstü atılım için sonraki adımların nasıl olduğunu tartışmak için oturduk.

İşte önemli çıkarımlardan bazıları:

• Yeni AI sohbet robotumuz, en son GPT teknolojisini kullanarak doğal bir şekilde sohbet edebilir.
• Fin, mevcut yardım merkezinizden bilgileri alır ve yalnızca bu bilgiyi kullanarak işletmenizle ilgili soruları nasıl yanıtlayacağı konusunda size kontrol sağlar.
• Intercom'da, desteğin geleceğinin botlar ve insanların bir karışımı olduğuna inanıyoruz. Fin tüm müşteri sorularını yanıtlayamayacak ve bu durumlarda daha zor soruları insan destek ekiplerine sorunsuz bir şekilde iletebilecek.
• Halüsinasyonları yaklaşık 10 kat azalttık, Fin'i güvendiğiniz bir bilgi tabanına dayalı olarak işinizle ilgili sorgularla sınırlayan kısıtlamalar oluşturduk.

Tartışmamızdan hoşlanıyorsanız, podcast'imizin diğer bölümlerine göz atın. Apple Podcast'lerini, Spotify'ı, YouTube'u takip edebilir veya seçtiğiniz oynatıcıda RSS akışını yakalayabilirsiniz. Aşağıda, bölümün hafifçe düzenlenmiş bir kopyası var.

Başka bir isimde bir bot

Des Traynor: Intercom podcast'inin heyecan verici bir bölümüne hoş geldiniz. Bir kez daha Makine Öğrenimi Direktörümüz Fergal Reid ile birlikteyim ve bize ChatGPT'nin kullanıma sunulmasından bu yana hemen hemen her gün bizden istenen bir şeyin lansmanından bahsedecek.

"Bu aslında ChatGPT'nin doğal dil işleme yeteneğine sahip, işletmeniz için kullanabileceğiniz ancak işletmenizle ilgili soruları özel olarak yanıtlayacak bir bot olacak."

Fergal Reid: Evet, teşekkürler Des. ChatGPT çıktığından beri insanlar, "Bunu işim için destek sorularımı yanıtlamak için kullanabilir miyim?" Ve biz her zaman gibiydik, 'Ah, bilmiyoruz. Halüsinasyonlardan emin değiliz.' Ama bugün sanırım bu ürün için gerçekten heyecanlı olduğumuzu duyurmaktan gerçekten heyecan duyuyoruz çünkü bunu yaptığımızı düşünüyoruz. Bir şey oluşturduğumuzu düşünüyoruz - bu aslında ChatGPT'nin doğal dil işleme yeteneğine sahip, işletmeniz için kullanabileceğiniz, ancak işletmenizle ilgili soruları yanıtlayacak bir bot olacak ve bunu yardım merkezinizi kullanarak oluşturduk. soruları internetten veya herhangi bir yerden rastgele yanıtlamaz. Ne dediğini kontrol edebilirsiniz. Doğruluk oranı çok yükseldi. Beta sürümünde erişime sahip olduğunuz OpenAI'nin yeni GPT-4 modelini kullanarak doğruluk oranını oldukça artırmayı başardık. Bu yüzden gerçekten heyecanlıyım.

Des: Buradaki fikir şu ki, insanların ChatGPT'de deneyimlediği ve bir nevi aşık olduğu şey, ki bu etkili bir şekilde her şeyi sorabileceğiniz bu bottur ve yanıtlama konusunda iyi bir fikir verir. İşiniz için bunu yapabilir misiniz?

Fergal: Evet. bir nevi. Bu yüzden, hiçbir şey soramamanız için bunu kasıtlı olarak yaptık. Buradaki fikir, ChatGPT'de gördüğümüzle aynı türden konuşma anlayışına sahip, ancak özellikle yalnızca işletmenizle ilgili soruları yanıtlayan bir şey oluşturmaktır. Amerika'nın 22. başkanı kimdi gibi çılgınca bir soru sorabilirsiniz. Ve 'Hey, ben sadece bu işle ilgili müşteri desteği sorularını yanıtlamak için buradayım' gibi olacak.

Des: Harika. Yani aslında neyi denemesi ve denememesi gerektiğini etkili bir şekilde biliyor mu?

Fergal: Aynen öyle. Fikir bu.

Bir bot atılımı

Des: Sanırım yedi ya da sekiz hafta önce bunu yapamayacağımızı çünkü bu mümkün değildi ya da kolay olmayacaktı ya da onun gibi bir şeydi?

“Her müşteri bize bunu soruyordu”

Fergal: Yani, altı ya da yedi hafta önce, bu teknolojiye bakmaya başladığımızda, ilk baktığımızda 'Vay, bunu yapabilir miyiz? İşletmeniz için ChatGPT oluşturabilir miyiz?' Bu herkesin aklındaydı. Her müşteri bize bunu soruyordu. Bir nevi ona bakıyorduk ve Tanrım, bu çok fazla halüsinasyon görüyor, bu size yanlış sonuçlar verecek, diyorduk. Son derece yanlış sonuçlar, tamamen uydurma şeyler, 'Bu çok heyecan verici bir teknoloji, ancak onu gerçekten kısıtlayıp halüsinasyon görmesini yeterince durdurabileceğimizden emin değiliz. GPT, ChatGPT, GPT-3.5 ile oynamak için çok zaman harcadık.

"Onunla oynamaya başladığımızda, vay canına, bu çok daha iyi görünüyor, diye düşündük. Hala bazen halüsinasyon görebilir, ancak çok daha az, belki 10 kat daha az halüsinasyon görür”

Bir şey bilmediğinde asla bilmesini sağlayamayız. Ancak son zamanlarda OpenAI'den yeni GPT-4 modelinin yeni bir beta sürümüne erişimimiz oldu. Ve bize söyledikleri şeylerden biri, 'Hey, bu, geçmişte gördüğümüz bazı diğer modellerden çok daha az halüsinasyon görmek için tasarlandı' idi. Ve böylece, bilirsiniz, 'Vay, bu kulağa çok ilginç geliyor' gibiydik. Kulağa çok heyecan verici geliyor, GPT-4, ne yapacak?' Ve halüsinasyonları kontrol etmek ve incelemek için buna bakmak ve bunu test yataklarımızdan bazılarına koymak için bir tür çaba sarf ettik. Ve onunla oynamaya başladığımızda, vay canına, bu çok daha iyi görünüyor diye düşündük. Hala bazen halüsinasyon görebilir, ama çok daha az, belki 10 kat daha az halüsinasyon görür, bunun gibi bir şey. Ve bu yüzden son derece heyecanlıydık. 'Vay canına, tamam, bu aniden bir şeymiş gibi hissettirdi' gibiydik. Bu, bir bot oluşturmak için yeterince iyi, bu, kullandığımız GPT-3.5'in bir nesil ilerisinde. Ne kadar güvenilir olduğu açısından çok daha ileride.

Des: Heyecan verici. Test ne işe yarıyor? Temelde saçmalık yaptıklarını tam olarak bilip bilmediklerini görmek için bu botlara uyguladığımız işkence testleri var mı?

Fergal: Yani o kadar uzakta değiliz. Önceki nesil modellerimiz için, örneğin çözünürlük botu için, yıllar içinde oluşturduğumuz bu gerçekten çok iyi geliştirilmiş, savaşta test edilmiş, test kıyaslama setimiz vardı. Tüm bu yeni teknolojiler aylarca eski, yani biz o kadar ilkeli değiliz. Ancak bir dizi uç vaka belirledik, sadece belirli şeyler. Bu yeni modellerde gördüğümüz belirli hata modu türlerini takip ettiğimiz bir elektronik tablomuz var. Ve böylece GPT-4 ortaya çıktığında, tamam, hadi bunu deneyelim dediniz. Bir makalede veya bilgi bankasında yer almayan bir soru sorduğunuzda ne olduğunu görelim. Veya ona benzer bir soru sorarsınız, ancak aslında orada olanla tamamen aynı değildir.

Ve bilirsiniz, GPT-3.5 ve ChatGPT ile, bir şey bilmiyorsa, neredeyse sizi memnun etmek, istediğinizi vermek ister gibidir. Ve böylece sadece bir şeyler uyduruyor. Ve GPT-4 ile bunu azaltmak için bir sürü çalışma yaptıkları açık. Ve bu bizim için çok açık. Bu yüzden onu bir nevi testlerimizden geçirdiğimizde, ona 'Bilmiyorum' dedirtmek veya belirsizliği çok daha fazla ifade etmek mümkün. Bu bizim için gerçek bir oyun değiştiriciydi.

"Intercom'da, desteğin geleceğinin botlar ve insanların bir karışımı olduğuna inanıyoruz"

Des: Peki bot bilmiyorsa, bir insana teslim edebilir mi?

Fergal: Kesinlikle. Intercom'da, desteğin geleceğinin botlar ve insanların bir karışımı olduğuna inanıyoruz. Bottan insan destek temsilcisine güzel bir geçiş yapma konusunda çözüm botu konusunda çok fazla deneyime sahibiz, umarım bu destek temsilcisini görüşmeden önce alırız ve bunu hala bu botla yapmamız gerektiğini düşünüyoruz. Diyelim ki birisinin geri ödeme talep ettiği sorunlar her zaman olacaktır. Belki de bir insanın bunu onaylamasını istiyorsun. Yani her zaman bir insan onay yolu olmak zorunda olacak. Intercom'da iş akışları konusunda gerçekten iyi bir platforma sahibiz ve bunu, botun ne zaman teslim ettiğini ve nasıl devrettiğini kontrol etmek için kullanabileceksiniz. Bu yeni botun mevcut platformumuzla tıpkı mevcut botumuzla aynı şekilde entegre olmasını sağlayacağız.

Des: Ve botun bir sorguyu bir şekilde açıklığa kavuşturduğunu veya nitelendirdiğini, belki de onu teslim ederken bile özetlediğini tahmin ediyorum.

Fergal: Şu anda herhangi bir özetleme özelliğimiz yok, ancak bot belirsizliği gidermeye ve bir müşteri yanıtı çıkarmaya çalışacak. Mevcut çözünürlük botumuz bunun birazını yapıyor. Bu yeni bot, doğal dil işlemede çok daha iyi olduğu için bunu daha etkili bir şekilde yapabiliyor. Bu, botun dokunduğu sorular için temsilciniz için işlem süresinin azaldığı anlamına gelebilir. Yani evet, bu konuda da oldukça heyecanlı.

konuşma sanatı

Des: Intercom On Product podcast'imizi dinleyenler bilirler ki, bir yeteneğe sahip olmanın, hatta kullanışlı yeni bir yeteneğe sahip olmanın harika bir ürüne sahip olmak için yeterli olmadığını söylemekten hoşlanırım. Bir ürünü nasıl sardınız – hedefleriniz nelerdi? Bu GPT-4 yeteneği etrafında gerçek bir ürün oluşturmak için tasarım hedefleri nelerdir?

Fergal: Ulaşmaya çalıştığımız bir dizi tasarım hedefi olduğunu oldukça erken fark ettik. Her şeyden önce, insanların gördüğü ve çok etkilendikleri doğal dil anlayışını ChatGPT ile yakalamak istedik. Daha önce var olanın üzerinde bir nesil elde etmek istedik. Yani oldukça karmaşık bir soru sorarsanız veya bir soru sorarsanız, ikinci sorunun bir öncekinin ışığında yorumlanması gerektiğini anlayan bir devam sorusu sorarsınız. Önceki botumuz bunu yapmadı. Ve dışarıdaki çoğu bot, bunu yapmıyorlar. Bu çok zordu. Biliyorsunuz, konuşmalar makine öğrenimi algoritmaları için çok zor ortamlar. Pek çok incelik ve etkileşim ve bir tür destek konuşması var, ancak bu yeni teknoloji bu konuda harika görünüyor. Yani ilk hedefimiz bunu yakalamak.

"Pek çok incelik, etkileşim ve bir tür destek konuşması var, ancak bu yeni teknoloji bu konuda harika görünüyor"

Des: Yani buna örnek olarak bir soru sorabilir ve 'Android uygulamanız var mı? Peki ya iPhone?' 'Peki ya iPhone?' daha önce örnek olarak 'Bir Android uygulamanız var mı?' ile ayrıştırmadığınız sürece hiçbir anlamı yoktur. Yani konuşma sürekliliğini ve bağlamını anlamak için şeyleri birbirine yapıştırmakla ilgili.

Fergal: Aynen. Ve bununla birlikte, daha doğal bir şekilde akıyor. Yeni robota bir soru sorduğunuzda ve bir yanıt aldığınızda bunu özellikle fark ediyoruz ve bu tam olarak sorduğunuz şey değil, 'Oh, ama hayır, gerçekten fiyat sormak istemiştim' diyebilirsiniz. Ve bunu bir nevi anlıyor ve size daha alakalı bir cevap verecek. Bunun gerçek bir çığır açan teknoloji olduğunu düşünüyoruz.

Des: Seni geri itip 'Daha fazlasını söyle' diyebilir mi? Sorularınızı nitelemek için size devam eden sorular sorabilir mi? Yani, 'Hey, bu şey çalışıyor mu?' gibi belirsiz bir şey bulursanız. Bunu çözmeye çalışır mıydı? Yoksa 'Bundan daha fazlasına ihtiyacım var' şeklinde mi yanıt verirdi?

"Aslında iyi bir ürün deneyimi oluşturmak için, sanki bir sürü esnekliğimiz ve bir sürü gücümüz var ama şimdi ihtiyacımız olan şey, onu sınırlama ve kontrol etme becerisi."

Fergal: Yani, doğal olarak, algoritmalar bunun belli bir miktarını yapacak, ama bu tür bir teknolojiyle, bu çok gelişmiş yeteneği elde ediyoruz ve sonra aslında yapmaya çalıştığımız şey, onu çok fazla kısıtlamaya çalışmak. Aslında, 'Tamam, tüm bunları kutunun dışında yapabilirsiniz, ancak daha fazla kontrole ihtiyacımız var' demeye çalışıyoruz. Aslında - daha önce ima ettiğiniz gibi - iyi bir ürün deneyimi oluşturmak için, sanki bir sürü esnekliğimiz ve bir sürü gücümüz var ama şimdi ihtiyacımız olan şey, onu sınırlama ve kontrol etme becerisi. Biz de bunun gibi deneyimler oluşturduk. Bir soru sorarsanız ve yeterli bilgi yoksa, bunu açıklığa kavuşturmaya çalıştığımız, ancak kontrol ettiğimiz bir anlam ayrımı deneyimi oluşturduk.

Konuşmadaki her görevi yerine getirmek için teknolojiye sahip özel amaçlı uygulamalara sahip olduğunuz bilgi istemleri tasarladık. Size bir soru sormanızı sağlayacak bir bilgi istemimiz var; bir soruyu açıklığa kavuşturmak için bir tane daha; bir sorunun sizin için tam olarak yanıtlanıp yanıtlanmadığını kontrol etmek için başka bir soru. Ve böylece bu çok güçlü dil modeliyle başlıyoruz, ama onu gerçekten bir yapı taşı olarak kullanmak istiyoruz. Kontrol etmek istiyoruz. Bu kontrolü, her şeyi ayrı ayrı yapan özel amaçlı modüllere bölerek elde ediyoruz.

Harika ürün büyük sorumluluk getirir

Des: Temel düzeyde, doğal olarak konuşabileceğini söylüyoruz. Bunun bir ürün olarak bana göre en büyük avantajı, onu müşterilerinizin önüne ilk çözüm hattı olarak koymakta rahat olmanızdır. Savunma diyecektim ama bu askeri bir operasyon değil. Ama 'Hey, çoğu konuşma buraya gelir' dermiş gibi rahatça ortaya koyarsınız. Ve bir ileri bir geri gidebilmesi, bağlamı koruyabilmesi, belirsizliği ortadan kaldırabilmesi, bunu yapmak için iyi donanımlı olduğu anlamına gelir. Başka ne ekledin? Sadece sohbet etmek için orada oturmak değil - başka ne yapıyor?

Fergal: Söyleyeceğim ilk şey, farklı işletmelerin bunu nasıl uygulamaya koyduklarına göre muhtemelen farklı rahatlık seviyelerine sahip olacakları. Bazı insanlar muhtemelen 'Gerçekten harika bir yardım merkezim var' diyecekler ve oluşturduğumuz bu bot, tüm bilgilerini yardım merkezinizden alıyor. Buna geri döneceğim. Ancak bazı insanlar 'Gerçekten iyi bir yardım merkezim var' diyebilir. Çok iyi küratörlüğünü yaptı. Zamanla oraya pek çok makale koydum ve bot diyaloğuna sahip olmak ve tüm bu soruları yanıtlamak istiyorum.' Botun daha fırsatçı bir şekilde devreye girip [kendisinin] boyun eğmesini isteyen başka müşteriler de olacak ve insanların bununla ilgili rahatlık düzeylerini kontrol etmelerini sağlayacak ayarlar oluşturmaya çalışıyoruz.

Des: Botun ne zaman devreye girmesi gerektiğine dair bir tür eşik.

"Ne zaman gelmesini ve daha da önemlisi ne zaman çıkmasını istediğinizi kontrol etmenize yardımcı olmak için botu mevcut tüm iş akışlarımızla entegre ediyoruz, böylece ulaşıldığında mevcut destek ekibinize teslim edebilirsiniz. onun sonu”

Fergal: Aynen. Ve şu anda kullanabileceğiniz oldukça büyük bir iş akışı kabiliyetimiz var. Botu, ne zaman gelmesini ve daha da önemlisi ne zaman çıkmasını istediğinizi kontrol etmenize yardımcı olmak için mevcut tüm iş akışlarımızla entegre ediyoruz, böylece ulaşıldığında mevcut destek ekibinize teslim edebilirsiniz. onun sonu.

Des: Dolayısıyla, çevrimiçi destek temsilcisi yoksa veya kullanıcı boşsa, onları doğrudan bot'a gönderin. Bu bir VIP müşteriyse ve temsilciler boşta oturuyorsa, onları doğrudan temsilciye gönderin.

Fergal: Aynen. Dolayısıyla burada yapmaya çalıştığımız şey, bu yeni teknolojiyi alıp, insanların endüstri standardı olarak kabul edilebilecek bot dağıtımını oluşturmak için ihtiyaç duyduğu tüm özelliklere sahip mevcut platformumuzla entegre etmek.

"Bir sonraki büyük tasarım hedefimiz halüsinasyonları önlemekti"

Yani bir sonraki büyük tasarım hedefimiz halüsinasyonlardan kaçınmaktı. Halüsinasyonları azaltmaktan ve robotun doğal bir şekilde konuşmasını sağlamanın nasıl bir tasarım hedefimiz olduğundan bahsettik. Ancak, gerçekten müşterilerimize, yanıtlayabileceği türden sorular üzerinde kontrol vermek istedik. Şimdi bu botlar, bu yeni yapay zeka teknolojisi, geniş bir dil modeline erişim elde ediyorsunuz ve bu, internetin tüm metni üzerinde eğitildi. Yani orada tüm bu bilgiye sahiptir. Ve bunu konuşlandırmanın bir yolu - en basit yolu - 'Hey, robotun internet hakkındaki tüm bilgilerini kullanarak soruları yanıtlamasını sağlayacağım' gibi olmaktır. Ancak bununla ilgili sorun şu ki, bir şeyi bilmiyorsa, onu uydurabilir. Ya da bir şey biliyorsa, hakkında bilgi sahibi olduğunu bildiğiniz potansiyel olarak hassas bir konu hakkında müşterilerinizle konuşmasını istemiyor olabilirsiniz. Şöyle düşünebilirsiniz: "İşimin veya markamın, tuhaf bir web sitesinden alınan herhangi bir bilgi hakkında ne hissettiğinden emin değilim." Müşterimle o konuşmayı yapmasını istemiyorum.'

“Geniş dil modelini sohbet amaçlı kullanmak için çok çalıştık; sahip olduğunuz bir yardım merkezi makalesini anlamak için kullanmak; ancak bunu yalnızca kontrol ettiğiniz ve güncelleyebileceğiniz, değiştirebileceğiniz ve düzenleyebileceğiniz gerçek bir yardım merkezi makalesindeki bilgileri vermekle sınırlamak için”

Bu nedenle, geniş dil modelini sohbet amaçlı kullanmak için çok çalıştık; sahip olduğunuz bir yardım merkezi makalesini anlamak için kullanmak; ancak yalnızca sizin kontrolünüzde olan ve güncelleyebileceğiniz, değiştirebileceğiniz ve düzenleyebileceğiniz gerçek bir yardım merkezi makalesindeki bilgileri vermekle sınırlandırmak. Ve bu bizim için önemli bir tasarım hedefiydi, bu robotu güvenilir kılmak, büyük dil modellerini almak, ancak bunları yalnızca işletmeniz ve işletmenizin yardım merkezi hakkındaki soruları yanıtlamak için kullanmakla sınırlı bir robot oluşturmak.

Bu çok işti ve bununla gurur duyuyoruz. Elimizde gerçekten iyi bir şey olduğunu düşünüyoruz çünkü o sohbet parçasını anlıyorsunuz. Bir yardım merkezi makalesinden gerçek bir yanıt almak için AI modelinin zekasını alırsınız, ancak bu kısıtlıdır. Yani gidip son kullanıcılarla rastgele konuşmalar yapmaya başlamayacak.

Bu botlar, bu modeller, her zaman - eğer onları jailbreak yaparsanız - marka dışı veya istemeyeceğiniz bir şeyi söylemeleri için onları bir şekilde kandırmak mümkündür. Ve bu muhtemelen hala mümkün, ancak bunun gerçekten işe yaraması için kararlı bir bilgisayar korsanlığı girişimi gerektirecek bir noktaya geldiğimizi gerçekten hissediyoruz. Normal konuşmalarda sadece radikal bir şekilde senaryo dışına çıkmayacak.
Açıklığa kavuşturulması gereken çok önemli bir şey olduğunu düşünüyorum, bu büyük dil modellerinin olasılıksal olduğu. Halüsinasyonlar çok azaldı ve artık birçok işletme için kabul edilebilir olduğunu düşünüyoruz ama sıfır değil. Bazen alakasız bilgiler verecekler. Yardım merkezi makalenizi okuduklarında bazen yanlış bilgi verirler, tam olarak anlamazlar ve bu nedenle bir soruyu yanlış yanıtlarlar. Muhtemelen bir destek temsilcisi de hata yapacaktır...

Des: İnsanlar biliniyordu…

Fergal: İnsanların da zaman zaman hata yaptıkları biliniyor. Ve bu botlar, bilirsiniz, bu yeni bir teknoloji çağı. Daha önce sahip olduğumuzdan farklı bir değiş tokuşu var. Muhtemelen bazı müşterilerimiz, 'Beklemek istiyorum' gibi olacak. Bunu henüz konuşlandırmak istemiyorum.' Ancak, pek çok müşteri için bunun, "Küratörlüğü yapmam gerekmiyor, benim yaptığım kurulumu yapmam gerekmiyor" [diyebilmenin] yararına olan eşiği aşacağını düşünüyoruz. Geçmişte çözüm botuyla yapmak zorunda kaldım, bunu ilk gün açabiliyorum ve birdenbire yardım merkezimdeki tüm bilgiler, botta var, bot onunla soruları yanıtlamayı deneyebilir.' Mükemmel olmayacak ama hızlı olacak. Bunun birçok işletme için değerli bir değiş tokuş olacağını düşünüyoruz.

Des: Kurulum açısından, iyi bir bilgi tabanına sahip bir müşteriyseniz, bundan iyi bir bota geçmeniz ne kadar sürer? Ne kadar eğitim dahil? Ne kadar konfigürasyon?

Fergal: Çok az zaman. Temelde eğitim yok. Oluşturduğumuz yeni sistemi alıp mevcut yardım merkezinize yönlendirebilirsiniz. Onu içeri çekip kazımamız ve makaleleri servise hazır hale getirmemiz gereken biraz işlem süresi.

Des: Dakika? saniye?

Fergal: Hala bunun üzerinde çalışıyoruz. Şu anda dakikalar içindeyiz, ancak - belki bu yayınlandığında - bundan çok daha düşük olacağını düşünüyoruz. Bunu çok çok düşük yapmak için zor bir mühendislik darboğazı yoktur. Ve bu yüzden çok heyecanlıyız.

Bir ürün özeti

Des: Özetle, bize bu ürünün madde işaretlerini verin. Piyasaya bu konuda ne söylemeliyiz?

"Sizinle ChatGPT'de gördüğünüz gibi doğal bir şekilde konuşacak. İkincisi, bir işletme olarak onun söylediklerini kontrol edebilmenizdir”

Fergal: Söyleyeceğim ilk şey, ChatGPT'de gördüğünüz gibi sizinle doğal bir şekilde konuşacağı. İkinci şey, bir işletme olarak onun söylediklerini kontrol edebilmenizdir. Konuşacağı şeyleri bilgi bankanızın içeriği ile sınırlayabilirsiniz. Söyleyeceğim üçüncü şey, halüsinasyonların oldukları yerden çok daha aşağılarda olduğudur. Söyleyeceğim dördüncü şey, bunun kurulumunun gerçekten kolay olduğu. Sadece bunu alırsınız, onu mevcut bilgi setinize yönlendirirsiniz ve bir sürü kürasyon yapmanıza gerek kalmaz.

Des: Biz Intercom olduğumuz için, en azından bazı niteliklere sahip olmadan boktan gevezelik yapma ve bir sürü abartılı konuşma yapma ihtimalimiz yok. Hangi alanları geliştirmek için hala çalışıyoruz?

Fergal: Sanırım ilk söyleyeceğim şey, doğruluk parçasının mükemmel olmadığı. Bu yeni bir teknoloji türüdür. Bu, yeni bir yazılım mühendisliği değiş tokuşu türüdür. Dolayısıyla, solution bot ile, solution bot bazen gelip alakasız bir cevap verirdi, ancak her zaman neden bahsettiğini anlayabilir, 'Bu pek alakalı değil' diyebilirsiniz. Bu biraz farklı. Bu bazen alakasız cevaplar verir, ancak bazen yanlış cevaplar da verebilir. Bilgi bankanızdaki bilgileri yanlış anlamış olabilir. Bunun belirli bir örneği, örneğin, bir şeyin olabileceği zamanların bir listesine sahipseniz ve bir kullanıcı [bot]'a sorarsa, bu listenin kapsamlı olduğunu varsayabilir. O listenin her zaman olduğunu varsayabilir ve sonra 'Oh hayır, makaledeki listede yoktu' diye tahmin edebilir. Bu yüzden cevabın hayır olduğunu söyleyeceğim, bu olamaz. Bu şey bu sefer olamaz.'

Des: Öyleyse, iki veya üç örneklik bir liste ile ödemenizi ne zaman iade etmeyeceğimize dair örnekler veren bilgiye dayalı bir makaleniz olabilir. Ve dil modeli bunu okuyacak ve bunun gerçekleştiği üç koşul olduğu sonucuna varacaktır. Ve bunların kapsamlı listeden ziyade sadece açıklayıcı örnekler olduğunu görmemekle hata yapıyor. Demek istediğin bu mu?

Fergal: Aynen. Genel bilgisi ve genel anlayışı burada hala biraz sınırlıdır. Böylece listelere bakabilir ve iyi olmaya yakın ama tam olarak doğru olmayan varsayımlarda bulunabilir. Evet. Bu yüzden çoğu zaman hata yaptığını gördüğümüzde hata oldukça makul görünse de yine de yanlıştır. Ama bununla iyi olmalısın. Bu bir sınırlama. Bazen biraz yanlış cevaplar verebileceği fikrini kabul etmelisiniz.

"Mevcut yardım merkezinizi alıp bot demosuna çok hızlı bir şekilde erişebileceğiniz, ön satın alma yapabileceğiniz, botla kendiniz oynayabileceğiniz ve bunun kendi yardım merkeziniz için ne kadar işe yaradığını anlayabileceğiniz bu deneyimi inşa ediyoruz."

Des: Ölçülebilir mi? Tahminimce bunun nedeni soru başına, bilgi tabanına göre, müşteri başına, kabul edilebilirlik başına farklı olacağından değil... Yani biri 'Hey, bot ne kadar iyi?' dediğinde buna en iyi nasıl cevap verirsiniz?

Fergal: Yapılacak en iyi şey gidip kendi yardım merkezinizde bir demosu ile oynamak. Bu deneyimi, mevcut yardım merkezinizi alıp botun bir demosuna çok hızlı bir şekilde erişebileceğiniz, önceden satın alabileceğiniz, kendiniz oynayabileceğiniz ve bunun kendi yardım merkeziniz için ne kadar iyi çalıştığını anlayabileceğiniz bir deneyim oluşturuyoruz.

Des: Ve örneğin, yaptığınız son 20 konuşmayı veya en yaygın destek sorgularınızı yeniden izlemeyi önerirsiniz? Herhangi bir birey nasıl bilinçli bir karar verir? Çünkü bütün işi yapacağından eminim, 'Merhaba? Bot musun?' 'Evet, öyleyim' olayı.

Fergal: Sadece onunla etkileşime girerek doğruluk düzeyi hakkında çok hızlı bir fikir edinebileceğinizi düşünüyoruz. En iyi 20 sorunuzu sorarsanız, insanların size her gün sorduğu soru türleri… bunların etrafını araştırır, açıklama istersiniz. Bunun nerede iyi olduğunu ve kırılma noktalarının nerede olduğunu oldukça iyi anlıyorsunuz. Bizim için bu harika bir yeni ürün ve bu konuda gerçekten heyecanlıyız - ama yine de birinci nesil. Şimdi tüm makine öğrenimi parçalarını iyileştireceğiz. Tüm bu ölçüm parçalarını da zaman içinde iyileştireceğiz.

Des: Bir önceki botumuz olan birinci çözümleme botu ile onu eğitirsiniz - yani 'Hey, bu yanlış cevap' dersiniz. İşte şunu söylemeni istiyorum', vb. Bu sefer onu yapmıyorsun. Dolayısıyla, kesin olmayan bir yanıt verdiğini fark ederseniz veya daha iyisini yapabileceğini düşünürseniz, yapılacak en iyi şey nedir? Daha iyi bir makale yazar mısın? Kaynağına bakar mısınız?

Fergal: Burada henüz erken günler ve muhtemelen üzerinde daha iyi kontrol sahibi olmanızı sağlayacak özellikler geliştireceğiz. Ancak şu anda bu sorunun yanıtı, 'Hey, bilgi bankası makalenizi daha anlaşılır hale getirebilir misiniz?' Aslında, bu botu geliştirirken, dünyada pek çok muğlak bilgiye dayalı makale olduğunu gördük, bunların küçük parçaları daha net olabilir.

Evrim

Des: Sizce önümüzdeki aylarda başka hangi alanlar gelişecek?

Fergal: Bizim tarafımızda yapılacak çok iş var. Şu anda birinci versiyonumuz var. Geliştirmek için müşterilerle canlı olarak yayınlamak istiyoruz, kullanıma dayalı olarak gerçek geri bildirim almak istiyoruz. Şimdiye kadar üzerinde çalıştığım herhangi bir makine öğrenimi ürününde, her zaman yapılacak bir ton yineleme ve zaman içinde yapılacak bir ton iyileştirme vardır. Ayrıca mevcut çözüm botumuzla entegrasyon seviyesini geliştirmek istiyoruz. Mevcut çözümleme botumuz bu düzenlemeyi gerektirir, ancak bu düzenlemeyi yaparsanız mükemmel olur. Harekete geçmek gibi şeyler yapabilir. Bunu API'nize bağlayabilirsiniz, böylece birisinin bir parolayı yeniden satmakla ilgili soru sorduğunu fark eder ve gerçekten gidip bu parola sıfırlamayı tetikler.

“Beni son derece heyecanlandıran son şey, bu yeni yapay zeka teknolojisini alıp geçmişte yapabildiğimizden çok daha fazla destek içeriği oluşturmak için kullanabileceğimiz fikri. Çok hızlı bir şekilde, bu yeni bot, içerik yardım merkezinizdeyse, içeriğinizi kullanarak yanıt verebilecek”

Bu tür yeni nesil botların tüm bunları da yapabilmesi bizim için gerçekten önemli. Yani başlangıçta, 'Hey, bilgi bankanızdan bilgilendirici soruları yanıtlayın' gibi olacak. İlk gün sıfır kurulum – canlı yayına alın, harika. Ama sonunda - ve bunu yaptığımız her araştırma parçasında gördük - bir sonraki seviyeye geçmek istersiniz. Bundan sonra, insanlar bu teknolojiyi kullanma becerisini ve sorguları çözmek için zaten harekete geçmemiz gereken yeteneği isteyecektir. Ve bu yeni nesil, dil tabanlı platformda çok daha fazlasının inşa edildiğini görebileceğimiz için heyecanlıyız.

Ardından, son derece heyecanlandığım son parça, bu yeni yapay zeka teknolojisini alıp geçmişte yapabildiğimizden çok daha fazla destek içeriği oluşturmak için kullanabileceğimiz fikri. Bu yeni bot çok hızlı bir şekilde, içerik yardım merkezinizdeyse, içeriğinizi kullanarak yanıt verebilir. Ve bunun harika olduğunu düşünüyoruz. Geçmişte botları veya amaçları düzenlemeye çalışırken takılıp kalmış olan, yardım merkezi makaleleri yazabilen birçok insan var. Bu yüzden çok heyecanlıyız. Ancak, bu yardım merkezi makalesi içeriğini yazmayı önemli ölçüde kolaylaştırmak için burada oluşturulacak yeni araçlar olduğunu düşünüyoruz. Örneğin, destek konuşmalarınızı almak ve bu yeni nesil yapay zekayı bu süreci başlatmak için kullanmak.

Des: Yani belki sadece iki ay önce bahsettiğimiz bir vizyon, destek ekibinin aşağıdaki soruları yanıtlayacağı fikriydi... Sanırım, o zaman, dedim, sorularınızı ilk ve son kez yanıtlıyor olmak . Yani bir soru aklımıza geliyorsa, bunun nedeni onu daha önce görmemiş olmamızdır. Ve onu bir kez gördükten sonra bir daha görmeyiz. Olayı böyle mi görüyorsun?

"Gelen kutusundaki bir destek temsilcisinin bir sohbeti yanıtlamayı bitirip 'Evet, bu yanıtın bot'a girmesini onayladım' diyebileceği kadar basit bir düzenleme deneyimi yaşayabileceğimiz bir yol görebileceğimizi düşünüyoruz. '”

Fergal: Sanırım ilk defa buna giden bir yol görüyorum. Çözünürlük botu 1.0'a geçtiğimizde, her zaman aldığımız özellik isteği şuydu: 'Hey, destek temsilcimi gelen kutuma alabilir miyim? Bir soruya cevap vermelerini ve ardından o soruyu robota koymalarını sağlayabilir miyim?' Ve bunu ne zaman yapmaya çalışsak işe yaramadı çünkü bir soru ortaya koymak ve bir soru tasarlamak, bir niyet tasarlamak için yeterince iyi olacak şekilde küratörlüğünü yapmak sadece çok fazla işti. Sektörde pek çok farklı destek botu var. Bunu başaran ve gerçekten işe yarayan birini hiç görmedim. Ancak artık gelişmiş büyük dil modelleri sayesinde, bir destek temsilcisinin gelen kutusundaki bir konuşmayı yanıtlamayı bitirip 'Evet, ben bota girmek için bu yanıtı onayladı.'

Bir miktar insan onayı olmalı çünkü Fergal robota 'Hey, Des'in kredi kartı numarası ne?' diye soramaz. Bot, "Bunun cevabını biliyorum çünkü bu, Des'in içinde olduğu diğer konuşmadaydı." Bu kabul edilemez. Özel konuşmalar ve kalıcı destek bilgisi arasında bir onay adımı olmalıdır. Ancak orada daha önce hiç olmadığı kadar iyi bir onay sürecine giden yolu gördüğümüzü düşünüyoruz. Ve potansiyel olarak her sorunun olmasa da pek çok sorunun yalnızca bir kez yanıtlanabileceği bir dünya. Oraya harika bir şey geldiğini düşünüyoruz.

Des: Müthiş. Pekala, bu heyecan verici bir sürüm – herkes tarafından kullanılabilir mi?

Fergal: Bu, OpenAI'den yeni GPT-4 sürümü ile şu anda özel betaya doğru ilerliyor.

Des: Heyecan verici. Pekala, birkaç hafta sonra kontrol edeceğim ve nasıl gittiğine bakacağım.

Fergal: Evet. Heyecanlı zamanlar.