Nasz wielki eksperyment z GPT i generatywną sztuczną inteligencją

ChatGPT szturmem podbił świat i nie moglibyśmy być bardziej podekscytowani. Dzisiaj ujawniamy funkcje obsługi klienta, które zbudowaliśmy przy użyciu tej rewolucyjnej sztucznej inteligencji.

W grudniu nasz dyrektor ds. uczenia maszynowego, Fergal Reid, i ja usiedliśmy, aby porozmawiać o uruchomieniu ChatGPT: dobrych, złych, obietnicach i szumie. Możliwości automatyzacji i usprawnienia procesów dla przedstawicieli wsparcia wydają się nieograniczone, ale sukces generatywnej sztucznej inteligencji w tej przestrzeni będzie ostatecznie zależał od jej zdolności do dostarczania rzeczywistej wartości zarówno zespołom obsługi klienta, jak i klientom. Jeśli nie, cóż, to tylko zabawka – fajna, ale jednak zabawka.

Aby to przetestować, szybko zabraliśmy się do pracy. Naszkicowaliśmy kilka funkcji opartych na sztucznej inteligencji, które naszym zdaniem mogą być przydatne, weszliśmy do produkcji i udostępniliśmy wersję beta 160 klientom. Wszystkie informacje o tych nowych funkcjach można znaleźć tutaj.

W dzisiejszym odcinku Fergal i ja dzielimy się tym, czego nauczyliśmy się w ciągu ostatnich kilku tygodni, dokąd zmierzamy dalej i jak zmieniło to nasze postrzeganie tego, co jest możliwe w tej przestrzeni.

☞ Kliknij tutaj, aby dołączyć do listy oczekujących na wersję beta naszych funkcji sztucznej inteligencji lub otrzymywać wiadomości o sztucznej inteligencji od firmy Intercom.

Oto niektóre z kluczowych wniosków:

• Zdolność modeli ChatGPT do przetwarzania języka naturalnego w konwersacjach wielozdaniowych stale się poprawia i odblokowuje nowe możliwości.
• W rozwoju produktu klienci są zawsze ostatecznym arbitrem – możesz zbudować niesamowitą technologię, ale jeśli to nie rozwiąże ich problemu, nie warto.
• Zdolność GPT-3.5 do edytowania i zmiany tekstu sprawia, że ​​jest on bardzo cenny dla obsługi klienta i może już obsługiwać takie zadania, jak streszczanie tekstu i dostosowywanie tonu.
• Dzięki postępom w ChatGPT można dodać więcej funkcji, aby zmaksymalizować wydajność i uwolnić agentów pierwszej linii, aby mogli skupić się na bardziej złożonych problemach, które napędzają zadowolenie klientów.
• Chociaż zaczynamy badać zastosowania, które mogą zmienić reguły gry, takie jak inteligentne odpowiedzi, modelowi nadal brakuje zrozumienia kontekstu biznesowego, aby mógł działać.

Upewnij się, że nie przegapisz żadnych najważniejszych wydarzeń, śledząc Inside Intercom w Apple Podcasts, Spotify, YouTube lub pobierając kanał RSS w wybranym odtwarzaczu. Poniżej znajduje się lekko zredagowana transkrypcja odcinka.

Przełom w rozumieniu języka

Des Traynor: Witam ponownie, Fergalu. Jak się masz?

Fergal Reid: Dobrze, dzięki, Des. Byłem zajęty przez ostatnie sześć lub siedem tygodni tutaj w Intercom, więc jestem bardzo podekscytowany, że mogę dziś o tym mówić.

Des: Tak, zaledwie sześć czy siedem tygodni temu usiedliśmy, żeby porozmawiać. Przypuszczam, że miałeś sześć lub siedem tygodni rzeczywistego czasu inżynieryjnego na budowanie przeciwko rewolucji AI, która rozpoczęła się pod koniec listopada. Czego się nauczyłeś? Czy zmieniło to twoje postrzeganie tego, co będzie możliwe w świecie obsługi klienta?

Fergal: Tak, myślę, że tak. Kiedy ostatnio rozmawialiśmy, dużo rozmawialiśmy o ChatGPT i to było może tydzień po jego uruchomieniu. Można podzielić włos na czworo, czy dużą różnicą jest tutaj ChatGPT, czy rodzina modeli zbudowanych przez OpenAI – pracowaliśmy głównie z GPT-3.5 lub Text-Davinci-003, żeby być naprawdę konkretnym.

Des: To nazwy tego konkretnego modułu.

Fergal: Tak, to nazwy tego konkretnego modelu. W rzeczywistości istnieje wiele nieporozumień związanych z tymi nazwami i różnicami między nimi. Ale zasadniczo uważamy, że seria modeli GPT-3.5, Davinci-002, Davinci-003, tego typu rzeczy, które pojawiły się w zeszłym roku, a następnie Davinci-003, który pojawił się dokładnie w tym samym czasie co ChatGPT były przełomami i naprawdę umożliwiły nam rozpoczęcie prób budowania innej, jakościowo lepszej funkcjonalności.

„To duże odblokowanie, ponieważ jest tak wiele zadań, które chcemy wykonać, a które najlepiej opisać w języku naturalnym”

Des: Jakie jest twoje przekonanie o tym, co jest teraz możliwe? Dokąd zmierzamy w świecie obsługi klienta?

Fergal: Myślę, że w obsłudze klienta, a nawet poza nią, te modele pozwalają nam lepiej radzić sobie z językiem naturalnym niż wcześniej. Myślę, że mógłbym podać trochę historii przetwarzania języka naturalnego. Przez długi czas były to proste rzeczy, takie jak wyrażenia regularne i tak dalej. Potem mieliśmy tekst, który naprawdę dobrze sprawdzał się w wyszukiwaniu słów kluczowych, które były często w danych. A potem, może trzy, cztery lata temu, sieci neuronowe zaczęły naprawdę dobrze rozumieć: „Hej, jakie jest znaczenie tego zdania?” Ale teraz powiedziałbym, że zaczynają być naprawdę dobrzy w „Hej, jakie jest znaczenie tego zdania w głębszym…”, zbliżając się znacznie do tego, jak ludzie mogą to zrobić i rozumiejąc, co dzieje się w rozmowie składającej się z wielu zdań . O czym mówi osoba? Połączenie treści zdania pierwszego z treścią zdania trzeciego, aby dowiedzieć się, że ktoś właśnie powiedział: „Och, mam pytanie dotyczące Salesforce”. A kolega z zespołu mówi: „Cóż, jakie jest twoje pytanie? Jak mogę ci pomóc?" A potem mówi: „Tak, naprawdę potrzebuję pomocy w integracji”. A systemy coraz lepiej rozumieją, że ta integracja dotyczy integracji Salesforce, i mają pewne pojęcie o tym, dokąd powinna zmierzać rozmowa.

„Nagle maszyny są w stanie na nie spojrzeć i nadać im znacznie większy sens”

Nasz bot do rozwiązywania problemów i technologia uczenia maszynowego, która została już wdrożona, są całkiem dobre w tych kwestiach w danym zdaniu. Ale teraz technologia jest coraz lepsza do punktu, w którym jest dobra w wielu zdaniach i znacznie lepsza w kontekście. Jako ludzie, którzy komunikują się i chcą ze sobą rozmawiać w językach naturalnych, jest to dla nas po prostu naturalne. To duże odblokowanie, ponieważ jest tak wiele zadań, które chcemy wykonać, a które najlepiej opisać w języku naturalnym. Jest tak wiele dokumentów, instrukcji i artykułów o tym, jak coś zrobić, że piszemy i komunikujemy się ze sobą w języku naturalnym. A teraz, nagle, maszyny są w stanie na nie spojrzeć i nadać im znacznie większy sens. I za każdym razem, gdy te możliwości stają się lepsze, wiele produktów odblokowuje wiele rzeczy, które wcześniej nie były możliwe. I naprawdę czujemy, że to, co się stało, to wielka rzecz. Taka jest nasza opinia, dopóki nie zbudujemy rzeczy i nie przedstawimy ich naszym klientom i zobaczymy, co nasi klienci o tym myślą.

Des: A więc tego właśnie chcemy.

Fergal: To znaczy, właśnie to próbowaliśmy zrobić.

Des: Czym jest oprogramowanie, jeśli nie skodyfikowanymi opiniami, prawda?

Fergal: Właśnie.

To zależy od klientów

Des: Więc co zbudowaliśmy? Nad czym pracowałeś? Porozmawiajmy przez to.

Fergal: Tak więc podczas opracowywania produktu zawsze chcesz sprawdzić swoją opinię. Twoi klienci są zawsze ostatecznym arbitrem, czy coś jest dobre, czy nie. Możesz myśleć, że masz najbardziej niesamowitą technologię i najbardziej niesamowite wrażenia z użytkowania produktu, ale jeśli to nie rozwiązuje problemu i nie jest używane, to się mylisz. Tak więc naprawdę chcieliśmy przebić się przez ten szum i przekonać samych siebie: „Dobra, co możemy szybko zbudować dla klientów, co możemy im pokazać, pracować z nimi, aby zobaczyć, jaka jest wartość?” Więc poszliśmy i naszkicowaliśmy funkcje, które moglibyśmy zbudować i szybko wprowadzić do produkcji, które wykorzystałyby część tej nowej technologii i pomogłyby nam dowiedzieć się, czy jest to wartościowe, czy też zabawka.

„Możesz po prostu nacisnąć przycisk lub użyć skrótu klawiaturowego, aby po prostu powiedzieć:„ Hej, chcę podsumowanie tej funkcji, umieść ją w moim kompozytorze, abym mógł lekko do niej dodać ””

Pierwszą rzeczą, którą postanowiliśmy zrobić, było zbudowanie funkcji, która zasadniczo dokonywałaby podsumowań. I jest powód, dla którego zdecydowaliśmy się to zrobić. Mój zespół, zespół zajmujący się uczeniem maszynowym tutaj w Intercom, zespół Inbox, odkrył, że są dwie typowe prace klientów, z którymi często się spotykamy. W wielu firmach, zanim przedstawiciel działu pomocy technicznej przekaże rozmowę, musi napisać podsumowanie tej rozmowy. Jeśli tego nie zrobią, użytkownik końcowy musi się powtórzyć lub przedstawiciel odbierający musi przejść, przewinąć w górę i przeczytać wiele rzeczy. I tak przekazujący przedstawiciel wsparcia musi napisać podsumowanie i to jest prawdziwa praca.

Około półtora roku lub dwa lata temu mój zespół próbował przyjrzeć się najlepszym sieciom neuronowym w tamtym czasie, T5 i wszystkim tym dużym sieciom, i dowiedzieć się, czy moglibyśmy ich użyć do zbudowania odpowiedniej funkcji podsumowującej. I niestety doszliśmy do wniosku, że po prostu nie ma sposobu. Rozmowy są po prostu zbyt nerwowe. Przebieg rozmowy przebiega między tymi różnymi częściami w sposób, który był naprawdę dobry dla ludzi – ludzie mogą z łatwością to sprawdzić, jest szybki i mogą to przeskanować – ale nawet całkiem duże sieci neuronowe, które mamy w Bocie Rozdzielczym, miały problemy na tego typu zadaniu. I jedną z pierwszych rzeczy, które zobaczyliśmy, kiedy bawiliśmy się najnowszym modelem DaVinci-003, GPT-3.5, było to, że nagle wydaje się on świetny w podsumowaniu. A my na to: „Wow, to wygląda niesamowicie”.

„Będziemy starać się być naprawdę szczerzy w stosunku do ludzi. Pomożemy naszym klientom dowiedzieć się, które elementy są zabawkami”

Stworzyliśmy więc funkcję i wykonaliśmy kilka rund iteracji z funkcją podsumowania w skrzynce odbiorczej. Możesz po prostu nacisnąć przycisk lub użyć skrótu klawiaturowego, aby po prostu powiedzieć: „Hej, chcę podsumowanie tej funkcji, umieść ją w moim kompozytorze, abym mógł coś do niej dodać”. To nie jest idealne. Być może będziesz musiał trochę do tego dodać, ale to ogromna oszczędność czasu. Mieliśmy ponad 160 klientów korzystających z tych funkcji w wersji beta, a podsumowania okazały się prawdziwym zwycięzcą. Nie zmienia to całkowicie gry dla przedstawiciela wsparcia; wybiera jedno podstawowe zadanie, ale wykonuje to jedno podstawowe zadanie.

Des: I zmniejsza to. Jakbyś powiedział, jaka jest redukcja? Jeśli normalnie napisanie zajęłoby trzy minuty – czy dodanie podsumowania zajęłoby 10 sekund, czy coś?

Fergal: Tak.

Des: To jest jak 90% pracy usunięte.

Fergal: Dokładnie. Niektórzy klienci byli tym bardzo podekscytowani, ponieważ mogą mieć naprawdę długi wątek e-mailowy lub naprawdę długą historię rozmów, a to po prostu oszczędza mnóstwo czasu. To trochę tak, jakbyś czytał artykuł naukowy lub coś w tym rodzaju. Czasami samo zrozumienie sedna pomaga znaleźć dokładne szczegóły, których szukasz. Myślę, że osiągnęliśmy tam coś naprawdę dobrego i to jest jedna z funkcji, nad którą pracowaliśmy.

„Łatwo jest wyjść z maszyną szumu; łatwo jest wyjść z komunikatami prasowymi: „Zmieniliśmy świat”. A w praktyce osobą, która może o tym decydować, są nasi klienci”

Spróbujemy być naprawdę prawdziwi w stosunku do ludzi. Pomożemy naszym klientom dowiedzieć się, które elementy są zabawkami. Nie wszystko, co zbudowaliśmy i umieściliśmy w wersji beta, zmienia grę, ale podsumowanie jest jednym z tych, w których czujemy się najsilniejsi. To naprawdę gotowe. Ta technologia może coś zmienić — jest nowa, ekscytująca i zapewnia rzeczywistą wartość dla klienta.

Des: Jedną z rzeczy, którą zawsze staraliśmy się być, jeśli chodzi o sztuczną inteligencję, jest trzeźwość, ponieważ staramy się wyświadczyć naszym klientom przysługę. Łatwo jest wyjść z maszyną szumu; łatwo jest ujawnić komunikaty prasowe: „Zmieniliśmy świat”. A w praktyce osobą, która może o tym decydować, są nasi klienci. Więc kiedy publikujemy podsumowanie, wierzymy im na słowo, że jest naprawdę wartościowe. To się liczy, prawda?

Fergal: Dokładnie. I spójrz, to jest coś, nad czym zadręczamy się. Czasami przegrywasz z ludźmi, którzy chcą po prostu zrobić szum. Bardzo się staraliśmy, aby tego nie robić, ponieważ kiedy zaczniesz to robić, w końcu uwierzysz we własne szumy.

Des: Narracja wyprzedza oprogramowanie. To prawdziwe ryzyko.

Fergal: A ty starasz się tego uniknąć. Byliśmy tego naprawdę świadomi w przypadku tego rodzaju technologii, która prawie bardzo działa i jest naprawdę bliska zrobienia czegoś magicznego i transformującego, ale czasami zawodzi. Dlatego staramy się być tutaj szczerzy: „Ok, czy to jest naprawdę wystarczająco dobre?” Wiemy, że nie jest idealnie, ale czy wystarczająco dobrze? A do czego to wystarczy? A podsumowanie to coś, w czym czujemy się dobrze. Uważamy, że jest to funkcja, która zapewnia prawdziwą wartość.

Możesz przegrać, prezentując coś, co wygląda dobrze, ale tak naprawdę nie działa w produkcji, możesz też przegrać, będąc zbyt konserwatywnym. A w przeszłości, w przypadku Resolution Bota, zdarzało się, że byliśmy zbyt konserwatywni. Pomyśleliśmy: „Och, naprawdę nie chcemy, żeby to przyniosło odwrotny skutek, chyba że jesteśmy całkiem pewni, że ma odpowiedź”. A potem przyszli do nas niektórzy klienci i powiedzieli: „Och, użytkownik przez jakiś czas nie otrzymuje żadnej pomocy, daj mu coś, nawet jeśli się mylisz”. A my testujemy A/B i dostosowujemy przepływ śmieci i tak dalej. Były czasy, kiedy byliśmy zbyt konserwatywni. Dlatego też stosujemy podejście polegające na szybkim udostępnianiu naszym klientom nowych funkcji w wersji beta. Nasi klienci są bardzo podekscytowani tą technologią.

Bezproblemowa edycja tekstu

Des: Ile funkcji jest dostępnych w wersji beta? Pięć sześć?

Fergal: Pierwszą rzeczą, którą zrobiliśmy, było podsumowanie. Zrobiliśmy to, ponieważ była to po prostu prosta, łatwa do zintegrowania i dobrze zrozumiana praca. Następnie poszliśmy przyjrzeć się kompozytorowi. Ponieważ mamy telemetrię i metryki, wiemy, że mniej więcej połowa czasu, jaki agent spędza w Interkomie, spędza w kompozytorze, pisząc tekst lub go redagując. Organizują też swoje myśli, ale spędzają dużo czasu na pisaniu i przekształcaniu tekstu. A kiedy na to spojrzeliśmy, pomyśleliśmy: „Ok, to jest bardzo dobre w edytowaniu i zmienianiu tekstu”. Zaczęliśmy od kilku małych funkcji, takich jak funkcje MVP, aby je uruchomić i zobaczyć, jak to idzie. Zaczęliśmy więc od funkcji edycji tekstu i przekształcania tekstu. Być może najłatwiejszym do wyjaśnienia jest prosta edycja. Mówiąc: „Hej, spraw, aby ten tekst, który właśnie napisałem, był bardziej przyjazny” lub „bardziej formalny”, ponieważ ta technologia jest teraz dobra w dostosowywaniu tonu. Wcześniej tak naprawdę nie było niczego, czego można by użyć do niezawodnego dostosowania tonu. Zrobiliśmy wiele iteracji w UX i wymyśliliśmy UX, w którym jest pasek narzędzi i możesz po prostu zaznaczyć tekst. W naszej pierwszej wersji nie można było zaznaczyć tekstu, więc dokonaliśmy iteracji. Klient powiedział nam, że to bezużyteczne – nie chcieli zmieniać tonu wszystkiego w kompozytorze. Teraz możesz trochę wybrać.

„Uderza mnie świadomość, że możemy patrzeć na świat, w którym nowe menu kontekstowe to „rozwiń”, „podsumuj”, „uszczęśliw” i „uczyń to bardziej formalnym””

To prawie jak edycja obrazu. Zaczęliśmy myśleć, że pojawia się tu nowy paradygmat. Pamiętam, że kiedyś edytor tekstu, w którym można było pogrubiać i pisać kursywą tekst, był jak „wow”. I zastanawiamy się, czy w przyszłości ludzie będą myśleć o tym w kategoriach tonu. To jest jak: „Och, oczywiście, chcę iść i szybko edytować ton”. Jeśli pod koniec dnia jesteś zmęczony, napisałeś wersję roboczą i myślisz: „Nie byłem wystarczająco przyjacielski, to wpłynie na mój CSAT”, po prostu klikasz przycisk i edytujesz ton i staje się bardziej przyjazny. I łatwiej jest nacisnąć ten przycisk raz lub dwa razy, niż iść i-

Des: Idź i napisz to od nowa.

Fergal: Przepisywanie tekstu to praca.

Des: Uderza mnie świadomość, że możemy patrzeć na świat, w którym nowe menu kontekstowe to „rozwiń”, „podsumuj”, „uszczęśliw” i „uczyń to bardziej formalnym”. To będą transformacje, które próbujesz zrobić. Nie tyle skupiasz się na optyce tekstu, co na tonie.

Fergal: Całkowicie. Słuchaj, kiedy poruszamy się tam iz powrotem, myślimy: „Czy to jest zabawka? Czy zbudowaliśmy fajną zabawkę, czy jest to coś niesamowitego?” I myślę, że będzie się to różnić w zależności od klienta, ale odważną argumentacją dla tej konkretnej funkcji jest: „Hej, jestem zmęczony pod koniec dnia i bardzo zależy mi na tonie, ponieważ mój CSAT jest dla mnie ważnym wskaźnikiem i jest to sposób na zrobienie tego”. Jest to sposób na zapewnienie bardziej zachwycającego doświadczenia klienta.

Des: Weź „przepraszam, oto zwrot pieniędzy”. Powiedziałbyś „proszę, aby brzmiało to bardziej empatycznie” lub cokolwiek innego.

Fergal: Eksperymentowaliśmy z empatią. To, do czego właściwie przeszliśmy, to „uczynić rzeczy bardziej formalnymi, uczynić rzeczy bardziej przyjaznymi”. To rodzaj widma, który wydaje się działać naprawdę dobrze, więc poszliśmy z tym. I chyba pasuje do Interkomu. Wiele osób stara się zapewnić bardzo osobiste, bardzo przyjazne wsparcie.

„Często zdarza się, że kiedy coś zapisujesz, wychodzi to źle. Więc możesz po prostu powiedzieć: „Hej, przeformułuj to””

Aby zachować całkowitą przejrzystość, nadal nie jesteśmy pewni, gdzie dokładnie znajduje się w spektrum zabawek i cennych. Niektórzy klienci twierdzą, że jest to bardzo cenne, więc nadal to oceniamy. Ale mamy to w wersji beta. Chcemy powiedzieć naszym klientom, że właśnie takie rzeczy tworzymy i badamy.

To jedna cecha. Następną rzeczą, której zaczęliśmy się przyglądać, jest funkcja przeformułowania. I znowu, te modele językowe są bardzo dobre w braniu ograniczonego fragmentu tekstu i edytowaniu go lub zmienianiu. Zaczynasz to dostrzegać dzięki podsumowaniom. Bardzo często, gdy coś zapiszesz, wychodzi to źle. Możesz więc po prostu powiedzieć: „Hej, przeformułuj to”. I znowu, jest to rodzaj szybkiego UX, w którym po prostu go podświetlasz i klikasz. To trochę łatwiejsze niż samodzielne przepisywanie. Kiedy to robisz, jest trochę opóźnienia. Więc wciąż oceniamy. Ale niektórym klientom naprawdę się to podoba, naprawdę sprawdza się w ich biznesie i spodziewamy się, że z czasem opóźnienia będą się zmniejszać, ponieważ te modele stają się coraz lepsze. To jest przeformułowanie tekstu. To są pierwsze funkcje, za którymi podążaliśmy w kompozytorze.

Teraz nadchodzą większe sprawy związane z biletami i zaczynamy badać rzeczy, które potencjalnie mogą bardziej zmienić rozgrywkę. Jedną z rzeczy, które próbujemy z tym zrobić, jest to, co nazywamy funkcją rozwijania. Zainspirowały nas rzeczy takie jak co-pilot dla programistów. W drugim pilocie możesz napisać komentarz, który wypełnia pełną funkcję i po prostu oszczędza mnóstwo czasu. Pomyśleliśmy: „Och, czy możemy zbudować coś podobnego do obsługi klienta?” Pomysł polega na tym, że może napiszesz krótkie podsumowanie tego, czego chcesz, a następnie podkreślisz to, powiedzmy rozwiń, a twój kompozytor to wypełni. Zrobiliśmy to, wysłaliśmy to, a klienci wyraźnie widzą, że jest to cenne, a nie zabawka – jeśli działa. Ale działa znacznie lepiej w niektórych domenach niż w innych. Jeśli odpowiadasz na pytania, na które przydałyby się ogólne informacje z internetu-

Des: Jak gdybyś musiał zresetować telefon lub cokolwiek innego.

Fergal: Tak, dokładnie. Do tego sprawdza się bardzo dobrze. Jeśli jednak próbujesz zrobić coś, w czym piszesz stenografię, a w rzeczywistości istnieje wiele kontekstów specyficznych dla Twojej firmy dotyczących tego, jak odpowiadasz na tego typu pytania, może to mieć halucynacje i powie coś, co musisz edytować na zewnątrz. Mimo to niektórzy klienci naprawdę to lubią i działa dla nich naprawdę dobrze. Ale naprawdę myślimy, że to rodzaj pierwszej wersji. Jeśli używasz tego, musisz to sprawdzić i zobaczyć, jak dobrze działa dla Ciebie i Twojej firmy. Mamy jednak projekt, który stale ocenia nowe rzeczy pod kątem tego, gdzie jest coś w rodzaju: „Hej, czy możemy wziąć poprzednie odpowiedzi, których udzieliłeś na te same tematy?” Podaj nam więc trzywyrazowe podsumowanie tego, co chcesz zrobić, na przykład „zwrot pieniędzy klientowi dzięki”, a my sprawdzimy pięć ostatnich rzeczy, które powiedziałeś o zwrotach środków. Sprawdzimy też, czy masz makro dotyczące zwrotów. Wcześniej przyjrzymy się także kontekstowi rozmowy.

„To, z czym eksperymentujemy, to: czy możemy pokonać garb? Czy możemy zacząć tworzyć coś, co naprawdę zmieni, wprowadzając ten kontekst?”

Des: Jeśli jest coś w centrum pomocy, wszystkie tego typu rzeczy.

Fergal: Nie posunęliśmy się jeszcze tak daleko, by pobierać artykuły i inne rzeczy z centrum pomocy. Właśnie przyjrzeliśmy się temu, co ty i użytkownik powiedzieliście dwie tury temu, umieściliśmy to wszystko w monicie, który następnie wyświetli komunikat: „Dobrze, z tymi wszystkimi informacjami, proszę, weź ten trzywyrazowy skrót i anty-podsumuj zamień to w coś wielkiego”.

Des: Tak, całkowicie. Więc „Przepraszamy, oto zwrot pieniędzy, dziękuję” zamieni się w „Naprawdę przepraszamy za niedogodności. Zwróciliśmy pieniądze i powinieneś zobaczyć je w ciągu trzech do czterech dni. I żałujemy…”

Fergal: W stylu, którego zwykle używasz – ty osobiście, indywidualny agent – ​​i biorąc pod uwagę wszelkie odpowiednie makra, które posiadasz. Właśnie tam jesteśmy. A ten ostatni element nie jest jeszcze w produkcji. V1 jest w produkcji. V1 był używany przez setki klientów wersji beta. Ale to, z czym eksperymentujemy, to: czy możemy pokonać garb? Czy możemy zacząć tworzyć coś, co naprawdę zmieni, wprowadzając ten kontekst? I to nadal trwa. Powiedziałbym, że jesteśmy optymistami, ale nie jesteśmy jeszcze pewni. Zmienia się to dla nas z tygodnia na tydzień, więc jesteśmy tym bardzo podekscytowani. I to jest w tej chwili pierwsza rozszerzona wersja funkcji. Ale widzimy, jak wersja druga i wersja trzecia nadchodzą.

Wydajność wspomagania jazdy

Fergal: Ostatnią funkcją, z którą eksperymentowaliśmy w wersji beta, było zapewnienie naszym klientom bezpośredniego dostępu do GPT. Więc bez zachęty, bez mówienia czegokolwiek modelowi, po prostu mówiąc: „Hej, włóż tam, co chcesz”. I naprawdę zrobiliśmy to jako szybko rozwijający się eksperyment beta. Nie daliśmy naszym klientom w wersji beta zbyt wielu wskazówek, jak z tego korzystać. Pomieszaliśmy niektóre z nich i nie poszło tak dobrze, ale niektórzy klienci znaleźli nowe przypadki użycia, w tym tłumaczenie, w których przynosiło im to prawdziwą wartość. Te modele nie są najlepsze w tłumaczeniu, ale być może jest to interesująca taktyka rozwoju produktów AI, która brzmi: „Hej, jeśli masz klientów w wersji beta, może daj im trochę więcej mocy niż można się spodziewać i powiedzą ci, czego potrzebują”.

Des: Zobacz, co się pojawia. Zobacz, czego się oczekuje.

Fergal: Dokładnie. A oczekiwania, jak sądzę, będą się szybko zmieniać w tej kwestii. Może to mówi nam, że potrzebujemy tłumaczenia, ponieważ istnieją bardzo dobrze rozumiane modele tłumaczenia.

„Może ma to swoje źródło i nagle te pięć minut szukania odpowiedzi zamienia się w chwilę. I tu zaczyna się naprawdę zmieniać gra”

Des: Wygląda więc na to, że wszystkie te funkcje maksymalizują wydajność zespołów wsparcia. Redukują wiele elementów niezróżnicowanych, niezależnie od tego, czy chodzi o wstępy i zakończenia, czy po prostu przepisywanie czegoś, na co być może nie mają energii, aby uczynić to szczęśliwszym lub bardziej formalnym. Są to różne sposoby na zaoszczędzenie czasu agentom wsparcia pierwszej linii. Ostatecznie dając im więcej czasu na skupienie się na trudniejszych częściach rozmowy, takich jak techniczne wyszukiwania lub głębokie nurkowania. Czy tam będzie to najlepiej rozmieszczone? Czy to jak dotąd nasze najlepsze myślenie? Kiedy myślisz o tym, gdzie jeszcze możemy zastosować tę technologię w stylu GPT w ramach pomocy technicznej, o czym jeszcze myślisz?

Fergal: Nasi więksi klienci mają wielu przedstawicieli wsparcia, którzy spędzają dzień w dzień w kompozytorze. A zatem, jeśli możemy sprawić, by były szybsze i bardziej wydajne – wzrost wydajności o 10% lub 20% jest absolutnie ogromny.

Des: Oczywiście, że tak. Mamy klientów z tysiącami miejsc, więc jest to naprawdę rewolucyjne.

Fergal: Dokładnie. Zmiana gry. I to jest obszar, który nas bardzo pociąga. A ta technologia jest coraz lepsza. To nie jedyne miejsce, ale jesteśmy bardzo optymistycznie nastawieni. Niektórzy z naszych klientów będą bardzo ładnie udostępniać nam filmy z ich rzeczywistego dnia na dzień. I widzisz ten przepływ pracy, w którym wygląda to tak: „Hej, próbuję odpowiedzieć na pytanie i nie znam odpowiedzi. Muszę iść i wyszukać wewnętrzny artykuł pomocy technicznej lub znaleźć podobną rozmowę, a ja nawiguję”. Jeśli uda nam się to skrócić do punktu, w którym będzie brzmiało: „Hej, oto sztuczna inteligencja. Może dasz mu kilka słów…” A może wyjdziemy poza to. Mamy inne prototypy, o których opowiem za kilka minut, a być może odpowiedź już na Ciebie czeka. Może ma obok siebie źródło i nagle te pięć minut szukania odpowiedzi zamienia się w chwilę. I tu zaczyna się naprawdę zmieniać gra. Myślę, że niedługo tam się udamy.

Des: Tak, to ma sens. Małe zyski w dużych zespołach są nadal ogromne, a potem oczywiście duże zyski w każdym konkretnym przepływie pracy, rzecz podsumowująca, również są ogromne. Myślę, że niektórzy ludzie mają ten dziwny binarny świat, w którym dopóki nie zautomatyzujemy całego wsparcia, nie zrobimy nic. Osobiście uważam, że nie sądzę, abyśmy kiedykolwiek zautomatyzowali całe wsparcie. To, co myślę, że zrobimy, to dosłownie wypatroszymy niezróżnicowaną część wsparcia, „punktowe klikanie”, „intro-y-outro-y”, gdzie codziennie robisz to samo.

Fergal: I miejmy nadzieję, że pozbędziesz się ich frustrujących części. Poruszasz się po okolicy, próbujesz szukać i wiesz, że odpowiedź jest gdzieś tutaj. Wiesz, że odpowiadałeś na to pytanie pięć razy w zeszłym miesiącu, ale nie możesz go znaleźć.

„Szczerze mówiąc, te funkcje przekraczają próg użyteczności znacznie szybciej, niż bym się spodziewał”

Ostatnią funkcją, która była dostępna w wersji beta, jest ekspander oparty na artykułach. Widzimy, że bardzo szybko staje się to standardową funkcją. Gdziekolwiek piszesz artykuł tekstowy, standardem stanie się możliwość wywołania dużego modelu językowego i powiedzenia: „Hej, pomóż mi to dokończyć, rozwinąć to. Oto moje punkty”. I tak wysyłamy to w naszej wersji beta produktu artykułów interkomowych. Znowu jest jeszcze wcześnie. Wszystkie te rzeczy są wczesne – minęło od sześciu do ośmiu tygodni, ale czasami jest magicznie. Czasami możesz przejść i napisać cztery lub pięć wypunktowań, aby opisać treść artykułu, a następnie, w monicie, nadajemy mu standardowy format artykułu Interkomu, więc wie, jak przejść i umieścić je w nagłówkach i wkrótce. To magiczne, kiedy działa i jak często działa i jak dobrze działa na ludzi. Nadal musisz sprawdzić zawartość. Może tam umieszczać różne rzeczy, ale uważamy, że istnieją sposoby, aby to usunąć. I szczerze mówiąc, te funkcje przekraczają próg użyteczności znacznie szybciej, niż bym się spodziewał. Więc tak, eksperymentujemy z tym.

Ostatnia Granica

Des: A więc, dalej, jakie jest twoje zdanie na temat trajektorii tego wszystkiego? Dokąd stąd?

Fergal: To są rzeczy, które mieliśmy w wersji beta. Korzystały z nich setki klientów i mamy prawdziwy sygnał o wartości dla klientów. Powiem ci dokładnie, gdzie jesteśmy teraz w produkcji z uczeniem maszynowym. W ciągu ostatniego dnia lub dwóch mieliśmy funkcję, z której korzysta nasz wewnętrzny zespół ds. CS: w przeszłości mieliśmy funkcję inteligentnych odpowiedzi, w której wyszukiwane są Twoje wspólne powitania. To są rzeczy, które nie mają informacji, które nie odpowiadają na pytanie użytkownika – po prostu smarują koła, sprawiając, że jest szybki, zgryźliwy i łatwy do powiedzenia: „Och, dzięki. Proszę bardzo. Czy jest coś jeszcze, co mogę zrobić? A ta technologia jest wspaniała do tego rodzaju rzeczy. Językoznawcy nazywają je wyrażeniami fatycznymi.

W ciągu ostatnich kilku dni wysłaliśmy wersję tego do naszego zespołu ds. Interkomu CS, który widzi ten wyszarzony tekst wpisany w kompozytorze, ale ma on znaczenie dla konkretnej rozmowy. Jeśli więc wcześniej powiedzieli: „Cześć, w czym mogę pomóc”, a użytkownik powiedział: „Och tak, potrzebuję pomocy z artykułami”, zasugerowałby wtedy: „O tak, pozwól mi wyszukać artykuły produkt dla Ciebie.” Nie sprawdzi jeszcze tego za Ciebie, ale zrobimy to. Trzy lub cztery dni temu powiedzieliśmy sobie: „Ok, wyślę to wewnętrznie. Nie jesteśmy pewni, czy stanie się to irytujące i czy ludzie nie będą na to ślepi, ponieważ często to widzą i pomaga to tylko podzbiorowi” i zawsze jesteśmy bardzo ostrożni. Ale jak dotąd wewnętrzna reakcja naszego zespołu CS była świetna. Dlatego zamierzamy dalej nad tym pracować. Może musimy wprowadzić inny system, który ogranicza częstotliwość wyświetlania. To jedna rzecz, nad którą pracujemy.

Wspomniałem wcześniej o rozszerzeniu, a teraz pracujemy nad: „Hej, czy możemy to zrobić nawet bez stenografii?” Czy możemy dowiedzieć się, co zamierzasz teraz wpisać na podstawie tego, co właśnie powiedzieli użytkownicy? Zajrzymy do Twojej bazy wiedzy, spróbujemy znaleźć odpowiedni kontekst i przekażemy go modelowi. Sam model nie jest wystarczająco dobry, aby to zrobić. Nie zna Twojej firmy, ale może możemy ją rozszerzyć. Może uda nam się zastosować połączenie bardziej tradycyjnego tekstu uczenia maszynowego z modelem i uzyskać coś dobrego. Mamy prototypy i pracujemy nad tym, ale nie wysłaliśmy ich jeszcze do naszych klientów, nawet w wersji beta, ponieważ wciąż oceniamy, czy jest to wystarczająco dobre, aby wprowadzić zmiany, czy też staje się nudne i irytujące. Gdzie jest ten próg, nie jest jasne. Jesteśmy trochę bardziej optymistyczni, jeśli chodzi o styl rozwijania, w którym musisz o to poprosić, ponieważ użytkownik może się nauczyć, kiedy to zrobić. Mogą nauczyć się, jak go zapytać. Wszyscy musieliśmy nauczyć się korzystać z Google i spodziewamy się, że użytkownicy znacznie lepiej poradzą sobie również z tymi systemami.

To mniej więcej tam, gdzie jesteśmy. Działamy szybko i szybko wysyłamy rzeczy do klientów, aby naprawdę sprawdzić i uzyskać tutaj prawdziwą wartość. Staramy się uważać, aby nie wpaść w pułapkę szumu. Uważamy, że tkwi w tym ogromny potencjał, ale zbyt łatwo jest wkleić stronę docelową i powiedzieć: „Zdobądź to tutaj. Odpowie na wszystko. A to nie jest dobre. Ludzie po prostu oślepną i wyłączą się.

„Każdy to widział i mówi:„ ChatGPT jest naprawdę dobry. Gdybym mógł pozyskać taką technologię do pomocy przy obsłudze klienta, to byłoby coś wspaniałego”. Ale nie zrobi tego z półki. Nie zna Twojej firmy”

Des: Myślę, że szkodzisz swojej reputacji, jeśli mówisz: „ta rzecz coś robi”, a najwyraźniej tak nie jest, ale zrobiłeś to dla kliknięć czy czegokolwiek. Wydaje się, że prawdziwym produktem, na który wszyscy czekają w tej nowej przestrzeni, jest bot skierowany do użytkownika końcowego, który przez cały czas poprawnie odpowiada na większość pytań. Myśli o tym? Tygodnie, miesiące, dni?

Fergal: Oczywiście, to ogromny obszar dla każdego. Kompozytora też bym nie lekceważył – część pytań zawsze będzie płynąć do kompozytora. A jeśli możemy skrócić ten czas dla nich, to jest to ogromne. Ale absolutnie jedną z ogromnych nagród w tej dziedzinie jest to, czy możemy wykorzystać doświadczenie rozumienia konwersacji, które widzieliśmy w ChatGPT, i sprawić, by działało dla Twojej indywidualnej firmy, unikając halucynacji? Jest wiele osób, które to badają. To też badamy. Mamy prototypy, które są interesujące i obiecujące, ale nie wiemy jeszcze na pewno, czy przekroczyliśmy próg, w którym halucynacje są na tyle rzadkie, że warto to robić i jest to cenne. Zaczynamy widzieć, jak pewne opinie krystalizują się na ten temat wewnętrznie, ale nie jesteśmy jeszcze gotowi, by podzielić się tym, gdzie jesteśmy.

Des: Całkowicie fair. Cóż, myślę, że zameldujemy się ponownie za jakieś sześć tygodni.

Fergal: To był bardzo szybki czas. Słuchaj, to bardzo ekscytująca dziedzina pracy. Oczekiwania klientów są bardzo wysokie. Każdy to widział i mówi: „ChatGPT jest naprawdę dobry. Gdybym mógł pozyskać taką technologię do pomocy przy obsłudze klienta, to byłoby coś ogromnego”. Ale nie zrobi tego z półki. Nie zna Twojej firmy. Nie da się tego dzisiaj dopracować. Nawet gdybyś mógł dostosować go do swojej konkretnej firmy, prawdopodobnie by tego nie zrobił. Musimy znaleźć sprytne techniki i myślę, że firmy takie jak Intercom są dobrze przygotowane, aby spróbować to zrobić. I tak, istnieje wiele interesujących modeli technologicznych i językowych. Nie mogę się doczekać, aby zobaczyć wszystkie innowacje w tej przestrzeni.

Des: Spoko. Dziękuję bardzo.

Fergal: Dziękuję. Dziękuję Ci.

☞ Kliknij tutaj, aby dołączyć do listy oczekujących na wersję beta naszych funkcji sztucznej inteligencji lub otrzymywać wiadomości o sztucznej inteligencji od firmy Intercom.