대화 시작: 획기적인 새 AI 챗봇에 대한 대화

AI의 세계는 빠르게 움직이고 있으며 여기 Intercom에서 우리는 그 속도를 설정하는 데 도움을 주고 있습니다. 오늘 우리는 OpenAI의 GPT-4와 Intercom의 독점 기계 학습 기술로 구동되는 새로운 챗봇인 Fin을 소개하게 되어 기쁩니다.

불과 몇 주 전에 우리는 고객 서비스 담당자를 위한 다양한 유용한 도구인 Intercom의 첫 번째 GPT 기반 기능을 발표했으며 고객은 이러한 기능이 제공하는 추가 효율성을 실제로 즐기고 있습니다.

하지만 가장 큰 목표는 고객 문의에 직접 답변할 수 있는 GPT 기반 챗봇을 만드는 것이었습니다. 이를 위해서는 "환각"으로 인한 단점 없이 대규모 언어 모델의 힘을 활용할 수 있어야 했습니다. 처음에는 이 문제를 해결하는 데 얼마나 걸릴지 확신할 수 없었지만 이제 OpenAI에서 GPT-4를 출시하면서 고객 질문에 높은 수준으로 안정적으로 답변할 수 있는 챗봇을 구축했음을 밝힐 수 있습니다. . 우리는 그것을 Fin이라고 불렀습니다.

Inside Intercom 팟캐스트의 오늘 에피소드에서 저는 머신 러닝 책임자인 Fergal Reid와 함께 새로운 AI 챗봇, 구축 방법, 기능, 이 놀라운 혁신을 위한 다음 단계에 대해 논의했습니다.

다음은 몇 가지 주요 사항입니다.

• 우리의 새로운 AI 챗봇은 최신 GPT 기술을 사용하여 자연스럽게 대화할 수 있습니다.
• Fin은 기존 헬프 센터에서 정보를 수집하고 해당 지식만 사용하므로 비즈니스에 대한 질문에 답변하는 방법을 제어할 수 있습니다.
• Intercom은 지원의 미래가 봇과 인간의 혼합이라고 믿습니다. Fin은 모든 고객 문의에 답변할 수 없으며 이러한 상황에서 지원 팀에 더 어려운 질문을 원활하게 전달할 수 있습니다.
• 신뢰할 수 있는 지식 기반을 기반으로 Fin을 비즈니스와 관련된 쿼리로 제한하는 제약 조건을 구축하여 환각을 약 10배 줄였습니다.

토론이 마음에 든다면 팟캐스트의 더 많은 에피소드를 확인하세요. Apple Podcasts, Spotify, YouTube를 팔로우하거나 선택한 플레이어에서 RSS 피드를 가져올 수 있습니다. 다음은 에피소드의 약간 편집된 대본입니다.

다른 이름의 봇

Des Traynor: Intercom 팟캐스트의 흥미진진한 에피소드에 오신 것을 환영합니다. 머신 러닝 담당 이사인 Fergal Reid와 다시 한 번 합류했습니다. 그는 ChatGPT가 출시된 이후 거의 매일 요청을 받았던 제품의 출시에 대해 이야기할 것입니다.

"이것은 실제로 ChatGPT의 자연어 처리 기능이 있지만 비즈니스에 대한 구체적인 질문에 답변하는 비즈니스에 사용할 수 있는 봇이 될 것입니다."

Fergal Reid: 네, 감사합니다 Des. ChatGPT가 나온 이후로 사람들은 '이봐, 내 비즈니스에 대한 내 지원 질문에 대답하는 데 사용할 수 있을까?' 그리고 우리는 항상 '오, 우리는 모른다. 우리는 환각에 대해 확신하지 못합니다.' 하지만 오늘 저는 우리가 이 제품을 완성했다고 생각하기 때문에 이 제품에 대해 정말 기대하고 있음을 발표하게 되어 정말 기쁩니다. 우리는 무언가를 만들었다고 생각합니다. 이것은 실제로 ChatGPT의 자연어 처리 기능이 있지만 귀하의 비즈니스에 대한 구체적인 질문에 답변하는 귀하의 비즈니스에 사용할 수 있는 봇이 될 것이며 귀하의 헬프 센터를 사용하여 구축했습니다. 인터넷 등에서 무작위로 질문에 대답하지 않습니다. 당신은 그것이 말하는 것을 제어할 수 있습니다. 정확도가 훨씬 높아졌습니다. 우리는 OpenAI의 새로운 GPT-4 모델을 사용하고 베타 버전으로 액세스할 수 있어 정확도를 크게 높일 수 있었습니다. 그래서 저는 이것에 대해 정말 흥분됩니다.

Des: 그래서 아이디어는 사람들이 ChatGPT에서 경험하고 사랑에 빠진 것입니다. ChatGPT는 효과적으로 무엇이든 물어볼 수 있는 이 봇이며 응답에 좋은 찌르기를 제공합니다. 귀하의 비즈니스를 위해 그렇게 할 수 있습니까?

퍼갈: 네. 일종의. 그래서 우리는 당신이 아무것도 묻지 못하도록 의도적으로 만들었습니다. 아이디어는 우리가 ChatGPT에서 본 것과 같은 종류의 대화 이해를 가지고 있지만 구체적으로 귀하의 비즈니스에 대한 질문에만 답변하는 무언가를 구축하는 것입니다. 미국의 22대 대통령은 누구였습니까? 그리고 '이봐, 나는 이 특정 비즈니스에 대한 고객 지원 질문에 답하기 위해 여기에 있을 뿐이야.'와 같을 것입니다.

데스: 멋지다. 그래서 실제로 시도해야 할 것과 시도하지 말아야 할 것을 효과적으로 알고 있습니까?

퍼갈: 네, 맞습니다. 그게 아이디어입니다.

봇 혁신

Des: 7-8주 전에 당신은 불가능하거나 쉽지 않을 것이기 때문에 우리가 이것을 하지 않을 것이라고 말했던 것 같은데요?

"모든 고객이 우리에게 그것에 대해 묻고 있었습니다."

Fergal: 그래서 6~7주 전에 우리가 이 기술을 살펴보기 시작했을 때, 처음에 그것을 처음 보았을 때 우리는 '와우, 우리가 이것을 만들 수 있을까? 귀하의 비즈니스를 위해 ChatGPT를 구축할 수 있습니까?' 그것은 모두의 마음의 꼭대기였습니다. 모든 고객이 우리에게 그것에 대해 물었습니다. 우리는 그것을 보고 있었고, 맙소사, 이것은 많은 환각을 일으키고 이것은 당신에게 부정확한 결과를 줄 것입니다. 극도로 부정확한 결과, 완전히 조작된 것들, 우리는 '매우 흥미로운 기술이지만 실제로 그것을 제한하고 충분히 환각을 멈출 수 있는지 확신할 수 없습니다. 그리고 우리는 GPT, ChatGPT, GPT-3.5를 가지고 노는 데 많은 시간을 보냈습니다.

“우리가 그것을 가지고 놀기 시작했을 때 우리는 와, 이것이 훨씬 더 좋아 보인다고 생각했습니다. 여전히 때때로 환각을 보일 수 있지만 환각은 훨씬 덜, 아마도 10분의 1 정도 덜 할 것입니다.”

우리는 그것이 무언가를 알지 못할 때 결코 알 수 없습니다. 그러나 최근에 우리는 새로운 GPT-4 모델의 OpenAI에서 새로운 베타에 액세스할 수 있습니다. 그리고 그들이 우리에게 말한 것 중 하나는 '이봐, 이것은 우리가 과거에 본 다른 모델들보다 훨씬 덜 환각하도록 설계되었습니다.'였습니다. 그래서 우리는 '와우, 정말 재미있을 것 같군요. 아주 신나는 일이군요, GPT-4, 어떻게 할 건가요?' 그리고 우리는 환각을 확인하고 조사하기 위해 이것을 살펴보고 우리의 테스트 베드 중 일부에 적용하려는 노력을 기울였습니다. 그리고 우리가 그것을 가지고 놀기 시작했을 때, 와, 이것이 훨씬 더 좋아 보인다고 생각했습니다. 여전히 때때로 환각을 보일 수 있지만 환각은 훨씬 덜, 아마도 10분의 1 정도 덜 할 것입니다. 그래서 우리는 매우 흥분했습니다. 우리는 '와우, 알았어, 갑자기 이게 뭔가 싶은 느낌이야. 이것은 우리가 사용하고 있는 GPT-3.5보다 한 세대 앞선 봇을 구축하기에 충분합니다. 그것이 얼마나 신뢰할 수 있는지에 관해서는 훨씬 더 멀리 있습니다.

데스: 신난다. 테스트는 무엇을 합니까? 기본적으로 그들이 헛소리를 하고 있다는 것을 정확히 알고 있는지 확인하기 위해 이러한 봇을 통해 고문 테스트를 수행합니까?

Fergal: 그래서 우리는 그리 멀지 않았습니다. 예를 들어 해상도 봇과 같은 이전 세대 모델의 경우 수년에 걸쳐 구축한 전투 테스트를 거친 테스트 벤치마크 세트가 정말 잘 개발되었습니다. 이 모든 신기술은 몇 달 된 것이므로 우리는 그만큼 원칙이 없습니다. 그러나 우리는 여러 극단적인 경우, 특정 사항만 확인했습니다. 우리는 이 새 모델에서 볼 수 있는 특정 유형의 고장 모드를 추적하는 스프레드시트를 가지고 있습니다. 그래서 GPT-4가 나왔을 때, 여러분은 좋아요, 이걸 한번 해보자고 했죠. 문서나 지식 기반에 전혀 포함되지 않은 질문을 하면 어떻게 되는지 살펴보겠습니다. 또는 유사하지만 실제로 존재하는 것과 완전히 동일하지는 않은 질문을 합니다.

그리고 아시다시피 GPT-3.5와 ChatGPT를 사용하면 모르는 것이 있으면 거의 기쁘게 해주고 원하는 것을 제공하려는 것 같습니다. 그래서 그것은 단지 무언가를 구성합니다. 그리고 GPT-4를 통해 그들은 분명히 그것을 줄이기 위해 많은 노력을 기울였습니다. 그리고 그것은 우리에게 정말 명백합니다. 그래서 우리가 테스트를 해보면 '모르겠어요'라고 말하거나 불확실성을 훨씬 더 많이 표현할 수 있습니다. 그것은 우리에게 진정한 게임 체인저였습니다.

"인터컴은 지원의 미래가 봇과 인간의 혼합이라고 믿습니다."

Des: 그리고 봇이 모르는 경우 인간에게 넘겨줄 수 있습니까?

퍼갈: 물론이죠. 인터콤에서 우리는 지원의 미래가 봇과 인간의 혼합이라고 믿습니다. 우리는 해결 봇에 대해 봇에서 인간 지원 담당자에게 멋진 인계를 제공하는 많은 경험을 가지고 있습니다. 바라건대 대화에 앞서 해당 지원 담당자를 확보하고 이 봇을 사용하여 여전히 그렇게 해야 한다고 생각합니다. 예를 들어 누군가가 환불을 요청하는 문제는 항상 있을 것입니다. 아마도 당신은 인간이 그것을 승인하기를 원할 것입니다. 따라서 항상 사람의 승인 경로가 있어야 합니다. Intercom에서 우리는 워크플로에 대한 정말 좋은 플랫폼을 보유하고 있으며 이를 사용하여 봇이 인계하는 시기와 인계하는 방법을 제어할 수 있습니다. 우리는 이 새로운 봇이 기존 봇과 동일한 방식으로 기존 플랫폼과 통합되도록 할 것입니다.

Des: 그리고 봇이 어떤 식으로든 쿼리를 명확하게 하거나 자격을 부여했을 것이라고 가정합니다. 아마도 쿼리를 건네주는 동안에도 쿼리를 요약했을 것입니다.

Fergal: 현재 요약 기능은 없지만 봇이 고객 응답을 명확하게 하고 이끌어내려고 시도할 것입니다. 우리의 기존 해상도 봇은 약간의 작업을 수행합니다. 이 새로운 봇은 자연어 처리가 훨씬 뛰어나기 때문에 더 효과적으로 처리할 수 있습니다. 따라서 봇이 건드린 질문에 대해 담당자의 처리 시간이 줄어들 수 있습니다. 네, 그것도 꽤 흥분됩니다.

대화의 기술

Des: Intercom On Product 팟캐스트 청취자들은 내가 기능, 심지어 유용하고 참신한 기능을 갖추는 것만으로는 훌륭한 제품을 갖추기에 충분하지 않다는 말을 좋아한다는 것을 알고 있을 것입니다. 제품을 어떻게 포장했습니까? 목표는 무엇이었습니까? 이 GPT-4 기능을 중심으로 실제 제품을 구축하기 위한 설계 목표는 무엇입니까?

Fergal: 그래서 우리는 우리가 향하려고 노력하고 있는 일련의 디자인 목표가 있다는 것을 꽤 일찍 깨달았습니다. 무엇보다도 우리는 ChatGPT를 통해 사람들이 보고 깊은 인상을 받은 자연어 이해를 포착하고 싶었습니다. 우리는 이전에 있었던 것보다 한 세대를 더 얻고 싶었습니다. 따라서 매우 복잡한 질문을 하거나 한 가지 질문을 하면 두 번째 질문이 이전 질문에 비추어 해석되어야 한다는 것을 이해하는 후속 질문을 합니다. 우리의 이전 봇은 그렇게 하지 않았습니다. 그리고 밖에 있는 대부분의 봇은 그렇게 하지 않습니다. 너무 힘들었습니다. 아시다시피 대화는 기계 학습 알고리즘에 매우 까다로운 환경입니다. 많은 미묘함과 상호 작용 및 일종의 지원 대화가 있지만 이 새로운 기술은 그 점에서 훌륭하게 작동하는 것 같습니다. 그래서 우리의 첫 번째 목표는 그것을 포착하는 것입니다.

"많은 미묘함과 상호 작용 및 일종의 지원 대화가 있지만 이 새로운 기술은 그 점에서 뛰어난 것 같습니다."

Des: 예를 들어 'Android 앱이 있습니까? 아이폰은 어때?' '아이폰은 어때?' 예를 들어 이전에 'Android 앱이 있습니까?'로 구문 분석하지 않는 한 의미가 없습니다. 따라서 대화의 연속성과 맥락을 이해하기 위해 사물을 함께 붙이는 것입니다.

퍼갈: 맞아요. 그리고 그것으로 더 자연스럽게 흐릅니다. 우리는 특히 새 봇에 대해 질문을 하고 답변을 받았는데 정확히 질문한 내용이 아닐 때 이를 알아차립니다. '아, 하지만 아니요, 정말 가격을 물어보려고 했어요'라고 말할 수 있습니다. 그리고 그것은 그것을 이해하고 당신에게 더 적절한 대답을 줄 것입니다. 우리는 그것이 진정한 획기적인 기술인 것처럼 느낍니다.

Des: 당신을 밀어내고 '더 말해봐'라고 말할 수 있나요? 귀하의 질문을 검증하기 위해 후속 질문을 할 수 있습니까? 그래서 막연한 생각이 떠오르면 '이거 작동되나?' 그것을 해결하려고 할까? 아니면 '그 이상이 필요합니다.'라고 대답할까요?

"실제로 우수한 제품 경험을 구축하기 위해 우리는 많은 유연성과 많은 힘을 가지고 있지만 이제 우리에게 필요한 것은 그것을 제한하고 통제하는 능력입니다."

Fergal: 따라서 기본적으로 알고리즘은 일정량의 작업을 수행하지만 이러한 종류의 기술을 사용하면 이러한 고급 기능을 얻을 수 있으며 실제로 하려는 것은 이를 많이 제한하는 것입니다. 우리는 실제로 '좋아요, 이 모든 것을 즉시 할 수 있지만 더 많은 제어가 필요합니다.'라고 말하려고 합니다. 앞서 언급한 것처럼 실제로 좋은 제품 경험을 구축하기 위해 우리는 많은 유연성과 힘을 가지고 있지만 이제 우리에게 필요한 것은 그것을 제한하고 통제하는 능력입니다. 그래서 우리는 그런 경험을 쌓았습니다. 우리는 당신이 질문을 했을 때 정보가 충분하지 않은 경우 명확하게 하려고 노력하지만 우리가 그것을 통제하는 명확화 경험을 구축했습니다.

우리는 대화에서 각 작업을 수행하는 기술과 함께 특별한 목적의 응용 프로그램이 있는 프롬프트를 설계했습니다. 그래서 우리는 당신이 질문하도록 유도하는 하나의 프롬프트를 가지고 있습니다. 질문을 명확하게 하기 위한 또 다른 것; 질문에 완전히 답변했는지 확인하기 위한 또 다른 질문입니다. 그래서 우리는 이 매우 강력한 언어 모델로 시작하지만 실제로는 그것을 빌딩 블록으로 사용하기를 원합니다. 우리는 그것을 통제하고 싶습니다. 우리는 각 작업을 개별적으로 수행하는 특수 목적 모듈로 분할하여 이러한 제어를 달성합니다.

훌륭한 제품에는 큰 책임이 따른다

Des: 기초적인 수준에서 자연스럽게 대화할 수 있다는 거죠. 내 생각에 제품으로서 가장 큰 이점은 고객 앞에서 솔루션의 첫 번째 라인으로 편안하게 배치할 수 있다는 것입니다. 방어라고 하려고 했는데 군사작전이 아니다. 하지만 '이봐, 대부분의 대화는 여기로 와.'라고 말하는 것처럼 편하게 말할 수 있습니다. 앞뒤가 맞을 수 있고 맥락을 유지할 수 있고 모호함을 해소할 수 있다는 사실은 이를 수행할 준비가 잘 되어 있음을 의미합니다. 또 무엇을 추가 했습니까? 단순히 채팅을 하기 위해 거기에 앉아 있는 것이 아닙니다. 그렇다면 다른 무엇을 할까요?

Fergal: 가장 먼저 말씀드리고 싶은 것은 비즈니스마다 이것을 배포하는 방법에 따라 편안함 수준이 다를 수 있다는 것입니다. 어떤 사람들은 아마도 '글쎄요, 정말 훌륭한 헬프 센터가 있어요'라고 말할 것입니다. 우리가 구축한 이 봇은 헬프 센터에서 모든 정보를 가져옵니다. 나는 그것에 대해 다시 올 것이다. 하지만 어떤 사람들은 '정말 좋은 헬프 센터가 있습니다. 아주 잘 정리되어 있습니다. 시간이 지남에 따라 거기에 많은 기사를 넣었고 봇 대화를 통해 모든 질문에 답하고 싶습니다.' 다른 고객들은 봇이 좀 더 기회주의적으로 들어왔다가 스스로 물러나기를 원할 것입니다. 우리는 사람들이 그것에 대해 편안함 수준을 제어할 수 있도록 설정을 구축하기 위해 노력하고 있습니다.

Des: 봇이 언제 뛰어들어야 하는지에 대한 일종의 임계값입니다.

“우리는 봇을 기존의 모든 워크플로와 통합하여 언제 들어올지, 더 중요하게는 언제 떠나고 싶을 때 제어할 수 있도록 지원하여 도달했을 때 기존 지원 팀에 인계할 수 있도록 하고 있습니다. 그것의 끝”

퍼갈: 맞아요. 현재로서는 사용할 수 있는 매우 큰 워크플로 기능이 있습니다. 그리고 우리는 봇을 모든 기존 워크플로와 통합하여 언제 들어올지, 더 중요하게는 언제 떠날지 결정하여 도달했을 때 기존 지원 팀에 넘겨줄 수 있도록 돕습니다. 그것의 끝.

Des: 따라서 온라인 지원 상담원이 없거나 사용자가 한가한 경우 바로 봇으로 보내면 됩니다. VIP 고객이고 상담원이 유휴 상태인 경우 상담원에게 바로 보내세요.

퍼갈: 맞아요. 그래서 우리가 여기에서 하려는 것은 이 새로운 기술을 취한 다음 사람들이 산업 표준 봇 배포로 간주되는 것을 구축하기 위해 필요한 모든 기능을 갖춘 기존 플랫폼과 통합하는 것입니다.

"우리가 가진 다음 주요 디자인 목표는 환각을 피하는 것이었습니다."

그래서 다음 주요 설계 목표는 환각을 피하는 것이었습니다. 우리는 환각을 줄이는 것과 봇이 자연스럽게 대화하도록 하는 것이 우리의 설계 목표인 방법에 대해 이야기했습니다. 그러나 우리는 고객이 대답할 수 있는 질문에 대한 통제권을 주고 싶었습니다. 이제 이 봇, 이 새로운 AI 기술은 대규모 언어 모델에 액세스할 수 있으며 인터넷의 전체 텍스트에 대해 훈련되었습니다. 그래서 거기에 모든 지식이 있습니다. 가장 간단한 방법 중 하나는 '이봐, 봇이 인터넷에 관한 모든 정보를 사용하여 질문에 답하도록 할거야'와 같이 배포하는 것입니다. 그러나 그것의 문제는 그것이 무언가를 모른다면 그것을 만들 수 있다는 것입니다. 또는 무언가를 알고 있는 경우 정보가 있다고 알고 있는 잠재적으로 민감한 주제에 대해 고객과 이야기하는 것을 원하지 않을 수 있습니다. '내 비즈니스나 내 브랜드가 이상한 웹사이트에서 가져온 정보에 대해 어떻게 느끼는지 잘 모르겠습니다. 고객과 대화하는 것을 원하지 않습니다.'

“대화형 언어 모델을 사용하기 위해 많은 노력을 기울였습니다. 가지고 있는 헬프 센터 문서를 이해하는 데 사용합니다. 하지만 사용자가 제어하고 업데이트 및 변경 및 편집할 수 있는 실제 헬프 센터 문서에 있는 정보만 제공하도록 제한합니다."

그래서 우리는 큰 언어 모델을 대화형으로 사용하기 위해 많은 작업을 했습니다. 가지고 있는 헬프 센터 문서를 이해하는 데 사용합니다. 하지만 귀하가 제어하고 업데이트 및 변경 및 편집할 수 있는 실제 헬프 센터 문서에 있는 정보만 제공하도록 제한합니다. 따라서 이 봇을 신뢰할 수 있게 만들고 대규모 언어 모델을 사용하되 비즈니스와 비즈니스 헬프 센터에 대한 질문에 답하는 데만 사용하도록 제한되는 봇을 구축하는 것이 우리의 주요 설계 목표였습니다.

그것은 많은 일이었고 우리는 그것을 매우 자랑스럽게 생각합니다. 우리는 당신이 그 대화 조각을 얻었기 때문에 정말 좋은 것을 얻었다고 생각합니다. 도움말 센터 문서에서 실제 답변을 얻기 위해 AI 모델의 인텔리전스를 얻지만 제한적입니다. 따라서 최종 사용자와 임의의 대화를 시작하지 않을 것입니다.

이러한 봇, 이러한 모델은 언제든지 가능합니다. 만약 탈옥한다면 브랜드에 맞지 않거나 원하지 않는 말을 하도록 그들을 속일 수 있습니다. 아마도 여전히 가능할 것입니다. 하지만 실제로 작동하려면 단호한 해킹 시도가 필요한 시점에 도달했다고 생각합니다. 정상적인 대화에서 대본을 완전히 벗어나는 것은 아닙니다.
분명히 해야 할 매우 중요한 한 가지는 이러한 대규모 언어 모델이 확률론적이라는 것입니다. 환각이 많이 감소했고 이제 많은 비즈니스에서 허용된다고 생각하지만 0은 아닙니다. 그들은 때때로 관련 없는 정보를 제공할 것입니다. 도움말 센터 문서를 읽을 때 잘못된 정보를 제공하고 완전히 이해하지 못하여 질문에 잘못 답변하는 경우가 있습니다. 아마도 지원 에이전트도 실수를 할 것입니다…

Des: 인류는…

Fergal: 때때로 인간도 실수를 저지르는 것으로 알려져 있습니다. 그래서 이러한 봇은 기술의 새로운 시대입니다. 그것은 우리가 이전에 가졌던 것과는 다른 절충점을 가지고 있습니다. 아마도 우리 고객 중 일부는 '기다리고 싶다. 아직 배포하고 싶지 않습니다.' 그러나 우리는 이것이 많은 고객에게 '큐레이션을 할 필요가 없고 설정을 할 필요가 없다'고 말할 수 있는 이점이 있는 문턱을 넘을 것이라고 생각합니다. 과거에는 해상도 봇으로 해결해야 했는데 첫날부터 이 기능을 켜기만 하면 갑자기 내 헬프 센터에 있는 모든 지식이 봇에 있고 봇이 이를 사용하여 질문에 답할 수 있습니다.' 완벽하지는 않지만 빠를 것입니다. 우리는 그것이 많은 기업들에게 가치 있는 절충안이 될 것이라고 생각합니다.

Des: 설정 측면에서 좋은 지식 기반을 가진 고객이라면 좋은 봇이 되기까지 얼마나 걸립니까? 얼마나 많은 훈련이 관련되어 있습니까? 어느정도 구성?

Fergal: 시간이 거의 없습니다. 기본적으로 훈련이 없습니다. 우리가 구축한 새 시스템을 사용하여 기존 도움말 센터를 가리킬 수 있습니다. 약간의 처리 시간이 필요한데, 그것을 끌어당겨 긁어내고 기사를 제공할 수 있도록 준비해야 합니다.

데스: 분? 초?

Fergal: 아직 작업 중입니다. 우리는 지금 몇 분 안에 있지만, 아마도 이 방송이 방송될 때쯤에는 그것보다 훨씬 더 낮아질 것이라고 생각합니다. 그것을 매우, 매우 낮게 만드는 데 어려운 엔지니어링 병목 현상이 없습니다. 그래서 우리는 그것에 대해 매우 흥분됩니다.

제품 요약

Des: 요약하자면, 이 제품의 중요 포인트를 알려주세요. 우리는 그것에 대해 시장에 무엇을 말해야 합니까?

“ChatGPT에서 본 것처럼 자연스러운 방식으로 대화할 것입니다. 두 번째는 비즈니스로서 귀하가 말하는 내용을 제어할 수 있다는 것입니다.”

Fergal: 가장 먼저 말씀드리고 싶은 것은 ChatGPT에서 본 것처럼 자연스러운 방식으로 대화한다는 것입니다. 두 번째는 기업으로서 귀하가 말하는 내용을 통제할 수 있다는 것입니다. 기술 자료의 내용에 대해 이야기할 내용을 제한할 수 있습니다. 세 번째로 말하고 싶은 것은 환각이 원래 있었던 위치에서 훨씬 아래에 있다는 것입니다. 네 번째로 말씀드리고 싶은 것은 설정이 정말 쉽다는 것입니다. 이것을 가져다가 기존 지식 세트를 가리키면 모든 큐레이션을 수행할 필요가 없습니다.

Des: 우리는 Intercom이기 때문에 최소한의 자격 없이 잡담을 하거나 과장된 광고를 할 가능성이 없습니다. 어떤 영역을 개선하기 위해 계속 노력하고 있습니까?

Fergal: 가장 먼저 말하고 싶은 것은 정확도 부분이 완벽하지 않다는 것입니다. 이것은 새로운 유형의 기술입니다. 이것은 새로운 유형의 소프트웨어 엔지니어링 트레이드 오프입니다. 따라서 해결 봇을 사용하면 해결 봇이 가끔 와서 관련 없는 대답을 하지만, 항상 그것이 무엇에 대해 말하는지 이해할 수 있고 '그건 그다지 관련이 없습니다.'라고 말할 수 있습니다. 이것은 약간 다릅니다. 이는 때때로 관련 없는 답변을 제공하지만 때로는 잘못된 답변을 제공할 수도 있습니다. 기술 자료의 정보를 잘못 이해했을 수 있습니다. 이에 대한 구체적인 예는 때때로 어떤 일이 발생할 수 있는 시간 목록이 있고 사용자가 [봇]에게 묻는 경우 목록이 완전하다고 가정할 수 있습니다. 그 목록이 항상 있었다고 가정하고 '아, 기사의 목록에 없었습니다. 그래서 대답은 '아니오'라고 말하겠습니다. 일어날 수 없습니다. 이번에는 이런 일이 일어날 수 없습니다.'

Des: 따라서 2~3개의 예 목록과 함께 지불을 환불하지 않는 경우의 예를 인용하는 지식 기반 기사가 있을 수 있습니다. 그리고 언어 모델은 그것을 읽고 이것이 일어나는 세 가지 조건이 있다고 결론을 내릴 것입니다. 그리고 이것들이 완전한 목록이 아니라 실증적인 예일 뿐이라는 것을 보지 못하는 것은 실수입니다. 이게 네가 말하는거야?

퍼갈: 맞아요. 그것의 일반적인 지식과 일반적인 이해는 여기에서 여전히 약간 제한적입니다. 따라서 사물의 목록을 보고 괜찮은 수준에 가깝지만 옳지 않은 가정을 할 수 있습니다. 응. 따라서 대부분의 경우 오류가 발생하는 것을 볼 때 오류는 상당히 합리적인 것처럼 보이지만 여전히 잘못된 것입니다. 하지만 괜찮을 필요가 있습니다. 그것은 한계입니다. 때로는 약간 잘못된 답을 줄 수도 있다는 생각에 괜찮을 필요가 있습니다.

"기존 헬프 센터를 사용하여 봇 데모, 사전 구매에 매우 빠르게 액세스하여 직접 사용해 보고 이것이 특정 헬프 센터에서 얼마나 잘 작동하는지 이해할 수 있는 환경을 구축하고 있습니다."

Des: 정량화할 수 있습니까? 내 추측으로는 그것이 질문, 지식 기반, 고객, 수용 가능성에 따라 다르기 때문이 아니라는 것입니다. 그래서 누군가 '이봐, 봇이 얼마나 좋은데?'라고 말할 때 어떻게 대답하는 것이 가장 좋을까요?

Fergal: 가장 좋은 방법은 자신의 도움말 센터에서 데모를 실행해 보는 것입니다. 기존 헬프 센터를 사용하여 봇 데모, 사전 구매에 매우 빠르게 액세스하여 직접 사용해 보고 특정 헬프 센터에서 이것이 얼마나 잘 작동하는지 이해할 수 있는 환경을 구축하고 있습니다.

Des: 예를 들어 최근 20개의 대화나 가장 일반적인 지원 요청을 재생하도록 제안하시겠습니까? 개인은 정보에 입각한 결정을 어떻게 내리나요? 나는 그것이 전체를 할 것이라고 확신하기 때문에 '여보세요? 당신은 봇입니까?' '예, 저는' 것입니다.

Fergal: 우리는 그것과 상호 작용하는 것만으로도 정확도 수준을 매우 빠르게 파악할 수 있다고 생각합니다. 상위 20개 질문, 즉 사람들이 매일 묻는 질문의 유형을 묻는다면… 이것이 좋은 곳과 한계점이 어디인지 꽤 잘 알 수 있습니다. 우리에게 이것은 놀라운 새 제품이고 우리는 그것에 대해 정말 흥분하고 있습니다. 그러나 그것은 여전히 ​​1세대입니다. 이제 모든 기계 학습 부분을 개선할 것입니다. 우리는 시간이 지남에 따라 이러한 모든 측정 항목을 개선할 것입니다.

Des: 우리의 이전 봇인 해결 봇 1을 사용하여 훈련시킬 것입니다. 그래서 '이봐, 그건 오답이야. 여기 내가 당신에게 말하고 싶은 것이 있습니다', 등등. 이번에는 그렇게 하지 않습니다. 따라서 부정확한 답변을 제공하는 것을 감지하거나 더 잘할 수 있다고 생각하는 경우 가장 좋은 방법은 무엇입니까? 당신은 더 나은 기사를 작성합니까? 당신은 그것의 근원을 봅니까?

Fergal: 아직 초기 단계이므로 더 세밀하게 제어할 수 있는 기능을 만들 것입니다. 하지만 지금 당장 그 질문에 대한 답은 '지식 기반 문서를 더 명확하게 만들 수 있나요?'입니다. 실제로 이 봇을 개발하면서 우리는 세상의 많은 모호한 지식 기반 기사가 있다는 것을 보았습니다.

진화

Des: 앞으로 몇 달 동안 어떤 다른 영역이 발전할 것이라고 생각하십니까?

퍼갈: 우리 측에서 해야 할 일이 많습니다. 현재 버전 1이 있습니다. 이를 개선하기 위해 고객과 실시간으로 공유하고 사용량을 기반으로 실제 피드백을 받고 싶습니다. 제가 작업한 기계 학습 제품에는 시간이 지남에 따라 항상 많은 반복과 개선이 필요합니다. 또한 기존 해상도 봇과의 통합 수준을 개선하고자 합니다. 우리의 기존 해상도 봇은 그 큐레이션이 필요하지만 그 큐레이션을 하면 훌륭합니다. 조치를 취하는 것과 같은 일을 할 수 있습니다. 누군가가 암호 재판매에 대해 묻는 것을 깨닫고 실제로 가서 해당 암호 재설정을 트리거하도록 API에 연결할 수 있습니다.

“마지막으로 매우 흥분되는 부분은 이 새로운 AI 기술을 사용하여 과거에 가능했던 것보다 훨씬 더 많은 지원 콘텐츠를 생성할 수 있다는 아이디어입니다. 이 새로운 봇은 콘텐츠가 헬프 센터에 있는 경우 매우 빠르게 콘텐츠를 사용하여 답변할 수 있습니다.”

이런 종류의 차세대 봇이 이러한 모든 일을 할 수 있다는 것이 우리에게 정말 중요합니다. 따라서 처음에는 '이봐, 지식창고에서 정보 질문에 답해 줘'와 같을 것입니다. 제로 셋업 첫날 – 라이브로 가져오세요. 훌륭합니다. 그러나 결국 – 그리고 우리가 수행한 모든 연구에서 이것을 보았습니다 – 당신은 다음 단계에 도달하기를 원합니다. 그 후 사람들은 우리가 이미 쿼리를 해결하기 위해 조치를 취해야 하는 기술과 기능을 사용할 수 있는 기능을 원할 것입니다. 그리고 우리는 이 차세대 언어 기반 플랫폼에 훨씬 더 많은 것들이 구축될 수 있다는 사실에 기쁩니다.

마지막으로 제가 매우 흥분한 부분은 이 새로운 AI 기술을 사용하여 과거보다 훨씬 더 많은 지원 콘텐츠를 생성할 수 있다는 아이디어입니다. 매우 신속하게 이 새로운 봇은 콘텐츠가 헬프 센터에 있는 경우 콘텐츠를 사용하여 답변할 수 있습니다. 그리고 우리는 그것이 훌륭하다고 생각합니다. 과거에는 봇이나 인텐트를 큐레이팅하는 데 어려움을 겪었던 헬프 센터 문서를 작성할 수 있는 사람들이 많이 있습니다. 그래서 우리는 그것에 대해 매우 흥분됩니다. 그러나 헬프 센터 문서 콘텐츠를 훨씬 더 쉽게 작성할 수 있도록 여기에 구축할 새로운 도구가 있다고 생각합니다. 예를 들어 지원 대화를 나누고 이 차세대 AI를 사용하여 해당 프로세스를 부트스트랩합니다.

Des: 약 두 달 전에 우리가 이야기한 한 가지 비전은 지원팀이 다음과 같은 질문에 답할 것이라는 생각이었습니다. 그 당시에는 처음이자 마지막으로 여러분의 질문에 답하는 것 같았습니다. . 따라서 질문이 통과된다면 그것은 우리가 이전에 본 적이 없기 때문입니다. 그리고 우리가 그것을 한번 본다면, 우리는 그것을 다시 보지 않습니다. 그런 일이 일어나는 것을 보고 있습니까?

“받은 편지함의 지원 담당자가 대화에 응답하고 '예, 봇에 들어가도록 이 답변을 승인했습니다. '”

Fergal: 처음으로 그 길을 볼 수 있을 것 같습니다. 해상도 봇 1.0으로 전환했을 때 항상 받은 기능 요청은 '내 지원 담당자를 받은 편지함에 넣어도 될까요? 그들이 질문에 답하도록 한 다음 그 질문을 봇에 넣을 수 있습니까?' 그리고 우리가 그렇게 하려고 할 때마다 그것은 효과가 없었습니다. 의도를 설계하기에 충분하도록 질문을 넣고 큐레이팅하는 것은 단지 많은 작업이었기 때문입니다. 업계 전반에 걸쳐 다양한 지원 봇이 많이 있습니다. 나는 이것을 못 박고 그것을 실제로 작동시키는 사람을 본 적이 없습니다. 그러나 이제 고급 대형 언어 모델을 사용하면 받은 편지함의 지원 담당자가 대화 응답을 마치고 '예, 저는 봇에 들어가도록 이 답변을 승인했습니다.'

Fergal이 봇에게 '이봐, Des' 신용카드 번호가 뭐야? 봇은 '음, Des가 참여하고 있는 다른 대화에 있었기 때문에 그에 대한 답을 알고 있습니다.'라고 말할 것입니다. 그것은 받아 들일 수 없습니다. 사적인 대화와 지속적인 지원 지식 사이에는 승인 단계가 있어야 합니다. 그러나 우리는 이전보다 훨씬 더 나은 승인 프로세스로 가는 길을 보고 있다고 생각합니다. 그리고 잠재적으로 모든 문제는 아니지만 많은 문제에 대해 한 번만 답변할 수 있는 세상입니다. 우리는 거기에 멋진 무언가가 있다고 생각합니다.

데스: 굉장해. 흥미로운 릴리스입니다. 모든 사람이 사용할 수 있습니까?

Fergal: 이것은 OpenAI에서 GPT-4의 새로운 릴리스와 함께 현재 비공개 베타로 향하고 있습니다.

데스: 신난다. 음, 몇 주 후에 확인하고 어떻게 진행되는지 확인하겠습니다.

퍼갈: 네. 신나는 시간.