GPT效應：客戶服務的新時代

最近在大型語言模型方面取得的突破超出了我們的所有預期。 我們召集了行業專家就 GPT 及其將如何塑造客戶服務的未來展開對話。

我們不能說它讓我們感到意外。 多年來，業界一直稱讚人工智能和機器學習從根本上改變我們工作方式的潛力，尤其是隨著計算能力和數據存儲的進步使得訓練越來越大的模型成為可能。 但我們並沒有完全預料到 OpenAI 的 ChatGPT 的最新進展會以多快的速度解鎖新的可能性。

在 Intercom，我們一直在學習。 只有快速交付新功能，我們才能獲得適當的反饋，從中學習，並一次又一次地迭代以更好地為我們的客戶服務。 所以，很自然地，這就是我們對這項新技術所做的。 在過去的幾個月裡，我們向 160 位客戶提供了一些人工智能功能。 雖然現在判斷這些大型語言模型 (LLM) 將如何在我們的生活中發揮作用還為時過早，但我們相信我們已經達到了一個關鍵的轉折點——尤其是在客戶服務方面。

因此，上週，我們舉辦了一次網絡研討會，以更深入地探討 GPT 的業務用例。 這一波創新浪潮與以往的浪潮有何不同？ 它會改變我們的工作方式以及企業與客戶和潛在客戶互動的方式嗎？ 它能激發新一代的創業公司嗎？ 為了讓您更深入地了解，我們邀請了創業界的幾位大佬參與討論。

在今天的節目中，您將聽到：

• Ethan Kurzweil，Intercom 董事會成員兼 Bessemer Venture Partners 合夥人
• Fergal Reid，我們自己的機器學習總監
• Krystal Hu，路透社風險投資和創業記者
• Bessemer Venture Partners 合夥人 Talia Goldberg

他們將討論像 ChatGPT 這樣的大型語言模型、企業如何整合這項技術，以及它將如何塑造客戶服務行業的未來。

時間緊嗎？ 以下是一些要點：

• 我們開始看到大型語言模型的粘性用例——由於其規律性和自然語言的使用，在增強客戶服務方面具有巨大潛力。
• 目前，大型語言模型有望增強而不是取代人類的能力，因為它們可以幫助專業人員提高工作效率。
• 雖然現在衡量 Intercom 測試版實驗的成功還為時過早，但最新的人工智能功能的採用和使用已經非常廣泛，早期反饋非常有希望。
• 大型語言模型很快就會變得非常昂貴。 不過，隨著時間的推移，它們會變得更便宜、更普遍，從而允許進行更多的實驗和發現。
• 雖然幻覺仍然存在問題，但您可以配置和約束這些模型，使其在需要更高置信度的情況下更可信。
• 模型並非放之四海而皆準。 未來，公司很可能會運行不同的、可定制的模型的定制組合，以適應不同的業務問題。

如果您喜歡我們的討論，請查看我們播客的更多劇集。 您可以關注 Apple 播客、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 提要。 以下是該劇集經過輕微編輯的文字記錄。

ChatGPT 的興起

Krystal Hu：非常感謝大家抽出時間來參加。 我是 Krystal Hu，我為路透社報導風險投資和初創企業。 正如你們中的許多人所知，AI 和 ChatGPT 的浪潮在過去幾個月突然出現，我工作的很大一部分是弄清楚技術以及它如何改變生活的不同方面。 對於今天的主題，我們將重點關注 ChatGPT 將如何塑造客戶服務的未來。 我們將討論 ChatGPT 和大型語言模型到底是什麼、如何使用這項技術、它將對現有和未來技術產生的影響、初創公司如何採用這項技術以及如何建立新公司。

今天我們有一個很棒的小組討論。 Bessemer 的兩位了不起的投資者：Talia Goldberg 和 Ethan Kurzweil。 Talia 總部位於舊金山，投資於消費者互聯網和軟件業務，並與 ServiceTitan 和 Discord 等公司合作。 Ethan Kurzweil 也常駐舊金山，他領導著多個垂直領域的投資者，包括開發者平台、新數據基礎設施、數字消費者應用程序和加密貨幣。

然後，我們將邀請 Intercom 的機器學習總監 Fergal Reid 向我們深入了解 Intercom 如何將這項技術融入其最新產品——包括一些人工智能助手功能。 我期待著徵求他們的意見，聽聽他們在初創企業和風險投資方面的看法以及 GPT 可能帶來的變化。 在整個過程中，如果您有任何問題，請隨時在聊天中提出您的問題，然後我們將在對話結束時有大約 15 到 20 分鐘的時間來解決問題。

我想我將從你開始，Fergal，因為你是房間裡的技術專家，而且你處於將 GPT 整合到 Intercom 產品中的第一線。 或許您可以先給我們介紹一些背景知識，解釋一下什麼是 GPT 和 ChatGPT，以及您是如何想到要採用這項技術的？

“我不會編寫規則，也不會具體說，‘學習預測 X 與 Y’”

Fergal Reid：這是一個非常激動人心的技術時代。 我想現在很多人可能已經看到了 ChatGPT，因為它掀起瞭如此大的波瀾。 但從技術角度來看，從我狹隘的世界觀來看，我在 Intercom 工作了大約五年，我負責機器學習團隊。 我們所做的機器學習工作使用的算法已經存在了一段時間——使用監督學習算法，學習區分事物的算法。 你可以說，“嘿，讓我們預測一下某人是否會要求這樣或那樣的東西。” 有了這些機器學習系統，你就給了他們很多訓練數據：“嘿，如果有人問你一個問題，這是一個例子，如果有人問你另一個問題，這是一個例子。”

最新的生成式 AI 浪潮的新意和不同之處在於，你不是只教模型預測一件事或另一件事，而是說，“嘿，模型。 了解如何生成此類新數據。 了解如何生成圖像。” 你給它一些文本，它會學習生成映射到該文本的圖像，或者，使用 ChatGPT，你只需與它交談並給它一些文本，它就會非常擅長生成更多文本作為響應。

“我們有這個非常大的模型，我們用英語問它問題，告訴它用英語做事，它非常擅長按照我們的吩咐去做”

這只是進行機器學習的一種不同方式。 我不會編寫規則，也不會具體說“學習預測 X 與 Y”。 相反，我將採用非常大量的訓練數據，製作一個非常擅長預測訓練數據的模型，然後，希望我可以通過生成新示例來讓它做有用的事情。

使用 ChatGPT，您可以通過給它一些文本並說“生成接下來的內容”來詢問它。 令人驚訝的是，這非常有用。 您可以說，“嘿，這是客戶支持對話，這是支持對話的摘要”，然後將其提供給 ChatGPT，它會生成接下來會發生什麼或接下來會看到什麼。 也許，你說，“這是摘要，”然後彈出一個摘要。 這非常有用。 這是構建功能和系統的一種非常通用的方法。 我們沒有為每一件小事編寫一個新的機器學習系統，而是有了這個非常大的模型，我們用英語問它問題，告訴它用英語做事，它非常擅長按照我們的吩咐去做。 因此，在 Intercom，我們一直在嘗試使用它來構建產品功能。

客戶服務的遊戲規則改變者

Krystal Hu：我想把 Talia 和 Ethan 作為該領域的多產投資者帶到舞台上。 您已經看到了幾次技術浪潮。 這個關於生成 AI 的項目有何不同，您對哪些應用領域感到興奮？

Talia Goldberg：當然，謝謝邀請我。 這是對什麼是生成式 AI 的一個很好的概述。 很有趣，就在這次會議之前，我正在看我們去年夏天在博客上發表的一篇文章，大概是八九個月前，那是 ChatGPT 推出之前的幾個月，但我們開始看到很多勢頭並且有理由對尤其是大型語言模型所發生的事情感到興奮，以及 AI 和生成 AI 作為這一新的真正強大的人工智能浪潮的潛力。

我們有一個預測：“今天，只有不到 1% 的在線內容是使用 AI 生成的，而在未來 10 年內，我們預測至少 50% 將由 AI 生成或增強。” 我們正在討論這個問題，我們認為這樣說是一件很瘋狂的事情，但天哪，我們低估了 AI 可以多快地轉換我們所看到的大量信息。 我想說在未來兩年內我們的在線互動、內容和媒體可能會達到 50%。 我認為，這對許多信息和知識工作（包括客戶支持）的影響是巨大的。

“您會立即看到棘手的用例，在這些用例中，技術已經成熟，可以進行顛覆、改進、增強和改進，而客戶支持就在這方面的正軌上”

Krystal Hu： Ethan，你在Intercom工作有一段時間了。 這是您認為客戶服務一直在等待的時刻嗎？ 因為我覺得技術和機會對於像 Intercom 這樣的客戶服務應用程序來說是黃金。

Ethan Kurzweil：是的，我覺得這可能是大型語言模型的前沿應用以及它們可以做的事情。 如果你退後一步，想想技術變革和平台轉變，比如智能手機時刻、iPhone 時刻等等，那麼早期發生的事情就是所有這些興奮，許多開發者和創造者湧入一個空間，然後你有這種沖刷，你可以看到哪些是最前沿的應用程序，它最先出現，而那些不會讓你陷入幻滅的低谷。 我認為我們可能還處於這條曲線的早期階段，但您會立即看到棘手的用例，其中技術已經成熟，可以進行破壞、改進、增強和變得更好，並且客戶支持正在為此提供直接的支持。

我現在已經在 Intercom 工作了將近八年半，Intercom 一直是一個在新技術準備就緒時始終處於採用新技術的最前沿的團隊。 我記得兩三年前，人們說，“自動化，自動化，自動化。” Intercom 的產品領導總是說，“它還不夠好。 我們可以做到，我們可以以這樣一種方式堅持下去，即我們可以在某些功能請求表上勾選一個框，但這不會導致真正良好的類人流程。” Intercom 始終圍繞使互聯網業務個性化這一理念而創立。 如果你有一個聽起來不像個人的機器人，那就是正交的。

Intercom 在他們的流程中如此成功地使用它這一事實向您表明該技術已經準備就緒，並且這是我們將看到它影響的許多事情之一。 並不是所有的事情都立即發生，但隨著時間的推移，我們將看到通過讓機器以類似人類的方式進行交談的能力來產生更大的影響。

“你看看曲線和改進速度，幾個月後、幾個季度後和幾年後情況會更好”

Talia Goldberg：如果我可以補充一件事，我認為客戶支持是 AI 開始產生影響的完美初始領域。 原因之一是它使用自然語言。 你可以用英語與人工智能交流，它會用英語回應。 您不需要編碼——它會生成信息。 這就是客戶服務和支持的樣子——產生可以個性化的出色的、類似人的體驗，解決投訴，並隨著時間的推移變得越來越好。 因此，您還可以通過在客戶支持中使用它來獲得這個很好的反饋循環。

正如 Ethan 所說，儘管今天可能存在一些挑戰和一些粗糙的事情，但技術和潛力已經非常大了。 你看看改進的曲線和速度，幾個月後、幾個季度後和幾年後會更好。 這是我們最感興趣的類別之一，我們認為每個企業都可以利用它並需要考慮它。

Krystal Hu： Fergal，現在正是您向我們概述 Intercom 最近推出的功能以及您如何將 ChatGPT 納入其中的最佳時機。

弗格爾·里德：當然。 在這裡回應 Talia 和 Ethan 的觀點，領域中有如此多的結構，客戶支持代理做的事情太多了，他們正在做他們最後一天所做的同樣的事情，或者可能是一個他們的隊友以前做過，而且有如此多的規律性和結構，對於一個學習和使用 AI 來讓人們更快的系統來說，感覺真的已經成熟了。

“我們認為最好的起點是讓一個人參與其中。 有人包裹在收件箱中，我們想讓他們更快，但他們仍然能夠檢查和批准它”

在 ChatGPT 推出的同時，OpenAI 發布了這個供開發者使用的新模型，text-davinci-003。 我們與 OpenAI 建立了很長時間的關係，當我們審視該模型時，我們覺得它確實跨越了有用的門檻，我們可以用它來構建。 因此，我們做了一些初步的基準測試。 人們在收件箱中花費大量時間，他們經常要做的一件事是在將剛剛看到的對話提交之前寫下摘要。 這項技術似乎非常擅長進行會話摘要，我們當時想，“我們可以構建一個功能來執行此操作並將其提供給我們的測試版客戶嗎？” Intercom 具有“船來學習”的原則。 我們相信以極快的速度向客戶提供新功能，這樣我們就可以了解它是解決了問題還是只是出於好奇。

因此，基本上，在 12 月初，我們啟動了一個項目，看看我們是否可以快速發布一些功能，這些功能可以與實際收件箱中的客戶支持代表一起使用，從而使他們更快。 一個是摘要，還有其他功能可以幫助他們更快地撰寫文本。 我們真的覺得這是開始這項技術的正確起點，因為生成式 AI 確實有缺點。 它並不總是像您想像的那樣準確。 查看 ChatGPT 很容易，向它提出問題，它會給您答复，然後您會想，“這太棒了。” 然後你更詳細地閱讀它，實際上，有時它會出錯。 我們認為最好的起點是讓一個人參與其中。 有人被包裹在收件箱中，我們想讓他們更快，但他們仍然能夠檢查和批准它。 這是一個很好的起點。

現在，我看到有人在評論中問，“嘿，機器人和可以自己回答問題的東西怎麼樣？” 我們認為它即將到來並且可能很快就會到來，但我們仍在探索它。 對我們來說最大的問題是準確性。 我們覺得現在讓一個人參與循環的時機已經成熟，這可以使支持代表更快。 可能很快就會出現下一步的事情。 這是一個非常有趣的領域。

Ethan Kurzweil：為了重複這一點，我們得到了一些有趣的前瞻性問題，比如，“這會讓我作為文案的日子屈指可數嗎？” 我完全不這麼認為。 這項技術現在並且可能會持續一段時間的地方是增強人類的能力和人類的智慧，使您作為撰稿人的工作效率更高，但不一定會取代您，因為首先，該技術還不存在，其次，隨著我們擁有這些資源，客戶支持或與企業的任何溝通的門檻只會越來越高。 雖然該技術可能能夠自行處理一些撰稿人和支持響應用例，但隨著我們獲得這些技術，真正好的副本和真正好的支持等等的門檻將會提高. 理想狀態是您將能夠使用這些技術來提高工作效率，但它不會很快取代您。

塔莉亞戈德堡：是的。 我喜歡 Wyatt 剛才所說的它是一個能力倍增器。 我們在內部討論了很多關於 Copilot 的例子，它就像編碼的自動完成，它已經使工程師的效率顯著提高。 它根本不會取代工程師或工程，但可以增強它。 一個非常基本的例子可能是計算器。 過去，我們常常手工計算。 現在我們都用計算器了，但是數學還是很重要的，我們都需要學，數學家在這個世界上很重要。 可以說，您的角色可能會變得更加重要，因為隨著創建內容的成本下降，並且有大量不同的內容和信息，創建可以脫穎而出並超越的內容和信息將會變得更加重要未來幾年的溢價。

Intercom 對 GPT 的實驗

Krystal Hu：自 Intercom 推出其人工智能輔助功能以來已經過去了幾週。 你看到的早期反饋是什麼？ 您如何衡量採用該技術的成功與否？

“我們看到大量採用、大量興奮和大量使用”

Fergal Reid：對此我會非常坦誠——我還沒有對這個問題給出完全令人滿意的答案。 我可以告訴你的是，我們現在已經上線了，我們有成千上萬的客戶經常使用它——我們已經有很多人採用了。 我們可能會嘗試衡量這是否真的提高了人們的工作效率，因為比方說，對於我們自己的 CS 團隊，我們可以收集遙測數據，“如果你使用這些功能，你會更快嗎？” 並為此進行某種形式的對照實驗。 我們總是喜歡在某個時候嘗試獲得某種形式的實際數據，但我們還沒有到那個時候。 我猜，至少在內部，一兩個月後，我們可能會對此有一些了解或更多的了解。

我現在可以告訴你的是，我們看到了很多采用、很多興奮和很多使用。 肯定有一些功能，例如客戶告訴我們的摘要可以節省他們大量的時間。 我們有客戶告訴我們這樣的事情，“嘿，對於某些對話，編寫交接摘要所花的時間可能與解決最終用戶問題所花的時間一樣長。” 因此，我們對此肯定感覺良好。

在我們的一些其他功能中，你寫一個速記，有點像 GitHub Copilot。 我們受到 Copilot 的啟發，在 Copilot 中，如果你是程序員，你可以寫註釋或速記，然後它會填充代碼。 我們的一項功能是“擴展”，您可以在其中寫下速記，然後將其變成更長的支持消息。 有時，這會奏效並節省人們的時間，但我們還沒有這方面的數據。 我們目前所擁有的只是它的第 1 代版本。 我們有第 2 代版本的原型。 此刻，你寫速記，大型語言模型將它展開。 我們試圖做的是說，“嘿，讓我們把你上次回答這樣的問題的時間拉進來。 讓我們引入與此相關的宏。” 我們有一些運行良好的內部原型。 我們仍在創新並做一些真正能起到推動作用的事情，但我們還沒有衡量標準。 很快。

“我在 Tableau 中有一張圖表，記錄了我們每天在 OpenAI 上的支出，我們一直在密切關注它”

Krystal Hu：跟進一下，你怎麼衡量它的成本？ 據我了解，您可能會向 OpenAI 發送查詢，我猜他們會收取每千個字符兩美分或類似的費用。 我想，隨著收養率的提高，賬單也會越來越多。 關於整合這項技術，您有什麼經驗或觀察要分享嗎？

Fergal Reid：我在 Tableau 中有一張圖表，顯示我們每天在 OpenAI 上的支出，我們一直在密切關注它。 這絕對是一個考慮因素。 我提到了摘要功能，我們以一種非常人性化的方式構建了它，您必須在提交問題之前詢問摘要。 我們的客戶對我們說的一件事是，“嘿，我為什麼要問這個摘要？ 請始終在側邊欄中保留摘要，這樣我就永遠不必要求它了。” 這將變得非常昂貴，因為如果每次有人在對話中說新內容並且摘要發生變化時我們都必須支付兩美分，那將變得非常昂貴。 我們絕對必須以一種我們不使用更傳統的機器學習模型的方式來考慮成本。

也就是說，OpenAI 剛剛公佈了他們的 ChatGPT API，我認為這讓很多人感到驚訝，因為它比該系列之前的類似模型便宜 10 倍。 成本可能會下降得相當快，並且這些功能會被廣泛採用。 在這一領域建設的其他初創公司或公司呢？ 我們在 Intercom 上給出的建議是嘗試快速進入市場，因為您可以為您的客戶建立和解鎖真正的價值。 而且成本可能會下降，因為隨著像 OpenAI 這樣的供應商想出如何使它們更高效，模型會變得更便宜，或者因為你會想出更有效的方法來使用它們。 你會想辦法說，“嘿，我可以在對話的第一部分使用一個更便宜的生成模型，然後，當我有這個更困難的任務需要更高的準確性時，我會使用更昂貴的” Ethan 和 Talia 對此的看法可能比我更廣泛，我很想听聽他們的想法。

“在開發人員擁有一項新技術之前，您永遠無法確定他們將如何使用新技術——並且在每次調用 API 時無需支付兩美分的情況下使用它”

Ethan Kurzweil：嗯，這是一個很好的例子，說明你有時會看到這些前沿技術。 一開始，高價值的用例得到了它們，而您正在描述該原則的實現。 在 Intercom，這是今天要求的摘要功能。 但隨著時間的推移，這項技術將變得更加普遍和便宜。 那時它可以擴散到更多的用例中，在這些用例中，今天這樣做的邊際成本是高得令人望而卻步的，這讓開發人員可以在我們沒有真正預測的這類人工智能中發現大型語言模型的其他應用。

在 Bessemer，Talia 和我試圖制定我們認為技術將走向何方的路線圖，但作為面向開發人員的投資者，我一直在思考的關鍵原語之一是你永遠不確定開發人員將要做什麼一項新技術，一個新平台，一個新的訪問途徑，直到他們擁有它——並且在他們每次調用 API 時都不需要支付兩美分的地方——並且可以重複並做一些起初聽起來很荒謬的事情。

我很高興這項技術達到了只有大量實驗的地步。 我敢肯定，在 Intercom 的產品路線圖中，不是今天，而是一年後，會有一些我們沒有預測到但對客戶具有非常高價值的東西。 並且會有一些剛剛出現的初創公司，因為他們在一些特定的方式上重複使用生成文本，並且它為某些人創造了非常好的用戶體驗。

Talia Goldberg：我認為有一個有趣的例子可以強調一些類似人類的潛力來增強與支持相關的體驗。 比方說，如果我在和一些帶有濃重愛爾蘭口音的 Intercom 團隊交談，他們可能認為我有瘋狂的西方口音，那麼當我們非常興奮和說話真快。 儘管每個人都說英語，但它聽起來像是一種不同的語言。 人工智能可以實時地稍微改變一個人的口音，使其在兩種方式上都更容易理解。 所以，如果我有愛爾蘭口音或英國口音，它會把它翻譯成加州口音，這可以通過降低溝通障礙在某些方面真正改善體驗。

Ethan Kurzweil：這是一個很好的例子，因為技術正在進入直接溝通的中間，但讓它更像人，這聽起來像是矛盾修飾法，但如果部署得當，它可以讓你在消息傳遞或通信環境中感覺更緊密。

Talia Goldberg：這是互聯網的承諾——將我們所有人聚集在一起並打破障礙。 我真的非常相信可以增強它的潛力。

信心商數

Krystal Hu：我想很多人都對你如何確保信息流方面的一切都是正確的和準確的有疑問。 在不同的用例中，風險是不同的，但一般來說，您不希望向您的客戶提供錯誤的信息。 你如何確保這一點？

“並不是說你，作為一個人，永遠看不到那些東西，因為那是不可能的——而是你能夠適當地過濾。 這就是我對大型語言模型的看法”

Talia Goldberg：也許只有一個評論，然後我想我會讓 Fergal 更具體地回答有關 Intercom 的問題。 這些模型是在大量數據上訓練的——數十億和數十億的數據和信息點。 因此，無論您如何嘗試欺騙數據或輸入虛假數據，它仍然是整個數據中非常小的一部分。 當您考慮如何創建這些模型時，這是要記住的一件事。

另一件事是數據輸入。 我知道有人擔心它是否是在不正確的數據上訓練的，不要誤會我的意思，幻覺和其他領域肯定存在挑戰，所以還有很多需要改進的地方。 但在你的生活中，並不是你四處走走就看不到可能是錯誤或有偏見甚至是錯誤信息的事情。 你確實遇到過，但是你運用你的判斷力和頭腦，還有很多其他好的數據。 因此，作為一個人，並不是說你永遠看不到那些東西，因為那是不可能的——而是你能夠適當地過濾。 這就是我對大型語言模型的看法。 在某些情況下，訓練集中的數據和信息不是您想要的，但是隨著時間的推移，語言模型過濾它並獲得正確答案的能力應該會越來越好。

“這可能是參數之一：'你對這個回應有多大信心？' 如果不夠好，就不要給它”

Ethan Kurzweil：在數據隱私和準確性方面存在一些有趣的問題。 在我們進入隱私部分之前，關於數據準確性問題要記住的另一件事是，在未來，在一些大型語言模型中，你實際上可以設置一個準確性商數。 這有點像 AI 被編程為贏得 Jeopardy - 它有一個置信區間，它以 90% 或 60% 的置信度知道問題的答案。 在那種情況下，如果你回答錯誤就會失去一些分數，他們將間隔設置得非常低，只有 40% 左右。 如果您有 40% 或更多的把握，管他呢，那就去嘗試回答問題吧。

可能在某些情況下你想要人類水平的準確性，你把它設置在那裡，很多時候，當人工智能不能達到 99 個百分位時，它會轉向人類或類似的東西。 在某些情況下，甚至在軍隊中，甚至在監管嚴格的行業中，你對有根據的人工智能輔助猜測都有更大的容忍度。 這可能是參數之一：“您對此回應有多大信心？” 如果不夠好，就不要給。

Fergal Reid：就此而言，Ethan，這絕對是我們內部對 Intercom 的強烈產品信念，即這裡很可能會有各種容差。 會有一些客戶的容忍度很高，“給我建議； 如果建議偶爾出錯也沒關係。” 並且會有其他客戶的容忍度非常低。 我們希望我們需要對此進行一定程度的配置。

“我們擁有這項新技術，可以做出更好的預測並更快地做事。 我們如何接受它並使其足夠值得信賴，或者至少讓客戶選擇？”

只是為了深入了解我們未來正在研究的一些事情，假設您有一些東西試圖消費一篇文章並回答有關該內容的問題。 一個例子是你限制它說，“你只能用一個確切的引用來回應。” 它可以將引語放在上下文中，但引語必須在那裡。 這是使用這些新的大型語言模型更好地理解您的查詢和檢索信息的保守方法，但限制了它們實際可以說的內容。 另一個例子是你採用生成模型並允許它在引擎蓋下生成，但它只能通過預定義的一系列動作或它可以說的話與最終用戶交互。

有很多技術可以利用強大的引擎並嘗試使其更安全、更值得信賴和受約束。 我想你會看到很多人使用這種技術。 我們擁有這項新技術，可以做出更好的預測並更快地做事。 我們如何接受它並使其足夠值得信賴，或者至少讓客戶選擇？ 我認為在接下來的幾個月裡，你會在這個領域看到很多動作。

跨行業的大規模個性化

Krystal Hu：關於這一點，Ethan、Talia，除了客戶服務，您在這個領域看到的其他應用程序是否讓您感到特別興奮？

Ethan Kurzweil：我可以先走了。 看看一些消費者應用程序，遊戲是我們感到興奮的應用程序。 如果你思考是什麼讓遊戲變得有趣，很多時候，那就是新內容的刷新率，而這需要不斷提出創意。 我們開始看到人們在思考，“如果每個玩家的每一次體驗都可以是全新的呢？” You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

連連看

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

問答

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” 你猜怎麼著？ Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu：另一個關於安全功能的問題。 我想我們之前也談到了這一點，但有一個具體問題：“安全功能與模型提供商的垂直集成有多重要？ 例如，將 OpenAI 的調節 API 與 ChatGPT 模型輸出結合使用與混合搭配 Jigsaw 的 Perspective API 有多重要？” Fergal，你可能有一些想法或經驗可以分享。

Fergal Reid：是的，我對 Jigsaw 的 Perspective API 不熟悉，所以我不太清楚。 OpenAI 和 Tropic 的所有人以及其他任何正在訓練大型語言模型的人都非常關心如何使它們可用、安全和對齊，他們非常關心避免產生幻覺。 他們將繼續在這些領域開展工作，使 Intercom 等公司更容易以可靠的方式部署這些技術。 我不相信我們需要垂直整合它。 我不知道 Intercom 是否需要為我們訓練自己的大量大型語言模型來解決產品化問題並使它們足夠值得信賴。 我認為無論如何我們都會在這個領域看到很多動作。

這種生成式 AI 為用戶提供了很大的自由來嘗試弄清楚如何部署模型。 有一個新興的提示工程領域，我的團隊正在做很多這樣的事情，他們正在編輯提示並試圖弄清楚，“好吧，我如何以正確的方式向模型詢問我想要什麼才能得到它給我想要的結果？” 這會變得更好，至少在一段時間內會變得更好，它會變得更強大，並且模型會變得更容易控制。

我認為我們將能夠看到處於 Intercom 位置的公司產生大量價值並找出大量應用程序和設計。 我們仍在學習如何圍繞這項新技術設計產品。 像我們這樣的人有很多自由度來使用它。

“總是有這種緊張感：你只是搭訕一般的事情嗎？ 一般模型比微調好多少？”

Krystal Hu：關於Intercom建立自己的模式也有疑問。 正如您之前提到的，在製作 API 或類似的東西時，也許會有機會混合使用哪種模型更適合您的用例？

Fergal Reid：是的，鑑於目前訓練這些模型的規模，對於像 Intercom 這樣規模的公司來說，訓練自己的模型似乎沒有經濟意義。 但同樣，這裡有一個頻譜。 我們將開發圍繞它們進行設計的專業知識，並了解向模型詢問什麼。 我們可能會看到圍繞 Intercom 微調模型等公司的新興功能。 很多這些新模型都經過強化學習和人類反饋的訓練。 這樣做的成本可能會隨著時間的推移而下降，我們將能夠根據我們的特定用例更多地定制它們。

總是有這樣的緊張：你只是在一般事情上搭便車嗎？ 與微調和做特定事情相比，一般模型會好多少？ 我們將不得不看看這個空間如何發揮作用，但我認為公司將有很大的自由度來採用這些模型並為他們的領域定制和產品化它們。 我們正處於這項技術產品化的早期階段。 它會發生很大變化，並且會變得更容易確定優先級。

Krystal Hu：我們的精彩對話即將結束，但我們可以再回答兩個問題。 一是關於企業公司如何採用 ChatGPT 並從中提取價值。 你已經看到公司開始將其整合到他們的產品中，另一方面，我認為公司，尤其是受到高度監管的銀行，對信息服務和隱私問題感到疑惑，並禁止他們的員工在公司筆記本電腦上玩耍。 我很想听聽 Talia 和 Ethan 對這個問題的看法。

Talia Goldberg：在我們的投資組合中，許多軟件公司甚至可能不屬於像 Intercom 這樣真正處於最前沿的類別，它們正在思考，“嘿，這對我的業務有多重要，我可以通過哪些方式可以將其中一些模型或 ChatGPT API 集成到我的產品中嗎？” 高度重複的任務對於 AI 幫助自動化或簡化來說真的很棒。 我們的一家公司從他們的客戶那裡獲得了大量的會計信息，他們需要核對並標記是否有錯誤或有問題。 他們過去有過這些基於規則的系統，但你可以應用人工智能並獲得更高的準確性。 另一個有趣的例子與摘要部分有關。 如果客戶與呼叫中心代理或銷售代表交談，您可以總結該對話並專門為該人創建定制的營銷資料。

Krystal Hu：最後一個問題要問 Talia 和 Ethan。 人們問你在投資種子前初創公司或我想一般的初創公司時在尋找什麼。

“我們試圖將其分解為一個關鍵問題，‘這是否真的為某些特定角色或類型的人帶來了改變？’”

Ethan Kurzweil：這是一個很好的問題。 對此有很多不同的答案。 Pre-seed 比我們通常投資的要早一點，免責聲明——通常，我們投資的是較晚的種子或 A 系列或 B 系列。但我們的理念是在任何我們能找到的地方尋找超增長模型他們。 通常，我們打破它的方法是嘗試通過路線圖進行預診斷，而 Talia 一直在推動我們圍繞 AI 及其應用到各種不同事物的大量思考，我們提出了這些路線圖我們認為非常有趣的不同主題領域。 它們可能非常廣泛，比如雲計算或醫療保健的消費化，也可能很窄，比如人工智能對客戶服務的影響。

我會鼓勵人們去看看，因為我們在我們的博客和社交媒體上發布了很多我們活躍的論文，看看你正在構建的東西是否與某些東西保持一致。 然後，一般來說，我們正在尋找，“這是否會產生改變我們工作或娛樂方式的影響，或者可能成為某些業務流程或消費者需求的範式轉變的影響？” 這就是我們將其分解的原因。 我們注意到，任何時候你的行為都會發生廣泛的變化，這會導致高速增長的公司和初創公司有機會破壞工作或娛樂方式或以前做過的任何事情。 因此，我們試圖將其分解為關鍵問題，“這是否真的會為某些特定角色或類型的人帶來改變？”

Krystal Hu：我們的談話到此結束。 對於那些沒有機會嘗試 Intercom 的新功能的人，我鼓勵您自己嘗試一下摘要和其他一些功能。 如果您對風險投資領域感興趣，一定要看看 Bessemer 的網站。 正如每個人所說，六個月後，我們回過頭來看，一些預測會成真，也許有些會完全不同。 我希望我們還有時間回過頭來討論更多問題。 再次感謝 Talia、Ethan 和 Fergal 今天抽出時間來。

Ethan Kurzweil：感謝邀請我們。

塔莉亞·戈德堡：再見。

Fergal Reid：非常感謝大家。 再見。