机器学习的新曙光

已发表: 2022-09-09

我们以前来过这里。 在媒体热议、夸大其词和实际工作之间,有时在处理机器学习时很难区分幻想与现实。 随着神经网络的成熟和脱颖而出,这项技术能否辜负炒作?

在过去的五年里,我们已经看到神经网络技术真正起飞。 GPT-3 可以按需创建类似人类的文本,而 DALL-E 是一种从文本提示生成图像的机器学习模型,在社交媒体上大受欢迎,它回答了世界上最紧迫的问题,例如“达斯维德会怎样?看起来像冰钓?” 或者“如果沃尔特怀特在动物穿越中会是什么样子?”

我们想知道这种激增是怎么回事,所以我们询问了我们的机器学习总监 Fergal Reid,是否可以为今天的剧集挑选他的大脑。 尽管这项工作仍然在很大程度上平衡了可能与可行之间的关系,但事情似乎才刚刚开始扩大规模。 技术领域正在发生变化,商业应用程序(可能)正在改变游戏规则,而且,剧透警告,Fergal 非常相信这种炒作。

在今天的 Intercom on Product 节目中,我们的首席产品官 Paul Adams 和我与 Fergal Reid 坐下来讨论了最近围绕神经网络的热议,机器学习如何为企业提供动力,以及我们可以从技术中期待什么未来几年。

以下是我们最喜欢的谈话内容:

  • 神经网络在过去五年中取得了重大进展,现在它们是处理文本、图像或声音等非结构化数据的最佳方式。
  • 在 CX 中,神经网络可能会与更传统的机器学习方法一起使用,以选择能够与客户进行最佳交互的操作。
  • 构建 ML 产品需要平衡——如果解决方案无法实现,那么从问题开始是没有意义的,但如果技术不能满足真正的客户需求,你就不应该从技术开始。
  • 过去,人工智能被夸大了。 虽然更现实的索赔可能关闭更少的账户,但它在客户保留方面得到了回报。
  • ML 团队倾向于将相当一部分资源投入到从未发布过的研究中。 尽可能将其与对客户体验有实际影响的项目相匹配。
  • 如果您想投资 ML,请雇用在技术和运营方面都有经验的人,这样他们就可以从第一天开始与产品团队合作。

如果您喜欢我们的讨论,请查看我们播客的更多剧集。 您可以关注 iTunes、Spotify、YouTube 或在您选择的播放器中获取 RSS 提要。 以下是该剧集的轻微编辑记录。


炒作反击

Des Traynor:欢迎收看 Intercom On Product,第 18 集。今天,我们有一个有趣的话题要讨论。 这一切都与人工智能和机器学习有关。 与以往一样,Intercom 的首席产品官 Paul Adams 先生也加入了我的行列。 保罗,你好吗?

保罗亚当斯:我很好,德斯。 谢谢你。

Des Traynor:今天,我们有一位特邀嘉宾,Fergal Reid 先生,他是我们的机器学习总监。 弗格尔,最近怎么样?

Fergal Reid:很好,Des。 我很高兴今天能上播客。 期待进入它。

德·特雷纳:非常好。 我想你是我们的第一个或第二个客人,所以你应该非常非常感激。

Fergal Reid:确实,我感到非常荣幸。

“我们已经看到了一些令人兴奋的新事物的持续进步——神经网络驱动的技术——真正开始发挥作用并发挥作用”

Des Traynor:嗯,从某种意义上说,让我们从最后开始。 感觉就像人工智能炒作机器再次处于超速状态。 从我的角度来看,这种情况每隔几年就会发生一次,但我真正看到的是人们创造了很多艺术。 DALL-E 一代已经开始,一些创造的图像令人叹为观止。 前几天,我看到有一个 DALL-E 提示的市场,您可以在其中购买为您创建图像的提示,这是元数据。 从更实际的意义上说,GitHub copilot 现在可以在您编写代码时增强您的代码,这非常不可思议; 我玩过 OpenAI 的 GPT-3,提出问题并让它为我制作小段落和故事,这令人印象深刻。 如果我们稍微放大一点,实际上发生了什么? 最近有没有发生什么事情? 这与任何特定的事件链有关吗? 这是怎么回事?

Fergal Reid:拆开包装是一件复杂的事情——有很多事情要做。 各公司对人工智能和机器学习领域的投资如此之多,因此很难准确了解正在发生的事情。 如果您查看 arxiv,人们将他们的机器学习论文放在其中,每天都会有大量新东西涌现。 因此,很难通过它进行叙述。 在我看来,在过去的五年里,我们看到了一些令人兴奋的新事物的持续进步——神经网络驱动技术——真正开始发挥作用并发挥作用。 你提到了 GPT-3、OpenAI,这就是我们所说的大型语言模型,它是一个大型神经网络,试图预测下一个单词和它看到的单词序列。 他们只是在扩大规模。 他们只是向它添加了越来越多的计算,它开始做一些令人惊奇的事情。

Des Traynor:所以,也许只是一些字典定义。 那么,增加更多的计算,是不是更多的 CPU 能力?

Fergal Reid:是的,没错。 追溯到很久以前,我们计算机中的 CPU,我们计算机的大脑,在做通用的事情方面确实非常非常快。 也许在九十年代中后期,主要由视频游戏和其他东西驱动,我们拥有了采用这些 GPU 或图形处理单元的大众市场。

Des Traynor:像视频卡之类的东西?

Fergal Reid:在视频卡和您的 3dfx 卡以及所有内容中。 他们非常擅长为电脑游戏制作图形。 然后,在 2000 年代初,人们会说,“哦,我们为视频游戏所做的那种运算对矩阵和乘法非常有用。” 事实证明,当你训练神经网络时,这类东西对于你需要做的操作也非常有用。 因此,很长一段时间后,视频股票的价值飙升,因为人工智能和加密货币挖矿革命正在兴起。

神经网络的兴起

Des Traynor:你提到了神经网络工作的新进展。 我觉得我在大学的时候就听说过他们。 是否有更多的工作投入到他们身上? 它们是否已成为进行机器学习的主要方式? 有没有我们已经远离的替代方案?

Fergal Reid:是的,我会说我们已经放弃了另一种选择。 现在,我不想过度推销神经网络。 神经网络是新的热点,过去五年你看到的几乎所有突破都是神经网络。 但是,这是机器学习的一个小节。 在 Intercom 的机器学习团队中,神经网络可能占我们工作的 30%,使用相同的逻辑进展材料来预测某人接下来要做什么。

当有大量文本、图像或声音等非结构化数据时,神经网络现在绝对是处理这些数据的最佳方式。 对于你所看到的突破——视觉材料、声音材料、文本合成——你需要一个能够真正捕捉数据中大量依赖关系的大型模型,而神经网络是实现这一目标的主要方式。 人们在使它们规模化方面投入了大量资金,您可以将它们运行得更大。 您正在阅读的某些模型可能仅仅为了训练该模型就需要花费 1000 万美元的计算。

“过去,对于任何非结构化的文本或图像数据,我们都会从机器学习的角度来看待它,就像‘不知道在这里做什么’”

有很多事情正在发生。 我们在大规模培训他们方面做得越来越好。 我们越来越善于以一种我们可以取得进展和理解的方式表达问题。 在视频中,我们将继续改进性能。 因此,发生了许多技术革命。 这是许多不同趋势的汇合。

Des Traynor:要过渡到产品方面,现在有什么可能是以前没有的? DALL-E可以提示并生成图像; GPT-3 可以生成非常逼真的生成文本。 如果你想分析大量文本并弄清楚它在说什么,减少它或简化它或检查情绪或其他什么,我们现在有某种能力列表吗? 我问的原因是我试图将其与 PM 应该如何考虑这一点联系起来。

Fergal Reid:是的,有几种不同的方式来思考这个问题。 过去,对于任何非结构化的文本或图像数据,我们都会从机器学习的角度来看待它,并且会说:“不知道在这里做什么。 这个大小,以及我的文档中可能包含的文本段落的数量非常高。 我不知道如何用传统的机器学习来处理这个问题。” 你可以做一些事情,比如提取特征,比如,“我要把它分解成一个词袋,然后提取东西。” 但现在不同的是,您处理这些数据的方法将比过去好得多。 而且您不需要太多的手工工程功能。 您可以使用神经网络。

我们开始看到中间步骤,中间层出现。 有一种我们称之为嵌入的东西,你可以在其中使用一个经过大量文本数据训练的大型神经网络,然后它们将由谷歌或其中一个花费 1000 万美元的大玩家发布训练,您可以使用它来获取您提供的任何文本,将其转换为数字向量。 然后,您可以使用该数字向量进行处理。 因此,出现了突破性技术,但它为初创公司提供了实际可以用来制造产品的构建块。

“如果您在任何初创生态系统中处理大量非结构化数据,尤其是大量数据,您可能正在尝试使用它做出决策,那么您绝对应该注意”

Des Traynor:那么,第一个 X% 是由大公司为您完成的?

弗格尔·里德:没错。 或者开放财团,也是如此。 有些人组建了一个财团,他们筹集了大量资金来训练一些大的东西,然后发布。

Des Traynor:所以,如果你的产品涉及大量人工编写的文本,无论是创建回复、编写、解析还是理解它,你应该假设在过去的几年里,你的脚下已经发生了变化?

Fergal Reid:是的,我认为这是一个合理的假设。 如果您在任何初创生态系统中处理大量非结构化数据,尤其是大量数据,您可能正在尝试使用它做出决策,那么您绝对应该注意。 能力格局发生了变化。 10 年前,您无需担心任何事情,但现在,也许您可​​以构建一些以前无法构建的很酷的东西。 我们开始看到像搜索这样简单的东西发生了变化。 六七年前,你会得到 Elasticsearch 或类似的东西,并使用这些久经考验的算法来处理你的搜索。 现在你可以使用神经搜索了。 我们开始在该领域看到新兴技术和产品。

寻找下一个最佳行动

Paul Adams:我想问你的一件事是承诺下一个最佳行动的产品。 我认为这对产品团队很重要,原因有两个。 一个就是那个领域的产品——如果你有客户沟通产品或销售团队的产品,那么有很多承诺可以告诉销售人员下一步最佳行动是什么。 产品团队经常试图让他们的客户和用户做更多的事情并参与更多,因此这是他们推动增长的工具。 其中有多少是炒作? 多少是真实的?

Fergal Reid:这些机器学习产品总是存在问题,我说这是一个以构建机器学习产品为生的人,很难从外部判断多少是炒作,多少是真实的。 除非我对它们进行了分析和基准测试,否则我无法谈论具体的产品。 我想说下一个最好的动作实际上不太可能是神经网络。 或者,如果他们在那里,他们将作为其中的一个组成部分在那里。 将其置于对讲环境中,我将获取支持代表和最终用户之间正在发生的对话文本,并使用嵌入来尝试理解这一点。 但随后,我可能会将其与一堆关于正在发生的事情的其他信号放在一起,可能是账户的价值或客户在他们的客户旅程中所处的位置,并使用更传统的机器学习分类器或回归器来尝试和预测,“好吧,我能做的下一件最好的事情是什么?”

“随着准确性的提高、提高、提高,它跨越了一个关键阈值,就像,'这并不总是正确的,但它很有用,我不必思考。 它有帮助'”

这东西效果很好。 我们的产品具有使用更传统的机器学习方法的功能,这些方法试图预测,例如,当某人访问网站并打开信使时将要问什么。 我们根据我们拥有的关于该用户的所有数据和信号来做到这一点,而且效果很好。 如果你能用它做出好的预测,那么从那里到更一般的东西是下一个最佳行动的一小步。

我敢打赌,这些东西效果很好。 我会对准确性有合理的期望。 当他们增强和帮助某人时,所有这些事情都会很好地发挥作用。 如果准确度太低,就像,“哦,这很烦人。 这很糟糕。 不值得关注。” 但随后,随着准确性的提高、提高、提高,它跨越了一个关键阈值,就像是,“它并不总是正确的,但它很有用,我不必思考。 我可以看着它并认识到它有帮助。” 这就是我们在这些产品中寻找的东西,我敢肯定业内有人拥有这样的东西。

德·特雷纳:是的。 我觉得 Gmail 的自动完成功能已经越过了我不会关闭该功能的感知悬崖。 你输入一个回复,它会猜测你接下来要说的两件事,你可以点击 Tab,也许你会改变一个句子或一个词或类似的东西,但它在方向上比没有更有价值。

“我看到了这样一个未来,我们可以了解哪些建议会促使团队行为以双赢的方式提供更好的 CSAT 或更好的客户终身价值”

Paul Adams:不过,这很有趣。 我认为它会改变行为。 我看着这个建议,然后说:“我不会这么说,但它已经足够接近了。” 选项卡,选项卡,选项卡。 输入,发送。

Fergal Reid:我想知道他们是否做过实验来衡量他们产生的建议和建议的情绪,以及它们如何改变现实世界。 Facebook 在过去臭名昭著地做了一些这样的实验。 如果你看一下 Intercom 之类的东西,我会看到未来我们将开始在收件箱中提出智能回复建议。 我看到了一个未来,我们可以了解哪些建议会促进队友行为,从而以双赢的方式提供更好的 CSAT 或更好的客户终身价值。 那些低摩擦的提示。 每当我给我的妻子写“我爱你”时,我都会想到这一点。 有时我会收到“我爱你”的建议,我会说,“我自己打字。”

德·特雷纳:是的。 它有一些更殖民的东西——我们塑造了我们的工具,我们的工具塑造了我们。 您可以想象一个新加入使用 Intercom 的团队的 CS 代表实际上最终会像他们的同事一样说话和打字,因为 Intercom 告诉他们这是似乎表现最好的行为。 它几乎就像一所提供客户支持的学校。

Fergal Reid:我们与一些喜欢为新代表提供低摩擦训练坡道的客户进行了交谈,这似乎是最佳实践。 这就是系统推动你以一种好的方式去做的事情。

问题与技术

Des Traynor:如果我们回到一个级别,我觉得很多叙述,即使当 DALL-E 出现时,最流行的主题是,“谁能说出一个好的用例?这个?” 或者,“这是我最好的主意。” 显然,每个人的想法都是,“哦,你可以建立一家 T 恤公司”或其他什么。 我对这可能有用的最好的尝试是注释儿童故事书的能力。 想象一个工具,其中有一个儿童类型的故事,并且图像似乎可以增强它。 您还可以看到它如何成为 Squarespace 或 Mailchimp 的插件来替代图库摄影。 Keynote 或 Google Slides 将是类似的。

不过,我确实觉得我们正在倒退。 我们说,“鉴于我们现在可以获取文本并生成图像,让我们利用它建立一家公司”,这不是最好的公司的来源。 通常,他们倾向于解决世界上的问题。 粉丝或 PM 思考这个空间的最佳方式是什么? 一般来说,他们可能痴迷于一个问题,而不是某个特定的新神经技术。

Fergal Reid:这是一个非常复杂的问题。 很多时候,标准的建议是,如果你正在建立一些新技术创业公司,你永远不想成为一个寻找问题的解决方案。 你想找到一个真正的具体问题,然后找到一个解决方案。 我认为这通常是个好建议。 在 Intercom,我们有一个从问题入手的原则。 但我认为也有例外。 有了真正的颠覆性技术,你会想,“有些东西正在改变世界,它正在改变景观,这里有新的能力,我不知道它有什么好处,但我知道它会对某些东西产生革命性的好处, ” 我认为从解决方案开始,然后寻找问题是可以的。

“如果你试图构建一个还没有能力的技术解决方案,那么从问题开始是没有意义的”

我相信目前关于 ML 和 AI 的炒作。 我想说这次是真的,所以公平地说,“看,我们在这里拥有革命性的能力。 可以应用它的所有绝佳机会在哪里?” 然后,显然,有一个相互作用。 当你认为你找到了机会时,你可能想从问题开始。

与其他团队相比,Intercom 的机器学习团队有点不寻常。 我们比其他团队更适应产品原则,因为我们必须处于从问题开始到技术开始之间的灰色空间中。 如果您正在尝试构建一个还没有能力的技术解决方案,那么从问题开始是没有意义的。 所以,我们必须从技术开始,做一些原型设计,了解什么是可能的,然后去真正解决问题并问,“它有用还是没用?”

Des Traynor:从某种意义上说,这几乎就像你必须同时审视创新的需求和供应方面。 在我们可以解决的所有问题和我们拥有的能力中,哪里是一个好的互联企业? 如果我们采用我们的产品 Resolution Bot,您将如何将其表述为问题/解决方案配对?

“有了 Resolution Bot,我们的第一版没有使用神经网络或任何东西,但我们坚信可以在这里建立一些好的东西”

Fergal Reid:当我们开始时,我们意识到在技术和产品领域发生了变化,机器人非常糟糕,它们开始在非常有限的情况下提供令人信服的体验,“好吧,这里有一些东西。” 然后就像是,“好的,我们可以使用我们的特定领域吗?我们可以进行聊天和对话,看看是否存在这种结合,是否存在问题和技术之间的匹配,从而提供出色的客户体验?”

有了 Resolution Bot,我们的第一版没有使用神经网络或任何东西,但我们坚信可以在这里构建一些好的东西。 我们建立了最少的技术投资,验证了一个糟糕的拼凑原型实际上可以帮助客户并且人们确实想要它,降低风险,然后对其进行迭代,迭代它,再迭代它。 我们现在使用的是我们技术的第三版或第四版,它使用了非常现代的、花哨的神经网络,它获得了一流的性能和准确性。 但第一个版本是现成的 Elasticsearch,只是为了验证这实际上可以帮助人们。

你想引导那个搜索。 你想像,“我知道在产品空间的这个大方向上有一些好处。” 对于无法交付的产品,我不会以经过验证的需求而告终。 你不想在那里。 你也不想这样说,“我有一个很棒的算法,它肯定会为没人关心的事情做出改变。” 您必须在该等式的两边进行迭代,并在中间找到一些着陆区。

难以置信?

Paul Adams:凳子实际上还有第三条腿。 有一个问题,有一个解决方案,然后是故事,或者你可以说些什么。 在谈到人工智能和机器学习时,我一直在努力解决的一件事是,你对外界所说的话以及其他人在外界所说的话感觉良好。 最糟糕的是,所有公司都站出来提出巨额索赔,而真正知道他们在说什么的人会说,“他们是可笑的索赔”。 “但存在这种竞争困境。 如果我们的竞争对手说 80%,我们认为他们不可能得到,但我们的竞争对手是 50%,你怎么看? 您如何看待您可以提出的主张以及问题、解决方案和故事之间的平衡?

“我在市场上遇到产品并评估他们的说法,我想,'它真的做到了吗? 你如何评价?

Fergal Reid:我的意思是,这非常困难。 我认为我会将内部产品开发与市场成功分开。 在内部产品开发方面,对讲机也是如此,如果我来说,“嘿,伙计们,我很确定我们可以提供足够好的产品体验,”如果事实证明这是我至少要负责根本不是这样。 所以,在内部,你必须与人合作并很好地解释事情,但至少激励是一致的。

在外部,当人们在市场上与机器学习产品竞争时,真的很难。 我在市场上遇到产品并评估他们的说法,我想,“它真的做到了吗? 你怎么评价?” 即使我看到一篇新的研究论文承诺了一些令人惊奇的事情,并且它有“我们对 AI 这么说,它就是这么回答的”的例子,我的第一个问题总是像,“嗯,那是精心挑选的吗?例子? 它是 10 次中的 9 次还是 10 次中的一次?” 因为每个人都有很大的不同。 总有这种含蓄的,“好吧,实际上表现如何?” 除非您在坐下来玩它的地方进行某种正面交锋,否则您无法真正分辨出来。 我们的客户正在做更多的概念验证和评估,我很喜欢。 那好极了。 这就是我们想要看到的。

“你绝对可以过度承诺、交付不足,然后眼睁睁地看着客户流失”

就总体空间而言,我认为您会看到人们越来越多地公开演示。 人们去 DALL-E 2,他们可以更早地接触到独立研究人员。 或者他们在报纸上写下这样的话:“这就是在标准提示下一次运行所产生的结果。” 这有助于人们了解它。

Des Traynor:有一个问题是你想要什么样的收入,因为你肯定会过度承诺、交付不足,然后看着客户流失。 或者您可以说,“这就是我们认为我们可以为您做的事情”,冒着失去交易的风险,但要知道,如果他们转换了,他们将得到转换后的结果。 我认为这是一个危险的世界——走高路与低路; 在第 11 个月接受那些将得到他们认为会得到的东西的客户,而不是在第 11 个月吸引很多愤怒的客户,因为他们没有达到他们希望的结果。 这是一个挑战。

Fergal Reid:这是一个挑战,这个挑战有很多方面。 我们也必须管理期望。 机器学习正在变得越来越好,但仍不完美。 我们有时会有客户购买我们的 Resolution Bot,它很好,是同类中最好的,但它仍然会出错。 每个软件产品仍然会犯错误。 因此,您必须管理各方的期望才能建立这种积极的关系。

Des Traynor:您如何看待机器学习资源? 在 Intercom,我们有一个由您自己领导的团队,该团队与所有团队分开,然后是合作伙伴来提供机器学习功能。 你觉得会一直这样吗? 你认为团队应该有嵌入式 ML 工程师吗? Intercom 的每个团队都有自己的设计师——我们没有一个设计团队四处寻找要添加的设计。 它的方式有意义吗? 对于我们的听众来说,他们将如何涉足? 他们会从一个专门的 ML 类型的 pod 开始,还是会有一个人? 初创公司应该如何开始引入机器学习?

Fergal Reid:我强烈认为,在技术开发的这一点上,集中式机器学习团队更适合我们规模或更小的组织。 我们在这里处理不成熟的技术。 该技术难以使用且容易出错。 有一组技能与软件工程、数据科学或分析的技能重叠,但它们并不相同。 我认为拥有一个可以工作和磨练这套技能并学习陷阱的集中式团队很有意义,因为机器学习产品具有独特的陷阱。 它们是概率性的。 正如我们所提到的,他们有时会弄错。 因此,当你在设计或构建机器学习产品时,你必须真正出汗。 准确率是否足以提供良好的客户体验? 这很难。

“我认为,在每个项目的基础上提供帮助的集中式模型是目前正确的模型”

当您与设计师交谈时,我们经常看到的一件事是,他们一开始很难理解您不能只考虑一切顺利的黄金路径的想法。 您必须考虑所有出错的路径和错误可能累积的路径。 这很难。

我们正处于软件工程这个奇怪的交叉点,我们必须能够将这些产品与数据科学或研究一起部署。 我们必须运营一个产品团队。 我们必须精益高效,但我们也必须像研究团队一样运作,为创新创造空间。 花了两个星期的时间做某事,结果却一无所获? 没关系。 我们必须愿意为此投资。 所以,我认为一个集中的模型,然后在每个项目的基础上提供帮助是目前正确的模型。

保持真实

Des Traynor:您如何处理像 Fergal 这样的人说:“嘿,保罗,我们将尝试一种可以改变我们客户支持产品性质的产品,但它可能不起作用,并且在这一切的第一面,你可能看不到任何东西。” 与此同时,像我这样的人说,“嘿,我们需要制定路线图,我们需要告诉公司我们正在建设什么,告诉销售团队要卖什么。” 你如何解决这种复杂性?

保罗亚当斯:作为一个多年来一直致力于从未发货的产品的人,我有很深的疤痕组织,因为任何闻不到不会尽快发货的东西,尽可能小。

Des Traynor:明确地说,这将是你的前雇主,对吧?

保罗亚当斯:是的。 在我以前的工作中,是的。 但从在 Intercom 工作的第一天起,Des 和我就一直痴迷于运输和从小处着手。 我们痴迷于确定范围并尽快解决问题,这是我们发现的问题的最小最快解决方案。 所以我有一个始终如一的愿望。

“我来自学术界,任何有时间在学术界工作的人都可能看过这么多项目,承诺在棍子上登月,然后什么也没做”

现在,显然,这是不同的。 不过,我希望 Fergal 回答一个问题——有点旁注,但我认为这很重要——当你之前回答 Des 关于如何为机器学习团队提供资源的问题时,你是在谈论 ML 工程师. 对于我们这里的几乎所有 ML 团队历史,都是 ML 工程师。 但我们最近聘请了一位 ML 设计师。 你也能简单地告诉我们一下吗? 因为我认为这是答案的重要部分。 ML 设计师做什么,有什么区别?

Fergal Reid:所以,这是一个很难的问题。 这是她第三周的开始,所以我不想在与她交谈之前在播客上谈论她将要做什么……

Des Traynor:在更高的层次上。 您如何看待机器学习设计与常规设计?

Fergal Reid:让我再把顺序倒过来,我会回到这个。 我讨厌做不发货的东西。 我有博士学位,我来自学术界,任何有时间在学术界工作的人都可能看过很多项目,承诺在棍子上登月,然后什么也没做。 其中一部分是必要的浪费,对吧? 你必须尝试很多事情,因为它太冒险了。 但其中的一部分永远不会奏效。 因此,将这两件事分开是绝对关键。 我希望机器学习团队尽可能地具有探索性和风险性,而不是不必要的探索性和风险性。

我们在这里尝试并踏入两个世界。 我们努力保持这些极其坚定的对讲原则:如果你要失败,那就快速失败; 从问题开始; 从小处着手,小步前进。 我们非常努力地遵循这些原则。 但是,如果我们非常确信有人会想要这个,我们会在需要时进行研究和冒险的事情。 我们希望非常非常清楚我们在开发的每个阶段都试图消除的风险。 所以,是的,这就是我们的运作方式。 我会说我们比普通的对讲团队更具研究性,但可能比世界上绝大多数 ML 团队更考虑小步移动以及我们试图降低的风险。 当然,这比研究实验室团队所倾向于的要多得多。

考虑到这一点,我们最近聘请了一名设计师,这是我们拥有机器学习团队五年来的第一次。 That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. 好的。 This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. 砰。 什么时候? 砰。

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. 那会是什么样子? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. 好的。 And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. 好的,最后一个问题。 You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. 谢谢你,保罗。 And we'll see you all again for Intercom on Product. 大家保重。

CTA-Intercom-on-Product