La nouvelle aube du Machine Learning

Nous sommes déjà venus ici. Entre le buzz médiatique, les affirmations exagérées et le travail sur le terrain, il est parfois difficile de distinguer le fantasme de la réalité lorsqu'il s'agit de Machine Learning. Alors que les réseaux de neurones mûrissent et se démarquent du lot, la technologie peut-elle être à la hauteur du battage médiatique ?

Au cours des cinq dernières années, nous avons vu la technologie des réseaux neuronaux prendre son envol. GPT-3 peut créer du texte de type humain à la demande, et DALL-E, un modèle d'apprentissage automatique qui génère des images à partir d'invites de texte, a explosé en popularité sur les réseaux sociaux, répondant aux questions les plus pressantes du monde telles que "qu'est-ce que Dark Vador ressemble à de la pêche sur glace? ou "à quoi ressemblerait Walter White s'il était dans Animal Crossing?"

Nous voulions savoir ce qui se passait avec cette montée subite, nous avons donc demandé à notre directeur de l'apprentissage automatique, Fergal Reid, si nous pouvions choisir son cerveau pour l'épisode d'aujourd'hui. Bien que le travail soit toujours un équilibre entre ce qui est possible et ce qui est faisable, les choses, semble-t-il, commencent tout juste à évoluer. Le paysage technologique est en train de changer, les applications métier changent (potentiellement) la donne et, spoiler alert, Fergal croit fermement au battage médiatique.

Dans l'épisode d'aujourd'hui d'Intercom on Product, Paul Adams, notre chef de produit, et moi-même avons rencontré Fergal Reid pour parler du récent buzz entourant les réseaux de neurones, de la façon dont l'apprentissage automatique alimente les entreprises et de ce que nous pouvons attendre de la technologie dans le prochaines années.

Voici quelques-uns de nos plats à emporter préférés de la conversation :

• Les réseaux de neurones ont fait des progrès significatifs au cours des cinq dernières années et constituent désormais le meilleur moyen de traiter des données non structurées telles que du texte, des images ou du son à grande échelle.
• Dans CX, les réseaux de neurones seront probablement utilisés avec des méthodes d'apprentissage automatique plus traditionnelles pour choisir des actions qui offrent la meilleure interaction possible avec le client.
• La création de produits ML nécessite un équilibre - il est inutile de commencer par le problème si la solution est inaccessible, mais vous ne devriez pas commencer par la technologie si elle ne peut pas répondre aux besoins réels des clients.
• L'IA a été assez surmédiatisée dans le passé. Bien qu'il soit probable que des réclamations plus réalistes ferment moins de comptes, cela rapporte en termes de fidélisation de la clientèle.
• Les équipes ML ont tendance à investir une part équitable des ressources dans la recherche qui n'est jamais livrée. Associez-le autant que possible à des projets qui ont un impact réel sur l'expérience client.
• Si vous souhaitez investir dans le ML, embauchez une personne expérimentée à la fois sur le plan technique et opérationnel afin qu'elle puisse commencer à travailler avec l'équipe produit dès le premier jour.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur iTunes, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Le battage médiatique contre-attaque

Des Traynor : Bienvenue dans Intercom On Product, épisode 18. Aujourd'hui, nous avons un sujet intéressant à aborder. Tout tourne autour de l'intelligence artificielle et de l'apprentissage automatique. Je suis accompagné, comme toujours, par le chef de produit d'Intercom, M. Paul Adams. Paul, comment vas-tu ?

Paul Adams : Je vais bien, Des. Merci.

Des Traynor : Et aujourd'hui, nous avons un invité spécial, M. Fergal Reid, qui est notre directeur de l'apprentissage automatique. Fergal, comment ça va ?

Fergal Reid : C'est bien, Des. Je suis vraiment ravi d'être sur le podcast aujourd'hui. J'ai hâte de m'y mettre.

Des Traynor : Excellent. Je pense que tu es notre premier ou deuxième invité, donc tu devrais te sentir très, très reconnaissant.

Fergal Reid : Je me sens très privilégié, en effet.

"Nous avons vu des progrès soutenus de quelque chose de nouveau et d'excitant - la technologie basée sur les réseaux de neurones - qui commence vraiment à prendre tout son sens et à être utile"

Des Traynor : Eh bien, commençons par la fin, dans un sens. On a l'impression que la machine à battage médiatique de l'IA est à nouveau en surmultipliée. Cela se produit toutes les quelques années de mon point de vue, mais ce que je peux vraiment voir se produire, ce sont des gens qui créent beaucoup d'art. La génération DALL-E a démarré et certaines des images créées sont à couper le souffle. L'autre jour, j'ai vu qu'il y avait un marché pour les invites DALL-E où vous pouvez littéralement acheter des invites qui créent des images pour vous, ce qui est aussi méta que possible. Dans un sens plus pratique, le copilote GitHub peut désormais augmenter votre code au fur et à mesure que vous écrivez, ce qui est assez incroyable ; J'ai joué avec GPT-3 d'OpenAI, j'ai posé les questions et je l'ai laissé créer de petits paragraphes et des histoires pour moi, et ça a été assez impressionnant. Si nous revenons un peu en arrière, que se passe-t-il réellement ? Il s'est passé quelque chose ces derniers temps ? Cela a-t-il à voir avec une chaîne d'événements particulière? Quoi de neuf?

Fergal Reid : C'est une chose complexe à déballer – il se passe beaucoup de choses. Il y a tellement d'investissements dans ce domaine de l'IA et de l'apprentissage automatique dans toutes les entreprises qu'il est difficile de déballer exactement ce qui se passe. Si vous regardez arxiv, où les gens mettent leurs papiers d'apprentissage automatique, il y a un torrent de nouvelles choses chaque jour. Il est donc difficile de faire passer un récit à travers cela. À mon avis, au cours des cinq dernières années, nous avons vu des progrès soutenus de quelque chose de nouveau et d'excitant - la technologie axée sur les réseaux de neurones - qui commence vraiment à prendre tout son sens et à être utile. Vous avez mentionné GPT-3, OpenAI, et c'est ce que nous appelons un grand modèle de langage, qui est un grand réseau de neurones essayant de prédire le mot suivant et une séquence de mots qu'il voit. Et ils ne font que l'augmenter. Ils ont juste ajouté de plus en plus de calcul, et il a commencé à faire des choses incroyables.

Des Traynor : Donc, peut-être juste quelques définitions de dictionnaire. Donc, ajouter plus de calcul, est-ce plus de puissance CPU ?

Fergal Reid : Oui, exactement. Pour revenir en arrière, les processeurs de nos ordinateurs, le cerveau de nos ordinateurs, étaient vraiment très rapides pour faire des choses à usage général. Et peut-être du milieu à la fin des années 90, principalement motivés par les jeux vidéo et autres, nous avons eu ce marché de masse d'adoption de ces GPU, ou unités de traitement graphique.

Des Traynor : Comme les cartes vidéo et des trucs comme ça ?

Fergal Reid : Dans les cartes vidéo et votre carte 3dfx et tout. Et ils étaient vraiment doués pour faire des graphismes pour les jeux informatiques. Puis, au début des années 2000, les gens disaient : "Oh, le genre d'opérations que nous faisons pour les jeux vidéo est vraiment bon pour la matrice et la multiplication." Et il s'avère que ce genre de choses est également très utile pour les opérations que vous devez effectuer lorsque vous entraînez un réseau de neurones. Et donc, après un long moment, la valeur des stocks vidéo monte en flèche parce qu'il y a une révolution de l'intelligence artificielle et de la crypto-extraction.

L'essor des réseaux de neurones

Des Traynor : Vous avez fait référence à une nouvelle adoption des travaux sur les réseaux de neurones. J'ai l'impression d'avoir entendu parler d'eux quand j'étais à l'université, à l'époque. Y a-t-il simplement eu plus de travail qui leur a été consacré? Ont-ils émergé comme un moyen principal de faire de l'apprentissage automatique ? Y a-t-il une alternative dont nous nous sommes éloignés ?

Fergal Reid : Oui, je dirais qu'il y a une alternative dont nous nous sommes éloignés. Maintenant, je ne veux pas survendre les réseaux de neurones. Les réseaux de neurones sont la nouvelle tendance, et presque toutes les percées que vous avez vues au cours des cinq dernières années concernent les réseaux de neurones. Cependant, c'est une sous-section de l'apprentissage automatique. Dans l'équipe d'apprentissage automatique d'Intercom, les réseaux de neurones représentent peut-être 30 % de ce que nous faisons, en utilisant les mêmes éléments de progression logistique pour prédire ce que quelqu'un va faire ensuite.

Lorsqu'il existe des données non structurées telles que des masses de texte, d'images ou de sons, les réseaux de neurones sont désormais définitivement le meilleur moyen de traiter ces données. Pour les percées que vous voyez - les trucs visuels, les trucs sonores, la synthèse de texte - vous avez besoin d'un modèle massif qui peut vraiment capturer beaucoup de dépendances dans ces données, et les réseaux de neurones sont le principal moyen de le faire. Les gens ont beaucoup investi pour les faire évoluer, et vous pouvez les faire fonctionner beaucoup plus gros. Certains des modèles que vous lisez peuvent coûter 10 millions de dollars de calcul juste pour former ce modèle.

"Dans le passé, pour tout texte non structuré ou données d'image, nous les examinions du point de vue de l'apprentissage automatique et nous disions :" Je ne sais pas quoi faire ici ""

Il se passe un certain nombre de choses. Nous nous améliorons pour les former à grande échelle. Nous nous améliorons pour exprimer le problème d'une manière qui nous permette de progresser et de donner un sens. En vidéo, nous continuons d'améliorer les performances. Il y a donc eu beaucoup de révolutions technologiques. C'est une confluence de beaucoup de tendances différentes.

Des Traynor : Pour passer à l'aspect produit, qu'est-ce qui est possible maintenant qui ne l'était pas avant ? DALL-E peut prendre une invite et produire une image ; GPT-3 peut produire un texte généré assez réaliste. Si vous vouliez analyser une charge de texte et comprendre ce qu'il dit, le réduire ou le simplifier ou vérifier le sentiment ou quoi que ce soit, y a-t-il une sorte de liste de capacités que nous avons maintenant ? La raison pour laquelle je pose la question est que j'essaie de rapprocher cela de la façon dont les PM devraient penser à cela.

Fergal Reid : Oui, il y a plusieurs façons de penser à cela. Dans le passé, pour n'importe quel texte non structuré ou données d'image, nous le regardions du point de vue de l'apprentissage automatique et nous disions : « Je ne sais pas quoi faire ici. La taille de celui-ci et le nombre de paragraphes de texte possibles pouvant figurer dans mon document sont extrêmement élevés. Je ne sais pas comment gérer cela avec l'apprentissage automatique traditionnel. » Et vous pouvez faire des choses comme extraire des fonctionnalités, par exemple : "Je vais diviser cela en un sac de mots et extraire des éléments." Mais ce qui est différent maintenant, c'est que vos méthodes pour travailler avec ces données fonctionneront bien mieux qu'elles ne l'auraient fait par le passé. Et vous n'avez pas besoin d'autant d'ingénierie manuelle des fonctionnalités. Vous pouvez utiliser un réseau de neurones.

Nous commençons à voir des étapes intermédiaires, des couches intermédiaires émerger. Il y a ce que nous appelons les incorporations, où vous pouvez prendre l'un de ces grands réseaux de neurones qui ont été formés sur une tonne de données textuelles, puis ils seraient publiés par Google ou l'un des grands acteurs, qui dépensent ces 10 millions de dollars pour formation, et vous pouvez aller l'utiliser pour prendre n'importe quel texte que vous lui donnez pour le convertir en un vecteur de nombres. Ensuite, vous pouvez faire des choses avec ce vecteur de nombres. Donc, il y a eu une technologie révolutionnaire, mais elle a donné des éléments de base avec lesquels les startups peuvent réellement travailler pour fabriquer des produits.

"Si vous êtes dans un écosystème de startups qui traite beaucoup de données non structurées, en particulier de gros volumes, où vous essayez peut-être de prendre des décisions avec, vous devriez certainement y prêter attention"

Des Traynor : Alors, les X premiers pour cent sont faits pour vous par les plus grosses entreprises ?

Fergal Reid : Exactement. Ou un consortium ouvert aussi. Il y a des gens qui forment un consortium qui a réuni beaucoup d'argent pour former quelque chose de gros qui est ensuite publié.

Des Traynor : Donc, si votre produit implique beaucoup de texte écrit par des humains, que ce soit pour créer des réponses, l'écrire, l'analyser ou le comprendre, vous devez supposer que le terrain a changé sous vos pieds au cours des deux dernières années ?

Fergal Reid : Oui, je pense que c'est une hypothèse juste. Si vous êtes dans un écosystème de startups qui traite beaucoup de données non structurées, en particulier de gros volumes, où vous essayez peut-être de prendre des décisions avec, vous devriez certainement y prêter attention. Le paysage des capacités a changé. Il y a 10 ans, vous n'aviez à vous soucier de rien, mais maintenant, vous pouvez peut-être construire quelque chose de cool que vous ne pouviez pas faire auparavant. Nous commençons à voir un changement dans des choses aussi simples que la recherche. Il y a six ou sept ans, vous obteniez Elasticsearch ou quelque chose comme ça et utilisiez ces algorithmes éprouvés pour gérer votre recherche. Vous pouvez maintenant utiliser la recherche neuronale. Et nous commençons à voir émerger des technologies et des produits dans cet espace.

À la recherche de la prochaine meilleure action

Paul Adams : J'aimerais vous poser des questions sur les produits qui promettent la prochaine meilleure action. Je pense que c'est important pour les équipes produit pour deux raisons. L'un concerne uniquement les produits dans cet espace - si vous avez un produit de communication client ou un produit pour les équipes de vente, il y a beaucoup de promesses à dire au vendeur quelle est la prochaine meilleure action. Et les équipes produit essaient souvent d'amener leurs clients et utilisateurs à en faire plus et à s'engager davantage, c'est donc un outil pour eux pour stimuler la croissance. Dans quelle mesure est-ce du battage médiatique ? Combien est réel?

Fergal Reid : Il y a toujours un problème avec ces produits d'apprentissage automatique, et je dis cela en tant que personne qui crée des produits d'apprentissage automatique pour gagner sa vie, c'est-à-dire qu'il est très difficile de dire à quel point c'est du battage médiatique et ce qui est réel de l'extérieur. Je ne peux pas parler de produits spécifiques à moins de les avoir analysés et comparés. Je dirais que le prochain meilleur truc d'action est en fait moins susceptible d'être des réseaux de neurones. Ou s'ils sont là, ils seront là en tant que composante de celui-ci. Pour le mettre dans un contexte Intercom, je vais prendre le texte de la conversation qui s'est déroulée entre le représentant du support et l'utilisateur final et utiliser des intégrations pour essayer de donner un sens à cela. Mais ensuite, je vais probablement mettre cela avec un tas d'autres signaux sur ce qui se passe, peut-être la valeur du compte ou où en est le client dans son parcours client, et utiliser un classificateur ou un régresseur d'apprentissage automatique plus traditionnel pour essayer et prédire, "D'accord, quelle est la prochaine meilleure chose que je puisse faire ?"

"Au fur et à mesure que la précision augmente, augmente, augmente, elle franchit un seuil critique où c'est comme, 'Ce n'est pas toujours correct, mais c'est utile, et je n'ai pas à réfléchir. Ça aide '"

Et ce truc fonctionne plutôt bien. Nous avons des fonctionnalités dans nos produits qui utilisent des méthodes d'apprentissage automatique plus traditionnelles qui tentent de prédire, par exemple, ce que quelqu'un est sur le point de demander lorsqu'il accède à un site Web et ouvre le messager. Nous le faisons sur la base de toutes les données et signaux que nous avons sur cet utilisateur, et cela fonctionne plutôt bien. Si vous pouvez faire de bonnes prédictions avec cela, il n'y a qu'un pas de là vers quelque chose de plus général qui est la meilleure action suivante.

Je parie que ce truc fonctionne plutôt bien. J'aurais des attentes raisonnables d'exactitude. Toutes ces choses fonctionnent bien quand elles augmentent et aident quelqu'un. Si la précision est trop faible, c'est comme : « Oh, c'est ennuyeux. C'est merdique. Ce n'est pas la peine d'y prêter attention. » Mais ensuite, au fur et à mesure que la précision augmente, augmente, augmente, elle franchit un seuil critique où c'est comme : « Ce n'est pas toujours juste, mais c'est utile, et je n'ai pas à réfléchir. Je peux juste le regarder et reconnaître que cela aide. C'est ce que nous recherchons avec ces produits, et je suis sûr qu'il y a des gens dans l'industrie qui ont des choses comme ça.

Des Traynor : Ouais. J'ai l'impression que la saisie semi-automatique de Gmail a franchi cette falaise perceptive où je ne désactiverais pas cette fonctionnalité. Vous tapez une réponse, il devine les deux prochaines choses que vous allez dire, et vous pouvez appuyer sur la tabulation, et peut-être que vous changeriez une phrase ou un mot ou quelque chose comme ça, mais c'est directionnellement plus précieux que pas.

"Je vois un avenir où nous pouvons apprendre quelles suggestions suscitent un comportement de coéquipier qui donne un meilleur CSAT ou une meilleure valeur à vie du client d'une manière gagnant-gagnant"

Paul Adams: C'est drôle, cependant. Je pense que ça change le comportement. Je regarde la suggestion et dis : "Je ne dirais pas tout à fait ça, mais c'est assez proche." Tabulation, tabulation, tabulation. Entrez, envoyez.

Fergal Reid : Je me demande s'ils font jamais des expériences où ils mesurent les suggestions et le sentiment des suggestions qu'ils produisent, et comment ils ont changé le monde réel. Facebook a tristement fait des expériences comme celle-ci à l'époque. Si vous regardez quelque chose comme Intercom, je vois un avenir où nous commençons à faire des recommandations de réponses intelligentes dans la boîte de réception. Je vois un avenir où nous pourrons apprendre quelles suggestions suscitent un comportement de coéquipier qui donne un meilleur CSAT ou une meilleure valeur à vie du client d'une manière gagnant-gagnant. Ces invites à faible friction. J'y pense chaque fois que j'écris "je t'aime" à ma femme. Parfois, je reçois la suggestion de « Je t'aime » et je me dis : « Je le tape moi-même ».

Des Traynor : Ouais. Il y a quelque chose de plus colonial là-dedans – nous façonnons nos outils, et nos outils nous façonnent. Vous pouvez imaginer qu'un représentant CS nouvellement intégré à une équipe qui utilise Intercom finira par parler et taper beaucoup comme ses collègues en se basant sur le fait qu'Intercom leur dit que c'est le comportement qui semble fonctionner le mieux. C'est presque comme une école de support client.

Fergal Reid : Nous avons parlé à des clients qui ont adoré l'idée d'une rampe d'entraînement à faible friction pour les nouveaux représentants, ce qui semble être la meilleure pratique. C'est ce que le système vous pousse à faire dans le bon sens.

Problème contre technologie

Des Traynor : Si nous remontons d'un niveau, j'ai l'impression qu'une grande partie du récit, même lorsque, disons, DALL-E est sorti, les fils de discussion les plus populaires à ce sujet étaient des choses comme : "Quelqu'un peut-il nommer un bon cas d'utilisation pour cette?" Ou, "Voici ma meilleure idée." Évidemment, l'esprit de tout le monde se dit : « Oh, vous pourriez créer une entreprise de t-shirts », ou quoi que ce soit d'autre. Ma meilleure idée de ce à quoi cela pourrait être utile est la possibilité d'annoter un livre de contes pour enfants. Imaginez un outil où il y a une histoire de type enfant et des images semblent l'augmenter. Vous pouvez également voir comment il pourrait s'agir d'un plugin pour Squarespace ou Mailchimp pour remplacer la photographie de stock. Keynote ou Google Slides seraient similaires.

J'ai l'impression que nous abordons cela à l'envers, cependant. Nous disons : « Étant donné que nous pouvons maintenant prendre du texte et produire des images, bâtissons-en une entreprise », ce qui n'est pas d'où viennent les meilleures entreprises. Habituellement, ils ont tendance à vouloir résoudre un problème dans le monde. Quelle est la meilleure façon pour un fan ou un PM de penser à cet espace ? De manière générale, ils sont probablement obsédés par un problème, pas par une nouvelle technologie neuronale en particulier.

Fergal Reid : C'est une question très complexe. La plupart du temps, le conseil standard est que si vous créez une nouvelle startup technologique, vous ne voulez jamais être une solution à la recherche d'un problème. Vous voulez trouver un vrai problème concret et ensuite approcher une solution. Je pense que c'est généralement un bon conseil. Chez Intercom, nous avons un principe qui consiste à commencer par le problème. Mais je pense qu'il y a des exceptions à cela. Avec une technologie véritablement perturbatrice, où vous vous dites : « Quelque chose change le monde, cela change le paysage, il y a une nouvelle capacité ici, et je ne sais pas à quoi ça sert, mais je sais que ça va être révolutionnairement bon pour quelque chose, « Je pense que c'est bien de commencer par la solution et ensuite de chercher les problèmes.

"Il ne sert à rien de commencer par le problème si vous essayez de créer une solution technologique qui n'est tout simplement pas encore capable"

Je crois au battage médiatique autour du ML et de l'IA en ce moment. Je dirais que cette fois, c'est réel, et il est donc juste de dire : « Écoutez, nous avons ici une capacité révolutionnaire. Où sont toutes les grandes opportunités où cela peut être appliqué ? » Ensuite, évidemment, il y a une interaction. Lorsque vous pensez avoir trouvé une opportunité, vous voulez probablement commencer par le problème.

L'équipe d'apprentissage automatique ici à Intercom est un peu inhabituelle par rapport aux autres équipes. Nous nous adaptons un peu plus aux principes du produit que les autres équipes parce que nous devons être dans cet espace gris entre commencer par le problème et la technologie. Il ne sert à rien de commencer par le problème si vous essayez de créer une solution technologique qui n'est tout simplement pas encore capable. Donc, nous devons commencer un peu avec la technologie, faire du prototypage, avoir une idée de ce qui est possible, puis aller vraiment suer le problème et demander : « Est-ce utile ou non ?

Des Traynor : C'est presque comme si vous deviez examiner à la fois la demande et l'offre de l'innovation, dans un sens. De tous les problèmes que nous pouvons résoudre et des capacités dont nous disposons, où est une bonne entreprise en interconnexion ? Si nous prenons notre produit Resolution Bot, comment articuleriez-vous cela comme un couple problème/solution ?

"Avec Resolution Bot, nous n'avons pas utilisé de réseaux de neurones ou quoi que ce soit pour notre première version, mais nous avions la conviction qu'il était possible de construire quelque chose de bien ici"

Fergal Reid : Lorsque nous avons commencé, nous étions conscients qu'il y avait une évolution dans la technologie et le paysage des produits où les bots étaient vraiment médiocres, et ils commençaient à offrir des expériences convaincantes dans des circonstances très limitées où, "D'accord, il y a quelque chose ici .” Et puis c'était comme, "D'accord, pouvons-nous prendre notre domaine particulier, pouvons-nous prendre le chat et les conversations et voir s'il y a ce mariage, cette correspondance entre le problème et la technologie qui va offrir une excellente expérience client?"

Avec Resolution Bot, nous n'avons pas utilisé de réseaux de neurones ou quoi que ce soit pour notre première version, mais nous avions la conviction qu'il était possible de construire quelque chose de bien ici. Nous avons construit un investissement technologique minimal, validé qu'un prototype merdique assemblé aiderait réellement les clients et que les gens le voudraient réellement, avons réduit les risques, puis l'avons itéré et itéré et itéré. Nous sommes maintenant sur la version trois ou la version quatre de notre technologie, et elle utilise des réseaux de neurones très modernes et sophistiqués, et elle obtient les meilleures performances et précision de sa catégorie. Mais la première version était Elasticsearch prête à l'emploi juste pour valider que cela aiderait réellement les gens.

Vous voulez guider cette recherche. Vous voulez être comme, "Je sais qu'il y a quelque chose de bien dans cette direction générale de l'espace produit." Je ne vais pas me retrouver avec une demande validée pour un produit impossible à livrer. Vous ne voulez pas être là. Vous ne voulez pas non plus dire : « J'ai un algorithme incroyable qui va certainement déplacer l'aiguille pour quelque chose dont personne ne se soucie. Vous devez parcourir les deux côtés de cette équation et trouver une zone d'atterrissage au milieu.

Trop beau pour être vrai?

Paul Adams : Il y a en fait un troisième pied du tabouret. Il y a un problème, il y a une solution, et puis il y a l'histoire, ou ce que vous pouvez en dire. L'une des choses avec lesquelles j'ai lutté en ce qui concerne l'IA et l'apprentissage automatique est ce que vous vous sentez bien de dire à l'extérieur et ce que les autres disent à l'extérieur. Au pire, c'est une tragédie des communications où toutes les entreprises sortent et font d'énormes réclamations, et les gens qui savent réellement de quoi ils parlent disent : "Ce sont des réclamations ridicules." « Mais il y a ce dilemme concurrentiel. Si notre concurrent dit 80 %, et qu'il n'y a aucun moyen pour nous de l'obtenir, mais que le nôtre est de 50 %, qu'en pensez-vous ? Que pensez-vous des affirmations que vous pouvez faire et de l'équilibre entre le problème, la solution et l'histoire ?

"Je tombe sur des produits sur le marché et j'évalue leurs revendications, et je me dis : 'Est-ce que ça le fait vraiment ? Comment évaluez-vous cela ? »

Fergal Reid : Je veux dire, c'est très difficile. Je pense que je séparerais le développement interne du produit du succès sur le marché. Avec le développement de produits en interne, et c'est vrai chez Intercom, si je viens dire : "Hé, les gars, je suis à peu près sûr que nous pouvons offrir une expérience produit assez bonne", je suis au moins responsable s'il s'avère que c'est Pas du tout le cas. Donc, en interne, il faut travailler avec les gens et bien expliquer les choses, mais au moins les incitations sont alignées.

En externe, lorsque les gens sont en concurrence sur le marché avec des produits d'apprentissage automatique, c'est vraiment difficile. Je tombe sur des produits sur le marché et j'évalue leurs revendications, et je me dis : « Est-ce que ça le fait vraiment ? Comment évaluez-vous cela ? Même si je vois un nouveau document de recherche promettant quelque chose d'incroyable, et qu'il contient des exemples de "nous avons dit cela à l'IA, et c'est ce qu'il a dit en retour", ma première question est toujours du genre : "Eh bien, était-ce une cerise sur le gâteau Exemple? Est-ce que ça fait ça 9 fois sur 10 ou une fois sur 10 ? » Parce que c'est très différent selon chacun. Il y a toujours cet implicite, "eh bien, quelle est la performance, en fait?" Vous ne pouvez pas vraiment le dire à moins de faire une sorte de tête-à-tête où vous vous asseyez et jouez avec. Nos clients font plus de preuves de concept et d'évaluations en tête-à-tête, et j'adore ça. C'est merveilleux. C'est ce que nous voulons voir.

"Vous pouvez certainement surpromettre, sous-livrer, puis regarder le compte tourner"

En termes d'espace en général, je pense que vous voyez de plus en plus de gens rendre les démos accessibles au public. Les gens vont au DALL-E 2, et ils ont accès à des chercheurs indépendants plus tôt. Ou ils écrivent des trucs dans les journaux en disant : « c'est ce qu'un produit en une seule fois sur une invite standard ». Cela aide les gens à s'y retrouver.

Des Traynor : Il y a une question sur le type de revenus que vous souhaitez, car vous pouvez certainement surpromesse, sous-livrer, puis regarder le compte tourner. Ou vous pouvez dire : « Voici ce que nous pensons pouvoir faire pour vous », risquez de perdre l'affaire, mais sachez que s'ils se convertissent, ils obtiendront ce pour quoi ils se sont convertis. Je pense que c'est un monde dangereux dans lequel se trouver – prendre la grande route plutôt que la basse ; prendre les clients qui vont obtenir exactement ce qu'ils pensaient obtenir par rapport à avoir beaucoup de clients en colère au mois 11 parce qu'ils n'ont pas atteint ce qu'ils espéraient. C'est un défi.

Fergal Reid : C'est un défi, et il y a tellement de facettes à ce défi. Nous devons également gérer les attentes. L'apprentissage automatique s'améliore, mais il n'est pas encore parfait. Nous avons parfois des clients qui achètent notre Resolution Bot, et c'est bon, le meilleur de sa catégorie, mais il fait toujours des erreurs. Chaque produit logiciel fait encore des erreurs. Vous devez donc gérer les attentes de tous les côtés pour avoir cette relation positive.

Des Traynor : Que pensez-vous du ressourcement de l'apprentissage automatique ? Chez Intercom, nous avons une équipe dirigée par vous-même qui est séparée de toutes les équipes, puis des partenaires pour fournir des fonctionnalités d'apprentissage automatique. Vous pensez que ça va rester comme ça ? Pensez-vous que les équipes devraient avoir des ingénieurs ML intégrés ? Chaque équipe d'Intercom a son propre concepteur - nous n'avons pas d'équipe de conception flottant à la recherche d'éléments de conception à ajouter. Cela a-t-il un sens tel qu'il est ? Pour nos auditeurs là-bas, comment tremperaient-ils leur orteil? Commenceraient-ils avec un type de pod dédié au ML, ou auraient-ils une personne ? Comment les startups devraient-elles commencer à intégrer le ML ?

Fergal Reid : J'ai la ferme conviction qu'une équipe d'apprentissage automatique centralisée est préférable pour les organisations de notre taille ou plus petites à ce stade du développement technologique. Nous avons affaire ici à une technologie immature. La technologie est difficile à utiliser et il est facile de se tromper. Il existe un ensemble de compétences qui chevauchent les compétences en génie logiciel, en science des données ou en analyse, mais elles ne sont pas identiques. Je pense qu'il est très logique d'avoir une équipe centralisée qui peut travailler et perfectionner cet ensemble de compétences et apprendre les pièges, car les produits d'apprentissage automatique ont des pièges uniques. Ils sont probabilistes. Comme nous l'avons mentionné, ils se trompent parfois. Et donc, lorsque vous concevez ou construisez un produit d'apprentissage automatique, vous devez vraiment transpirer. Le taux de précision est-il suffisant pour offrir une bonne expérience client ? C'est dur.

"Je pense qu'un modèle centralisé qui aide ensuite projet par projet est le bon modèle pour le moment"

Lorsque vous parlez à un designer, une chose que nous voyons souvent, c'est qu'il est difficile pour lui au début de comprendre l'idée que vous ne pouvez pas simplement penser au chemin d'or où tout va bien. Il faut considérer tous les chemins où les choses tournent mal et où les erreurs peuvent s'accumuler. C'est difficile.

Nous sommes à cette étrange intersection du génie logiciel, et nous devons être en mesure de déployer ces produits avec la science des données ou la recherche. Nous devons diriger une équipe produit. Nous devons être légers et efficaces, mais nous devons aussi fonctionner un peu comme une équipe de recherche où nous créons un espace pour l'innovation. Vous avez passé deux semaines à travailler sur quelque chose et ça n'a abouti à rien ? C'est très bien. Nous devons être prêts à investir là-dedans. Donc, je pense qu'un modèle centralisé qui aide ensuite projet par projet est le bon modèle pour le moment.

Le garder réel

Des Traynor : Comment gérez-vous le fait que quelqu'un comme Fergal dise : « Hé, Paul, nous allons essayer un produit qui pourrait transformer la nature de notre produit d'assistance à la clientèle, mais cela pourrait ne pas fonctionner, et vous pourriez ne rien voir sur le premier côté de tout cela. En même temps, quelqu'un comme moi dit : "Hé, nous devons suivre les feuilles de route, et nous devons dire à l'entreprise ce que nous construisons et dire à l'équipe de vente ce qu'il faut vendre." Comment résoudre cette complexité ?

Paul Adams : En tant que personne qui a travaillé pendant des années sur des produits qui n'ont jamais été expédiés, j'ai des cicatrices profondes et profondes à chaque fois que je renifle quelque chose qui ne va pas être expédié dès que possible, aussi petit que possible.

Des Traynor : Ce serait votre ancien employeur, pour être clair, non ?

Paul Adams : Oui. Dans mon ancien emploi, oui. Mais depuis le premier jour chez Intercom, Des et moi avons toujours été obsédés par l'expédition et commencer petit. Nous sommes obsédés par la portée et la sortie de quelque chose le plus rapidement possible, la plus petite solution la plus rapide au problème que nous avons identifié. J'ai donc un désir qui est toujours le cas.

"Je viens du milieu universitaire, et quiconque a eu du temps dans le milieu universitaire a probablement vu tant de projets qui promettaient la lune sur un bâton et ne font jamais rien"

Maintenant, évidemment, c'est différent. Une question à laquelle j'aimerais que Fergal réponde, cependant - une petite remarque, mais je pense que c'est important - lorsque vous répondiez à la question de Des plus tôt sur la façon dont vous ressourcez une équipe d'apprentissage automatique, vous parliez des ingénieurs ML . Pendant presque toute l'histoire de notre équipe ML ici, ce sont des ingénieurs ML. Mais nous avons récemment embauché un concepteur ML. Pouvez-vous également nous en parler brièvement ? Parce que je pense que c'est une partie importante de la réponse ici. Que fait le concepteur ML et quelle est la différence ?

Fergal Reid : C'est donc une question difficile. C'est le début de sa troisième semaine, donc je ne veux pas parler sur le podcast de ce qu'elle va faire avant de lui parler…

Des Traynor : À un niveau supérieur. Que pensez-vous de la conception d'apprentissage automatique par rapport à la conception régulière ?

Fergal Reid: Permettez-moi d'inverser l'ordre, et j'y reviendrai. Je déteste travailler sur des choses qui ne sont pas livrées. J'ai un doctorat, je viens du milieu universitaire, et quiconque a eu du temps dans le milieu universitaire a probablement vu tant de projets qui promettaient la lune sur un bâton et ne font jamais rien. Et une partie est un gaspillage nécessaire, n'est-ce pas ? Vous devez essayer beaucoup de choses parce que c'est tellement risqué. Mais une partie de cela n'allait jamais fonctionner. Et donc, séparer ces deux choses est absolument essentiel ici. Je veux que l'équipe d'apprentissage automatique soit aussi exploratoire et risquée que possible et pas plus exploratoire et pas plus risquée que nécessaire.

Nous essayons de marcher sur deux mondes ici. Nous essayons de garder ces principes Intercom extrêmement fermes : si vous échouez, échouez rapidement ; commencer par le problème ; commencer petit, avancer par petites étapes. Nous nous efforçons de suivre ces principes. Mais nous faisons la recherche et les choses risquées quand nous en avons besoin si nous sommes assez convaincus que quelqu'un voudrait cela. Nous voulons être très, très clairs sur le risque que nous essayons d'éliminer à chaque phase du développement. Alors oui, c'est comme ça qu'on fonctionne. Je dirais que nous sommes plus axés sur la recherche que l'équipe Intercom moyenne, mais probablement plus attentifs à avancer par petites étapes et à déterminer exactement le risque que nous essayons de réduire que la grande majorité des équipes ML dans le monde. Certainement beaucoup plus qu'une équipe de laboratoire de recherche aurait tendance à l'être.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. D'accord. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. D'accord. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.