Intercom sur le produit : comment ChatGPT a tout changé

Publié: 2022-12-10

Peut-être que vous aimez vraiment les réseaux de neurones profonds et le traitement du langage naturel, peut-être que vous n'êtes qu'un passionné de technologie - il y a de fortes chances que vous ayez déjà découvert ChatGPT, le tout nouveau chatbot d'OpenAI. Le battage médiatique monte, mais la question demeure : est-ce vraiment un changement de jeu, ou est-il trop tôt pour le dire ?


Dans un épisode récent, notre directeur de l'apprentissage automatique, Fergal Reid, a fait la lumière sur les dernières percées de la technologie des réseaux neuronaux. Nous avons discuté de DALL-E, GPT-3, et si le battage médiatique autour de l'IA n'est que cela ou s'il y avait quelque chose à cela. Il nous a dit que les choses commençaient à prendre de l'ampleur. Et juste comme ça, on recommence.

ChatGPT, le prototype de chatbot d'intelligence artificielle d'OpenAI, a été lancé la semaine dernière et il a fait le tour des couloirs d'Internet, inspirant des réactions émerveillées des techno-positivistes purs et durs aux tech-sceptiques perpétuels. Le bot est alimenté par GPT-3.5, une IA génératrice de texte, et selon OpenAI, il peut générer du texte dans un format de dialogue, ce qui « permet de répondre à des questions de suivi, d'admettre ses erreurs, de contester des prémisses incorrectes et rejeter les demandes inappropriées.

Bien qu'il soit encore tôt pour le voir appliqué à des utilisations réelles, il est sans aucun doute très prometteur. En fait, pour Fergal Reid, le changement de capacité que nous avons constaté au cours de la dernière année suggère que cet espace pourrait être "aussi grand qu'Internet". Et c'est pourquoi nous avons décidé de vous proposer un épisode spécial sur ces derniers développements dans le monde de l'IA, ce qu'ils signifient et s'il est temps de l'appliquer dans des scénarios réels tels que le support client.

Voici quelques-uns de nos plats à emporter préférés de la conversation :

  • En poussant l'échelle et en entraînant ces modèles avec de plus en plus de données, ces robots ont commencé à présenter des changements qualitatifs comme l'apprentissage de concepts abstraits sans apprentissage supervisé.
  • À l'heure actuelle, ChatGPT fonctionne mieux sur les problèmes où il est facile de valider la réponse ou les contextes créatifs où il n'y a pas de réponse correcte.
  • Bien que nous constations des capacités de raisonnement nettement meilleures de ces modèles, ils ont toujours des problèmes d'hallucinations - s'ils ne savent pas quelque chose, ils l'inventent.
  • Si vous invitez ces modèles avec l'invite « Réfléchissons étape par étape », les taux de précision augmentent et vous obtenez de meilleures entrées que de simplement le faire donner instantanément la réponse.
  • Nos interfaces technologiques deviennent progressivement plus conversationnelles, et nous commençons à peine à voir la qualité de la compréhension du langage naturel devenir suffisamment bonne pour les débloquer.
  • Il existe de nombreuses applications passionnantes de cette technologie dans le support, telles que l'augmentation des agents, mais il reste du travail à faire avant de pouvoir la déployer.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur iTunes, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.


Les grands débuts de ChatGPT

Des Traynor : Hé, Fergal.

Fergal Reid : Salut, les gars. Comment ça va? Merci de m'avoir de retour.

Des Traynor : Bien. C'est bon de vous revoir. Nous vous avons eu il y a seulement cinq semaines sur le podcast pour parler de ce qui se passait avec l'IA. Et tu es de retour parce que d'autres choses se sont produites.

Fergal Reid : Cela a été cinq semaines chargées.

Des Traynor : Cela a été cinq semaines et sept jours chargés. Il y a sept jours, c'était le mercredi 30 novembre, et j'ai reçu un e-mail avec une invitation à une bêta ouverte pour une chose appelée ChatGPT. Qu'est-il arrivé?

"C'est devenu viral, c'est devenu fou, et tout le monde était vraiment excité"

Fergal Reid : Que s'est-il passé ? Donc, c'est une question intéressante. OpenAI a publié son système d'apprentissage automatique le plus récent, le système d'IA, et ils l'ont publié très publiquement, et c'était ChatGPT. Et c'est assez similaire à leur offre actuelle, GPT-3, GPT-3.5, mais c'était emballé différemment, vous n'aviez pas besoin d'y mettre une carte de crédit, et je pense que tout le monde vient de voir que "Wow, il y a eu un énorme changement de capacité ici récemment. Et c'est devenu viral, c'est devenu fou, et tout le monde s'est vraiment excité. Et à peu près au même moment, ils ont sorti leur modèle GPT-3.5 le plus récent, comme davinci-003, qui fait beaucoup des mêmes choses, et c'est peut-être un peu moins bon pour dire : "Hé, je suis un grand modèle de langage et ne peut pas faire ça pour toi. Mais c'est similaire en termes de capacité.

Des Traynor : Faisons quelques définitions rapides pour ancrer tout le monde. OpenAI est évidemment l'institution qui travaille beaucoup sur l'IA et le ML. Vous avez dit GPT : qu'est-ce que cela signifie ?

Fergal Reid : En fait, je ne m'en souviens pas. Transformateur à usage général ou quelque chose comme ça [Generative Pre-Trained Transformer].

Des Traynor : Mais est-ce que ce nom veut dire quelque chose ?

Fergal Reid : Oui, je pense que l'élément clé est le transformateur. Pendant longtemps, les gens ont essayé de comprendre : « Hé, quelle est la meilleure façon de former des réseaux de neurones qui traitent des tâches de traitement de texte et de langage naturel ? » Et ça faisait longtemps, il y avait ces LSTM [mémoire longue à court terme] qui combinaient en quelque sorte la structure à court terme de votre texte avec la structure à long terme de votre phrase, et des modèles de séquence, et tout le monde travaillait sur ces .

"Au fur et à mesure que vous poussez de plus en plus de données de formation, elles semblent présenter des changements qualitatifs en termes de ce qu'elles peuvent faire. Donc, c'est comme, 'Hé, ça semble en quelque sorte le comprendre' »

Et puis, Google a publié un article assez révolutionnaire, "Attention Is All You Need", avec une assez grande thèse : "Hé, au lieu de ces modèles de séquence traditionnels, voici une nouvelle façon de le faire, un nouveau modèle", qu'ils appellent le modèle de transformateur ou l'architecture du transformateur. Lorsque vous regardez un mot spécifique, le modèle apprendra d'autres parties de la phrase que vous devriez également regarder en conjonction avec ce mot. Vous pouvez apprendre des choses un peu plus efficacement qu'avec des modèles de séquence, et vous pouvez l'entraîner plus rapidement, plus efficacement et le mettre à l'échelle davantage.

Ainsi, tout le monde a commencé à utiliser des transformateurs pour toutes sortes de données de séquence. Et puis, une chose à laquelle OpenAI a vraiment contribué était cette idée que vous pouvez prendre ces architectures de transformateurs et vraiment augmenter l'échelle. Vous pouvez ajouter beaucoup plus de données d'entraînement et beaucoup plus de calculs. Et peut-être très surprenant, et je pense vraiment que c'est l'élément clé, à mesure que vous poussez de plus en plus de données de formation, ils semblent présenter des changements qualitatifs en termes de ce qu'ils peuvent faire. Donc, c'est comme, "Hé, ça semble en quelque sorte le comprendre." Ou je peux dire "rends ça plus heureux" ou "rends ça plus triste", ce qui est un concept très abstrait. Où a-t-il appris ça ? Nous ne lui avons pas donné cet apprentissage supervisé où vous codez une définition de la tristesse ou du bonheur. Il vient juste de commencer à apprendre ces concepts abstraits et ces abstractions à partir de masses de données d'apprentissage.

Fondamentalement, OpenAI et quelques autres viennent de pousser de plus en plus cet élément de mise à l'échelle. Il y a aussi d'autres choses. Avec GPT-3.5, ils l'entraînent un peu différemment pour essayer de l'aligner davantage. Mais fondamentalement, le gros problème ici, c'est beaucoup d'échelle, beaucoup de données d'entraînement et, en fait, une sorte de modèles simples. Vous pouvez faire des choses remarquables qu'il y a 20 ans, les gens auraient dit : « Eh bien, un ordinateur ne fera jamais ça ; il ne pourra jamais m'écrire une chanson », et maintenant c'est comme, « Quel genre de chanson aimerais-tu ? "Rends le son plus joyeux." Donc, oui, c'est une période remarquable parce que beaucoup de choses que nous pensions n'être que du domaine de l'intelligence humaine ont juste besoin de tonnes de données d'entraînement et d'un grand modèle.

ChatGPT peut-il être créatif ?

Des : Et puis, ce qui s'est passé depuis mercredi dernier, c'est que Twitter – puis sept jours plus tard, l'Internet en général ou les médias – s'en est rendu compte. J'ai vu toutes sortes d'utilisations franchement exceptionnelles en termes de je ne pouvais tout simplement pas imaginer que cela soit possible. J'ai vu "écris-moi des instructions pour copier un DVD dans le style d'une chanson de Taylor Swift où elle est en colère parce qu'elle a rompu avec son petit ami" ou quelque chose comme ça. Mais en fait, il y a un coup. Et puis, j'en ai vu d'autres comme "comment installez-vous Intercom sur iOS" et cela devient également relativement correct. Et tout le reste. Et la chose folle que j'ai vue, c'est que pour n'importe laquelle de ces choses, vous pouvez revenir en arrière et dire : "Maintenant, donnez-moi cela dans le style d'un gangster des années 1940 et dites-le en allemand" et "Maintenant, traduisez l'allemand en espagnol , mais aussi ajouter plus de colère », ou autre chose. Et il fait toutes ces choses immédiatement, dans un délai d'à peu près zéro seconde, et dans tous les cas, vous pouvez voir à quoi ça sert.

Un exemple personnel que j'utilise est lorsque vous essayez de raconter une histoire à votre enfant avant le coucher, vous pouvez manquer d'angles. Il y a tellement de façons différentes que, par exemple, trois dragons pourraient entrer dans une forêt et se perdre. Cependant, GPT-3 est en fait idéal pour me donner 10 histoires supplémentaires. Ce que j'ai remarqué, c'est que, pendant très longtemps, avec l'histoire de l'IA, même il y a des années, les gens disaient : "C'est génial pour des choses spécifiques, mais il n'y a aucun moyen de s'attaquer à la créativité." Est-il juste de dire que nous avons l'impression d'être dans le monde inverse ici ?

Fergal : Ouais. Je veux dire, quand les gens parlent d'IA, c'est toujours, "eh bien, la première chose qu'elle va faire, ce sont ces tâches manuelles par cœur." Et puis les humains auront tout ce temps pour aller faire ces choses hautement créatives-

Des: Allez dans une forêt et-

Fergal : Faire de l'art tout le temps, de la belle poésie. Et puis, c'est comme, "Oh, wow. Ces tâches manuelles nécessitent une vision et un traitement très poussés à résoudre. Mais la créativité, où il n'y a pas de mauvaise réponse, et il n'y a pas de pénalité pour se tromper… Oui, le poème n'est pas tout à fait parfait, mais ça va, et l'image DALL·E 2 rendue peut ne pas être exactement ce que vous aviez en tête, mais c'est toujours une belle image et vous pouvez en choisir 1 sur 10, ça marche.

«Cette chose semble être très bonne pour ce genre de pièce intuitive, et elle est très bonne pour tromper notre pièce intuitive. Donc quand on le regarde d'un coup d'œil, ça a l'air correct »

Des : Et vous pouvez également voir à quoi cela sert. Je pense qu'une chose que les gens ne réalisent pas, c'est que cela vous rend ce qui était probablement dans votre tête parce que vous allez le voir de toute façon. Quand je dis "Donnez-moi des instructions pour ouvrir un compte bancaire dans le style d'une chanson de Rage Against the Machine", je vois "Ouais, nous allons nous battre pour ouvrir le compte, et nous allons faire rage tous nuit." Et je peux voir ce que ça fait. Je n'applique même pas une échelle de précision là-bas, je me dis juste "Ah, vous avez essayé" et vous lui en attribuez le mérite.

Fergal : Ouais, je pense que c'est probablement vrai. Dans quelle mesure sommes-nous bons pour juger des quasi-accidents en termes d'informations non factuelles ? Peut-être que nous ne sommes pas si doués que ça. Peut-être que nous ne nous en soucions pas profondément. Et je veux dire, nous allons devoir aborder cette question de l'actualité, mais même lorsque vous lui posez une question factuelle… Disons que vous lui posez une question de support client. J'ai récemment posé une question à propos de l'authentification à deux facteurs : "Comment réinitialisez-vous votre authentification à deux facteurs Intercom ?" Et la réponse que j'ai eue était du genre "Wow, c'est une excellente réponse." Et je le regarde et "attends, ce n'est pas comme ça que tu réinitialises ton 2FA." Et c'est une belle URL, elle contient la référence à notre article du centre d'aide, et cela a également été inventé.

"Je pense que la plupart des gens, y compris nous-mêmes, qui se font époustoufler, se font époustoufler par l'idée de plausible à première vue"

Les gens parlent d'humains et de cerveaux humains, et nous avons cette partie intuitive qui est vraiment bonne pour reconnaître les modèles, et puis nous avons la partie logique, analytique, de raisonnement qui est plus lente et plus précise. Cette chose semble être très bonne pour ce genre de pièce intuitive, et elle est très bonne pour tromper notre pièce intuitive. Donc, quand vous le regardez d'un coup d'œil, cela semble correct, et jusqu'à ce que vous appliquiez vraiment votre raisonnement systémique plus lent, il peut être difficile de le voir. Et je pense que cette pièce intuitive, cette spéculation, est probablement ce sur quoi nous nous appuyons le plus pour juger les efforts créatifs, l'art, les images et les sonnets. Du moins au départ. Et donc, c'est très bon pour générer des choses qui sont plausibles à première vue, mais peut-être que, quand vous prenez le temps d'y réfléchir, vous-

Des : Voir les problèmes. Et être plausible à première vue est vraiment important parce que je pense que la plupart des gens, nous y compris, qui sont époustouflés, sont époustouflés par l'idée de plausible à première vue. Vous lui accordez beaucoup de crédit pour cela malgré le fait qu'il n'a peut-être pas beaucoup d'applicabilité dans le monde réel. Vous n'allez jamais accrocher ce tableau dans un musée, et vous n'allez jamais vraiment lire ce sonnet, et vous n'allez jamais gagner de prix pour ce roman.

Je vois beaucoup de gens comme les spécialistes du marketing de contenu dire des choses comme : "Cela va changer mon travail pour toujours." Et je me dis : « Oui, mais peut-être pas comme tu le penses. Si vous pensez que votre travail consistera simplement à taper des invites et à appuyer sur l'onglet, il est possible que votre travail n'existe pas. De même, je vois des managers sur Twitter dire : "Oh, cela rendra la saison des évaluations de performance tellement plus facile." Dans tous ces cas, je suis comme-

Fergal : Il y a quelque chose qui ne va pas.

"Il est possible que la très grande contribution de cette technologie à l'humanité soit une conversation honnête sur la quantité de travail que nous pouvons éliminer"

Des : Exactement. Vous dites tous à voix haute ici, si votre travail implique en fait que vous écriviez de faux BS qui pourraient être-

Fergal : Pourquoi le faites-vous en premier lieu ?

Des: Qu'est-ce que tu fais ? Exactement. Je comprends que dans le cas du marketing de contenu, par exemple, il peut y avoir des raisons pour lesquelles vous n'avez qu'à classer certains mots, mais ne confondez pas cela avec l'art d'écrire.

Fergal : Je veux dire, il est possible que ce soit une bonne chose. Il est possible que des emplois à la con, des choses dont la personne a l'impression qu'elles n'ont aucune valeur, comme ces évaluations de performances, puissent simplement les confier à GPT. Et puis, au bout d'un moment, tout le monde se rend compte que c'est ce qui se passe, et la personne de l'autre côté dit: "Eh bien, je vais le remettre au GPT pour l'analyser." Et peut-être qu'alors nous pourrons avoir une conversation honnête sur ce qu'est le noyau qui a vraiment de la valeur et comment éliminer le travail.

Des : Pourquoi faisons-nous toutes ces conneries performatives ?

Fergal : Oui, il est possible que la très grande contribution de cette technologie à l'humanité soit une conversation honnête sur la quantité de travail que nous pouvons éliminer. Et ça pourrait être génial. Cela pourrait être massivement transformant.

Le problème des hallucinations des chatbots

Des: En parlant d'applications réelles, quelque chose qui me vient à l'esprit, du moins mon expérience directe, et même ce que vous avez dit à propos du cas d'utilisation 2FA, c'est que vous ne pouvez pas le déployer directement aujourd'hui dans de nombreux domaines où il y a un définitif bonne réponse, surtout si le risque de donner la mauvaise réponse est assez élevé. Donc, vous ne voulez pas que cette chose consomme des dossiers médicaux et crache des diagnostics parce que je peux vous garantir que le diagnostic sera vraiment bien écrit, vraiment crédible pour un profane, et aurait peut-être une faible probabilité d'exactitude. Nous ne connaissons pas la probabilité de précision, mais elle variera en fonction des entrées.

Fergal : Cela m'effrayerait certainement beaucoup si quelqu'un venait me voir et me disait : « Hé, Fergal, nous voulons que votre équipe commence à l'utiliser pour le diagnostic médical. Ce serait génial." Ce serait extrêmement effrayant.

"Une chose est que cette technologie a absolument des problèmes avec ce que beaucoup de gens appellent des hallucinations, où si elle ne sait pas quelque chose, elle l'invente"

Des: Mais il existe d'autres cas d'utilisation peut-être moins graves, mais tout aussi inexacts, où vous pourriez l'utiliser pour diagnostiquer une conclusion dans une affaire judiciaire. Encore une fois, je suis sûr que cela sonnerait bien, et cela l'envelopperait dans tout le bon langage passe-partout, mais en fin de compte, il ne saurait toujours pas vraiment ce qu'il dit. Je lui ai demandé de me donner des idées sur la façon de créer un client de messagerie moderne pour être compétitif et gagner dans l'espace de productivité. Et ça se lit vraiment bien, mais ce n'est que lorsque vous le grattez que vous réalisez qu'il n'y a en fait rien là-bas. C'est juste un mot qui sonne bien après un mot qui sonne bien sans opinions particulièrement pointues. Cela, pour moi, me fait me demander comment nous pourrions rendre cela plus applicable.

Fergal: Avant d'aborder cela, il y a deux choses que je pense utiles à démêler ici. Une chose est que cette technologie a absolument des problèmes avec ce que beaucoup de gens appellent des hallucinations, où si elle ne sait pas quelque chose, elle l'invente. C'est pernicieux, et il y a beaucoup de domaines où une probabilité d'hallucination de 1% est un facteur décisif. Et nous aimerions tous que cette probabilité soit nulle. Mais en même temps, la précision a augmenté par rapport à ce qu'était l'état de l'art il y a un an, par rapport à ce qu'elle était il y a trois ans. C'est absolument mieux de vous donner la bonne réponse la plupart du temps aussi. C'est nettement mieux pour "comprendre". J'ai du mal à dire "Oh, c'est juste de la reconnaissance de formes, il ne comprend rien", ou du moins, j'ai du mal à dire ça sans "Qu'est-ce que tu veux dire par comprendre ?"

Nous sommes définitivement sur une trajectoire où, même s'il va encore inventer des choses, et c'est un gros problème, il s'améliore de mieux en mieux pour vous donner la bonne réponse quand il a la bonne réponse. Et alors, à quoi ressemble cette courbe ? Il est difficile de déballer pour le moment, mais nous obtenons des modèles considérablement meilleurs qui sont bien meilleurs pour faire la bonne chose tout en faisant parfois la mauvaise chose catastrophiquement. Nous devrions prêter attention à ces deux choses. Oui, c'est très difficile à déployer dans de nombreux environnements de production pour le moment, du moins sans un peu de clouding ou d'affordances, mais ça s'améliore aussi beaucoup. Si vous lui demandez quelque chose qui est vraiment bien couvert sur Wikipédia, ça s'améliore.

Un exemple ultime de ceci est la programmation informatique. Vous pouvez lui demander un défi de programmation qu'il n'a pas vu, et si vous lui demandez de générer un module ou un système entier, il se débat, vous avez en quelque sorte un point de rupture. Mais si vous lui demandez d'écrire une fonction, même une nouvelle, inventée, hors échantillon, cela pourrait vous donner la mauvaise réponse, mais les chances qu'elle vous donne quelque chose d'utile ont augmenté.

Des : Vous disiez tout à l'heure, cela passe essentiellement la première étape de notre entretien de programmation, une sorte de question basée sur un tableau. Ça cloue juste.

"Tout le monde commence à dire que la grammaire du chien n'est pas très bonne, et c'est très important, mais ne perdez pas de vue le fait que le chien parle"

Fergal : Ouais. Exactement. Nous avons un défi de programmation de résolution de problèmes pour les ingénieurs qui viennent chez Intercom. J'ai dû les asseoir moi-même il y a quelques années, et nous nous efforçons de faire en sorte que cela ne soit pas disponible sur Internet. Et si c'est le cas, nous essayons de l'itérer et de le changer. Et nous ne sommes pas au courant, donc je ne peux pas garantir que ce n'est pas là-bas. Mais cette chose a généré une solution qui a tout simplement réussi, et c'est un genre de problème « ingénieur senior au tableau blanc pendant une demi-heure ». Et ça l'obtient d'un coup, d'un coup.

Dés : Zéro seconde.

Fergal : Zéro seconde. Et c'est très impressionnant. Et comme la moitié du reste du monde, j'ai aussi joué avec ChatGPT ou GPT-3.5, et je lui ai donné beaucoup d'autres questions de concours de programmation ou de programmation, dont je suis sûr qu'elles sont hors échantillon , et il fait un très bon travail. Et c'est un changement qualitatif dans la précision. Vous devez vérifier votre code et vous assurer qu'il n'est pas faux, mais c'est très intéressant et excitant.

Très excitant aussi est l'idée qu'il a au moins des capacités d'introspection rudimentaires. S'il écrit un bogue, vous pouvez dire : « Hé, il y a un bogue. Peux-tu le réparer?" Et parfois, il vous en donne une belle explication. Et tous ces modèles sont entraînés à faire des prédictions symboliques ; prédire les prochains mots. Au moins traditionnellement, parce que je suppose que cela a un peu changé au cours de la dernière année, mais le gros de la formation consiste simplement à prédire le prochain jeton, à prédire le mot suivant. Et il se passe quelque chose d'incroyable ici - en faisant simplement cela à grande échelle, vous arrivez à un certain niveau de compréhension.

Je ne veux pas que cela se perde dans la discussion plus large sur les hallucinations, qui sont réelles, et les gens n'y ont peut-être pas prêté suffisamment attention la semaine dernière. Mais il y a cette métaphore, et je ne me souviens pas qui l'a inventée, d'un chien qui parle, et quelqu'un vous dit qu'il veut que vous alliez rencontrer son nouveau chien qui parle, et vous vous dites : « Les chiens ne peuvent pas parler. ” Mais vous arrivez au chien et le chien a une conversation avec vous. Tout le monde commence à dire que la grammaire du chien n'est pas très bonne, et c'est très important, mais ne perdez pas de vue le fait que le chien parle. Le truc des hallucinations pour moi, c'est ça. Cela ressemble à un grand changement - peut-être pas celui que nous pouvons mettre en production, mais qui sait où il en sera dans un an, deux ans ou trois ans.

"C'est comme la voiture autonome, n'est-ce pas ? Il faut être prêt à prendre le relais à tout moment »

Des : Ouais, le truc de l'hallucination, pour moi, ne le rend pas du tout inutile. Et soyons pessimistes et disons qu'avec une description d'un patient en cinq paragraphes, cela peut vous donner immédiatement un diagnostic précis à 70 %. Et dans la plupart de ces questions de diagnostic, il y a un test rapide qui peut vérifier si c'est vrai ou non, comme dans "On dirait que vous avez X, voici le test rapide pour X", et il s'avère que c'était vrai ou faux - c'est encore un énorme changement de productivité. Si nous supposons que la chose est toujours défectueuse mais essayons de profiter de la précision de 70%, il y a peut-être encore des choses qu'elle peut faire qui seront extrêmement précieuses.

Fergal : J'ai deux réflexions à ce sujet. La première pensée est que quelqu'un aurait besoin d'étudier cela parce qu'il est possible que cette chose soit nette négative, que le nouveau système avec l'humain dans la boucle, le médecin et l'IA, ait une probabilité plus élevée d'erreur catastrophique parce que le fatigué, le surmené le médecin ne fait parfois pas preuve de diligence, mais il y a un système attrayant mais incorrect devant eux. C'est comme la voiture autonome, non ? Vous devez être prêt à prendre le relais à tout moment. Il peut y avoir des domaines dans ce régime où le système dans son ensemble avec l'humain est en fait pire que juste le-

Des : Les gens peuvent en fait faire trop confiance.

Fergal : Les gens peuvent faire trop confiance. Comment s'appellent-ils? Normalisation de la déviance. Les gens étudient cela dans le contexte des catastrophes de réacteurs nucléaires et d'autres choses. Qu'est ce qui ne s'est pas bien passé? "Oh, nous nous sommes habitués à ce raccourci, et le raccourci n'était pas toujours valide", et cetera. C'est une chose que je dirais. Mais alors, le contrepoint, quand on pense à des choses médicales, c'est qu'une partie du monde n'a pas accès à un médecin. Je ne sais donc pas où tracer cette limite. C'est une frontière difficile à tracer. Finalement, sur la trajectoire, ce truc ira probablement de mieux en mieux, et assez bien pour que, finalement, dans son ensemble, le système surpasse tout ce que les gens ont actuellement.

Former les chatbots étape par étape

Des : Vous disiez que lorsqu'il génère du code, vous pouvez dire : "Hé, c'est du boogie." Un autre exemple que j'ai vu qui était populaire sur Twitter pendant un certain temps était "Parlez-moi de votre réflexion ligne par ligne", ou autre. C'est presque comme si vous lui disiez comment penser les choses, ou si vous lui donniez de nouvelles informations sans le forcer à reconsidérer son opinion. Ce qui se passe là-bas?

Fergal: Je pense qu'il se passe quelque chose de fascinant là-bas, et nous devons parler ici à la pointe de la technologie. C'est de la spéculation et je suis un spectateur – je ne fais pas ce travail. Je pense que Google a publié un article assez récemment sur la façon dont les grands modèles de langage peuvent s'auto-améliorer, donc je pense qu'il y a là quelque chose de fascinant qui mérite d'être déballé.

La première chose est qu'il y a peut-être environ un an, les gens ont découvert que même si ces modèles se trompaient souvent, vous pouviez les inciter avec le classique "pensons étape par étape". Vous auriez un modèle et pourriez lui poser une question mathématique simple comme « Alice et Bob ont trois barres de chocolat et ils en donnent trois à Eve », ou quelque chose comme ça. « Combien leur reste-t-il ? » Ces choses ont du mal avec les mathématiques de base, donc cela se tromperait souvent. Mais vous pouviez dire quelque chose comme « Réfléchissons étape par étape », et cela l'obligeait à produire son raisonnement étape par étape en cours de route. Et les taux de précision ont augmenté lorsque vous avez fait cela, ce qui est logique. Il est formé pour compléter le texte. Et ainsi, étape par étape, chaque étape est conçue…

Des : C'est presque comme si vous ne multipliiez pas la probabilité d'échec. Parce qu'alors, si vous exécutez chaque étape avec une probabilité qu'elle soit correcte à 90 %, et à cinq étapes, tout d'un coup, la probabilité n'est correcte qu'à 50 %.

Fergal : Peut-être. Je veux dire, il est difficile de spéculer sur ce qui se passe exactement en interne, mais peut-être quelque chose comme ça. Mais il y avait un article très intéressant récemment où c'était comme, "Hé, nous savons que nous pouvons améliorer la précision en disant, 'pensons étape par étape.'" Et nous pouvons utiliser cela pour obtenir de meilleurs résultats que simplement l'avoir intuitivement, donner instantanément la réponse. Vous pouvez l'utiliser pour créer un nouvel ensemble de données d'apprentissage et recycler le modèle pour améliorer sa précision. Pour moi, c'est fascinant parce que ces choses peuvent s'auto-améliorer, au moins dans une certaine mesure.

« Il y a un monde très intéressant ici où les modèles de langage et la PNL commencent à ressembler un peu plus au monde d'AlphaGo. Je pense que c'est une période très excitante et il est très difficile de dire quelles sont les limites ici.

J'ai vu une démo récemment lors d'un événement Microsoft où ils ont montré Copilot ou l'un de ces modèles, peut-être davinci, ils n'ont pas précisé, faire quelque chose avec une invite Python où ils lui ont donné un problème de langage naturel, un peu comme notre problème de programmation Intercom , puis a demandé au système de synthétiser le code et de mettre le code dans une invite Python, et quand il s'est trompé, le système a essayé d'exécuter le code et a vu que c'était faux, alors il a fallu une autre tentative et une autre jusqu'à ce qu'il l'obtienne droit. Il y a un monde très intéressant ici où les modèles de langage et la PNL commencent à ressembler un peu plus au monde AlphaGo. Je pense que c'est une période très excitante et il est très difficile de dire quelles sont les limites ici.

Je pense qu'il y a beaucoup de choses auxquelles, pendant longtemps, les gens en linguistique ou quelque chose comme ça auraient dit : « En IA, nous ne pourrons jamais répondre à ces questions sur un grand schéma », ou quelque chose comme ça. Comme "Le tracteur a descendu la route et s'est transformé dans un champ. S'il vous plaît, expliquez ce qui s'est passé dans cette blague. Les ordinateurs étaient mauvais dans ce domaine historiquement. "Le tracteur magique a descendu la route et s'est transformé en champ." Un léger modificateur comme celui-là change le sens. Et cela devient vraiment bon dans certains domaines. Vous pouvez lui poser des questions sémantiques de base ou lui demander de spéculer. Jusqu'à il y a environ deux ou trois ans, chaque fois que je voyais un nouveau système d'apprentissage automatique, il avait toujours l'air magique et incroyable au début, et chaque fois que vous y pénétriez et sous le capot, vous vous disiez : "Oh, c'est juste une régression logistique .” Une fois que j'ai compris ça, c'était beaucoup moins impressionnant. Et j'ai du mal à le faire ici. C'est peut-être parce qu'il est si difficile de comprendre la complexité du modèle. Mais ces choses semblent être des capacités qualitativement différentes de celles que nous avons eues.

Robots IA contre Google

Des: Avant d'aborder le support, sur lequel nous allons plonger en profondeur, j'ai vu des commentaires disant que c'est un moment aussi important pour Internet que Google. J'ai aussi vu, je dirais, la prise d'eau froide, qui est, "ne vous y trompez pas, générer des paroles de chansons aléatoires est au mieux un gadget." Et il y a évidemment un spectre d'appétit selon que l'on soit ou non techno-positiviste ou autre. Quelle est votre opinion sur Google ? Est-ce potentiellement aussi gros que Google ? Est-ce une menace pour Google ? Des réflexions sur la façon dont Google pourrait réagir ?

Fergal : Donc, je serai super spéculatif ici, entrant dans le futurisme total et tout ça. Je suis très optimiste sur l'IA et l'apprentissage automatique. Je pense que le changement de capacité que nous avons vu au cours de la dernière année, et certainement si vous extrapolez un an ou deux, est aussi important qu'Internet. Le potentiel. Et nous allons devoir trouver comment produire ces choses. Une tonne de travail devra être fait sur la façon dont vous les obligez à répondre à partir d'une base de connaissances et ainsi de suite. Mais la somme totale des nouvelles capacités que nous avons et que nous sommes susceptibles d'obtenir semble, pour moi, aussi grande qu'Internet. Je me trompe peut-être, mais c'est là que je voudrais...

Des : C'est l'ordre de grandeur. Donc, plus grand que Google.

"Je pense que c'est un moment Spoutnik - les gens vont regarder ça et dire, Wow, quelque chose arrive ici"

Fergal : Oui, je pense que oui. Pas seulement ChatGPT, qui vient de sortir la semaine dernière. Mais le progrès total donne l'impression que nous voyons des capacités de raisonnement considérablement meilleures, un raisonnement élémentaire et un raisonnement qui peut être faux, mais parfois assez convaincant. Je ne l'aurais pas cru si vous m'aviez parlé de son succès dans les défis de programmation il y a cinq ans. Donc je pense qu'il y a quelque chose de gros ici. Il y a beaucoup de productivité qui peut être débloquée, et il est très difficile de dire où cela va s'arrêter. Et aussi, je pense qu'il y a des boucles de rétroaction ici. Je pense que c'est un moment Spoutnik. Avec ChatGPT, vous pouvez dire : "Hé, la technologie n'est pas tellement meilleure" ou "ça devient exagéré", mais ne sous-estimez pas la capacité d'un faible frottement à pouvoir entrer et jouer avec quelque chose. Tout le monde peut faire ça. Et je pense que c'est un moment Spoutnik - les gens vont regarder ça et dire, "Wow, quelque chose arrive ici."

Des: Référence Spoutnik ici, désolé.

Fergal : C'était, mon Dieu, dans les années cinquante. Les Russes ont placé ce satellite dans l'espace qui tournait autour de la terre et diffusait des signaux radio. Et les gens du monde entier pouvaient soudainement brancher leur radio et obtenir ce signal provenant de Spoutnik. Et c'est le récit qui est généralement raconté en occident. Les gens se sont soudainement réveillés et se sont dit: "Wow, il y a un changement de capacité ici dont nous n'étions pas conscients." Et puis, soi-disant, cela a causé la course à l'espace et l'Apollo et tout ça. J'ai donc l'impression que la réaction est peut-être toujours en cours, mais je vois tellement de gens qui ne prêtaient pas vraiment attention à cela qui sont soudainement excités à ce sujet. Peut-être que le battage médiatique s'apaisera. Nous sommes au milieu de cela, donc c'est difficile à prévoir. Mais si ce n'est pas ça, quelque chose d'autre arrivera bientôt.

ChatGPT peut-il alimenter le support client ?

Des : Qu'en est-il du support client ? Intercom est une plate-forme de support client, et le potentiel que GPTChat, GPT-3.5 ou l'une de ces technologies peut rendre le support meilleur, plus rapide, moins cher, plus efficace ou plus complet est quelque chose que nous sommes toujours partout. Je sais que vous y avez pensé du point de vue de l'assistance. Plus tôt, nous avons parlé de la façon dont il y a des environnements où une réponse incorrecte est très, très mauvaise, et il y a des environnements où c'est en fait tout à fait tolérable. Nous avons 25 000 clients. Certaines sont des banques, qui ne peuvent probablement pas se le permettre. Other people would happily afford one because it means they can support all their customers faster. What do you think about this technology as it applies to support?

“We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team”

Fergal: Yeah. We try and pay a lot of attention to changes in developments in this space. We were looking at GPT-3 pretty early, and our initial thoughts were that the accuracy was not quite there yet. The hallucination problem is a big problem to just nakedly say, “Hey, it has consumed the Intercom help center. Let's ask questions about resetting my two-factor authentication.” It just failed. We've been looking at the GPT-3.5 family and some other models recently. We have resolution bots in production. It's not using language models that are as large – they're maybe medium language models, embeddings, and so on. And it gets very good accuracy at the sort of thing it does. We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team. I think that worked well for a lot of businesses because it might deliver the wrong answer sometimes – we try carefully to control that – but it's always going to deliver you a relevant answer or an answer that's not going to mislead you.

Des: Yeah, and specifically, the way in which it gets it wrong is it might give you a wrong correct answer. The thing it gives you will be something that somebody in your company has said: “This is a correct, cohesive piece of text.” It just might not be the right one for the question.

Fergal: And we encourage our customers to always write the answer in such a way that, “Oh, to reset your account, do the following thing.” So if it is delivered wrongly, at least the end user is not disoriented.

Des: Yes, they don't go and do it for no reason.

Fergal: They can go like, “Oh, this is a stupid bot. It gave me the wrong answer,” as opposed to, “I am misled, and I'm now going to waste a bunch of time…” So initially, with GPT-3, we were like, “Oh, it's really cool but difficult to see the end-to-end usage of this.” It's been a couple of years, and I'm not aware of anyone who has deployed GPT-3 in a total end-to-end way to answer the customer's questions.

Des: End-to-end meaning no agent in the mix. Because the risk there is that there'll be an unknown unknown. If someone goes to your business and asks a question that you didn't see because GPT dealt with it, gave it the wrong answer, and the customer goes off and does the wrong thing, no one actually knows what's happened except for the bot. And the bot doesn't even know it's wrong because it doesn't know if it's spoofing or not. So you end up in a potentially dangerous world.

Fergal: Exactly, and we've quite carefully designed the resolution bot to avoid getting into those situations. We calibrate it, we check that, when it says something helped the customer, it did help the customer, and we have ways of checking that between explicit and implicit customer feedback. But it's conservatively designed.

“The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way”

At some point, these open domain question-answering things or something you could build on the top of GPT-3.5 will get good enough that, for a certain portion of our customers, that equation changes where it's like, “Hey, I'm not answering medically critical things,” and the inaccuracy rate has fallen. It was 90% accurate; now it's 99% accurate; now it's 99.9%. How commonly it gives you the wrong answer will eventually fall below the critical threshold where it's like, “Hey, just being able to take this out of the box is worth it. I don't have to go and curate these answers.” So that will probably come. When will that come, is it here today, or has it come in the last few weeks with davinci-003 and ChatGPT is obviously something we've been assessing.

And it's certainly a work in progress because you always have to go and play with the prompts. When you interface with ChatGPT or GPT-3, we could take an end user's question and ramp it in something that says, “Hey, you're a very conservative customer support agent. If you don't know something or you're not completely sure, you always say, 'I don't know,'” and you reason with it step by step, and you're super conservative, and maybe we can wrap it to get the benefit of the deeper natural language understanding, which these models have, and the deeper ability to synthesize and rewrite text, which can be beautiful. It can be really nice. Maybe we can get those benefits and constrain the hallucinations and the errors enough.

Des: Is that another version of walking through this line by line?

Fergal: Yeah.

Des: Is that whole field what people call prompt engineering?

Fergal: Prompt engineering. We're joking that the machine learning team at Intercom is going to be a prompt engineering team, and we're joking about that as we play with it. But there are people who really sweat the prompts and have gotten really good at prompt engineering. It's a real thing, and it makes it difficult to say, “Oh, this new tech is definitely not good enough,” because what will the best prompts be in six months? That said, we don't think it's here yet. All the prompt engineering we've done on davinci in the last week can get it to be more conservative, but not enough. The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way.

Support agent augmentation

Des: We talked earlier about the doctor augmentation question. Is there a version of it where you can do it from the agent augmentation question?

Fergal: Well, at Intercom, we've been thinking about this area very deeply for an extended period, and in the last few months, we have had internal discussions about the future of the customer support inbox and generative models – models that generate stuff as opposed to just classify things – and we believe that their time is coming for support augmentation, and I think that seeing ChatGPT explode recently and all the excitement about it is evidence of that. It's evidence that these things are getting good. And there are a lot of things you can do in the inbox or in a context like the inbox to constrain and sand off the rougher edges of these things.

An example might be to curate the responses it's allowed to give and use the generative model to predict what should happen, but only actually allow the suggestion to present to the teammate, like a macro or a conversation response, and hopefully provide a beautiful interface to make it easy for them. Alternatively, to have it go and search for a new knowledge base, and there are techniques you can use to try and constrain it to that. And then, maybe show, “This is the answer that our bot wrote from your knowledge base,” and side by side with that, “Here is the original source article,” so that the customer support rep can look at them side by side-

Des: And see if it adds up.

Fergal: Yeah, and see if it adds up.

“They have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost”

Des: So there's an angle where the AI explains its epistemological basis for how it concludes this. And in that world, if you're a support rep, you don't even need to know if it's actually right – you just need to know if the logic stacks up. Obviously, it'd be better if you knew if it was right, as well. But if it says, “Hey, I read how to reset a 2FA article linked here. I suggest that this is how you reset 2FA,” you're probably, “That's the right article to read.”

Fergal: The problem is that when they get it wrong, they're so good at seeming right that they'll-

Des: Invent the idea of the article.

Fergal: Yeah, yeah, totally. And so, you might need to go beyond that. You might need to have the untrusted part of the interface, which is maybe the composer, and it pre-fills something, and there's also a trusted part of the interface beside that, maybe just above it, that shows the original source article, the relevant paragraph. And so, you can look at both.

Obviously, we study customer support flow very carefully and closely, and we absolutely have some support agents where it's like, “Okay, I got the question,” and they have to go and find an article themselves. Some expert ones know it, they're instantly there, and they know exactly where to go. Maybe they've got a macro that does it, but then maybe someone who's newer in the company and they're still being trained in, or maybe it's only part of their job, they have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost. Maybe you can make someone twice as efficient or something.

Des: All that agent behavior will also inform the system. If you put it live and agents are forever going “Wrong, right, wrong, right,” all that feeds back in, and then it gets better. Or, if they're rewriting the answer to be more accurate, I assume we can learn from that. And then, very quickly, the system converges on all the right answers.

“There are a lot of trade-offs. It's very easy to say we want a system that will learn in production. But then it's like okay, who has to maintain that? Who has to debug that?”

Fergal: We could certainly build a system that does all of those things. GPT-3.5 won't nakedly do it. If you decide to build on it as a building block, not even an assessment, is that the right system to build on? Its capability is very good, but it's not the only generative model in town. But whatever we build on, and we're getting really into the roadmap, we would potentially build a learning loop. With most of our tech at the moment where we do that, we absolutely gather feedback. There are some parts of the resolution bot like predictive answers, where it predicts things to end users, where it actually does use what the users say, like, “that helps” as a training signal, and potentially we can end up building that.

There are a lot of trade-offs. It's very easy to say, “We want a system that will learn in production. But then it's like, “Okay, who has to maintain that? Who has to debug that?” Sometimes it's easier to get it to a stable stage and then lock it. So, it depends. We did metrics and analytics whenever we upgrade. We're getting into the details of our models and how we check the accuracy and calibrate them, and stuff.

Des: I know our inbox has this feature where, based on what you've said before, if I jump in the inbox, before I've said anything to try and start a conversation, it'll say, “Hey, I'm Des, co-founder of Intercom, thrilled to be chatting with you.” Whatever my most common thing is, that's automatically pre-written for me.

Fergal: Yep. Smart replies.

Des: Am I right in saying that it's just the mini version in some sense of what we're describing here? Because we were really just going for salutations and maybe ends and maybe handoffs, and the common boilerplate of a support conversation should be there for you. And that, alone, is a productivity boost. But the idea that we could get one degree sharper, and somewhere in the middle of all that boilerplate is, “Here's the meat of the answer,” is where you're talking about going, right?

“We believe its time is coming, and we're trying to figure out the best ways to make people more efficient and to leverage it in a production setting that actually works for people”

Fergal: Yeah, totally. And again, to separate things out – there's just the change in the world, an increased capability, GPT-3.5, and then there's the stuff that we're working on as we grind away on this problem and try to deliver things that will make it better for our customers. I think the capabilities have really improved, but we're still figuring out if we can use this. Is there a shortcut to where we want to go? Maybe we can use these capabilities as building blocks, there are loads of ways to potentially use them as building blocks. But in terms of the direction we were going on already anyway, there are a lot of things agents do such as greetings where it's very obvious. We don't ever want to annoy people. We don't ever want to have an agent read through a bunch of text and then be like, “Oh, that's useless. Why did you do that?” It reduces their trust in the system. It slows them down. We want to help them out.

Donc, pour les réponses intelligentes, nous avons commencé par les salutations. C'était juste une chose évidente à faire. Nous pouvons très facilement savoir quand vous voudrez probablement un message d'accueil - vous entrez dans une nouvelle conversation et personne n'a encore rien dit à l'utilisateur final. C'est très évident. C'était un fruit à portée de main. Les gens ont vraiment aimé l'interface utilisateur. C'est facile, et c'est peu de friction. Maintenant, nous ne pouvons faire qu'une seule suggestion là-bas, et il y a des moments où c'est juste difficile pour le système de le dire. Pour le moment, nous avons ce flux de macros, et les gens utilisent beaucoup les macros. Ils doivent choisir laquelle des macros. Devrions-nous suggérer ces macros aux gens de manière proactive ? Peut-être que nous ne voulons pas pré-remplir le composeur, peut-être voulons-nous simplement montrer quelques suggestions de macros contextuelles. Il y a beaucoup de flux qui sont répétitifs. Nous avons travaillé sur des choses comme la recherche de flux, en essayant de comprendre les étapes courantes que les gens traversent.

Je suppose que le grand message est que nous pensons que ce type de technologie générative doit être façonné et amélioré pour qu'il ne soit pas ennuyeux, pour qu'il ne vous donne pas de mauvaises choses et ne vous induise pas en erreur, et certainement pas pour vous pousser plus de travail ou de stress que vous auriez sans elle. Nous pensons que son heure est venue, et nous essayons de trouver les meilleurs moyens de rendre les gens plus efficaces et d'en tirer parti dans un cadre de production qui fonctionne réellement pour les gens.

AI-ML au-delà du support

Des : Nous parlons de soutien. Selon vous, quelles autres industries verront la valeur de cela dans les premiers jours ? On dirait que le support est un environnement riche en cibles pour ce type de technologie, mais y en a-t-il d'autres ?

Fergal : Évidemment, nous sommes optimistes sur le support. Il y a tellement de choses qui sont écrites. C'est comme "Oh, l'agent reconnaît très tôt qu'il s'agit d'un problème du type suivant", comme réinitialiser mon compte ou quelque chose comme ça. Il y a tellement de structure dans ce domaine. Il existe une combinaison de la structure réelle des problèmes des clients et de la technologie qui est très efficace pour gérer le langage naturel et le remodeler. Nous pouvons voir un bouton sur lequel appuyer pour rendre plus formel ce qu'il y a dans le compositeur, ou un bouton pour le rendre plus apologétique, n'est-ce pas ? Nous pensons que c'est un domaine très, très excitant en ce moment. Je ne veux pas entrer dans tout de manière totalement spéculative. Mais même avant cela, l'équipe d'apprentissage automatique était à fond dans ce domaine. Nous sommes de grands partisans du soutien.

Support extérieur, tout ce qui comporte une structure dans la tâche et un approbateur humain capable de discerner si une réponse est bonne ou mauvaise. Cela va sembler une intuition étrange, mais en informatique ou en cryptographie, nous prêtons attention à certains types de problèmes où il est facile de vérifier qu'une réponse est correcte, mais difficile d'aller chercher cette réponse. Cours de complexité, tout ce genre de choses. Mais oui, les gens sont intéressés par des problèmes comme ça. Je ne peux pas m'empêcher de penser qu'il y a une intuition similaire ici. Vous avez un défi où il est assez facile pour un humain de vérifier si une réponse est correcte ou non, mais il est laborieux pour lui d'aller la chercher et de la trouver. Ou peut-être que l'équipe ne se soucie pas de savoir si la réponse est suffisamment correcte parce qu'il n'y a rien de tel que correct, comme "Écris-moi un poème sur X, Y".

Des : Cette classe de problèmes où soit la validation de la réponse est très bon marché mais sa création est très coûteuse, soit il n'y a pas de réponse valide.

Fergal : Et aussi, la réponse pourrait être différente dans six mois ou un an. Il se pourrait que dans un an, la réponse soit plutôt quelque chose comme « À tout moment où un ordinateur peut vérifier si la réponse est correcte ou non ». Ou il se peut que chaque fois que le domaine est suffisamment simple, le système d'apprentissage automatique vous donnera certainement ou très probablement la bonne réponse. C'est quelque chose qui évolue. Je pense qu'il est difficile de fixer des limites pour le moment.

"Qu'expédions-nous en janvier ?"

D'autres domaines comme la programmation informatique, par exemple. La personne assise devant son terminal doit de toute façon revoir le code, et elle est capable de le faire, et il peut y avoir un bogue subtil quelque part dans votre code. Parfois, il est plus facile d'écrire le code vous-même que d'identifier un bogue subtil. Mais la plupart du temps, si vous regardez le flux de travail d'un programmeur informatique, c'est comme : « Oh, je sais comment faire cela, mais je ne me souviens pas exactement comment utiliser cette bibliothèque. Je vais sur Google pour ça. Je vais aller au débordement de Stack. Et l'idée est que lorsque vous verrez la réponse numéro trois sur Stack Over, vous vous direz : « Oh ouais, c'est vrai. C'est ce que je veux." Il y a tout un flux de travail comme celui-là qui occupe une grande partie du temps du programmeur, et ce copilote arrive et il y a une fin autour de ça. Et puis reformatez le code pour l'adapter. C'est extrêmement puissant.

Nous avons commencé à parler de "Qu'est-ce que Copilot pour le support client ?" Nous avons des prototypes et il y a beaucoup de choses avec lesquelles vous pouvez jouer. Peut-être que vous ne répondez pas à la question complète, vous lui donnez simplement la réponse en deux ou trois mots, elle l'écrit, puis vous la modifiez, et vous vous dites : « Rendez cela plus formel, rendez-le plus long, rendez-le plus court. C'est comme si nous pouvions faire beaucoup de choses là-bas.

Des : Et qu'est-ce qu'on expédie en janvier ?

Fergal : Je vais devoir censurer cette partie de la conversation. Nous expédierons quelque chose.

Des : Ouais, je parie. D'accord. Cela a été formidable. Nous reviendrons, je suppose, dans deux semaines quand tout le monde aura encore changé. Mais sinon, cela pourrait prendre quelques mois. Merci beaucoup.

Fergal : Au moment où cela sera sur le Web, je suis sûr qu'il sera obsolète et qu'il aura l'air stupide. Mais c'est la nature de cette entreprise.

Des : Absolument. C'est pourquoi vous y travaillez.

Fergal : C'est pourquoi nous travaillons. C'est exitant.

Résolution-Bot-Ad