Construindo IA que funciona: como navegar na fronteira da IA ​​como líder de produto

Os líderes de produtos da Intercom discutem como construímos o Fin, nosso novo chatbot de IA, e o que aprendemos sobre como gerenciar ambiguidade, incerteza e risco no mundo dinâmico da inteligência artificial.

A chegada do ChatGPT transformou completamente as percepções dos chatbots – adeus trocas rígidas e pré-programadas; olá conversas dinâmicas e naturais.

Obviamente, aproveitamos a chance de criar um bot com tecnologia GPT que pudesse realmente envolver os clientes, fornecendo respostas e soluções úteis para suas consultas com o mínimo de configuração. O resultado é o Fin, construído sobre o GPT-4 da OpenAI e nossa própria tecnologia proprietária. Estamos incrivelmente entusiasmados com os resultados iniciais que nossos clientes estão obtendo – mais de 400 clientes da Intercom estão sendo configurados com o Fin, que já atendeu a mais de 250.000 respostas, e alguns clientes observaram taxas de resolução até 50% melhores.

Chegar a esse ponto, no entanto, exigiu uma maneira totalmente nova de construir produtos. Não é fácil determinar o produto certo para o mercado em um cenário tecnológico onde as coisas estão mudando todos os dias – é um ato de equilíbrio de avaliar constantemente como progredir com base em informações muito limitadas e incertas.

Mas essa incerteza é exatamente o que torna a construção de um produto de IA tão emocionante, estressante e, em última análise, satisfatória. No episódio de hoje do podcast da Intercom, compartilhamos o que aprendemos até agora, como executamos o Fin beta, nosso senso da dinâmica atual do mercado e nossas previsões para o futuro, na medida em que qualquer um pode prever o futuro agora. .

No episódio de hoje, você ouvirá:

• Des Traynor, cofundador e diretor de estratégia da Intercom
• Rati Zvirawa, gerente sênior de produtos do grupo na Intercom
• Brian Donohue, vice-presidente de produtos da Intercom

Pouco tempo? Aqui estão alguns tópicos importantes:

• Encontrar um equilíbrio entre velocidade, precisão e preço continua sendo um desafio na área. O que as empresas estarão dispostas a pagar? Que tipo de expectativas os usuários finais terão em relação aos chatbots de IA?
• Por ter um objetivo compartilhado, capacitar a tomada de decisões e priorizar a velocidade, conseguimos colocar a Fin no mercado rapidamente, consolidando nossa posição como líderes em IA para suporte.
• Os avanços na IA generativa abriram um mundo totalmente novo de possibilidades de produtos. As startups podem aproveitar essa oportunidade concentrando-se no valor de curto prazo ou escolhendo problemas existentes para construir.
• No cenário de IA em rápida evolução, tornou-se cada vez mais difícil determinar a vantagem competitiva de um produto e qual diferenciação será importante a longo prazo.
• Os clientes buscam marcas confiáveis ​​que navegarão no cenário de IA em constante mudança, para que possam confiar em seus conhecimentos à medida que o mercado descobre onde está o valor.
• A IA detém a capacidade de democratizar o acesso a softwares complexos, permitindo potencialmente que os usuários usem linguagem natural para interagir com ferramentas sofisticadas, em vez de UIs tradicionais.

Se você gosta de nossa discussão, confira mais episódios de nosso podcast. Você pode seguir no Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

Do conceito à realidade

Des Traynor: Bem-vindo ao podcast Intercom. Estou acompanhado por dois de nossos líderes de produto, Rati e Brian. Vamos falar inteiramente sobre IA, nosso novo produto Fin e, em geral, como é ser um líder de produto na era da IA. Rati, vamos começar com você. Onde está Fin? Está no ar há alguns dias.

Rati Zvirawa: Sim, é uma semana emocionante para nós. Temos mais de 400 clientes agora sendo configurados com o Fin. E olhando para os números que temos com os clientes, atendemos mais de 250.000 respostas. Eles são alimentados por IA e estamos muito animados para ver os resultados. Para os clientes iniciantes, observamos uma taxa de resolução instantaneamente 50% melhor, o que é impressionante.

Des: Taxa de resolução significa que o cliente provavelmente conseguiu o que queria?

Rati: Exatamente. Apenas ver as reações dos clientes e resolver essas questões é emocionante para nós.

“O que otimizamos inicialmente foi construir algo que antes não era possível, mas queríamos fazer isso muito rápido e colocar a mão na massa”

Des: Brian, você poderia nos contar como Fin surgiu?

Brian Donohue: Eu posso. Mesmo que tanta coisa tenha acontecido tão rapidamente, a razão pela qual fomos capazes de agir rápido é que estamos trabalhando nisso há anos.

Des: Quando você diz rapidamente, quão rápido?

Brian: Bem, estamos trabalhando no Resolution Bot, a versão antiga do Fin, de certa forma, porque é a mesma proposta de produto principal – responder automaticamente às perguntas de seus clientes. Trabalhamos nisso há anos, assim como em outros produtos de ML. Mas então o ChatGPT abriu os olhos de todos, incluindo nossos especialistas em ML, Fergal e sua equipe, para o que a nova tecnologia era capaz. Então, a partir de 30 de novembro, foi aí que a equipe estava: “Vamos validar. Isso é realmente tão importante quanto pensamos que é? Em uma semana, eles disseram: “Esta é uma mudança radical”. E a partir daí, foi em pleno. O que otimizamos inicialmente foi construir algo que antes não era possível, mas queríamos fazer isso muito rápido e colocar a mão na massa.

E assim, o que otimizamos foram os recursos da caixa de entrada assistida por IA. E um monte de gente construiu coisas semelhantes aqui. Resumindo, tornando mais educado, esse tipo de coisa. Por que? Porque é fácil de fazer, e parte é legal, e parte é realmente muito útil. O grande problema eram, claro, as alucinações. O ChatGPT é incrível, mas inventa coisas, o que é um problema se você estiver criando um produto de atendimento ao cliente, certo? E foram algumas semanas de convicção de construção de equipe. Desde o início de fevereiro, Fergal dizia: “Acho que podemos realmente superar esse problema de alucinação”. E então, colocamos esses recursos da caixa de entrada em pausa e investimos tudo no que se tornou o Fin. O que foi isso em meados de março?

Rati: Sim, meados de março, 14 de março.

Brian: Em 14 de março, anunciamos um protótipo com o qual você poderia brincar. Dissemos que queremos credibilidade. Não somos apenas produtos de agitação manual dos quais você pode ver capturas de tela. Você pode brincar com isso. E a partir daí, passou de uma pequena equipe trabalhando nisso para “Vamos realmente construir este produto que podemos vender”. Isso foi o que o trouxe até esta semana.

Des: O que você acha que fez isso acontecer rápido? Era como dedos em um teclado? Foi a velocidade da tomada de decisão? Foi simplesmente a clareza de dizer que isso é uma prioridade? Se você tivesse que repetir essa velocidade, o que faria?

“O produto é legítimo? É realmente tão bom? Essa foi a primeira fase”

Brian: Houve duas fases disso. Na primeira fase, Fergal foi realmente protetor com a equipe porque esta equipe trabalhou muito bem em conjunto e eles foram muito eficientes tanto em testar a tecnologia quanto em testar a proposta de produto dela. Ele foi muito protetor: “Somos capazes de nos mover rápido porque temos uma equipe compacta”. E ele disse: “Eu sou o ditador aqui. Ninguém tem permissão para dizer nada à minha equipe.” Eu canalizei Rati no Slack e disse: "Fergal provavelmente vai expulsar você amanhã, só para você saber."

Rati: Ele fez.

Brian: Ele fez. Você foi convidado a voltar em breve e, tudo bem, você foi oficialmente bem-vindo ao redil. Provavelmente fui expulso naquele momento ou algo assim. Então, na verdade, foi bastante protetor: “Se vamos nos mover tão rápido, precisamos ser quase uma parede ao redor da equipe”. O produto é legítimo? É realmente tão bom? Essa foi a fase um. Trabalhar lá foi apenas destruir como você trabalhava antes e como seus planos estavam indo. Cada dia era: “O que mudou hoje no mundo da IA ​​em nosso mundo estreito e o que estamos aprendendo?” Todos os dias, você começa com o quanto as coisas mudaram desde que você parou de trabalhar na última noite. E então houve a fase dois, que talvez você possa articular melhor porque você passou de uma equipe pequena para aquele ponto de: “Ok, vamos produzir isso e isso requer muito mais pessoal construindo”.

Des: A pequena equipe estava validando: “Ei, os LLMs podem realmente fazer o que achamos que eles podem fazer”. E então, o estágio dois é: “Dado que este bit está agora determinado, vamos construir um produto em torno dele”.

Brian: Sim, e há uma nuance, mas é importante. Não é: “Os LLMs podem fazer isso?”, mas sim: “Podemos colocar nosso sistema de controle em torno disso? E isso funcionará para resolver a deficiência fundamental, que são as alucinações?” É aqui que há tantos julgamentos de produtos feitos por nossos especialistas técnicos. E é por isso, eu acho, que você realmente precisa de seus engenheiros como engenheiros de produto neste espaço. Porque há tantas decisões críticas que precisam ser tomadas desde o início para descobrir onde há uma oportunidade real versus o estado da tecnologia não ser bom o suficiente devido a essas desvantagens.

Redefinindo a experiência do bot

Des: Quando fomos para o beta e como o beta funciona?

Rati: Sim, uma coisa que quero enfatizar é que o produto estava funcionando em 14 de março. Já estávamos testando internamente e, se as pessoas visitassem nosso site, poderiam brincar com ele. Logo depois, sabíamos que queríamos entrar em beta para validar isso e garantir que não alucinasse. Então, uma semana depois, começamos a integrar os clientes ao beta para validar se ele fazia o que pensávamos que faria e se resolveria as conversas. A integração desses primeiros clientes na versão beta enquanto estávamos desenvolvendo foi fundamental para esse processo.

Des: De que maneiras você diria que os betas são mais essenciais ou diferentes de um recurso SaaS padrão de carne e dois vegetais, como carregamento de fotos ou algo assim?

“E você tem que chegar ao final do beta com confiança de que o produto funciona, mas com vontade de saber que o cenário continuará mudando”

Rati: Em B2B, acho que há muitos recursos ou capacidades que você traz. Claro, você está começando com o problema que está tentando validar. Você pode ter uma hipótese sólida de qual será o resultado quando entrar no beta, mas quando você está construindo e há muitas mudanças acontecendo no mercado, e é novo para os clientes, e eles estão entusiasmados, você tem nenhuma ideia de qual é a percepção deles. Existem diferentes maneiras pelas quais os clientes percebem a qualidade. Você tem que entender, de uma empresa, eles estão dispostos a colocar isso na frente dos usuários finais? Qual é a reação dos usuários finais? E você tem que chegar ao final do beta com confiança de que o produto funciona, mas com vontade de saber que o cenário continuará mudando. Onde você faz a ligação de que encontrou o produto certo para o mercado para começar a vender? Portanto, a natureza desses betas é bem diferente do que normalmente fazemos em produtos B2B SaaS.

Des: Também é interessante ver como os clientes estão aprendendo a avaliar se o recurso funciona ou não em certo sentido. Existem compensações entre quão preciso, quão confiável, quão confiável, quão rápido é e quanto custa. E é muito difícil entender a ponderação dessas variáveis ​​pelos clientes. E então, provavelmente também muda de B2B versus B2C, um pequeno número de clientes que são muito importantes para um grande número de clientes. Aprendemos alguma coisa sobre como as pessoas pensam sobre isso em geral? O que se espera de um chatbot de IA?

Rati: Acho que sim. Uma coisa interessante que aprendemos muito rapidamente é que, no mundo dos bots, tivemos muitos desses bots baseados em palavras-chave. E para os clientes que chegam, acho que a percepção inicial era usar palavras-chave e usar esse bot de IA. Mas muito rapidamente, o que temos prometido na indústria é essa forma de interação com os bots por meio de conversa e vendo aquele momento em que os clientes ficam empolgados ao ver seus usuários finais serem atendidos por algo mais conversacional. Acho que esse foi um aprendizado fundamental que tivemos.

“Perguntávamos a eles: 'Qual é a pergunta mais comum que chega às suas equipes de suporte?' Ver uma resposta chegar com seu próprio conteúdo foi o 'momento aha' imediato para os clientes”

Des: Qual foi o momento aha para os clientes? O que os fez acreditar? Todo mundo tem sido cético por boas razões, como em sim, se a frase contiver a palavra-chave blá, “Oh, respondeu blá”. Parece que cruzamos um penhasco perceptivo com nossos clientes, onde eles dizem: "Oh, merda, isso realmente funciona". O que é que causa essa percepção? É o seu próprio conteúdo?

Rati: Sim, eu diria que é nosso próprio conteúdo. Foi interessante, todas as chamadas beta e as interchamadas com os clientes - entramos, há emoção. Há muitas grandes questões e todos estão tentando falar sobre o futuro da IA ​​nas ligações. E então, apresentaríamos Fin a eles. Eles começariam a fazer perguntas. Perguntávamos a eles: “Qual é a pergunta mais comum que chega às suas equipes de suporte?” Ver essa resposta chegar com seu próprio conteúdo foi o 'momento aha' imediato para os clientes. E isso é realmente o que nos impulsiona. Este é um momento chave para os clientes verem que isso funciona. Você coloca seu conteúdo e a IA pode realmente responder e resolver essas questões para seus clientes.

Des: Brian, sobre o que você fez isso?

Brian: O que é interessante e o que eu acho que é validado por meio de alguns testes de usuário final é esse antes e depois da sensação do estado dos bots, ou talvez sejam bots antigos e novos. Na verdade, ouvimos, no teste de usuário final que nossa equipe fez, que as pessoas diziam: "Oh, espere, este é um bot antigo?" E sejamos honestos. Este é o nosso bot também, certo? E muitos usuários finais dizem: “Não tenho uma boa noção disso. Não estou tão animado para me envolver com isso. Provavelmente há uma boa quantidade de fricção e obstáculos que você está me fazendo pular. Oh espere, este é um bot ChatGPT?” Isso é diferente. Isso é algo que, como usuário final, estou disposto a fazer. Então eu acho que isso realmente vai emergir.

Tudo começou porque o ChatGPT teve um uso tão amplo, então há essa percepção de qualidade do usuário final. Não sei se as pessoas dirão: “Sinto como se estivesse falando com um humano”. Mas sinto que posso ter uma conversa normal em vez de “estou falando com tecnologia, use palavras-chave, clique nesses botões”. Na verdade, ter um diálogo natural é uma grande mudança na percepção de qualidade de nossos clientes e usuários finais, bem como da proposta principal do produto, que é responder automaticamente à sua pergunta sem configuração. Existe aquela qualidade de conversação que dá quase esse brilho, todo esse brilho em torno da coisa que realmente muda o sabor dessa tecnologia.

A necessidade de velocidade

Des: É quase como se o advento do ChatGPT tivesse relegitimizado os bots pela primeira vez, de modo que todos estivessem dispostos a dar uma nova chance a eles. Vamos falar sobre a construção de produtos nesta era de IA. O que está mudando, Brian? Como é?

Brian: Tem sido um passeio e tanto. Realmente, desde dezembro, está tipo, uau, isso está de volta ao modo de inicialização. Esse foi um refrão que soou verdadeiro para todos. E o que isso significa? Acho que a primeira coisa é a velocidade. Alinhamos isso em dezembro e dissemos: “Queremos ser o líder em IA para suporte”. Para que possamos legitimamente ter essa reivindicação, além de ter o produto, precisamos ter a velocidade de realmente colocar esse produto no mercado. Achamos que, onde isso está agora, a velocidade é absolutamente crítica. E isso não é um truísmo. A velocidade sempre importa. Aqui dentro, sempre falamos sobre como podemos nos mover mais rápido, nos desafiando a nos mover mais rápido. Mas, na semana passada, vi alguém twittar: “Ei, a Apple não é só velocidade. Eles ficam felizes em ficar em segundo lugar no mercado, mas vêm com o melhor produto e depois limpam.” Não é um truísmo porque a velocidade tem muitos riscos em termos de qualidade do produto, proposta do produto, em termos de espaço na cabeça das pessoas e saúde no trabalho e coisas assim. Mas todos nós concordamos em ser uma questão de velocidade, de mover-se rapidamente para o produto aqui.

“Na verdade, você pode usar a velocidade como seu propósito de ancoragem: 'Queremos lançar rapidamente o que pensamos ser um produto revolucionário'”

Se todos estiverem alinhados com isso e sendo realmente ambiciosos e agressivos, e estamos dispostos a destruir como trabalhamos e como deveríamos trabalhar, as coisas vão ficar mais complicadas e você meio que destrói o processo. Temos muitos canais do Slack, mas temos alguns canais Slack incríveis que eventualmente explodiram de tamanho lá. Agora tudo bem, você tem que voltar e limpá-lo. Mas acho que é a otimização da velocidade.

Outro ingrediente crítico aqui é a ausência de política. Uma ausência de pessoas dizendo: “Ei, preciso ter uma voz forte aqui. Eu quero ter uma opinião aqui. As pessoas apenas se alinharam: “Ei, o que posso fazer para ajudar?” E se isso significa escrever um pequeno documento de perguntas frequentes aqui e dar o fora do caminho, tudo bem, é o que farei. É difícil saber o que você pode fazer para ajudar, mas se você tem esse espírito, pode realmente usar a velocidade como seu propósito de ancoragem: “Queremos lançar rapidamente o que pensamos ser um produto revolucionário”. Isso pode realmente galvanizar as pessoas de uma forma incrivelmente energizante. É uma maneira muito divertida de trabalhar, mas para algumas pessoas é muito caótico.

Rati: Falamos um pouco antes sobre como começamos a equipe principal de ML. Temos uma equipe central de pessoas onde há um decisor que valida o conceito central do Fin. Agora escalamos para: “Ok, temos um produto. Queremos levá-lo para beta. Queremos levá-lo ao mercado. Temos pessoal de marketing que precisamos integrar e equipes de capacitação que precisamos trabalhar juntas. Mas ainda queremos manter o mesmo nível de velocidade.” Então, passamos agora de uma equipe principal e como você a escala para o resto do grupo, para o resto do negócio para que mais pessoas continuem mantendo a velocidade? O que abordamos lá foi ter o objetivo comum de que todos entendessem onde queríamos chegar com o Fin. Dar às pessoas a autonomia para tomar decisões.

“Eu acho que é importante quando você está construindo neste espaço com IA que é muito diferente do que fizemos antes – para permitir a bagunça e ficar bem com a bagunça”

Des: Quando você diz onde queríamos chegar com Fin, era esse escopo e cronograma, era como “esses recursos, esta data”? Estávamos dispostos a ceder alguma coisa?

Rati: Timeline foi um bom ponto de ancoragem para nós. Você pode escolher o escopo e deixá-lo ditar sua linha do tempo, ou pode escolher uma linha do tempo e isso ditar seu escopo. Escolhemos uma linha do tempo. Um cronograma era importante porque, como empresa, queríamos avançar rapidamente e colocar algo no mercado e colocá-lo nas mãos dos clientes. Então, escolhemos uma linha do tempo e validamos o que poderíamos obter nessa linha do tempo. E isso foi muito útil para mantermos o foco. Nós temos essa linha do tempo. Temos esse escopo que achamos que será realmente impactante para os clientes. Correr. Dar autonomia para as equipes tomarem decisões e aceitar a confusão que daí advém. Eu acho que isso é importante quando você está construindo este espaço com IA que é muito diferente do que fizemos antes – para permitir a confusão e estar bem com a confusão.

Brian: Há outro ponto crítico que você mencionou, que é a velocidade da tomada de decisões. Todo mundo sabe disso, mas como tantas coisas, é fácil de dizer e difícil de fazer. Quando você tem todos alinhados, a velocidade para o mercado é crítica, quando estamos alinhados com o que estamos tentando fazer, até mesmo alinhados com as metas de entrada no mercado, que acho que fizemos melhor para Fin do que em qualquer outro lugar, quando você pode construir esse músculo de tomada de decisão rápida, é incrível. Eoghan McCabe foi capaz de esclarecer: “Aqui está o que estamos tentando fazer”. Isso também teve um efeito cascata.

“Não adianta eu andar por aí dizendo às pessoas que a velocidade é importante se levarmos seis meses para decidir quanto vamos cobrar pelo recurso”

Há decisões difíceis e intrincadas a serem tomadas e as pessoas entram e lutam com elas. E, em vez de dar voltas e mais voltas, obter mais informações, obter mais pessoas e não chegar a um consenso, se você fortalecer esse músculo, ele será energizado. As pessoas podem não ficar felizes com a decisão, mas muitas vezes ficam felizes por estarmos mudando por causa da sensação de progresso. Quando você está em um ônibus e sente que está se movendo rápido, é um lugar muito emocionante para se estar. Eu sabia que haveria uma reunião na segunda-feira e estaria voando para lá. Minha única chance era redigir o documento, compartilhar tudo o que pudesse e me adiantar porque não posso estar presente na reunião e a decisão seria tomada lá. Eu tentei muito e falhei. Mas, de qualquer forma, você apenas aceita: “Esse é o ritmo da tomada de decisões que precisamos tomar, e o ritmo da tomada de decisões geralmente é mais importante do que as próprias decisões reais”.

Des: Eu concordo totalmente. Também acho que vale a pena sinalizar para os ouvintes que Eoghan McCabe é nosso CEO. Nas noites de domingo, ao longo de todo este projeto, tenho feito ligações com Eoghan, onde apenas conversamos sobre o que eram desconhecidos e conhecidos, todas as questões de que estávamos cientes. Quão cedo devemos ir? Que modelo usaríamos? O que cobraríamos? Se somos lentos, por que diabos você seria rápido? Se você é lento, por que diabos os projetistas ou engenheiros se moveriam rápido? É simplesmente impossível. Não faz sentido tentar trabalhar o mais rápido possível se você sabe que: “Ei, vai demorar mais duas semanas antes de tomarmos a decisão”. Mesmo que eu diga muito que “velocidade é vida” e tudo mais, esse projeto tem sido uma prova muito boa de que na verdade tem que ser em uníssono. Não adianta eu correr por aí, dizendo às pessoas que a velocidade é importante se levarmos seis meses para decidir quanto vamos cobrar pelo recurso ou o que quer que seja. Tem que ser 100% junto.

Um ato de equilíbrio

Brian: As variáveis ​​aqui são preço, velocidade, latência, disponibilidade e qualidade. Então, você tem todas essas variáveis ​​dos modelos LLM no topo do nosso sistema, e como interagimos e obtemos a qualidade do produto que queremos, e tudo está mudando muito rápido. Então, quando a OpenAI lançou o ChatGPT com a API, que é o GPT Turbo, ficou 10 vezes mais barato que o 3.5. Então, de repente, toda a dinâmica mudou e, de repente, recursos que antes não eram viáveis ​​agora são como “Ei, ei, ei, ei”. Todo o mercado aqui mudou descontroladamente. Então você volta para “Espera, qual é a qualidade? A qualidade é boa o suficiente?” E é realmente rápido. Então, às vezes, os modelos mais baratos são super rápidos. Portanto, você não tem um claro um para um dos mais caros necessariamente iguais

Des: Esta é uma das coisas que aprendemos na versão beta. Uma das questões que precisamos resolver, e provavelmente passaremos uma eternidade trabalhando nisso, é: qual é a compensação entre a velocidade do usuário final para obter a resposta e a necessidade de extrema precisão? Ou até mesmo um belo texto envolvendo a resposta de certa forma. A resposta certa mal formulada em 0,1 segundos pode, na verdade, superar uma resposta muito elegante em 10 segundos em termos do que mantém o usuário final feliz.

“Como você constrói com a incerteza do produto sobre o que está acontecendo? Todo mundo está tentando descobrir isso”

Rati: Acho que é um desafio que todos neste espaço precisarão resolver porque é muito novo para empresas e clientes. Também não há muitas opiniões fortes porque os clientes ainda estão aprendendo o que querem no mundo. Algo que foi muito interessante ao longo do beta, e até agora, é tentar extrapolar das pessoas como elas percebem e valorizam a qualidade. Voltando a esse ponto de preço e não tendo isso separado dentro da empresa enquanto tomamos decisões sobre Fin, você está pensando no preço. Você tem que pensar no produto porque a gente fala: “Ah, a gente quer aumentar a qualidade. Qual é o custo disso e alguém está disposto a pagar por isso?” “Ok, vamos para uma qualidade inferior, mas será um pouco mais rápido. Eles estão dispostos a pagar mais ou menos por isso?” E assim, é um ciclo contínuo que você tem que pensar e verificar a si mesmo sobre o que vale a pena seguir em frente. Os clientes estão dispostos a pagar? Eles valorizam isso da mesma forma que nós?

Des: E dada a quantidade torrencial de mudanças que acontecem, parece que todas essas decisões, princípios ou diretrizes são quase perecíveis. Podemos ter uma opinião muito forte sobre onde se deve usar GPT-4 versus Turbo e, dois dias depois, podemos mudar essa opinião e revisitar as perguntas novamente. Como você gerencia mudanças bastante extremas?

Brian: Quando olho para trás, penso: “Ah, entendi errado”. Tentando otimizar a velocidade, mas quando recebemos novas informações sobre a disponibilidade que teremos e como isso mudaria as coisas, porque você se sente confortável trabalhando em uma unidade pequena, efetivamente, todos podem continuar embarque todos os dias. E agora, somos como centenas de pessoas, então, se você fizer uma mudança significativa com base nas informações de ontem, todos devem pensar: “Tudo mudou e depois muda novamente na próxima semana”. É muito difícil trabalhar em escala quando o piso abaixo de você pode ter mudanças tão dramáticas.

Estávamos falando sobre a confusão e a incerteza, e você falou sobre os modelos como parte central disso, porque muita coisa está mudando e mudando aqui, mas o quadro mais amplo é muito incerto. E isso também é algo sobre o qual conversamos: “Como você constrói com a incerteza do produto sobre o que está acontecendo?” Todo mundo está tentando descobrir isso.

“Se você quer trabalhar na definição da próxima versão dos produtos e para onde esta indústria está indo, você deve estar disposto a mergulhar no caos e esperar que todos os seus membros permaneçam presos quando você sair”

Por exemplo, nosso mensageiro será irrelevante porque todo mundo vai para o Google e o Google será o novo assistente para realmente fazer tudo isso? Ou talvez o Google seja irrelevante. “Na verdade não, são eles que vão ser interrompidos.” As possibilidades para uma disrupção plausível de vários bilhões de empresas... Está além disso, eu acho, a escala disso. É tudo razoavelmente plausível de se pensar. Estamos neste espaço onde a incerteza macro para realidades plausíveis do universo alternativo que podem ser reais em seis meses versus o que podemos construir agora e se podemos construir isso em terreno instável é um novo desafio para todos. A maioria das pessoas gosta de um pouco de estabilidade para trabalhar, e acho que todos precisam reconhecer que a estabilidade não é mais uma coisa.

Des: Não é um ativo.

Brian: Se você quer trabalhar em um produto estável, isso significa que você está trabalhando em equipes que anteriormente lidaram com a incerteza, e você está pegando carona quase como: “Ok, você obteve sucesso, e agora você tem mais espaço confortável para fazer seu trabalho iterativo.” E esse é um lugar válido que você espera que sua empresa chegue. Mas acho que o outro lado também é a inovação e a incerteza. Não dá para extrair um do outro. Se você quer trabalhar na definição da próxima versão dos produtos e para onde esta indústria está indo, você deve estar disposto a mergulhar no caos e esperar que todos os seus membros permaneçam presos quando você sair. Mas eles geralmente fazem, certo? É apenas um software.

Revelando valor na era da IA

Des: Brian, se você estiver conversando com uma startup em estágio inicial, digamos 50 a 100 pessoas, e eles estão prestes a começar sua primeira aventura em IA, o que você os aconselharia? Se você tivesse que dar uma direção a eles, seria abraçar a incerteza ou se mover o mais rápido possível? Seria para sentar e assistir e escolher o seu tiro?

Brian: Eu estava em algumas de nossas conferências com clientes e conversei com algumas pessoas que também estão pensando em construir coisas, e elas disseram: “Como você lida com toda essa incerteza?” Há muito valor em que estamos sentados em termos do que essa tecnologia desbloqueia que nunca foi possível antes e que pode ser construída agora. Nunca antes alguém que construiu um produto teve tantas opções. Temos muito e estamos tentando nos concentrar e descobrir como podemos equilibrar nosso investimento. Há uma centena de coisas que queremos fazer e estamos bastante confiantes de que 50 delas serão construídas e valiosas. Há muito disponível agora.

“Coisas que não eram possíveis antes não só são possíveis agora – muitas delas são razoavelmente fáceis de construir”

Portanto, se você é uma startup, basta escolher o próximo passo. Para fazer uma grande aposta em como os modelos de produtos inteiros vão mudar, você precisa de um grande investimento. Mas há tanta coisa que pode ser construída que uma empresa pode impulsionar. Eu sinto que agora é o melhor momento para ser uma startup. Seis meses atrás, lembre-se de que Rob estava em um show e diga, Rob da equipe ML, e ele, com a versão anterior do Tech, investigou: “Podemos fazer isso?” Porque sabíamos que isso era valioso e ele fez uma exploração de duas semanas. Ele é como, “Não, não há nada aqui. Desculpe pessoal. Tentei encontrar alguma coisa, mas descobri que não há nada aqui. Seis meses depois, eu realmente acho que foi menos de um dia que ele colocou o invólucro em torno dessa coisa para obter esse recurso. É onde estamos.

Coisas que não eram possíveis antes não são possíveis apenas agora – muitas delas são razoavelmente fáceis de construir. Então, acho que este é um momento incrível para qualquer construtor de produto ir atrás de um espaço. Escolha um valor de curto prazo para começar, porque leva tempo para construir o produto e comercializá-lo, encontre esse valor de curto prazo que você pode começar a pensar para onde está indo no futuro, mas não fique paralisado pelo fato de que nós temos tantos universos alternativos à nossa frente agora.

Rati: Eu também diria que você não precisa escolher uma coisa nova para fazer. Mesmo se eu olhar para o que fizemos na Intercom quando o GPT foi lançado no ano passado, olhamos para os trabalhos e os problemas que queríamos resolver, e isso é muito importante. Você não precisa construir algo novo ou encontrar um novo nicho – você pode encontrar problemas existentes e usar essa nova tecnologia para resolvê-los. E então escolha um. Não escolha um monte de coisas, escolha uma coisa e vá atrás dela.

“A maneira como estamos pensando é pensando em curto prazo. Temos diferenciação? Ei, três meses seria bom. Talvez seis meses seja bom, e veremos o que isso nos compra”

Des: Como vocês dois pensam sobre a ideia de fossos nos negócios? Se você é uma startup, tem uma lista de tarefas ou gerenciamento de projetos e diz: “Ei, pensei em uma coisa legal que acho que esses elementos ainda fazem, então vou e faça isso. Se foi fácil para você, é fácil para todos”. O que você acha do grau em que está terceirizando os recursos interessantes? E então, finalmente, a grande democratização do SaaS pode acontecer, onde todos podem construir todas as coisas legais que você está construindo também. Talvez seja uma questão além do escopo do que você realmente gasta seu dia, mas qual é a sua reação a isso? A ideia de que esses recursos são realmente feitos por outra pessoa, e estamos apenas implementando uma API neles?

Brian: O fosso e a vantagem competitiva são uma questão difícil por causa disso. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” And it is. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. That is true. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Tenho certeza de que isso acontecerá porque é muito melhor do que a experiência atual de guias, menus suspensos e cliques do mouse. Isso vai acontecer. E quando isso acontece, é uma mudança de alçapão para a própria natureza do software. Conversei com muitas pessoas e acho que nenhum de nós está pronto para isso. Acho que não sabemos o que significa. É difícil imaginar interface do usuário sem interface do usuário. É difícil imaginar muitas dessas coisas. E não acho que a interface do usuário desapareça. Acho que as pessoas ainda querem ver o que está acontecendo. Mas a natureza real da interface do usuário complicada desaparecerá. Basta escrever em inglês o que você está tentando fazer e pronto. Essa é uma nova era de software e só espero me aposentar antes que isso aconteça.

Brian: O design de interação é discutível.

Des: Sim, exatamente. E você sabe quem deveria estar nisso tudo e de alguma forma não está? Designers de conteúdo. Há um mundo enorme vindo para eles se eles puderem capitalizá-lo.

Rati: Com que rapidez ou quem o adotaria primeiro? Quando essa mudança acontecer, acontecerá com a nossa geração ou serão as pessoas que estão surgindo agora que mudarão a natureza do software que atrairá?

Des: Eu acho que muito depende de quão acessível é também. Se você pensar em interfaces baseadas em texto, elas são equivalentes a interfaces de áudio por causa do Whisper, a tecnologia OpenAI. E então você pensa no futuro da Siri, pensa nos dispositivos Echo da Amazon, Cortana e todo o resto da gangue. De repente, alguém que nem é bom em computadores sentado em uma sala agora pode ter acesso a comandos digitais de toda a Internet. Peça-me um táxi, mande-me uma pizza, o que for. Tudo isso se torna apenas trivial. E isso muda as coisas. Não quero entender, nem dizer que tenho a menor ideia de como, mas acho que o mundo inteiro vai ser diferente, e com certeza é um momento emocionante. Muito obrigado por se juntar a nós e nos ajudar no Fin. Foi uma boa conversa e nos veremos novamente em breve.

Brian: Obrigado, Des.

Rati: Obrigado.