GPT здесь, чтобы остаться. Куда это нас приведет?

GPT разворачивается перед нами, и мы не упускаем ни малейшего шанса. Пока мы исследуем потенциал и ограничения этой новой технологии, оправдает ли она шумиху?

С момента своего запуска в конце ноября ChatGPT покорил сердца и умы людей по всему миру своей способностью генерировать ответы, подобные человеческим. Однако, как и в случае с любой новой технологией, между рекламой и реальностью часто существует разрыв. И, в частности, генеративный ИИ — вполне естественная машина для ажиотажа.

Мы понимаем скептицизм — большие языковые модели отлично выглядят правдоподобными, даже когда они неверны. Но, по правде говоря, мы очень оптимистичны. За последние восемь недель мы разработали функции на основе ИИ и отправили их 160 пользователям бета-версии, и отзывы были очень многообещающими. Настолько, что ранее на этой неделе наш директор по машинному обучению Фергал Рейд и я выпустили специальный выпуск подкаста, чтобы поделиться своими мыслями о том, что мы создали и чему научились.

На этот раз мы выходим за рамки Intercom и даже обслуживания клиентов. В сегодняшнем выпуске мы углубимся во все аспекты GPT — от скептицизма до его роли в бизнес-коммуникациях, от разрушения творческой работы до будущего пользовательских интерфейсов.

Вот некоторые из основных выводов:

• Улучшаются не только технологии — мы лучше понимаем, что создавать, как это настраивать и интегрировать, и вся эта динамика движет отрасль вперед.
• Возможно, будущее человеко-машинных интерфейсов будет зависеть от персонализированных ботов на базе ИИ, которые понимают намерения пользователей и опосредуют их взаимодействие.
• Эти модели открыли много новых возможностей и обманули кого-то с первого взгляда, но им по-прежнему не хватает здравого смысла, необходимого для прохождения теста Тьюринга.
• GPT может изменить индустрию обслуживания клиентов, но если автоматизация повысит производительность агента, она может в конечном итоге раскрыть возможности, повышающие их ценность для бизнеса.

Следите за новостями Intercom on Product в Apple Podcasts, Spotify, YouTube или загружайте RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Помимо шумихи

Дес Трейнор: Привет и добро пожаловать на подкаст Intercom. Ко мне снова присоединился Фергал, и мы собираемся поговорить обо всем, что связано с GPT. Фергал, с момента запуска ChatGPT прошло целых восемь недель. Люди уже создавали против него полезные продукты, и у нас уже была волна скептиков, говорящих, что это игрушка, она незрелая, она ни к чему никогда не готова, а это просто классическая реакция на новые технологии. Где твоя голова? Скептицизм обоснован? Пересекли ли мы какой-то обрыв восприятия, который действительно имеет значение?

Фергал Рид: Да, я думаю, что в этом скептицизме есть определенная закономерность. Эти вещи являются почти естественными машинами для рекламы. Просто так легко смотреть на него и видеть, как он делает что-то, что кажется хорошим. Если вы действительно не копаетесь в этом, это выглядит прекрасно. А потом, когда вы копаетесь в этом, вы думаете: «Ах, это неправильно, я чувствую, что меня ввели в заблуждение». Эти машины созданы для того, чтобы генерировать правдоподобные вещи, и если правдоподобное, но неправильное является для вас проблемой, это может вас сильно разочаровать. Так что я понимаю скептицизм по умолчанию, с которым многие люди приходят к этой технологии.

«ChatGPT в том виде, в каком он есть сегодня в Интернете, может быть игрушкой, но это не значит, что мы не можем взять базовую технологию и создать на ее основе невероятно ценные бизнес-функции».

Тем не менее, мы всегда были очень оптимистичны в отношении генеративного ИИ, и с тех пор, как мы говорили в последний раз, мы создали некоторые функции, мы отправили их в бета-версию, у нас было 160 с лишним клиентов в нашей бета-версии, использующих эти функции: обобщение, некоторые функции в композиторе более экспериментальные, чтобы попытаться сделать людей быстрее. И затем у нас есть волна других функций в форме прототипа, которые еще не совсем готовы — дорогостоящие вещи — но мы думаем, что видим путь к этому. Итак, мы понимаем скептицизм, мы были оптимистичны, и теперь у нас есть данные — реальное использование клиентов, реальные клиенты говорят нам, что есть определенная работа, которую они хотят делать, которую они делают весь день каждый день, и это преобразует для который. И это, на мой взгляд, делает позицию скептицизма немного шаткой.

Дез: Тот факт, что люди ежедневно используют эту штуку для выполнения части своей работы.

Фергал: Ага. Это окончательный арбитр этого. Очень сложно быть скептиком, когда люди используют его на самом деле, а не просто как игрушку. Там есть линия логики. Мы видели несколько статей в The Atlantic и подобных местах, где люди говорили: «Эй, смотри, эта штука скорее игрушка, чем настоящий ценный продукт». И ChatGPT в том виде, в каком он есть сегодня в Интернете, может быть игрушкой, но это не значит, что мы не можем взять базовую технологию и создать на ее основе невероятно ценные бизнес-функции.

Моя команда, вероятно, была одной из нескольких команд, которые сделали это за последние несколько месяцев, говоря: «Вау, это приносит реальную пользу», и я думаю, что мы, вероятно, одна из крупнейших компаний в сфере обслуживания клиентов, которая успешно у нас был цикл разработки, когда мы фактически получили это в руки сотен клиентов и получили от него отзывы. И они действительно сказали нам: «Да, это действительно экономит мне время; это ускоряет мою работу». Да, скептицизм становится труднее поддерживать. Это один аргумент. Я думаю, вы также можете атаковать скептицизм с другой позиции: мы видели много твитов и статей, скептически относящихся к этой технологии, потому что предыдущее поколение не преодолело пропасть и не было трансформационным. И они настроены скептически, потому что новые технологии всегда преувеличены. Но это не хорошие аргументы. Это аргументы, которые какое-то время верны, а затем становятся ужасно неверными. Вы можете потерпеть неудачу здесь, будучи чрезмерным оптимистом, но вы можете потерпеть такую ​​же неудачу, если будете...

Des: Пустой и пессимистичный.

Фергал: Точно. Пустой и пессимистичный.

«В одно и то же время происходит так много динамики, которая будет поддерживать и усиливать друг друга»

Дес: Параллель, которую вы видите, это люди, которые несут чушь о каждой новой идее стартапа, о которой они когда-либо слышали. А дело в том, что 90% стартапов не срабатывают. Так что в 90% случаев вы на высоте и выглядите очень умно. Затем вы делаете ерунду, которая превращается в бизнес на триллион долларов, и все такие: «Верно, оказывается…» Я думаю, это Нат Фридман сказал: «Пессимисты звучат умно, оптимисты богатеют», или что-то в этом роде. . И в этом есть доля правды, когда вы на самом деле придаете вес каждому мнению: степень, в которой вы ошибаетесь, когда вы неправы, сводит на нет степень вашей незначительной правды просто из-за технического скептицизма.

Фергал: Да, 100%. Послушайте, я верю в ИИ и его ценность. Думаю, у нас достаточно доказательств реальной ценности. За последнее десятилетие мы наблюдаем тенденцию машинного обучения и искусственного интеллекта в целом все больше и больше. У нас появились новые возможности. Я чувствую, что у моей команды есть достаточно доказательств того, что для GPT-3.5 и других больших языковых моделей разблокированы по крайней мере некоторые возможности, которых не было шесть месяцев назад. Я считаю, что есть нависание; мы могли бы создать гораздо больше продуктов, которые еще не созданы, чем было. Так что да, мы настроены оптимистично, и мы начинаем видеть, что клиенты, которым мы отправили бета-версию, говорят нам: «Да, это работает, это здорово».

Мы еще не пересекли последнюю его часть. Мы знаем, что это преобразует основную ценность задач, на выполнение которых наши клиенты тратят 99 % своего времени. Итак, мы отправляем функцию суммирования и другие функции, чтобы сэкономить время в папке «Входящие». Но здесь появляются большие вещи, которые мы еще не построили, над которыми мы работаем внутри компании, но мы еще не видели их на рынке. Итак, мы думаем, что настоящее волнение все еще впереди.

Des: Существует некоторая иерархия преобразования, и я уверен, что кто-нибудь поправит меня в комментариях, но мы уже добавили живые функции для преобразования определенных рабочих процессов, и под преобразованием мы подразумеваем снижение затрат на это до 5% от стоимости. что это было когда-то. В случае, скажем, суммирования. Затем это может изменить очень распространенные рабочие процессы. Затем это может быть преобразование работы, затем преобразование организации и, наконец, преобразование бизнеса. Но совершенно очевидно, что по мере того, как мы выявляем все больше и больше вариантов использования, в которых мы можем обеспечить большую ценность, мы прокладываем себе путь через эту, как мне кажется, неизбежную трансформацию мира обслуживания клиентов.

«Мы обратились к нашим клиентам, и нам пришлось закрыть бета-набор намного раньше, чем мы хотели, потому что это был один из самых больших откликов, которые мы когда-либо получали».

Фергал: Абсолютно. Есть так много способов, что это меняется параллельно. В одно и то же время происходит так много динамики, которая будет поддерживать и усиливать друг друга. Первый очевиден: доступные технологии улучшаются. Это не останавливает. OpenAI и другие игроки, такие как Anthropic, постоянно создают новые модели, и это интересно. Это не останавливает. Итак, это одна динамика. И есть еще одна динамика, которая заключается в том, что мы становимся лучше в создании продуктов на их основе. Мы учимся брать эти модели и выяснять, в чем они хороши. И есть еще одна динамика: мы лучше их настраиваем, создаем правильные подсказки и интегрируем их в наши существующие системы. И тогда ожидания наших клиентов становятся все выше и выше.

Мы действительно обнаружили, что со времен ChatGPT наблюдается огромная волна интереса со стороны наших клиентов. Они видят обещание и верят, что здесь что-то есть. С бета-версией мы обратились к нашим клиентам, и нам пришлось закрыть бета-набор намного раньше, чем мы хотели, потому что это был один из самых больших откликов, которые мы когда-либо получали. Люди хотели быть на нем. Так что, на мой взгляд, все эти вещи вместе принесут гораздо больше пользы, чем любая из них по отдельности.

Des: Интересно, как вы разбиваете это на части. Технология совершенствуется, возможности бизнеса улучшаются, и это просто внедрение ее в местных случаях. И тогда способность бизнеса думать или концептуализировать новые продукты и возможности с использованием этой технологии улучшается. То же самое с ожиданиями клиентов от технологии. Вероятно, всего через год люди рассчитывают, что смогут расширять текст внутри текстового поля, как один простой пример. Вы как бы видите, что эти вещи возникают повсюду.

Фергал: Если даже год. Очевидно, многие из нас видели объявление Microsoft о внедрении этих функций в Word и прочее. И это быстро изменится, если это сделают крупные основные офисные инструменты для повышения производительности. Это может быть очень быстро.

Восхождение ИИ-помощника

Дес: Вот еще один тип скептицизма, за который я обращусь – тот, который, во всяком случае, немного резонирует со мной. Я думаю, у Кевина Кэннона был забавный твит, в котором он сказал: «Будущее состоит из людей, использующих GPT для расширения таких вещей, как «Я хочу эту работу», в красивое письмо, такое как «Уважаемый господин» или «Мадам», бла-бла. , мля… А потом получатель, нажимая кнопку обобщения, видит, что человек только что сказал: «Я хочу эту работу, вот мое резюме» или что-то в этом роде. В каком-то смысле у вас возникнет соблазн посмотреть на них и подумать: какой, черт возьми, во всем этом смысл? Неужели формальный язык, профессиональное письмо и деловой английский стали бессмысленным каналом театрального общения, которым мы все общаемся, когда в будущем я просто пошлю вам подсказку, а вы ответите подсказкой, например: «Я хочу работа." «Вы не можете получить эту работу».

Фергал: Ага. Тяжелый вопрос. Это серьезно спекулятивно. Я дам вам несколько мнений. Наверное, есть определенные контексты, верно? Скажем, юридический документ. Вы можете сказать кому-нибудь из вашей юридической команды: «Эй, мне нужен контракт. Он должен делать X, Y и Z». Этот запрос превратится в 10 страниц юридических материалов. Получатель скажет: «О, он делает три вещи, о которых обещал?» И их юридическая команда скажет: «Да, это так». Это один край крайности, когда есть большое расширение и сжатие, но в каком-то странном пограничном случае пункт номер 13 на второй странице может оказаться в суде и так далее. Так ясно, что это важно. Мы не можем избавиться от этого. Мы не можем просто иметь эти четыре пункта. Нам нужно все это. Вы можете не считать это существенным, когда пишете его, но оно может стать материальным позже. Это похоже на одну крайность, когда что-то вроде: «Нет, кажется, что это должно быть там», что-то, чтобы справиться со всеми этими пограничными случаями.

А другая крайность — это, вероятно, ситуация, когда защитник и получатель не заботятся об этих деталях. Оба никогда не будут заботиться об этих деталях, и они просто соблюдают некоторые социальные грации или формальности типа «вот как вы пишете деловое письмо. Я пишу в крупную компанию, я лучше напишу деловое письмо», и, может быть, это исчезнет.

Дес: Точно так же, я думаю, аналогия для меня была бы, когда разговоры по электронной почте переместились в SMS, iMessage или WhatsApp. Подумай обо всем том дерьме, которое ты больше не говоришь. «Надеюсь, это найдет тебя в порядке» или что-то в этом роде. Все это дерьмо исчезло.

Фергал: Ограничения Твиттера, формат, среда позволяют вам быть более кратким. Я думаю, это настоящая динамика. То, как мы общаемся и как мы пишем статью в справочном центре, может быть не оптимальным способом ее написания. Может быть, нам следует быть короче. В команде машинного обучения есть другой способ думать об этом. Будущее мира будет зависеть от агентов. И когда-то это было очевидно для всех. В вашем веб-браузере был пользовательский агент, настроивший его и прочее. И, как я уже сказал, это ваш агент бродит по этому странному интернету со всеми этими ссылками и прочим для вас. Он сделает для вас кое-что, вернется и расскажет вам кое-что. А потом все эти вещи были централизованы, и теперь у вас есть поисковая система и так далее.

«Одно дело, если бы все, что мы видели, было поколением изображений DALL·E 2. Но нет, мы наблюдаем преобразования в синтезе звука, синтезе изображений, понимании текста, синтезе текста и сжатии текста».

В техническом футуризме, научной фантастике и т. д. существует старая идея, что у вас, вероятно, будет агент, который понимает вас, ваши намерения, чего вы хотите, и достаточно умен, чтобы понять, что доводить до вашего сведения, а что нет. к. Так что, возможно, в будущем все пойдет именно так. Если вы хотите узнать какую-то конкретную деталь, программное обеспечение на вашей стороне достаточно умно, чтобы представить ее в обобщенной версии. Но он достаточно умен, чтобы знать, что вы не хотите знать и эту деталь, и опустить ее.

Может быть, мы будем жить в будущем, когда пользовательские интерфейсы будут меняться, и мой пользовательский интерфейс для определенного бизнеса или задачи на самом деле не будет контролироваться этим бизнесом или этой задачей, как сегодня. Вместо этого он персонализирован для меня. Это звучит очень красиво, но я думаю, что это произойдет быстро. Эти языковые модели очень эффективны, их начинают использовать для написания кода и так далее, и отсюда совсем немного, чтобы принять меры. Мы видели несколько прототипов, где люди работают над моделями, которые понимают веб-сайт достаточно хорошо, чтобы понимать английское предложение и перемещаться по веб-сайту за вас. И затем, движемся ли мы к будущему, где все взаимодействуют с веб-сайтами именно так? Вам больше не нужен сайт?

Des: Это новое SEO? Убедитесь, что ваш GPT вас понимает?

Фергал: Ага. Возможно, веб-сайты превращаются во что-то, что больше похоже на общедоступный API, и это что-то с пользовательским интерфейсом и форматированием, потому что пользовательский интерфейс форматируется агентами.

Des: Мы все просто разговариваем с Siri или кем-то еще.

«Возможно, именно так будет выглядеть будущее с ботами. У всех нас есть персонализированный бот, который обрабатывает интерфейс, и вам не нужно так сильно беспокоиться об этом промежуточном слое ».

Фергал: Да, и я думаю, что Google и Apple видят это будущее. Мы не знаем временной шкалы, но опять же, инструмент мышления, который я всегда использую, таков: что, если бы у вас был очень умный человек, который понимал бы вас, который работал с вами, может быть, личный помощник, и вы взаимодействовали бы с ним, и Вы хотели заказать праздник? Что бы они спросили вас об этом? И в половине вещей, которые вы видите на booking.com или где-то еще, они не будут спрашивать вас об этом — они просто забронируют для вас отпуск и, возможно, вернутся с уточняющими вопросами: «О, вы хотели иди и оставайся в квартире, но там нет места. Подойдет ли отель? Но это адаптируемый пользовательский интерфейс. Опять же, я не уделяю слишком много внимания ChatGPT и тому, что только что было выпущено. Вы уходите на год или два. Он движется слишком быстро. Если вы настроены скептически из-за текущих ограничений, вы собираетесь-

Дес: Ваш скептицизм не промахнется.

Фергал: Точно. Трансформаторы чрезвычайно мощны, и используемые людьми архитектуры трансформаторов чрезвычайно мощны. Мы видели, как здесь улучшились несколько модальностей. Одно дело, если бы все, что мы видели, было генерацией изображений DALL·E 2. Но нет, мы наблюдаем преобразования в синтезе звука, синтезе изображения, понимании текста, синтезе текста, сжатии текста. Мы наблюдаем так много параллельных достижений. Он может писать код. Вероятно, скоро он сможет работать на веб-сайте. Так что, возможно, именно так будет выглядеть будущее с ботами. У всех нас есть персонализированный бот, который обрабатывает взаимодействие, и вам не нужно так сильно беспокоиться об этом промежуточном слое.

Des: Один суперпрототип, который я видел в Твиттере, был кем-то, кто научил бота говорить своим голосом, я полагаю, звонить по номеру и перемещаться по дереву банковских телефонов, эффективно дозваниваться до агента, запрашивать все свои операции с иностранной валютой возмещаются или что-то в этом роде. Что-то вроде стандарта, когда вам просто нужно спросить, и они это сделают. Прошло все до конца. И буквально, они просто сказали: «Иди» и ушли. Это было явно надуманно, может быть, суперзакрыто, но это был вполне реальный вариант использования, сквозное выполнение которого выполнялось автоматически.

Фергал: Я думаю, это очень интересная область. Мы много говорим о том, как изменится обслуживание клиентов, и наши мысли всегда сосредоточены на том, что произойдет, когда у вас будет бот, такой как ChatGPT, но настроенный для вашего бизнеса и действительно хорошо отвечающий на вопросы, а стоимость проблем с обслуживанием клиентов снизится. Но есть и другая сторона. Как изменится обслуживание клиентов, когда у пользователя будет бот, который может обрабатывать взаимодействие со службой поддержки, не сдаваться и не уставать? И там потенциально большие изменения.

Дес: В основном новый B2B будет бот-ботом.

Фергал: Возможно. Может пройти некоторое время, прежде чем пользователи получат такую ​​​​технологию, но это интересно рассмотреть.

Загадка подлинности

Des: Как вы вообще относитесь к этому двустороннему миру творения и, в конечном счете, к тому, что можно рассматривать как обман — это выглядит как картина, но это не картина, она была создана — в отличие от обнаружения, идеи, которую люди могут сказать , «Эй, я действительно написал этот код от руки, это не сгенерированный код». Насколько важно для человечества ориентироваться в этом мире? В «Мире Дикого Запада» есть знаменитая сцена, западная фабрика роботов, где парень хочет…

Фергал: Это ремейк старой вещи.

Дес: О, это? Новость для меня. Я не знал, что это ремейк старой вещи. Но в «Мире Дикого Запада» есть сцена, где парень сталкивается с женщиной, разговаривает с ней, а затем, в конце, говорит: «Я должен спросить, ты настоящая?» Ее ответ: «Если вы должны спрашивать, почему это имеет значение?» И я думаю, что там что-то есть. Будет ли опережение наших возможностей обнаружения рассматриваться как определение подлинности? Аутентичность вообще больше не актуальна? В банковском примере, как человек скажет: «Эй, Фергал, это на самом деле ты или это бот, которого ты обучил?» Особенно, если вы научили его отвечать на этот вопрос.

Фергал: Есть несколько больших вопросов. Там как минимум пять вопросов, которые я, наверное, потерял. Вы могли бы рассказать о тесте Тьюринга, очень дальновидном документе о том, как мы сможем сказать, когда компьютер станет должным образом разумным, а затем один из тестов оказался нефункциональным — если человек-судья сможет надежно различить два через текстовый интерфейс или что-то еще, мы могли бы сказать, что это не интеллектуально. И когда он пройдет это, мы должны признать, что он функционально разумен. Это во многом искажено, но его статья была больше похожа на «Он делает что-то действительно интересное, если доходит до этого». И это один из способов функционального подхода к вещам.

«Расскажите историю, в которой много всего происходит, а затем задайте ей какой-то сложный, последовательный вопрос об этом, и она все равно споткнется».

Des: И я бы сказал, что мы прошли это. Около.

Фергал: Всегда есть заголовки о том, что что-то проходит тест Тьюринга. Я думаю, что первоначальная формулировка - что-то вроде опытного следователя или что-то в этом роде. Мы еще не на том этапе. Если кто-то обучен задавать правильные вопросы, этот материал быстро сломается. У него нет модели глубокого мира, которая есть у человека.

Дес: Верно. Как бы вы проделали трюк, задав самореферентный вопрос? Вы бы попросили кого-нибудь сбить его с толку лингвистически?

Фергал: В этом плане технологии совершенствуются. Но это больше похоже на настройку сложного домена. Расскажите историю, в которой много чего происходит, а затем задайте ей какой-нибудь сложный, последовательный вопрос об этом, и она все равно споткнется. Он споткнется так, как ребенок не смог бы. Но я думаю, что правильно думать об этом, что вы имеете дело с инопланетным разумом. Вы хотите назвать это интеллектом, но он будет иметь другую форму. Итак, будет куча вещей, которые семилетний ребенок не сможет написать — я смогу написать компьютерную программу, но того, что вы могли бы назвать рассуждениями здравого смысла, пока нет. Тем не менее, с философской точки зрения, речь идет о том, является ли эта штука живой и чувствует ли что-то. И нет, явно нет, с большинством определений, которые большинство людей использовали бы. Но это своего рода поворот в сторону философии вопросов ИИ.

Возвращаясь к исходной точке, что, если вы хотите построить CAPTCHA для этих систем? На что это похоже? Да, у людей есть способы наносить водяные знаки и определять, создан ли этот текст этими моделями, но я не знаю, будет ли это надежным, если у вас есть модель, которая действительно хорошо вводит нужное количество шума.

Одна вещь, которую я хотел бы предостеречь всех в этой области, заключается в том, что существуют системы машинного обучения, и есть что-то вроде «как мне сделать мою систему машинного обучения достаточно хорошего качества, чтобы она достигла моего порога обнаружения изображений 99% в реальной жизни?» Это один стандарт. И есть совершенно другой стандарт: как мне построить свою систему машинного обучения, чтобы она работала хорошо по сравнению с враждебным вводом? Это совсем другая игра.

«По крайней мере, какое-то время любой крупный игрок с большой языковой моделью будет пытаться остановить вас, если вы используете ее для подобных гнусных задач»

Des: Защитный дизайн.

Фергал: Защитный дизайн. Как защититься от враждебного ввода? И вообще, это очень тяжело. Если бы вы сказали мне: «О, у меня есть новая причудливая система машинного обучения, которая будет обнаруживать мошенничество или защищать мою систему в сложной среде», я бы отнесся к этому крайне скептически. Существуют системы обнаружения мошенничества, но они отличаются от тех, кто пытается атаковать систему машинного обучения.

Я думаю, что вся эта проблема обнаружения того, когда вы разговариваете с ботом, когда вы разговариваете с большой языковой моделью, когда она этого не хочет, будет сложной. И если в будущем мы окажемся в ситуации, когда обслуживание клиентов будет наводнено ботами, притворяющимися пользователями, с этим будет сложно справиться. Но я предполагаю, что какое-то время любой крупный игрок с большой языковой моделью будет пытаться остановить вас, если вы используете ее для таких гнусных задач, как эта. И там будет некоторый контроль, потому что эти модели такого высокого качества трудно разместить и запустить самостоятельно на любом оборудовании потребительской модели. Может быть некоторая ответственность.

Надвигающиеся сбои

Дес: Если мы немного увеличим масштаб, мы, вероятно, не так уж далеки от возможности создавать правдоподобно звучащую музыку. Музыка в лобби, что-то в этом роде.

Фергал: Ага. Музак.

Des: Музак, точно. И в какой-то степени есть общие шаблонные песни — я думаю, что-то вроде 65 песен номер один имеют те же четыре аккорда или что-то в этом роде, или в любом случае песни из топ-чартов. И, очевидно, все романы Дэна Брауна имеют простой формат. Это не значит, что это плохо, но в какой степени общество меняется, когда все, что в какой-то степени выражено в шаблонной природе, может быть воспроизведено, и в конечном итоге вы можете получить версию этого за 0 долларов? «Код да Винчи» по-прежнему остается «Кодом да Винчи», это довольно хорошая книга по любому обычному определению, но теперь вы можете получить ее дешевую версию за 0 долларов, или пять центов, или сколько угодно. И затем вы думаете, что это происходит во всех видах творчества. Опять же, это не означает, что результаты этих технологий будут сопоставимы, но потенциально они будут составлять 1% от цены. Как вы думаете, как изменится мир в таком будущем?

«Это парадокс Джевонса: иногда, делая что-то дешевле, вы в конечном итоге делаете гораздо больше. Такую динамику действительно сложно предсказать».

Фергал: Я думаю по-разному. Можно посмотреть аналогии из прошлого. Вы можете смотреть на живопись, а потом появилась фотография, и вдруг стало легко запечатлеть изображение пейзажа, но...

Des: Я уверен, что художникам это не понравилось, верно?

Фергал: Я недостаточно хорошо знаю историю, но, как правило, некоторые должностные лица расстраиваются всякий раз, когда происходят сбои.

Дес: Я думаю, то же самое было с радио или кассетами – живые музыканты говорили: «Ну, йоу, это был наш концерт».

Фергал: Ага. Раньше в каждом кинотеатре был пианист, который играл саундтрек, и это ушло. Настройщики граммофонов и фортепиано, ткацкий станок и луддиты… Примеров тому бесчисленное множество. И я действительно думаю, что есть и другие области, столкнувшиеся с неизбежным разрушением, и будут тяжелые разговоры о том, что является ценным. Точно так же со службой поддержки клиентов вы должны быть чувствительными. Всегда есть лучшие результаты и худшие результаты. Люди могут смотреть на то, как большие языковые модели становятся лучше в написании кода, и говорить: «Эй, как программист, этот ценный навык, на который я потратил годы, черт возьми, он больше не будет полезен».

«Будет ли меньше представителей службы поддержки в мире с большим количеством автоматизации, или их станет больше, потому что ценность, которую они могут принести бизнесу, увеличилась?»

Есть разные способы думать об этом. Вы можете думать об этом с точки зрения AWS. Мы часто используем Amazon в Intercom, и, вероятно, если бы нам пришлось делать все, что мы делаем без AWS, это стоило бы нам на несколько порядков больше времени программиста. Означает ли это, что в результате мы нанимаем меньше программистов? Ну, это, вероятно, означает, что наш бизнес был бы невозможен без этой поддерживающей технологии. Это парадокс Джевонса: иногда, делая что-то дешевле, вы в конечном итоге делаете гораздо больше. Такую динамику действительно трудно предсказать. Будет ли меньше представителей службы поддержки клиентов в мире с большим количеством автоматизации, или их станет больше, потому что ценность, которую они могут принести бизнесу, увеличилась?

Дес: Когда мы берем все настоящие вещи, мы на самом деле видим ценность, которую они приносят, и вы говорите: «Я хочу больше этого».

Фергал: Ты хочешь большего; вам нужно больше этого. Внезапно возникает вопрос: «Вау, какую ценность для нашего бизнеса мы могли бы открыть, если бы у нас было много таких представителей?» Каждый мог бы сделать в 10 раз больше, чем сейчас. Никогда не знаешь. Я думаю, это то, что иногда упускают. Люди всегда реагируют на технологический прорыв и всегда говорят: «О, вы можете подняться по лестнице ценности и получить лучшую работу. Вы можете стать менеджером по продукту, если хотите этого». И это потенциально один из способов. Но другой способ заключается в том, что если вы станете гораздо более продуктивным в том, что вы сейчас делаете, вы сможете изменить объем того, что вам нужно сделать.

Des: Или больше предприятий становится возможным из-за этого.

Фергал: Больше бизнеса становится возможным. Это самое лучшее. Я думаю, что все это будет разворачиваться с такими вещами, как искусственный интеллект. Очевидно, что ведутся споры о плагиате и нарушении авторских прав. Если кто-то пойдет и потренирует DALL·E 2 на целой куче картинок, будет ли это нарушением авторских прав? А что, если бы они изучили стиль художника, а затем вы попросили бы его сделать работу, подобную их? Это нарушение авторских прав? И, вероятно, есть много вещей, которые правовые системы и общество должны выяснить там. Одна вещь, которую я думаю, иногда упускает из виду в дебатах, это то, что даже если вы решите, что обучение существующих моделей является нарушением авторских прав — а мы не принимаем это с людьми; людям позволено смотреть на вещи и копировать их стиль — кто-то все равно будет строить модели, обученные открытой, допустимой работе, и они будут довольно хорошо генерировать изображения. Я думаю, что этот корабль в какой-то степени уплыл.

Насколько большим это может быть?

Дес: Чтобы выбросить несколько игл, вы сослались на AWS как на один из примеров, где у нас нет огромной команды серверов. У нас нет картотеки, полной серверов. Ваша команда ИИ меньше из-за существования OpenAI, Anthropic и всего такого? Если бы их не было, стали бы вы создавать ИИ-версию серверной команды?

Фергал: Да, я имею в виду, что это адский вопрос. Есть разные взгляды на это. Нарушается ли работа команды ИИ? И мы пошли назад и вперед на этом. Давайте посмотрим на текущую версию больших языковых моделей. Недавно я играл с GPT в качестве рекомендателя фильмов. Это как: «Эй, мне нравится смотреть X и Y. Предложи мне что-нибудь?» И это неплохо. Я уверен, что это не так хорошо, как хорошо настроенный рекомендатель, у которого есть все самые лучшие данные, но он работает намного лучше, чем случайный выбор фильмов. И выведет, выплюнет, как рассуждает. И его рассуждения, как и все, что он делает, правдоподобны, но неплохи. Итак, опять же, даже если технология сейчас не очень хороша — я бы не стал спешить с созданием рекомендателя фильмов или чего-то еще — что, если она станет в 10 или 100 раз лучше? Что, если вы предоставите ему больше данных о тренировках или улучшите режим тренировок?

«Есть масса возможностей, связанных с сочетанием этой новой возможности с конкретными вещами, в которых она хороша, с большим количеством строительных лесов, множеством продуктов, которые обходят это»

Des: Просто дождитесь GPT-4.

Фергал: Да, GPT-6, как бы это ни выглядело, верно? Какие бы 10 миллиардов долларов вы ни купили для вычислений и подкрепления, изучения обратной связи с людьми, если это действительно то, что происходит. И что, если это произойдет? Вы все еще идете и строите рекомендательную систему? Кто-то просит вас о рекомендательной системе, вы делаете это? Сэм Альтман говорил об этом. Представьте, что мы могли бы сделать это на человеческом уровне. If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” Я не знаю.

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? Не беспокойтесь об этом. Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.