GPTはここにとどまります。 それは私たちをどこに連れて行きますか？

GPT は私たちの前で展開されており、私たちはビートを逃していません。 この新しい技術の可能性と限界を探る中で、それは誇大宣伝に耐えられるでしょうか?

11 月下旬に開始されて以来、ChatGPT は人間のような応答を生成する能力で世界中の人々の心を捉えてきました。 ただし、新しいテクノロジーと同様に、誇大広告と現実の間にはしばしばギャップがあります。 特にジェネレーティブ AI は、非常に自然なハイプ マシンです。

私たちは懐疑論を理解しています。大規模な言語モデルは、間違っている場合でも、もっともらしいように見せるのに優れています。 しかし、正直なところ、私たちは非常に楽観的です。 過去 8 週間にわたって、私たちは AI を活用した機能を構築し、160 人のベータ版のお客様に出荷してきました。フィードバックは圧倒的に有望なものでした。 今週初め、私たちの機械学習担当ディレクターである Fergal Reid と私は、ポッドキャストで特別なエピソードをリリースし、私たちが構築したものと学んだことについての洞察を共有しました。

今回は、Intercom を超えて、さらにはカスタマー サービスを超えていきます。 今日のエピソードでは、懐疑論からビジネス コミュニケーションにおける GPT の役割まで、創造的な仕事の混乱からユーザー インターフェースの未来まで、GPT のすべての事柄を掘り下げます。

重要なポイントの一部を次に示します。

• 改善されているのは技術だけではありません。何を構築するか、どのようにカスタマイズして統合するかについての理解が深まり、これらすべてのダイナミクスが業界を前進させています。
• おそらく、ヒューマン マシン インターフェイスの未来は、ユーザーの意図を理解し、ユーザーのやり取りを仲介する、パーソナライズされた AI を利用したボットによって促進されるでしょう。
• これらのモデルは、多くの新しい機能を解き放ち、一目で誰かをだますことができますが、チューリング テストに合格するために必要な常識的な推論がまだ欠けています。
• GPT はカスタマー サービス業界を混乱させる可能性がありますが、自動化によってエージェントの生産性が向上する場合、最終的にはビジネスに対する価値を高める機能を解き放つことができます。

Apple Podcasts、Spotify、YouTube の製品の Intercom をフォローするか、選択したプレーヤーで RSS フィードを取得して、ハイライトを見逃さないようにしてください。 以下は、エピソードの軽く編集されたトランスクリプトです。

誇大広告を超えて

Des Traynor:こんにちは、Intercom ポッドキャストへようこそ。 再び Fergal が参加し、GPT のすべてについて話します。 ファーガルさん、ChatGPT が開始されて丸 8 週間が経ちました。 すでに、人々はそれに対抗する有用な製品を開発しており、これはおもちゃであり、未熟であり、何の準備もできていないという懐疑論者の波がすでにありました。 頭はどこ？ 懐疑論は根付いていますか？ 本当に重要な知覚の崖を越えたのでしょうか?

ファーガル・リード:ええ、懐疑論には一定の正当性があると思います。 これらのものは、ほとんど自然な誇大広告マシンです。 それを見て、それが良いと思われることをするのを見るのはとても簡単です。 本当に掘り下げない限り、それは素晴らしいように見えます。 そして、掘り下げてみると、「ああ、違う、誤解されている気がする」という感じです。 これらのマシンはもっともらしいものを生成するように設計されており、もっともらしいものを生成するように設計されています。 だから私は、多くの人がこの技術に来る懐疑主義のデフォルトの立場を理解しています.

「ChatGPT は、今日インターネット上にあるため、おもちゃかもしれませんが、それは、基盤となる技術を利用して、そこから信じられないほど価値のあるビジネス機能を構築できないという意味ではありません。」

しかし、私たちは常にジェネレーティブ AI に対して非常に強気であり、最後に話して以来、いくつかの機能を構築し、ベータ版に出荷しました。コンポーザーの機能は、人々をより速くしようとするより実験的なものです。 そして、まだ完成していないプロトタイプの形の他の機能の波があります – 高価なもの – しかし、私たちはそれを視野に入れていると思います. そのため、私たちは懐疑論を理解しており、楽観的でしたが、今ではデータを取得しています。実際の顧客の使用状況、実際の顧客が、やりたい特定の仕事があり、毎日一日中やっていると言っています。それ。 そして、私には、懐疑論の立場が少し不安定に見え始めます.

Des:人々が実際に日常的に仕事の一部を行うためにそのことを使用しているという事実.

ファーガル：ええ。 これが最終決定者です。 おもちゃとしてだけでなく、実際に人々がそれを使用しているとき、懐疑的になることは非常に困難です. そこには一連の論理があります。 The Atlanticやそのような場所で、人々が「ねえ、ほら、これは本物の価値のある製品というよりもおもちゃに近い」と言っている記事を見てきました。 そして、今日インターネット上にある ChatGPT はおもちゃかもしれません。

私のチームはおそらく、過去数か月間、「うわー、これは真の価値を提供している」というようなことを行ったいくつかのチームの 1 つでした。実際に何百人もの顧客の手に渡ってフィードバックを得るという開発サイクルがありました。 そして、彼らは私たちに次のように言っています。 これにより、仕事が速くなりました。」 ええ、懐疑論を維持するのが難しくなります。 それは一つの議論です。 別の立場から懐疑論を攻撃することもできると思います.前世代はキャズムを越えず、変革的ではなかったため、この技術に懐疑的なツイートスレッドや記事がたくさん見られました. 新しいテクノロジーは常に誇大宣伝されているため、彼らは懐疑的です。 しかし、それらは良い議論ではありません。 これらは、しばらくの間は正しくても、その後ひどく間違ったものになる議論です。 過度に楽観的であることでここで失敗する可能性がありますが、同様に失敗する可能性があるのは-

Des:空白と悲観的です。

ファーガル:まさに。 空虚で悲観的。

「非常に多くのダイナミクスが同時に起こっており、それらが互いにフィードバックし、拡大している」

Des:あなたが目にする類似点は、今まで聞いたことのある新しいスタートアップのアイデアをすべて台無しにする人々です。 そして問題は、スタートアップの 90% がうまくいかないということです。 つまり、90% の確率で、あなたはきちんとしていて、本当に賢く見えます。 それから、1兆ドル規模のビジネスになるビジネスを台無しにすると、誰もが「そうだね…」みたいなことを言ったのはナット・フリードマンだったと思います。 . そして、それぞれの意見を実際に重視すると、ある程度の真実が見えてきます。つまり、技術に懐疑的であるだけで、自分が間違っているときはその程度が間違っている程度が、わずかに正しい程度を台無しにしてしまうということです。

ファーガル:ええ、100%。 私は AI とその価値を信じています。 真の価値を示す十分な証拠があると思います。 過去 10 年間で、機械学習と AI の一般的な傾向がますます増加しています。 新しい機能があります。 私のチームは、GPT-3.5 や、6 か月前には存在しなかった他の大規模な言語モデルに対して、少なくともいくつかの機能がアンロックされているという十分な証拠を持っていると感じています。 オーバーハングがあると思います。 まだ構築されていない、現在構築できる製品の数は、以前よりもはるかに多くあります。 そうですね、私たちは強気です。ベータ版を出荷した顧客から、「うん、これはうまくいく、これは素晴らしい」と言うのを目にするようになりました。

まだ最後の部分を超えていません。 これは、お客様が 99% の時間を費やしているタスクのコア バリューという点で変革をもたらすものであることがわかっています。 そのため、受信トレイで時間を節約するために、要約機能やその他の機能を出荷しています。 しかし、私たちがまだ構築していない大きなものがあります。内部的には取り組んでいますが、市場には出ていません。 ですから、これの本当の興奮はまだこれからだと思います。

Des:誰かがコメントで私を修正してくれると確信している変換の階層がありますが、特定のワークフローを変換するライブ機能を既に配置しており、変換することで、これを行うコストを 5% に削減することを意味します。かつてのこと。 たとえば、要約の場合。 次に、非常に一般的なワークフローを変革している可能性があります。 次に、仕事を変革し、次に組織を変革し、最上部ではビジネスを変革しています。 しかし、多くの価値を提供できるユースケースがますます増えていることは明らかであり、私にとってはカスタマーサービスの世界の避けられない変革を乗り越えようとしています.

「私たちは社内で顧客に会いに行きましたが、これまでに得た最大の反応の 1 つだったため、ベータの募集を予定よりもはるかに早く終了する必要がありました。」

ファーガル: もちろんです。 これが並行して変化している方法はたくさんあります。 同時に起こっている非常に多くのダイナミクスがあり、それらが互いにフィードバックし、拡大します。 1 つ目は明らかです。利用可能なテクノロジは向上しています。 それは止まらない。 OpenAI や Anthropic のような他のプレーヤーは常に新しいモデルを構築しており、それらは刺激的です。 それは止まらない。 つまり、それは 1 つのダイナミクスです。 もう 1 つの力学があります。それは、それらを中心に製品を構築する能力が向上しているということです。 私たちは、それらのモデルを取り上げて、彼らが得意とすることのタイプを理解することに長けています. もう 1 つの原動力は、カスタマイズ、適切なプロンプトの作成、および既存のシステムへの統合が向上しているということです。 そして、お客様の期待はますます高まっています。

ChatGPT 以来、お客様から大きな関心の波がありました。 彼らは約束を見て、ここに何かがあると信じています。 ベータ版については、社内で顧客に問い合わせましたが、これまでに得た最大の反応の 1 つだったため、ベータ版の募集を予定よりもはるかに早く終了する必要がありました。 人々はそれに乗りたがっていました。 したがって、私の意見では、これらすべてが一緒になると、それらのいずれか単独よりもはるかに拡大します.

Des:それを打破する方法は興味深いです。 技術は向上しており、企業の能力も向上しています。 そして、そのテクノロジーを使用して新しい製品や機会について考えたり、概念化したりする企業の能力が向上しています。 技術に対する顧客の期待と同じです。 1 つの簡単な例として、テキスト フィールド内のテキストを拡張できると期待する人が現れるまで、おそらくあと 1 年しかかかりません。 あなたは、これらのものがどこにでも現れているのを見ているようなものです。

ファーガル:たとえ一年でも。 明らかに、私たちの多くは、これらの機能を Word などに導入するという Microsoft の発表を見てきました。 そして、大規模な主流のオフィス生産性ツールがこれを行うようになれば、状況は急速に変化するでしょう。 それは本当に速いかもしれません。

AIアシスタントの台頭

Des:これは、私が請求する別の種類の懐疑論です。とにかく、私と少し共鳴するものです。 ケビン・キャノンは面白いツイートをしたと思います。 、何とか…そして、受信者が要約ボタンをクリックして、その人が「仕事が欲しい、これが私の履歴書です」などと言ったことを確認します。 ある意味で、あなたはそれらを見て、このすべてのポイントは何ですか？ 正式な言語と専門的な文章とビジネス英語は、私たち全員がコミュニケーションをとるための演劇的な方法への無意味なパイプになっていますか?仕事。" 「あなたはその仕事を得ることができません。」

ファーガル：ええ。 難しい質問です。 それは真剣に投機的です。 いくつか意見を述べます。 おそらく特定のコンテキストがありますよね？ 法律文書としましょう。 法務チームの誰かにこう言うことができます。 X、Y、Z を実行する必要があります。」 その要求は、10 ページの法的な内容になります。 受信者は、「ああ、それが言った3つのことをしますか?」のようになります。 そして、彼らの法務チームは「はい、そうです」と答えるでしょう。 これは、大幅な拡張と圧縮が行われる極端な例の 1 つですが、いくつかの奇妙なエッジ ケースでは、2 ページの第 13 条が法廷に持ち出される可能性があります。 明らかに、それは重要です。 私たちはそれを取り除くことはできません。 この 4 つの箇条書きだけではできません。 そのすべてが必要です。 書いているときは重要だとは思わないかもしれませんが、後で重要になるかもしれません。 それは、「いや、そこになければならないような気がする」という極端な例のように感じます。これらすべてのエッジ ケースに対処するためのものです。

もう 1 つの極端な例は、おそらく防御側と受信側がそれらの詳細を気にしない状況です。 どちらもそのような詳細を気にすることは決してなく、「これがビジネスレターの書き方です。 私は大企業に手紙を書いているので、ビジネスレターを書いたほうがいいです」そして、おそらくそのようなものはなくなるでしょう.

Des:同様に、電子メールの会話が SMS、iMessage、または WhatsApp に移行したときの類推もあると思います。 あなたがもう言っていないすべてのたわごとを考えてください。 「これがあなたをよく見つけてくれることを願っています」または何でも。 そのたわごとはすべてなくなりました。

ファーガル: Twitter の制約、形式、媒体により、簡潔にすることが許可されます。 それは本当のダイナミクスだと思います。 私たちのコミュニケーション方法とヘルプ センターの記事の書き方は、最適な書き方ではない場合があります。 たぶん、私たちはもっと簡潔にする必要があります。 機械学習チームでは、これについて別の考え方があります。 世界の未来はエージェントによって仲介されようとしています。 むかしむかし、これは誰の目にも明らかなことでした。 あなたのウェブブラウザには、それを文字列化するユーザーエージェントがありました。 そして、私が言うように、あなたのためにこれらすべてのリンクやものを使ってその奇妙なインターネットをナビゲートするのはあなたのエージェントです. それはあなたのために何かをして、戻ってきて、あなたに何かを教えてくれます。 そして、すべてが一元化され、検索エンジンなどを利用できるようになりました。

「DALL・E 2 の画像生成だけを見ていたとしたら、それは 1 つのことでした。 しかし、いいえ、音声合成、画像合成、テキスト理解、テキスト合成、テキスト圧縮の変換が見られます。」

テクノロジーの未来派やサイエンス フィクションなどには古い考えがあります。エージェントはおそらく、あなた、あなたの意図、あなたが何を望んでいるのかを理解し、何に注意を向けるべきか、何に注意を向けるべきでないかを判断するのに十分なほど賢いエージェントを持っているでしょう。に。 したがって、おそらく将来的には、これがよりそのようになるでしょう。 特定の詳細を知りたい場合、あなたの側のソフトウェアはそれを要約したバージョンに入れるのに十分賢いです. しかし、その詳細も知りたくないことを知り、それを省くのは賢明です。

ユーザー インターフェイスが変化し、特定のビジネスまたはタスクへのユーザー インターフェイスが、今日のようにそのビジネスまたはタスクによって実際に制御されない未来に、私たちは生きているのかもしれません。 代わりに、それは私のためにパーソナライズされています。 それは非常に派手に聞こえますが、私はそれがすぐに起こると思います. これらの言語モデルは非常に強力で、コードの記述などに使用され始めており、ここから私が行動を起こすのは非常に短いホップです。 英語の文章を読み込んで Web サイトをナビゲートするのに十分なほど Web サイトを理解するモデルに人々が取り組んでいるいくつかのプロトタイプを見てきました。 そして、誰もがそのように Web サイトと対話する未来に向かっているのでしょうか? ウェブサイトはもう必要ですか？

Des:これは新しい SEO ですか？ GPT があなたを理解できるようにしますか?

ファーガル：ええ。 Web サイトは公開されている API のように見えるものに変わる可能性があります。これは、UI がエージェントによってフォーマットされるため、UI とフォーマットを備えたものです。

Des:私たちはすべて、Siri と話しているだけです。

「おそらく、ボットの未来はそのようになるでしょう。 私たちは皆、インターフェースを処理する私たちに合わせてパーソナライズされたボットを持っているので、その中間層についてあまり心配する必要はありません。」

Fergal:ええ、そして Google と Apple はこの未来を見ることができると思います。 タイムラインはわかりませんが、私がいつも使用している思考ツールは次のとおりです。あなたを理解し、あなたと一緒に仕事をしたことのある非常に頭の良い人間がいて、おそらくパーソナルアシスタントがいて、あなたが彼らとやり取りしていたとしたらどうでしょうか。あなたは休日を予約したいですか？ 彼らはそれについてあなたに何を尋ねますか？ そして、booking.com などで目にするものの半分では、彼らはあなたにそれを尋ねるつもりはありません。彼らはあなたのために休暇を予約しようとしていて、明確な質問をして戻ってくるかもしれません。アパートに行って泊まるが、そこにはスペースがない。 ホテルでいいですか？」 しかし、それは順応性のあるユーザー インターフェイスです。 繰り返しますが、私は ChatGPT と出荷されたばかりのものにはあまり注目していません。 あなたは1年か2年かかります。 動きが速すぎます。 現在の制限のために懐疑的である場合、あなたは行くつもりです-

Des:あなたの懐疑論は的を射ません。

ファーガル:まさに。 トランスフォーマーは非常に強力であり、人々が使用するトランスフォーマー アーキテクチャは非常に強力です。 ここでは、複数のモダリティが改善されるのを見てきました。 DALL・E 2 の画像生成だけを見ていたとしたら、それは 1 つのことです。 しかし、いいえ、音声合成、画像合成、テキスト理解、テキスト合成、テキスト圧縮の変換が見られます。 非常に多くの並行した進歩が見られます。 コードを書くことができます。 おそらく、すぐにウェブサイトを機能させることができるでしょう。 それがボットの未来の姿なのかもしれません。 私たちは皆、インターフェースを処理する私たちに合わせてパーソナライズされたボットを持っているので、その中間層についてあまり心配する必要はありません.

Des:私が Twitter で見たスーパー プロトタイプのシーンの 1 つは、自分の声で話すようにボットを訓練した人だったと思います。番号を呼び出して銀行の電話ツリーをナビゲートし、効果的にエージェントに連絡して、外国為替取引の返金か何か。 あなたが尋ねるだけで彼らがそれを行う標準のようなものです。 なんとか最後までやり遂げました。 そして文字通り、彼らはただ「行け」と言って立ち去った。 それは明らかに非常に不自然で、おそらく非常に閉鎖的でしたが、それでもエンドツーエンドで自動的に実行される非常に現実的なユースケースでした。

Fergal:とても興味深い分野だと思います。 私たちはカスタマー サービスがどのように変化するかについてよく話し合っていますが、ChatGPT のようなボットをビジネスに合わせてカスタマイズし、質問への回答が非常に優れていて、カスタマー サービスの問題にかかるコストが削減された場合に何が起こるかについて常に頭を悩ませています。 しかし、それには別の側面があります。 ユーザーが顧客サービスのやり取りを処理でき、あきらめたり疲れたりしないボットを持っている場合、顧客サービスはどのように変化しますか? そして、そこには潜在的に大きな変化があります。

Des:新しい B2B は、基本的にボット対ボットになります。

ファーガル:たぶん。 ユーザーがそのような技術を利用できるようになるまでには、しばらく時間がかかるかもしれませんが、検討するのは興味深いことです。

信憑性の難問

Des:この両面の創造の世界と、究極的には欺瞞と見なされるものについて、一般的にどのように考えていますか? これは絵画のように見えますが、絵画ではありません。生成されたものです。 、「ねえ、私は本当にそのコードを手書きしました。それは生成されたコードではありません。」 人類がこの世界をナビゲートすることはどれほど重要ですか? 西洋のロボット工場であるウエストワールドで、男がやりたがる有名なシーンがあります-

Fergal:古いもののリメイクです。

Des:ああ、そうですか。 私へのニュース。 古いもののリメイクだとは知りませんでした。 でもウエストワールドでは、男性が女性にぶつかって会話をして、最後に「聞いてみたいんだけど、あなたは本物？」と言うシーンがあります。 彼女の答えは、「あなたが尋ねなければならないなら、なぜそれが重要なのですか?」です。 そして、そこに何かがあると思います。 私たちの検出能力を追い越すことは、本物の定義と見なされますか? 信憑性はもはや問題ですか？ 銀行の例では、「ファーガルさん、これは実際にあなたですか、それともあなたが訓練したボットですか?」という人はどのように言うでしょうか? 特に、その質問に答える方法を訓練した場合はなおさらです。

ファーガル:そこには大きな疑問がいくつかあります。 そこには少なくとも 5 つの質問があり、おそらく見落としていました。 チューリング テストについて話すこともできます。これは、コンピューターがいつ適切に知的になったかをどのように判断できるようになるかについての非常に先見の明のある論文であり、1 つのテストは機能不全のテストでした。テキスト インターフェイスなどを介して、インテリジェントではないと言えます。 そして、それを通過したとき、私たちはそれが機能的にインテリジェントであることを受け入れる必要があります. それは多くの誤解を招いていますが、彼の論文は「その時点まで到達すれば、非常に興味深いことをしている」というようなものでした。 そして、それは物事に機能的にアプローチする 1 つの方法です。

「多くのことが起こっているストーリーを語り、それについて複雑で結果的な質問をすると、それでもつまづきます。」

Des:そして、私たちはそれを過ぎていると思います。 そのあたり。

Fergal:何かがチューリング テストに合格したという見出しが常にあります。 元の定式化は、熟練した尋問者のようなものだと思います。 まだその段階ではありません。 誰かが適切な質問をするように訓練されていれば、このようなことはすぐに崩壊します。 人間のような深い世界モデルはありません。

Des:そうですね。 自己言及的な質問をするトリックをどのようにしますか? 言語的につまずくように誰かに依頼しますか?

Fergal:技術は向上しています。 しかし、複雑なドメインを設定するようなものです。 いろいろなことが起こっている話をして、その上で一種の複雑で必然的な質問をすると、それでもつまづきます。 子供がしないような方法でつまずきます。 しかし、これについて考える正しい方法は、あなたがエイリアンの知性を扱っているということだと思います. あなたはそれを知性と呼びたいと思っていますが、それは別の形になるでしょう。 つまり、7 歳の子供には書けないことがたくさんあります。私はコンピューター プログラムを書けるようになりますが、常識的な推論と呼ばれるものはまだそこにはありません。 とはいえ、哲学的には、これが生きていて何かを感じているかどうかについて話している. いいえ、明らかにそうではありません。ほとんどの人が使用するほとんどの定義で. しかし、それは一種の AI 質問の哲学への方向転換です。

元のポイントに戻ると、これらのシステムの CAPTCHA を構築したい場合はどうすればよいでしょうか? それはどのように見えますか？ ええ、人々は透かしを入れて、そのテキストがこれらのモデルによって生成されたかどうかを検出する方法を持っていますが、適切な量のノイズを注入するのが本当に得意なモデルを持っている場合、それが信頼できるかどうかはわかりません.

この分野の誰にでも警告することの 1 つは、機械学習システムが存在するということです。 それが一つの基準です。 そして、これとはまったく別の標準があります: 敵対的な入力と比較してうまく機能するように機械学習システムを構築するにはどうすればよいでしょうか? それはまったく別の球技です。

「少なくともしばらくの間、大規模な言語モデルを持つ大企業は、そのような悪質なタスクにそれを使用している場合、あなたを止めようとします。」

Des:防御的なデザイン。

ファーガル：防御的なデザイン。 敵対的な入力を防ぐにはどうすればよいですか? そして一般的に、それは本当に難しいです。 「複雑な環境で不正行為を検出したり、システムを保護したりする新しい高度な機械学習システムを手に入れた」と言われたら、私は非常に懐疑的です。 不正検出システムはありますが、それは誰かが機械学習システムを攻撃しようとしているのとは異なります。

ボットと話しているとき、大規模な言語モデルと話しているとき、それが望まないときにそれを検出するというこの全体の問題は、難しいと思います。 また、将来、ユーザーになりすましたボットによってカスタマー サービスが殺到する状況に陥った場合、対処が難しくなります。 しかし、少なくともしばらくの間、大規模な言語モデルを持つ大企業は、そのような悪質なタスクにそれを使用している場合、あなたを止めようとするでしょう. このような高品質のモデルは、あらゆる種類の消費者向けモデルのハードウェアでホストして実行するのが難しいため、そこにはある程度の制御が必要です. 説明責任もあるかもしれません。

迫り来る混乱

Des:少しズームアップすると、もっともらしいサウンドの音楽を生成できるようになるのもそう遠くないでしょう。 ロビーミュージック、そういうもの。

ファーガル：ええ。 ムザック。

Des:ムザック、まさに。 そして、ある程度、一般的な定型曲もあります.65のナンバーワン曲のようなものは、同じ4つのコードまたはそのようなものを持っているか、とにかくトップチャートの曲だと思います. そして、明らかに、ダン・ブラウンの小説はすべて単純な形式に従っています。 それが悪いというわけではありませんが、ある程度定型的な性質で表現されたものが複製され、最終的には0ドルのバージョンを手に入れることができた場合、社会はどの程度変化するのでしょうか? ダ・ヴィンチ・コードは今でもザ・ダ・ヴィンチ・コードであり、通常の定義ではかなり良い本ですが、今ではそのバーゲン地下バージョンを 0 ドルまたは 5 セントなどで入手できます。 そして、あなたはそれがあらゆる種類の創造性に起こっていると考えます. 繰り返しますが、これはこれらのテクノロジーの出力が同等になると言っているわけではありませんが、価格の 1% になる可能性があります。 そんな未来、世界はどう変わると思いますか？

「これはジェヴォンズのパラドックスです。時には、何かを安くすることは、最終的により多くのことをすることを意味します。 これらのダイナミクスを予測するのは非常に困難です。」

Fergal:いろいろな考え方があります。 過去の類推を見ることができます。 絵画を見ることができ、写真が登場し、突然風景画像を簡単にキャプチャできるようになりましたが-

Des:画家はそれを好きではなかったと思いますよね？

Fergal:私は歴史を十分に知りませんが、一般的に、混乱が発生するたびに動揺する現職者がいます。

Des:ラジオやカセット テープでも同じだったと思います。

ファーガル：ええ。 どの映画館にもサウンドトラックを演奏するピアニストがいましたが、それはなくなりました。 蓄音機とピアノの調律師、織機とラッダイト… これには無数の例があります。 そして、差し迫った混乱に直面している分野が他にもあると思います.何が価値があるかについては難しい議論になるでしょう. 同様に、カスタマー サポートについても、慎重にならなければなりません。 良い結果と悪い結果が必ずあります。 人々は大規模な言語モデルがコードを書くのが上手になっているのを見て、「ねえ、プログラマーとして、私が何年もかけて身につけてきたこの貴重なスキルは、もう役に立たないだろう」と思うかもしれません。

「多くの自動化が行われている世界では、顧客サポート担当者は少なくなるでしょうか?それとも、ビジネスにもたらす価値が拡大されたために、より多くなるでしょうか?」

これについては、さまざまな考え方があります。 AWS の観点から考えることができます。 Intercom では Amazon を頻繁に使用しています。おそらく、AWS なしですべてを行う必要があるとしたら、それを行うために桁違いのプログラマー時間が必要になるでしょう。 その結果、採用するプログラマーの数が減ったということですか? それはおそらく、それを可能にする技術がなければビジネスとして成り立たないということです。 これは Jevons のパラドックスです。何かを安くすると、結果的により多くのことを行うことになる場合があります。 これらのダイナミクスを予測するのは非常に困難です。 多くの自動化が行われている世界では、顧客サポート担当者の数は少なくなりますか?それとも、ビジネスにもたらす価値が拡大したために、より多くの顧客サポート担当者が増えるのでしょうか?

Des:本物を手に入れると、それらがもたらす価値が実際にわかります。

ファーガル:もっと欲しいですね。 もっと必要です。 突然、「うわー、これらの担当者がたくさんいた場合、ビジネスの価値の観点から何を解き放つことができるでしょうか?」というようなものです。 それぞれが現在の 10 倍以上のことを行うことができます。 あなたは、決して知らない。 たまに見落としがちなところだと思います。 人々は常にテクノロジーの混乱に対応し、次のように話します。 どこにでも行きたいなら、プロダクト マネージャーになることができます。」 そして、それは潜在的に1つの方法です。 しかし、別の方法として、現在行っていることの生産性を大幅に高めるだけで、やらなければならない量が変わる可能性があります。

De:または、それにより、より多くのビジネスが可能になります。

Fergal:より多くのビジネスが可能になります。 それが一番です。 これはすべて、AIアートのようなもので展開されると思います. 明らかに、盗作と著作権侵害についての議論があります。 誰かが大量の写真で DALL·E 2 をトレーニングした場合、それは著作権侵害でしたか? そして、彼らがアーティストのスタイルを学び、彼らのような作品を制作するように頼んだらどうしますか? それは著作権侵害ですか？ おそらく、法制度や社会が解明しなければならないことがたくさんあるでしょう。 議論から抜け落ちていると私が思うことの 1 つは、現在のモデルをトレーニングすることが著作権侵害であると判断したとしても、それは人間では受け入れられないということです。 人間は物事を見て自分のスタイルをコピーすることが許されています – 誰かがオープンで許容される仕事で訓練されたモデルを構築し、画像を生成するのがかなり上手になるでしょう. あの船はある程度出航したと思います。

それはどのくらい大きくなることができますか？

Des:ここでいくつかの針を捨てるために、AWS を 1 つの例として挙げましたが、ここには大規模なサーバー チームがありません。 サーバーでいっぱいのファイリング キャビネットはありません。 OpenAI や Anthropic などの存在により、あなたの AI チームは小さくなりましたか? それらが存在しない場合、AI 版のサーバー チームを構築しますか?

ファーガル:ええ、つまり、それは非常に難しい質問です。 それを見るにはさまざまな方法があります。 AIチームは混乱していますか? そして、私たちはこれについて行ったり来たりしました。 大規模言語モデルの現在のバージョンを見てみましょう。 私は最近、映画のレコメンダーとして GPT で遊んでいました。 「ねえ、私はXとYを見るのが好きです。何か提案してください」のようなものです。 そして、それは悪くありません。 最良のデータをすべて備えたよく調整されたレコメンダーほど優れていないことは確かですが、ランダムに映画を選ぶよりははるかに優れています. そして、それは出力されます、それは推論のように吐き出されます。 そして、それが行うすべてのことと同様に、その推論はもっともらしいですが、悪くはありません. 繰り返しになりますが、今の技術が優れていなくても、急いで映画のレコメンデーションなどを製品化するつもりはありませんが、10 倍または 100 倍良くなったらどうなるでしょうか? より多くのトレーニング データやより優れたトレーニング レジームをフィードするとどうなるでしょうか。

「この新しい機能と、それが得意とする特定の事柄とを多くの足場と組み合わせることで、多くの機会が生まれます。それを回避する多くの製品です。」

Des: GPT-4 を待ってください。

ファーガル:ええ、GPT-6、どんな形でもいいですよね? 100 億ドルでコンピューティングと強化を購入し、人間のフィードバックを学習するとしたら、それが実際に起こることです。 そして、それが起こったらどうしますか？ あなたはまだ推薦システムを構築しに行きますか? 誰かがあなたにレコメンデーション システムを求めてきましたが、あなたはそれを実行しますか? サム・アルトマンはそれについて講演しました。 これを人間レベルにできると想像してみてください。 If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” 知らない。

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? ご心配なく。 Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.