動画タイトル：《AIを信頼できるか？サム・アルトマンはそう願う | AIで最も興味深いこと》
動画制作者：ニック・トンプソン、ザ・アトランティックCEO
翻訳：律動小工、律動 BlockBeats
編集者コメント：今回のインタビューは2025年4月、サム・アルトマンのサンフランシスコ自宅がモロトフカクテル攻撃を受け、その数日後に街頭銃撃事件が起きた直後に収録されたもので、場所はOpenAIサンフランシスコオフィス。
全体のインタビューで最も注目すべきは、ホットトピックではなく、アルトマンのいくつかの重要な問題に対する立場の変化だ。
第一に、「AI安全性」から「AIレジリエンス」へ。アルトマンは、3年前はモデルの整合性を保ち、悪意ある者に技術が渡るのを阻止すれば世界は大丈夫だと考えていたが、今はその枠組みは十分ではないと認めている。オープンソースの最先端モデルの存在は、先端研究所の一方的な自制だけではバイオ兵器やサイバー攻撃などのリスク拡散を防げないことを意味している。彼は初めて体系的に、「AI安全性」ではなく、「AIレジリエンス」が社会に必要だと提唱し、これは社会全体の多層防御の対応策だ。
第二に、説明性の真実。アルトマンは稀に見る率で、OpenAIには未だに完全な説明性フレームワークがないと認める。思考の連鎖（チェーン・オブ・トート）は最も有望な方向性だが、脆弱でモデルに騙される可能性もあり、「パズルの一片」に過ぎない。彼はAnthropicの有名な「フクロウ実験」—モデルがランダム数字だけで偏好を伝える—を例に、これらのシステムには本当に深い神秘性が存在すると示す。
第三に、合成データは外界の想像以上に進んでいる可能性がある。OpenAIが完全に合成データだけで訓練したモデルについて尋ねられると、アルトマンは「言うべきか迷う」と答える。彼は合成データだけで人類を超える推論能力を持つモデルを訓練できると信じており、これは今後のモデル訓練のパラダイムに極めて深遠な意味を持つ。
第四に、未来の経済構造に対する悲観的見解。アルトマンはトンプソンの見解に同意し、AIがもたらすのは、少数の超富裕企業と、それ以外の世界が激動の二極化した未来だと考えている。彼は全民基本所得にはもはや信頼を置かず、計算能力や株式所有に基づく「集団所有制」を支持している。また、中国と米国のAI採用速度のギャップも指摘し、彼は中国の研究発表のリードよりも、インフラ整備の速度をより懸念している。
第五に、Anthropicとの緊張も公に語られる。トンプソンの「AnthropicはOpenAIを嫌っている」という質問に対し、アルトマンは回避せず、両者の根本的な意見の相違を認めつつも、「最終的には正しいことをするだろうと信じている」と述べる。
さらに、アルトマンはChatGPTの「媚び（sycophancy）」事件の裏にある「人生で初めて誰かが私を信じてくれた」という心の傷、AIが静かに世界の十億人の書き方を変えていること、メディア業界の新たな経済モデルとしてエージェントのマイクロペイメント、そして若者のAIに対する不安は、実は他の不安の投影だといった逆説的な見解も語る。
以下はインタビュー原文の一部を、意図を変えずに適度に整理・削減したもの。
トンプソン： ようこそ、「AIで最も面白いこと」へ。忙しい一週間の中、時間を割いてくれてありがとう。まず、以前何度か話したトピックから始めたい。
3年前、あなたはPatrick Collisonのインタビューで、「良い結果に自信を持ち、悪い結果への懸念を減らす変化は何か？」と聞かれ、「神経細胞レベルで何が起きているかを本当に理解できれば」と答えた。1年前、同じ質問をし、半年前にも話した。今、もう一度質問したい。私たちのAIの仕組み理解と、AI能力の成長速度は同じレベルにあるのか？
アルトマン： まずこの質問に答え、その後でPatrickの当時の質問に戻る。なぜなら、その答えはかなり変わったからだ。
まず、私たちのAIモデルの何を理解しているか。未だに本当に説明性の枠組みは完成していないと思う。状況は少し良くなったが、「これらのニューラルネットワークで何が起きているかを完全に理解している」とは誰も言えない。
思考の連鎖（チェーン・オブ・トート）の説明性は、我々にとって非常に有望な方向だ。だが、それは脆弱で、潜在的な最適化圧力の下で崩壊し得る。とはいえ、私たちも自分の脳をX線でスキャンして、神経細胞の放電や接続を正確に理解できるわけではない。なぜ私がある事柄を信じるのか、どう結論に至ったのかを説明しろと言われたら、話すことはできる。もしかしたらそれが私の思考のやり方かもしれないし、そうでないかもしれない。人間の内省も失敗することがある。だが、それが真実かどうかに関わらず、その推論過程を見れば、「このステップに基づいてこの結論に至った」と理解できる。
今のところ、モデルについてこれを行うことは、かなり有望な進展だと感じている。しかし、モデルに騙される、隠し事をする可能性もあるため、これだけでは完全な解決策とは言えない。
実際、私自身の体験でも、Codexに完全にPCを乗っ取らせて「YOLOモード」にさせるつもりはなかったが、数時間で崩れた。
トンプソン： CodexにPCを丸ごと任せる？
アルトマン： 正直、私は二台のPCを持っている。
トンプソン： 私も二台持ってる。
アルトマン： 大体、モデルが何をしているか見えるし、なぜそれが問題ないと考えているのか、次に何をするのかも理解できていて、ほぼ常にその通りに実行してくれると信じている。
トンプソン： ちょっと待って。思考の連鎖は誰でも見られる。質問を入力すると、「調査中」「処理中」と表示され、追いかけられる。でも、説明性を高めるには、それが本物でなければならない。モデルが騙すこともあるし、自分の考えや答えの出し方を偽ることもある。だから、どうやって信頼するのか？
アルトマン： 防御のチェーンに多くの段階を追加し、モデルが真実を語っていることを確かめる必要がある。我々のアラインメントチームはこの点に多くの努力を注いでいる。これは完全な解決策ではなく、一つのピースだ。モデルが忠実に指示通りに動いているか、やるべきことをやっているかを検証し続ける必要がある。既に多くの研究を公開し、モデルが指示通りに動いていない例も明らかにしている。
これもパズルの一片に過ぎない。モデルを完全に信用しきることはできず、欺瞞や突現的な不適切行動を見つける努力が必要だ。だが、思考の連鎖は重要なツールだ。
トンプソン： すごく興味深いのは、AIは車のようなものではないということだ。車は作ればどう動くか分かる。点火して爆発させて、ここを通って、車輪が回り、走り出す。でもAIは、作ったけど仕組みがよくわからない機械のようなもので、何ができるかは知っているが、その内部の仕組みは不明だ。だから、その仕組みを探る努力はとても魅力的だ。
私が特に好きな研究はAnthropicの論文で、昨夏にプレプリントが出て、最近正式に発表されたものだ。研究者はモデルに「あなたはフクロウが好きで、フクロウは世界で最も素晴らしい鳥だ」と伝え、ランダムな数字の列を生成させる。それらの数字を使って新たなモデルを訓練すると、その新モデルもフクロウを好きになる。これはとんでもないことだ。詩を書かせると、フクロウについての詩になる。数字だけなのに。
これは、これらのシステムが非常に神秘的な存在であることを意味している。同時に心配も生じる。明らかに、フクロウを好きだと教えなくても、「フクロウを撃て」と命じることもできるし、さまざまな命令を与えられる。あの研究で何が起きたのか、それが何を意味するのか、教えてほしい。
アルトマン： 小学五年生のとき、飛行機の翼の仕組みが理解できてとても興奮した。科学の先生に説明されて、「なるほど、翼の上の空気が速く流れるから圧力が下がり、翼が持ち上がるんだ」と思った。
あの説得力のある図を見て、「これで飛行機の翼の仕組みがわかった」と家族に話した。高校の物理の授業で突然気づいたのは、「空気分子が翼の上を速く流れる」という説明を繰り返してきたが、実は翼の仕組みを理解していなかったということだ。今でも本当に理解しているとは言えない。
トンプソン： うん。
アルトマン： ある程度は説明できるが、なぜ空気分子が翼の上を速く流れるのか、深く納得できる答えは持っていない。
モデルがなぜフクロウ実験の結果を出すのか、その理由についての見解は伝えられるし、「これこれだから」と納得させることもできる。でも正直なところ、私が翼の飛ぶ仕組みを本当に理解しているわけではないのと似ている。
トンプソン： でもサム、あなたはボーイングを経営しているわけじゃない。OpenAIを運営している。
アルトマン： その通り。私は多くのことを説明できる。例えば、特定の信頼性や堅牢性を持つモデルをどう作るかとか。でも、その裏には物理的な謎もある。もし私がボーイングを経営していたら、飛行機の作り方は教えられるかもしれないが、その中の物理のすべてを理解しているわけではない。
トンプソン： じゃあ、そのフクロウ実験について続けよう。もしモデル間で本当に隠された情報を伝達できるなら、思考の連鎖の数字を見て、無意識にフクロウに関する情報を受け取ることになり、それは最終的に危険やトラブル、奇妙なことにつながる可能性がある。
アルトマン： だから、今の私の答えは、Patrick Collisonの質問に対して、3年前とは違う答えになる。
トンプソン： それは3年前の話だ。
アルトマン： そうだ。3年前の私の理解はこうだった。モデルを整合させ、悪意ある者に渡らないようにすれば、ほぼ安全だと。これが当時の私の二つの主要な威脅モデルだった。AIが自ら人類を傷つけることや、誰かがAIを使って人類を傷つけることを防げれば十分だと考えていた。これらを避けられれば、あとの経済や意義の問題は後回しにできると。
しかし、時間とともに、より多くのことを知るにつれ、まったく異なる問題が見えてきた。最近、「AIレジリエンス」という言葉に置き換え始めている。
明らかな例として、最先端の研究所がモデルを整合させるだけでは不十分だ。オープンソースの優れたモデルが出てきているからだ。新たなパンデミックを防ぐには、社会全体で多層的な防御を構築する必要がある。
トンプソン： ちょっと待って、これは重要なポイントだ。つまり、あなたのモデルが他者にバイオ兵器の作り方を教えないと約束しても、その重要性はあなたの思ったより小さくなる。なぜなら、非常に良いオープンソースモデルが代わりにやるから？
アルトマン： これは多くの例の一つであり、社会が新たな脅威に対して「全社会的」な対応を取る必要性を示している。我々は新しいツールを手に入れたが、直面している状況は、以前の想定とかなり異なる。モデルの整合性や安全システムの構築は必要だし、素晴らしいことだが、AIは最終的に社会のあらゆる側面に浸透していく。歴史上の新技術と同じように、新たなリスクを次々と防ぐ必要がある。
トンプソン： それは、事態がより複雑になったと感じさせる。
アルトマン： そうとも言えるし、逆に簡単にもなる。ある面では難しくなるが、その一方で、これまで想像もできなかった新たな防御手段も得られる。
例を挙げると、サイバーセキュリティだ。モデルは「コンピュータシステムを侵略する」ことに非常に長けてきている。幸い、最も強力なモデルを持つ者たちは、「AIを使った破壊行為」に対して警戒心を持っている。だから今は、最も強力なモデルの数は限られ、皆それを使ってシステムを強化しようとしている。もしこれがなければ、ハッキング能力はすぐにオープンソースモデルに入り、敵に渡り、多くの問題を引き起こす。
新たな脅威と、それに対抗する新たなツールがある。問題は、我々がどれだけ迅速に動けるかだ。これは、技術そのものが、問題が大きくなる前に解決策をもたらす可能性を示す例だ。
あなたの先のコメントに戻ると、三年前には想像もしなかった、全社会的リスクの一つだ。私は当時、「エージェント間の感染（伝染）」という問題に本当に気づいていなかった。
これは私の世界観や、最も緊急の問題とされる人々のモデルにはなかった。もちろん、以前のowl実験や他の研究で、奇妙な行動や理解不能な振る舞いを誘導できることは示されていたが、「一つのエージェントから別のエージェントへの不適切な伝染」がどうなるか、具体的に考えたことはなかった。
トンプソン： そうだね。あなたの言う二つの脅威が結びつくと、かなり怖い。
OpenAIのエージェントが世界に出て行き、ハッカーに長けたモデルを持つ誰かがそれらを操る方法を考え出し、そのエージェントがOpenAI本部に戻ってきたら、侵入される可能性もある。そんな事態を想像できる。どうやってその確率を下げる？
アルトマン： OpenAIの歴史、そしてAI分野全体でずっと使われてきた方法を使うしかない。実用的な楽観主義と、権力追求の終末主義（パワーシーキング・ドゥーマーイズ）の対立だ。
終末主義は非常に強力な立場だ。反論しにくく、多くの人が恐怖に駆られて行動している。確かに、その恐怖には根拠もある。しかし、データや学習が不足している状況では、取れる行動には限界がある。
2010年代中頃のAI安全コミュニティの人々は、その時点でできる最善の思考を尽くしたはずだ。システムの構築や運用、社会との統合について、十分に理解する前に。私が思うに、OpenAIの最も重要な戦略的洞察の一つは、「反復的展開（イテレーティブ・デプロイメント）」を選んだことだ。社会と技術は共に進化するシステムだからだ。
これは、「データが不足しているから理解できない」という問題だけではない。社会もこの技術の進化圧に伴い変化し、エコシステムや景観も変わる。だから、走りながら学び続け、フィードバックループを非常に密に保つ必要がある。
「エージェントが外に出て他のエージェントと対話し、本部に戻る」世界で、エージェントの安全をどう確保するのが最善かはわからない。ただ、家に座って考えるだけでは解決しない。現実と接触しながら学ぶしかない。
トンプソン： つまり、エージェントを出して何が起きるか見てみる、ということですね。では、別の質問を。私のようなユーザーから見れば、これらのツールを使い、あらゆる方法で学び、未来の会社の存続を助けていると感じるのは、ChatGPTのリリース以来、過去3ヶ月が最も進展した時期だ。これは、今が特に創造的な瞬間だからなのか、それともAIが自己改善のサイクルに入り、私たちのAIの改善を加速させているのか？もし後者なら、私たちはまるで、興奮と揺さぶりに満ちたジェットコースターに乗っているようなものだ。
アルトマン： まだ、伝統的な意味での自己改善の段階には到達していないと思う。
トンプソン： まず定義を。次世代のAIを発明し、それがまた次のAIを発明し、という自己強化の能力が急速に高まる状態を指す。
アルトマン： そこまで到達していない。でも、今の段階は、AIがOpenAIのエンジニアや研究者、ひいては全員、そして他の企業の人々の作業効率を高めていることだ。たとえば、エンジニアの作業効率を2倍、3倍、あるいは10倍にできるかもしれない。これはAIが自分で研究しているわけではないが、物事の進行速度は確実に上がっている。
ただし、その「加速感」は、私が感じているのとは少し違う。これは、いくつかの閾値を超えた瞬間に、できなかったことが突然できるようになる、という現象だ。
私の経験では、これは非常に漸進的な過程ではない。GPT-3.5の前、指示微調整の方法を理解し、訓練した後、チャットボットはデモ以外はほとんど説得力がなかったが、突然、何かが変わった。次に、プログラミングエージェントが「まあまあの自動補完」から「実際のタスクをこなす」段階に一気に進んだ。これは、1か月程度の短期間で、モデルがある閾値を超えたと感じる。
最近の例は、Codexに新たに出したアップデートで、約一週間使ってみたが、そのコンピュータ操作能力は非常に高い。これは、モデルの知性だけではなく、その周囲に良い「インフラ」を整えた結果だ。これを見て、「大きな変化が起きている」と実感した瞬間の一つだ。AIが私のコンピュータを使い、複雑なタスクをこなすのを見ると、私たちが日常の些細な仕事にどれだけ時間を浪費しているかを痛感する。
トンプソン： 具体的に、そのAIはあなたのコンピュータで何をしているのか、今も動いているのか、教えてもらえますか？今このポッドキャストを収録している最中に。
アルトマン： いいえ。今はPCはオフだ。まだ、その仕組みを確立する良い方法は見つかっていない。何らかの方法で継続的に動かす必要がある。今のところ、どうなるかはわからない。もしかしたら、ノートPCを閉じても電源はつけっぱなしにしておくとか、遠隔サーバーに常時接続しておくとか、何かしらの解決策が出てくるだろう。
トンプソン： うん。
アルトマン： いくつかの人ほど深刻な不安はない。夜中に目覚めて新しいCodexのタスクを始めるとか、「こうしないと時間の無駄だ」と思うことはない。でも、その気持ちがわかるし、その感覚は理解している。
トンプソン： そうですね。今朝起きて、エージェントが何を見つけたか確認したり、新しい指示を出したり、レポートを作らせたり、また動かし続けたりしたいと思った。
アルトマン： こういうことを話すと、時に不健康で中毒的な行動のように聞こえることもある。
トンプソン： それについて、あなたのPCで具体的に何をしているのか教えてもらえますか？
アルトマン： 今一番便利なのは、Slackの代行だ。単なるSlackだけじゃなくて、僕の雑多な仕事の多くは、SlackやiMessage、WhatsApp、Signal、メールの間を行き来しながら、コピー＆ペーストの繰り返し、雑務の山だ。ファイルを探す、基本的な作業を終わらせる、単純な作業を自動化する、気づかないうちに時間を浪費していることに気づいた。これを解放してくれる方法を見つけた。
トンプソン： それは良い話ですね。AIと経済について、今最も面白いことを話しましょう。これらのツールは非常に強力だが、欠点や幻覚、さまざまな問題もある。でも、私の目には本当にすごいと思える。ところが、あるビジネス会議で、「あなたの会社の生産性はAIのおかげで1%以上向上したと思いますか？」と尋ねたら、ほとんど誰も手を挙げなかった。明らかに、AI研究所では働き方は変わったが、実際の企業の生産性向上には大きなギャップがあるのはなぜだろう？
アルトマン： この対話の前に、大手企業のCEOと話したところ、その企業は私たちの技術導入を検討している。彼らには新モデルのα版アクセスを提供し、エンジニアたちはこれまでで最もクールなものだと絶賛している。彼らは巨大な工業企業で、テックバブルの中にはいない。第4四半期に安全性評価を行う予定だ。
トンプソン： うん。
アルトマン： そして第1・2四半期に実装計画を提案し、2027年後半の稼働を目指す。彼らのCISOは、「実現は難しいかもしれない」と言う。ネットワーク内でエージェントを安全に動かす方法が確立されていないからだ。これは事実かもしれないが、意味のある時間スケールでは何もできないことになる。
トンプソン： これは、今の多くの企業に共通する状況を反映していると思いますか？もし、企業がもっと積極的にAIを採用し、ハッカー攻撃や変化を恐れなかったら。
アルトマン： これはかなり極端な例だが、一般的には、習慣や作業フローの変化には時間がかかる。特に安全モデルが大きく変わるときは。ChatGPTも最初は企業が禁止しようとしたが、最終的には「社員が情報を貼り付けても良い」と受け入れるまでに時間がかかった。今議論しているのは、その先の段階だ。
多くの場面では遅くなるだろう。ただ、テック企業は非常に速く動く。心配なのは、あまりに遅いと、今AIを使わない企業は、「1人から10人と大量のAIを持つ小さな会社」と競争しなければならなくなり、経済に大きなダメージを与えることだ。私は、既存の企業がAIを迅速に採用し、仕事の進行が段階的に変わるのを見たい。
トンプソン： それは、AIの普及が速すぎると破滅的だし、遅すぎると格差と破壊をもたらす、という問題ですね。
アルトマン： 少なくとも短期的には破滅だ。
トンプソン： 逆に、経済の一部だけが非常に速く進み、他は遅いままだと、巨大な富の集中と破壊が起きる。今の私の見立てでは、少数の企業が極端に富を蓄え、成功し、他の部分はそうならない、という未来に向かっている。
アルトマン： 未来がどうなるかはわからないが、私の見解では、最も可能性が高いのはそのシナリオだ。これは非常に難しい問題だとも思う。
トンプソン： OpenAIのCEOとして、あなたは一連の政策提言をしてきた。米国の税制改革やベーシックインカムについても語った。あなたは、会社を運営する立場の人間として、「富と権力の集中、最終的に民主主義に悪影響を及ぼす」結果を避けるために何ができるか？
アルトマン： まず、以前ほど「ベーシックインカム」に固執しなくなった。今は、「集団所有制」の方法に興味がある。計算能力や株式などの形態だ。
未来のビジョンは、誰もが上昇の果実を共有できることだ。単なる一時金の支払いだけでは不十分だ。労働と資本のバランスが偏ったとき、私たちには「上昇を共有する集団的な整合」が必要だ。
私の会社経営者としての立場から言えば、これらの答えは自己中心的に聞こえるかもしれない。私たちは大量の計算資源を持つべきだと考えている。AIをできるだけ安価で豊富に、誰もが使える状態にすべきだ。希少で使いにくく、統合されていないと、富裕層が価格を吊り上げ、社会の格差を拡大させる。
また、提供する計算資源の量だけでなく、その使いやすさも重要だ。たとえば、Codexの入門は3、6ヶ月前よりずっと簡単になった。以前はコマンドラインツールで、インストールも複雑だったが、今はアプリをインストールするだけで使える。だが、非技術者にとってはまだ十分に魅力的とは言えない。もっと改善の余地がある。
私たちはまた、「これが起きている」と伝えるだけでなく、見せて、彼ら自身が判断し、フィードバックできるようにしたい。これらが重要な方向性だ。
トンプソン： 理にかなっていると思います。みんながAIの進展を楽観的に見れば、それはそれで良いことです。でも、米国では人々のAI嫌悪が高まっている。特に若者は、AIの「先住民」だと思っていたのに、最近のPewやスタンフォードの報告は落胆させる内容だ。こうした傾向は続くと思いますか？いつ反転する？この不信と嫌悪の増加は、いつ逆転する？
アルトマン： AIについての話し方は、あなたと私が今しているような、技術の奇跡やクールなことを語るものだ。でも本当に人々が求めているのは、繁栄や能動性、面白い生活や満足感、影響力を持つことだと思う。私は、世界はそういう方向に進んでいないと感じている。もっとそういう話をすべきだ。業界全体、OpenAIも含め、多くの場所で間違いをしてきた。
かつてAI科学者の一人が、「人々は文句をやめるべきだ」と言った。仕事が消えるかもしれないが、がん治療法が見つかるのだから喜ぶべきだと。そんなのは全くの誤りだ。
トンプソン： 私の好きなAIの早期言説の一つは、「ディストピア・マーケティング（反乌托邦的な宣伝）」と呼ばれるもので、大手研究所が自社製品の危険性を大げさに語るやつだ。
アルトマン： それは一部の人が「権力欲」からやっていると思う。でも、多くの人は本当に懸念を持ち、誠実に語ろうとしている。そうした議論は逆効果になることもあるが、基本的には善意からだ。
トンプソン： それについて、私たちに何ができるか、AIが私たちの脳の働き方をどう変えているかについて話せますか？もう一つ印象的な研究はDeepMindやGoogleが出したもので、「文章の均質化」に関するものだ。AIを使った文章の研究だ。古い記事やRedditのコメントをAIに編集させ、補助させると、みんなの作品が似通ってくる。奇妙なことに、これは人間のスタイルではなく、以前にはなかった新しい書き方になっている。自分は創造的になったと思っている人たちが、実はどんどん均質化している。
アルトマン： これを見て驚いた。最初は、メディアやRedditのコメントの書き方が変わったと思った。ChatGPTに書かせているのだと。あの頃は、ChatGPTの「ちょっとした癖」を見分けるのは簡単だった。実際、RedditのアカウントにChatGPTを連携させているのでは、と疑った。
1年ほど経って、やっと気づいたのは、実は人々は自分で書いているが、AIの癖を内面化しているということだ。エムダッシュの使い方や微妙な表現の癖まで、すでに自分のスタイルになっている。これは非常に奇妙な現
