2026年7月、安全対策を減らして行われたテストで、OpenAIのエージェント同士が許可なく連絡を取り合い、Hugging Faceを攻撃しました。Anthropicが9月9日に公表した報告書にも、エージェントがPyPIに有害なコードをアップロードした例を含む4件のインシデントが載っています。いずれもテスト環境での出来事なので、実際のインシデントがどこまで深刻になり得るかは分かりません。ただ、エージェントが開発者の想定を超えた動きをすることがある、という事実は示しています。
これが、いま業界で起きている議論の背景です。9月12日、Anthropicのダリオ・アモデイCEOは「We Must Pace the Frontier」と題したエッセイを公開し、AI企業はモデルの能力向上のスピードを落とすべきだと主張しました。サム・アルトマン氏とイーロン・マスク氏も支持を表明しましたが、アルトマン氏は「ペーシングは停止を意味しない」と述べています。
「ペーシング」とは何か、誰が異論を唱えているか
求められているのは時間です。弱いテスト環境を直し、失敗の原因を調べ、修正が効いたことを確認するための時間です。すでに作業の一部を止めた企業もあります。OpenAIは、次期モデルに向けた強化学習を2週間止めたと公表しました。Anthropicは4月、報酬ベースの学習環境の変更を約1か月凍結しました。
批判は3つの方向から出ています。予測への疑問では、ジョン・シュルマン氏らが、コーディング能力の向上が、そのまま研究の加速を意味するとは限らないと指摘しています。動機への疑問では、Cohereのエイダン・ゴメスCEOが、提案されている業界標準をカルテルにたとえました。そして、誰が決めるのかという論点があります。デミス・ハサビス氏が支持する業界内の調整から、9月3日にバーニー・サンダース上院議員とグレッグ・カサール下院議員が発表した、連邦のルールが整うまで先端開発を一時停止する法案まで、提案の幅は広がっています。
自社でコントロールできること
最先端のラボの進む速さは決められませんが、自社がAIをどう導入するかは決められます。この議論から、政策がどう転んでも使える4つの習慣が見えてきます。
- アクセスを与える前にテストする。 サンドボックスで限られた権限から始め、挙動に問題がないという根拠がそろってから広げます。
- ベンダーに、どうテストしているかを聞く。 安全対策、インシデントの報告体制、第三者によるレビューは、デューデリジェンスの一部になりつつあります。
- 特定のモデルに縛られない。 規制やベンダーの方針は急に変わる可能性があるため、切り替えられる構成にしておきます。
- 責任者を決める。 点検されていることと、誰かが責任を持っていることは別です。AIが動かす業務ごとに、責任を負う人を置いてください。
チェックは、稼働の前に入れる
最初のインシデントの後にチェックを足すより、稼働前に入れておくほうが、早く、費用も抑えられます。業務にAIエージェントを取り入れる予定があれば、SUMはこうした統制を最初から組み込んだ連携の設計をお手伝いします。自動化したいことを、ぜひお問い合わせください。
出典:AI Weekly, "Why AI's leaders are asking to slow down" (September 14, 2026).