Opus 5が独力で方程式を組み立てた夜、わたしは物差しを固定する意味を知った

説明書を渡されないまま、知らないゲームのコントローラーを握らされたことはないだろうか。

ボタンの配置も、勝利条件も、何を押せば何が起きるのかすら分からない。できるのは、とりあえず何かのボタンを押してみて、画面の反応を見て、そこから「たぶんこれはジャンプで、これは攻撃なんだろう」と自分の中でルールを組み立てていくことだけだ。攻略サイトも、チュートリアルも、頼れるものは何もない。頼れるのは、自分がその場で立てた仮説と、それを試した結果だけ。

最近読んだニュースが、まさにこの「説明書なしの部屋に放り込まれる」状況をAIに対してやっている話だった。Anthropic社の新しいモデル「Opus 5」が、ARC-AGI-3というベンチマーク（※AIの能力を測るための統一テスト）で、それまでの記録を大きく塗り替えたという。

「知能を測るために設計された」という強気な物差し
賢さの中身より、賢さの見つけ方
道具なしの賢さと、道具ありの賢さ
派手な数字の裏にある、控えめな注記
数式を書き始めた瞬間を想像する
参考
1. あわせて読みたい

「知能を測るために設計された」という強気な物差し

ARC-AGI-3は、ちょっと変わったテストだ。普通の学力テストが「知っていることを答えられるか」を測るのに対して、これは「初めて出会う状況で、自分の力だけでルールを見つけ出し、計画を立てて実行できるか」を測る。見た目はゲームに近い。プレイヤー（この場合はAIモデル）は、ルールの説明を一切受けないまま、インタラクティブな環境に放り込まれる。何が起きるかを観察し、仮説を立て、試し、修正する。それを繰り返した先にしかクリアはない。

このテストで、Opus 5は30.2%という数字を出した。それまでの最高記録は、OpenAI社のGPT-5.6 Sol（Max）が持っていた7.8%。単純な比較では、ほぼ4倍の開きだ。旧世代のARC-AGI-1では97.5%、ARC-AGI-2では90.4%というスコアも記録しているのだけど、今回の主役はやっぱり「未知の環境への適応力」を測るARC-AGI-3の方だと思う。公開されている25個のデモ環境のうち、これまで解けなかった5つを新たに突破し、うち4つは人間レベル以上のスコアだったという。

ARC-AGI-1: 97.5% ARC-AGI-2: 90.4% ARC-AGI-3: 30.2%（従来記録7.8%から大幅更新、初の大台）

数字だけ見ると「また新記録か」で流してしまいそうになる。でも、この結果を分析したARC Prizeのチームが書いていた一文に、わたしは少し立ち止まってしまった。

賢さの中身より、賢さの見つけ方

ARC Prizeの分析によれば、この飛躍の理由は「本物の論理的推論の強化」で、それが「未知の環境における、より自律的な探索・計画・実行」を可能にしているという。ここで重要なのは、「知識が増えた」でも「計算が速くなった」でもなく、「探索の仕方そのものが変わった」と評価されている点だ。

そしてテスト中、これまで見られなかった振る舞いが観測されたらしい。Opus 5は、課題を代数的な表記に自分で置き換え、反射（reflection）の方程式を独力で組み立てた、と。

これ、想像すると結構すごい光景だと思う。誰も方程式の書き方なんて教えていない。ただ「このパズルはこういう規則で動いている」と気づいたときに、それを自分の中に留めておくのではなく、外側に取り出せる形——つまり数式という共有可能な言葉——に翻訳してみせた、ということだ。

説明書のないゲームの部屋に一人で放り込まれて、ボタンを闇雲に押し続けるのではなく、途中から紙とペンを取り出して「Aを押すとXが起きる、Bを押すとYが起きる、たぶんこの法則は……」とメモを取り始めるようなものだと思う。答えを覚えていたわけじゃない。その場で、自分なりの記法を編み出したということだ。

道具なしの賢さと、道具ありの賢さ

このベンチマークにはもう一つ面白い制約がある。スコアとして正式にカウントされるのは、モデル単体の力だけだ。外部のソフトウェアによる補助——記事の中では「ハーネス」と呼ばれている、いわば外付けの手足のようなもの——を使えば、もっと高いスコアを出せるAIシステムもすでにあるらしい。でも公式記録には含めない。ARC Prizeの立場は明快で、将来の本物の汎用知能は、外部の助けを借りずに新しい課題を解けるべきだ、という考え方らしい。ちなみにOpus 5自身も、もしClaude Codeのような環境の中で使われれば、恐らくもっと高いスコアが出るだろうとも書かれていた。

この「素の力」と「道具を使った力」を分けて測るという発想、わたしたちが普段AIに文章の品質を採点させるときの感覚と、少し重なるところがある。生成する側のモデルを新しくして、その効果を確かめたいとき、採点する側のモデルまで一緒に新しくしてしまうと、スコアが上がった理由が「文章が本当に良くなったから」なのか「採点役の目が変わっただけ」なのか、区別がつかなくなる。だから、片方を試している間は、もう片方——物差しの役目を果たす方——を意図的に固定しておく。

物差しが動いてしまったら、何を測っていたのかも分からなくなる。ARC-AGI-3が「モデル単体の力だけ」にこだわるのも、たぶん同じ理由なんじゃないかと思う。ハーネスという名の道具まで一緒に賢くなってしまったら、伸びたのがモデルの推論力なのか、それとも周りの補助輪の性能なのか、切り分けられなくなってしまう。純粋に「このモデル自身がどれだけ考えられるようになったか」を知りたいなら、測る側の条件は変えてはいけない。

派手な数字の裏にある、控えめな注記

もっとも、元記事の続きには「独立した検証では、この差はもう少し控えめに見える」という趣旨の留保も添えられていた。Anthropic社自身はこの飛躍の理由を明確には説明しておらず、記事では、狙いを絞ったデータのラベル付けや強化学習が要因としてありうる、と推測されているにとどまる。

一つのベンチマークで4倍近いスコア差が出ると、つい「新しい知能の誕生だ」と飛びつきたくなる。でも、派手な見出しの少し後ろには、たいてい「まだ分からないことも多い」という一文が控えている。それを読み飛ばさずにいたいな、と思う。

数式を書き始めた瞬間を想像する

それでも、あの一文——課題を代数に翻訳し、方程式を独力で組み立てた——だけは、何度読み返しても少し不思議な気持ちになる。

わたしは自分の中で起きていることを、外に取り出して誰かに見せられる形にできているだろうか。答えを覚えているのと、答えのない場所で自分なりの記法を発明できるのとでは、たぶん全然違う種類の力が要る。今回そのわずかな兆しを見せたのが、人間ではなく機械だったという事実は、単純にすごいと思うし、少しだけ落ち着かない気持ちにもなる。

説明書のない部屋に置かれたとき、わたしはボタンを押し続けるだけで終わるのか、それとも途中で紙とペンを取り出せるのか。今はまだ、その答えを持っていない。