Hugging Faceがある実験結果を公開した。難易度の高い法律分野のエージェントベンチマークでスコア0点だったモデルを、ウェイト（パラメータ）に一切手を加えずに、Anthropicのレベルの高いモデルと同等の成績まで引き上げた。モデルそのものを鍛え直したわけではなく、モデルの「周辺コード」だけを自動的に書き換え続けたのだ。この手法は、AIを仕事で使いたい会社員にとっても、かなり示唆に富んでいる。この記事では、その仕組みと、普段のAI活用に何を示唆しているかを整理します。
「ハーネス」とは何か
AIの話をするとき、ついモデルのパラメータや学習データに目が向きがちだ。でも実際に何かを実行しようとすると、モデル単体では動かない。モデルに「どんな文脈を与えるか」「どのツールを使わせるか」「いつ処理を終了するか」を管理するコード層が必ず存在する。この周辺コードのことを、Hugging Faceの研究では「ハーネス（harness）」と呼んでいる。
馬具の「ハーネス」から来ている言葉で、馬（＝モデル）の能力をどう制御して引き出すかを担う仕組みを指す。モデルが「エンジン」だとすれば、ハーネスは「ギアボックスとハンドルとナビ」をまとめたものに近い。エンジン性能が同じ車でも、ギアの設定やルート案内の精度が違えば、到達できる場所は変わってくる。
Hugging Faceが試みたのは、エンジンに手を入れるのではなく、このギアボックス側を自動的に最適化し続けるという方法だった。
スコア0%から同等性能へ、何が起きたか
実験の対象は、法律分野の複雑なエージェントタスクを評価するベンチマークだ。最初、使用したオープンモデルはこのベンチマークで文字通り0点だった。間違えたのではなく、そもそも有効な回答を出せなかった状態である。
Hugging Faceのチームはこのモデルのウェイトをフリーズしたまま、ハーネス部分だけを対象に自動書き換えループを走らせた。ループは失敗したケースを拾い上げ、どの部分がうまく機能していないかをフィードバックとして受け取りながら、ハーネスのコードを書き直し続ける。人間が手動でプロンプトを調整するのではなく、この一連の改善プロセス自体が自動化されている点がミソだ。
最終的に到達したスコアは、Anthropic Claude Sonnet 4.6（当時）のベンチマーク上での主要指標とほぼ並ぶ水準だった。モデルの中身は何も変わっていない。変わったのは、モデルをどう動かすかのロジックだけだ。
これは何を意味するか。性能の上限はモデルが決めているのではなく、モデルをどう使うかが決めているケースがある、ということだ。少なくとも特定のタスクドメインにおいては、その余地が相当大きい。
会社員の仕事に置き換えると
この話をエンジニア向けの技術論で終わらせてしまうのはもったいない。ハーネスの考え方は、AIツールを日常業務に使っている会社員にも直接関係してくる。
たとえば、40代の人事マネージャーが採用面接のフィードバックレポートをChatGPTで作成しているとする。最初は「面接メモをまとめてください」と雑に投げていたが、出力が毎回バラバラで使いづらかった。ここで「もっと賢いモデルに変えよう」と考えるのは自然だが、実は改善の余地は別の場所にある。入力する文脈の構造（候補者の評価軸、会社のカルチャーフィット基準、過去のOK/NG事例）を整理して渡すと、同じモデルでも出力の質が一段変わる。これがハーネスを整える、という発想に近い。
もう一つの例を挙げると、30代の営業チームリーダーが週次の商談レポートをAIで生成している場合、「モデルを変える前に、どんな情報を・どの順序で・どんな構造で渡しているか」を見直す方が費用対効果が高いことが多い。プロンプトの組み立て方を整理したガイドでも触れているように、入力の設計がアウトプットの7〜8割を決める。ハーネスの研究はそれをシステムレベルで証明した格好だ。
「モデルを変えれば解決」への疑問
AI業界の製品ロードマップを見ていると、新モデルが出るたびに「前モデルより○○%性能向上」という数字が出てくる。その数字は嘘ではないが、自分のユースケースで同じ改善が得られるかどうかは別の話だ。
以下は、同じユースケースを異なるアプローチで比較したときの傾向を整理したものだ。
| アプローチ | コスト | 効果の出やすさ | 適している状況 |
|---|---|---|---|
| 新しいモデルに乗り換える | 月額費用の増加 | タスクによる | モデルの能力限界が真のボトルネックの場合 |
| プロンプト・文脈を再設計する | 設計時間のみ | 比較的すぐ出る | 入力の構造が整っていない場合 |
| ツール呼び出しや処理フローを見直す | エンジニア工数が必要 | 高い（ただし専門知識要） | エージェント型タスクで誤作動が多い場合 |
| ファインチューニングする | 高コスト・時間 | ドメイン特化で高い | 大量の独自データがある場合 |
Hugging Faceの実験が示したのは、上から2〜3行目のアプローチの組み合わせで、一番下の行に匹敵する改善が出うる、ということだ。コストと効果の順番が逆転しうる。
自動化とAIエージェントの今後
今回の手法でもう一つ注目したいのは、ハーネスの改善ループ自体が自動化されていた点だ。人間がフィードバックを読んで手動で書き直すのではなく、失敗ケースを自動収集して改善策を生成するサイクルが回っていた。
これはいわゆる「AIエージェント」の考え方と重なる。AIエージェントとは、目標を与えられたAIが自分でツールを使い、判断し、行動を続ける仕組みのことだ（ChatGPTのエージェント機能についてはこちらで別途まとめている）。今回の実験では、ハーネスを改善するエージェントが、別のエージェント（法律タスクを解く）の性能を向上させるという二層構造になっていた。
この方向性が成熟すると、「どのモデルを使うか」よりも「どんなエージェント構造を設計するか」が、AIシステムの性能を決める主戦場になっていく可能性がある。エンジニアでない会社員にとっては直接手を動かせない話に聞こえるかもしれないが、社内でAI活用を推進する立場にある人には、ベンダー選定やツール導入の判断軸として頭に入れておく価値がある視点だ。
まとめ
モデルの性能を上げたければ、モデルを変えるかファインチューニングするしかない、というのが一般的なイメージだった。今回のHugging Faceの実験は、その前提を崩すデータを示している。ハーネス、つまりモデルに何を・どう・どのタイミングで渡すかを丁寧に設計することで、モデル自体の限界よりも先に行ける場面がある。
あなたが今使っているAIツールで「精度が出ない」と感じているとしたら、それはモデルの問題か、それともモデルへの渡し方の問題か。一度その区別を試みてみるのは、思っているより手が届く改善かもしれない。
