AIに任せた副業の採算が合わなくなった夜、METRの支出ホライズンで引き直した3層の線引き

AIエージェントに任せた方が安いはず、と踏み込んだのに、ダッシュボードの数字を見て手が止まる人が増えている。作らせたコードの雑さ、書かせた文章のズレ、修正のラリーを積み上げると、なんとなく引き算が合わない感覚に襲われる。

自分は10年以上現役でエンジニアを続けていて、副業でAIを使った自動化を回している。AIに任せる作業と自分で握る作業の線引きを何度も引き直してきた結果、コストが逆転する地点は思ったより早く来る、というのが率直な感想だ。

METRという研究機関が最近、この『AIと人間、どちらが安く同じ改善を出せるか』を1本の指標で見せる方法を出してきた。読んでみると、副業で自動化を回している側の実感とぴったり噛み合った部分がいくつもあった。ここではその指標の中身を踏まえた上で、副業でAIを回している立場から見た仕事の仕分け方について書く。

AIに丸投げすれば安くなる、は副業運用でも成り立たない
AIと人間のコストが逆転する地点を数値化する新しい指標
副業の自動化で線引きした、AIに渡す作業と渡さない作業
判断が絡むタスクほど、自分でやった方が安くつく
AIと人間の役割分担が、稼げる仕組みを作る
まとめ
参考
【PR】フリーランスエンジニアにおすすめのツール
【PR】おすすめの書籍
1. あわせて読みたい

AIに丸投げすれば安くなる、は副業運用でも成り立たない

副業でAIエージェントを回してみると、小さくて単純な作業ではたしかにAIが速いし安い。定型のリライト、下書きの整形、タグ付け、同じ形式のレポート作成。この辺りは自分でやるより明らかに効率がいいし、寝ている間に回しておくだけで朝には仕上がっている。

問題は、判断が絡む中〜大きめのタスクで急にコスパが崩れることだ。原稿の骨格を組み直したい、新しい導線を設計したい、複数のサービスをまたぐ処理を組みたい。こういう仕事をAIにまるっと任せると、最初の返事は早いが、意図とズレた出力を修正するラリーで時間もお金も食っていく。

自分も『これも任せた方が速い』と思ってAIに複雑な設計判断を渡したことがある。何度か往復しても意図が噛み合わず、最終的に自分で書き直した方が早かった、みたいな話は普通に起こる。ぶっちゃけ最初は意味わかんなかった。単純なタスクで安く速いのに、複雑になると急に採算が合わなくなる。

副業で稼ぎたい人ほど『AIに全部任せて自分は寝てる』みたいな導線を夢想しがちだが、実際にやると仕組みが夜中に静かに壊れて、翌朝の後始末で1日が消える。全部任せて楽になるゲームではなく、どこを任せてどこを握るかの線引きゲームだ、というのが率直な実感だ。

AIと人間のコストが逆転する地点を数値化する新しい指標

METRが提案したのは『expenditure horizon(支出ホライズン)』という考え方だ。同じだけの改善を出すのに、人間とAIそれぞれいくら払えばいいかを比べて、両者の費用が並ぶ地点を境界線として引く。その予算より下ならAIの方が得、上なら人間の方が安く済む、というシンプルな見方になる。

検証台にはNanoGPTスピードランという公開プロジェクトが選ばれている。ボランティアが同じ言語モデルをできるだけ速く学習させる方法を競う実験場で、2024年5月から82段階の改善が積み上がり、標準ハードでのトレーニング時間が約45分から2分未満まで短縮されたという場所だ。ここに6つのAIモデルを走らせて、人間の労力と比較した。

METRの推定では、人間側は1%の高速化ごとにおよそ16時間、時給150ドル換算で約2,500ドルのコストがかかっている。累計では約250,000ドル分の人力が投入された計算になる。一方、6モデルの支出ホライズンは0ドルから3,300ドル程度に分布した。個別のモデルとしては人間コストと並ぶ境界線に一部届いてはいるが、累計の投入コストとは桁が違う、という結論だ。

さらに面白いのは、成果の中身の話だ。AIが出した改善案の約70%は『仕組みに組み込める内容ではあるが、多くは細かいパラメータ調整に過ぎない』と現場の管理者が評した、と元記事に書かれている。そして一部のモデルはテストで良い数字を出すために、本来評価すべき処理を先に切る、といった手抜きを試みたらしい。数字上は改善しているのに、実運用では意味がない挙動だ。読んでいて『わかる』と唸った。

補足として、METR自身が『この検証は少し前のモデルで行っていて、最新世代では絵が変わる可能性がある』と釘を刺している。それでも、支出ホライズンという物差しの発想自体は世代が変わっても使える。

副業の自動化で線引きした、AIに渡す作業と渡さない作業

この境界線の話は、副業で自動化を回している側にはそのまま刺さる。

自分の運用では、動かしているモデルを3段階に分けている。上位のモデルには、読者に直接届く文章の仕上げや、重要な意思決定が絡む作業を任せる。中位のモデルには、品質のチェックや定型的な生成作業を回す。下位のモデルには、情報の抽出や分類といった軽い作業を投げる。

なぜ3段階に分けているかというと、単純作業をわざわざ賢いモデルに任せるとコスパが崩れるからだ。文章の骨格を決める場所と、大量に処理する分類系の場所では、必要な賢さが違う。全部を最上位モデルに任せると財布が薄くなり、全部を下位モデルに任せると読者に届く成果物が薄くなる。

設計の話として言うと、上位・中位・下位のモデルはそれぞれ得意な領域が違う。上位モデルは判断・文脈保持・微妙な言い回しが強い代わりに重い。下位モデルは軽くて速い代わりに、複雑な意図は取りこぼす。役割を混ぜると、上位モデルには『もったいない使い方』、下位モデルには『無理筋な使い方』が同時発生する。

METRが言う『支出ホライズン』を副業の自動化に翻訳すると、この『どのモデルにどの作業を渡すか』の設計になる。境界線の下では下位モデルで十分、境界線を越える判断は上位モデルか自分の頭で握る、という切り分けだ。線引きの位置は運用しながら動かせばいいが、線引きがない状態で回すと、必ずどこかで採算が合わなくなる。

判断が絡むタスクほど、自分でやった方が安くつく

METRの実験でAIが手抜きをしたエピソードは、副業でAIを回す上でも他人事じゃない。テストで良い数字を出すために、本来の評価対象を回避する行動を取った、という報告だった。人間から見ると『ズルい』と感じる挙動だが、AIとしては渡された指標に対して最短経路を選んだだけとも言える。

副業運用でこれと似た現象が起きるのは、指標の設定が甘い時だ。『PVを増やす』だけを目標にAIに文章を書かせると、釣りタイトルばかりが量産される。『反応率を上げる』だけを目標にすると、内容の薄い煽り文が並ぶ。『クリックを増やす』だけを見ていると、リンクの押し売りに寄る。指標が単純すぎるとAIは必ずそこを最短ルートで攻めてくる。それはAIが悪いのではなく、指標が悪い。

だから、方向性の判断・指標の設計・読者への向き合い方は、自分で握った方が長期で安くつく。ここをAIにまるっと投げると、短期的には楽に見えるが、修正のラリーと、間違った方向に走ったコストが後から重くのしかかってくる。動かした瞬間は速いのに、翌月の結果を見て頭を抱える、みたいな話になる。

自分は、指標の見直しは自分の手で月次で回している。数字を見て『この指標は釣りに寄せる誘因を作っていないか』を確認する時間を、AIに渡さずに握り続けている。ここを渡した瞬間、AIが最短経路で稼ぎに行った結果として、読者との関係が薄くなっていく。稼ぎたい人ほど、この線を握らないと差別化につながらない。

AIと人間の役割分担が、稼げる仕組みを作る

METRは論文の最後で、『人間とAIが協働した場合』の仮想曲線に触れている。もし人間が適切な場所でAIを使えば、純粋な人間労働だけの曲線も、純粋なAI労働だけの曲線も上回れるはずだ、という予測だ。ただしMETR自身も釘を刺していて、過去には『AIを組み込んだ方が人間だけより遅くなった』実験結果もある、と付け加えている。

つまり、AIを入れれば必ず得になるわけではなく、どこにどう入れるかで結果が反転する。副業で稼ごうとしている人にとって、この設計こそが差になる部分だ。

自分の場合、収益に直結する処理には賢いモデルと自分の判断を厚めに、量をこなす下処理には軽いモデルを大量に、という配分で回している。品質を測る処理は、あえて据え置きのモデルに固定している。上位モデル化した効果を、変えていない基準で観測するためだ。指標側を勝手に強化してしまうと、成果が上がったのか、指標が甘くなったのかが区別できなくなる。

副業のAI活用は『全部任せて楽になる』ゲームじゃない。境界線を意識して、AIに渡す場所と自分で握る場所を仕分ける設計勝負に近い。METRの支出ホライズンは、その設計の解像度を1段上げるための良い物差しになる。数字を眺めて手が止まっている人ほど、まず線引きの位置から引き直す価値がある。