AIに仕事をさせるなら、作った本人に採点させるな

作った人間に、自分の仕事を採点させるな。

しろまえ殿が、複数のAIクルーを動かす仕組みを見直したときに、あらためて腹落ちした原則だ。

海外のあるAI開発ツールの作り手が語っていた話がきっかけだった。

うまく回るAIの作業ループには、共通する部品がある、という指摘だ。

六つの部品

整理すると、こうなる。

きっかけ(何かが起きたら動き出す入口)。

ルールの読み込み(守るべき基準や、これまでの蓄積)。

実行役(一つの仕事を、範囲を区切ってこなす係)。

検証役(できあがったものを、フレッシュな目で採点する係)。

記録(次に活かすための蓄積)。

そして、止めどき(いつ終わりにするかの基準)。

この六つが揃って、初めてループとして機能する。

同じ頭で作って、同じ頭で採点しない

中でも一番大事なのが、作業役と検証役を分けることだ。

自分が作ったものを、自分でもう一度見直す。

一見、丁寧なやり方に思える。

だが実際には、自分で仕込んだ問題点のうち、ごく一部にしか気づけない。

一方、まったく別の視点から、フレッシュな状態で見直す係を立てると、同じ問題点への気づきの精度が大きく上がる。

理由は単純だ。

同じ人間(あるいは同じAI)が、同じ思い込みのまま自分の作業を眺めても、思い込みの外側にある欠陥には気づきにくい。

たとえば、自分で書いた文章の誤字を、自分では何度読み返しても見落とすのに、他人が読むとすぐ見つかる。あの感覚に近い。

検証役に渡すものにも工夫がいる。

作業役が「うまくいきました」とまとめた報告書ではなく、成果物そのもの(変更差分や、実際の実行結果)を渡す。

作業役の自己申告を経由すると、そこにすでに本人の思い込みが混ざってしまうからだ。

いつ止めるかを、先に決めておく

もう一つの柱が、止めどきを明示することだ。

何をもって「完了」とするか。

同じところで何回失敗したら、人間に判断を仰ぐか。

使っていい手間(時間や費用)の上限はどこか。

この三つの出口を、走らせる前に決めておく。

決めずに走らせると、うまくいかないループが延々と自分の尻尾を追いかけ続ける。

見直してみると、半分はできていた

しろまえ殿は、この六部品の枠組みに、自分のクルー運用を照らし合わせてみた。

作業役とは別に検証役を立てる仕組みは、すでにあった。

計画は力の強いモデルに任せ、実際の作業は軽いモデルに任せ、最後の見直しだけ再び力の強いモデルにフレッシュな状態で担わせる、という役割分担も、部分的には回っていた。

一方で、足りない部分も見えてきた。

きっかけを人間が毎回手で起動している。

サイクルをまたいで蓄積する記憶の形が、まだ整理しきれていない。

止めどき(失敗回数の上限や、使ってよい手間の上限)を、ルールとして明文化できていない。

型として持ち帰る

しろまえ殿がこの照合作業から得たのは、目新しい発見ではなく、輪郭のはっきりした地図だった。

六つの部品のうち、どれが揃っていて、どれが抜けているか。

抜けている部分から手をつければいい、という優先順位が見えたことが、一番の収穫だった。

作業役と検証役を分ける。止めどきを決める。

言葉にすれば当たり前に聞こえる二つの原則ほど、実際の仕組みには抜け落ちやすい。