第2部 プロンプト · 第5回 / 全20回 · 15分くらい
指示がうまくいかないとき、原因を切り分ける
第1世代の区切りの回です。うまくいかない指示を、なんとなく書き直すのをやめて、原因を切り分けます。あわせて、何回試せば「直った」と言えるのかを、確率で確かめます。最後に、切り分けても越えられない第1世代の限界を見ます。
履修 0 / 20 回
この回を読み終えると、できるようになること
- AIの出力のばらつきを前提に、何回試せば判断できるかを計算できる
- 失敗の原因を「あいまい・材料不足・能力不足」に分けて、それぞれの直し方を言える
- 一度に1か所だけ変えて試す理由を説明できる
専門用語は、初めて出たところで括弧に短い説明を付けています。説明が長くなるものには ※番号を付け、ページの終わりの用語メモにまとめました。
11回の結果では、良し悪しは決められない
AIは、次のトークンを確率で選んでいます。同じ指示・同じ入力でも、答えは毎回少しずつ変わります。だから、1回うまくいかなかっただけで指示を書き直すと、ばらつきを「直したつもり」になることがあります。直した気がして次に進み、あとで同じ失敗に出会う、という流れです。
まず、同じ入力で何回か試して、失敗が毎回起きるのか、たまに起きるのかを確かめます。毎回なら指示か材料に原因があり、たまになら、ばらつきの範囲の問題かもしれません。
2何回試せば「直った」と言えるか
本当は5回に4回（80%）しか成功しない指示を、3回試したとします。3回とも成功する確率は 0.83 ≒ 51%です。つまり、3回続けて成功しても、本当は2割失敗する指示である可能性が半分あります。
| 試した回数 | 本当は成功率80%の指示が、全部成功してしまう確率 |
|---|---|
| 3回 | 0.83 ≒ 51% |
| 5回 | 0.85 ≒ 33% |
| 10回 | 0.810 ≒ 11% |
| 20回 | 0.820 ≒ 1% |
「10回やって10回成功」なら、成功率80%以下の指示である見込みはかなり小さくなります。何回試すかは手間との兼ね合いですが、3回で決めると見誤りやすいことは覚えておく価値があります。毎日動く仕組みの指示なら、10回は試してから入れ替えるのが、自分の目安です。
3失敗の原因は3つに分かれる
| 原因 | どういう状態か | 直し方 |
|---|---|---|
| あいまい | 指示の読み方が2通り以上ある | 指示を直す（第3回） |
| 材料不足 | 答えるための情報が渡っていない | 前提を足す（第2世代） |
| 能力不足 | 指示も材料も十分なのに、できない | 仕事を小さく分ける、道具を使わせる、モデルを替える |
直し方がまったく違うので、先にどれなのかを見分けます。能力不足なのに指示を何度も書き直しても、時間が過ぎるだけです。
4見分けるための2つの質問
失敗した答えのあとに、AIに次の2つを聞いてみます。
- 「この指示を、あなたはどう読みましたか。何をすればよいと考えましたか」→ こちらの意図とずれていればあいまい
- 「答えるのに足りなかった情報は何ですか」→ 具体的に挙がれば材料不足
どちらにも問題が見つからないのに失敗するなら、能力不足を疑います。自分の環境では、手元の小さなモデル（Ollama の qwen3.5:9b）で考え方のまとめを作らせていたとき、更新のたびに中身が削られ、3万2千字が9千字まで減っていきました。指示を何度直しても変わらず、モデルを Claude に替えたら止まりました。これは能力不足の例でした。
5一度に変えるのは1か所だけ
指示を直すときは、1回に1か所だけ変えて、同じ入力で試します。3か所を同時に変えて良くなっても、どれが効いたのかわかりません。次に壊れたとき、どこに戻ればよいかもわかりません。
これは理科の実験と同じ考え方で、対照実験※1と呼ばれます。変えたもの以外（入力、モデル、温度、試す回数）は、すべてそろえておきます。
6試した記録を残す
試した指示の版、入力、結果を、簡単な表に残しておきます。何を試して、何が効かなかったかがわかっていると、同じ失敗をくり返さずにすみます。
この表は、そのまま第10回の評価セット※2の芽になります。実際に失敗した入力は、いちばん価値のある試験の材料です。
7第1世代の限界
ここまでやっても残るのが、「良くなったかどうかを、自分の目でしか確かめられない」という限界です。10件の入力を10回ずつ試せば、100個の答えを読むことになります。指示を直すたびにこれをくり返すのは、続きません。
この限界を越えるには、前提を固定する（第2世代）ことと、合格を機械で確かめる（第3世代）ことが必要になります。
誤解よくある思い違い
3回続けて成功したから、もう大丈夫
成功率80%の指示でも、3回続けて成功する確率は約51%あります。毎日動かすものは、10回くらいは試してから判断します。
うまくいかないのは、指示の書き方が悪いから
材料不足や、モデルの能力不足のこともあります。書き方を直す前に、どの原因なのかを見分けます。
この段が要るとき
- 同じ指示をくり返し使い、品質の差が気になっている
- 指示の直し方が「なんとなく」になっている
要らないとき（ここで止めてよい）
- 一度きりの頼みごとで、結果が良ければそれでいい
- 毎回まったく違う頼みごとをしている
演習手を動かして確かめる
演習1
新しい指示を5回試して、5回とも成功しました。本当の成功率が90%だとすると、5回とも成功する確率はおよそ何%でしょうか。この結果から「成功率は99%以上ある」と考えてよいでしょうか。
答えを見る
0.95 ≒ 59%です。成功率90%の指示でも、6割近くの確率で5回とも成功します。5回の全成功だけでは、90%と99%を見分けられません。99%以上だと言いたいなら、もっと多くの回数が必要です（たとえば0.930 ≒ 4% なので、30回すべて成功すれば、90%の指示である見込みはかなり小さくなります）。
演習2
「この会議メモから、決まったことだけを抜き出して」という指示で、毎回「検討中のこと」まで混ざります。考えられる原因と、最初に試すことを答えてください。
答えを見る
まずあいまいを疑います。「決まったこと」の範囲が、AIと自分で違う可能性があります。AIに「決まったこととは何だと考えましたか」と聞いてみて、ずれていれば「担当者と期限が書かれているものだけを、決まったこととする」のように、確かめられる条件に直します。
それでも混ざるなら、メモ自体に区別がつく情報が無い（材料不足）可能性を見ます。
頼み方そのまま使える頼み方の例
次の指示で、思った答えが返ってきません。原因を切り分けたいので、次の順に答えてください。
1. この指示を、あなたはどう読みましたか（何をすればよいと考えたか）
2. 答えるのに足りなかった情報はありますか
3. 1と2に問題がないとしたら、何が難しいのか
まだ答え直しはせず、ここまでで止まってください。
指示：（ここに貼る）
返ってきた答え：（ここに貼る）
期待していた答え：（ここに書く）