AIの成果物がばらつく原因は、頼み方ではない。様式と観点が決まっていないことだ

AIへの頼み方が上手な人に頼ると、その人の成果物だけが良くなります。様式・記載のルール・点検の観点を手順書として保存し、全員が同じ手順書を使う方法を書きます。

この記事の要点

  1. AIへの頼み方が上手な人に頼ると、その人の成果物だけが良くなります。プロジェクト全体の品質はそろいません。
  2. そろえる対象は、頼み方ではありません。様式・記載のルール・点検の観点の3つを、プロジェクトの手順書として保存します。
  3. 人が成果物を直したら、直した内容を手順書に反映します。反映しないと、同じ修正を毎回繰り返します。

同じ要件から、4人の担当者が AI で設計書の初版を作りました。4本を並べると、章の構成、項目の書き方、記載の細かさが、すべて違っていました。

多くの現場は、この問題を「頼み方の差」と考えます。そこで、プロジェクトは、AIへの頼み方の研修を行います。研修の直後は改善しますが、1か月後には元の状態に戻ります。

原因は頼み方ではありません。成果物の様式と、点検の観点が決まっていないことです。この記事では、プロジェクトで決める3つの対象と、手順書を保存する場所を書きます。あわせて、人の修正を次の成果物に生かす方法を書きます。

01同じ要件でも、頼む人によって成果物が変わる

図 1各自の頼み方で作ると、レビューで直す箇所の数が、担当者によって3倍違う(例)

各自が、自分の頼み方で作った場合

担当者A
担当者B
担当者C
担当者D

直した箇所の数が、担当者によって3倍違う

全員が、同じ手順書を使って作った場合

担当者A
担当者B
担当者C
担当者D

担当者による差が小さくなり、直す箇所も減る

数字は説明のための例です。左の状態では、レビューする人が、設計書ごとに違う形を読むことになります。

成果物の差は、レビューする人の負担になります。設計書ごとに章の構成が違うと、レビューする人は、必要な記載がどこにあるかを毎回探します。記載の抜けにも気づきにくくなります。

02頼み方を教えても、品質はそろわない

頼み方の研修で品質がそろわない理由は、3つあります。

頼み方が上手な人が1人いても、その人の成果物が良くなるだけです。プロジェクトの品質は変わりません。

03そろえる対象は、様式・記載のルール・点検の観点の3つ

図 2プロジェクトで決めて、手順書に書く3つの対象
1

様式

章の構成と、各章に書く項目。

例:3章に項目の一覧。項目ごとに、桁数・必須かどうか・初期値を書く
2

記載のルール

用語、番号の付け方、書いてはいけない表現。

例:「適宜」「必要に応じて」を使わない。未定の箇所には、決める人と期日を書く
3

点検の観点

作った成果物を、AI自身に確認させる問い。

例:処理ごとに、エラーが起きたときの動作が書かれているか

3つ目の点検の観点が、最も省略されます。AIは、作った直後の成果物を、観点に沿って自分で確認できます。

3つとも、お客様のプロジェクトにすでに存在するものです。設計書の様式、開発標準、レビューのチェックリストです。新しく作る必要はありません。プロジェクトの担当者が、3つを AI が読める形に書き直し、手順書にまとめます。

04手順書は、個人の手元ではなく、全員が使う1か所に保存する

図 3指示を各自の手元に保存すると、4通りになる。1か所に保存すると、1通りになる

各自の手元に保存する場合

AさんのメモBさんのメモCさんのメモDさんのメモ

指示が4通りある。改善しても、ほかの3人には伝わらない

全員が使う1か所に保存する場合

設計書を作る手順書様式/記載のルール/点検の観点
ABCD

指示は1通り。1人が改善すると、全員の成果物が良くなる

手順書は、設計書・プログラム・テスト仕様書など、成果物の種類ごとに1つ作ります。

手順書を1か所に保存すると、担当者は長い指示を書く必要が無くなります。担当者が AI に伝えるのは、使う手順書と、対象の要件だけです。忙しいときにも、指示は省略されません。

05人が直した内容は、手順書に反映する

AIが作った成果物を、人がレビューして直します。多くの現場では、修正はその成果物だけで終わります。次の成果物でも、AIは同じ誤りをします。

図 4修正を手順書に反映しないと、同じ箇所を毎回直すことになる

反映しない場合

1本目同じ箇所を、人が直す
2本目同じ箇所を、人が直す
3本目同じ箇所を、人が直す

反映する場合

1本目人が直す
手順書直した内容を、記載のルールに追加する
2本目以降AIが、最初から正しく書く

反映する担当者を決めておきます。決めていないと、修正は成果物の中に残るだけで、手順書は変わりません。

  1. レビューする人が、直した箇所と理由を記録する成果物の修正履歴か、レビューの記録に残します。
  2. 手順書の担当者が、同じ種類の修正を週に1回集める複数の成果物で繰り返し出ている修正を選びます。
  3. 担当者が、手順書の記載のルールか点検の観点に追加する1回の追加は、1行か2行です。
  4. 次の成果物で、同じ修正が出なくなったかを確認する出た場合は、追加した記載の書き方を直します。
落とし穴

手順書に記載を追加し続けると、手順書が長くなります。長い手順書では、AIが一部の記載を守らなくなります。追加するのは、複数の成果物で繰り返し出た修正だけにしてください。1回しか出ていない修正は、追加しません。手順書の担当者は、成果物の種類ごとに1人に決めます。全員が直せる状態にすると、記載が矛盾します。

06品質がそろったかは、人が直した箇所の数で確認する

確認する数字は2つです。1つ目は、成果物1本あたりの、人が直した箇所の数です。手順書が機能していれば、回を追うごとに減ります。2つ目は、直した箇所の数の、担当者ごとの差です。全員が同じ手順書を使っていれば、差は小さくなります。

直した箇所の数が減らない場合は、修正が手順書に反映されていません。担当者ごとの差が大きい場合は、手順書を使っていない担当者がいます。

07明日は、3人に同じ要件で作ってもらう

半日でできる、3つの確認
  1. 要件を1つ選ぶ。3人の担当者に、それぞれの方法で、AIを使って設計書の初版を作ってもらう。
  2. 3本を並べ、章の構成と、項目の書き方の違いを書き出す。
  3. 3人が AI に渡した指示を集め、指示に書かれていた様式とルールを比べる。

3本の違いが大きい場合は、3人が AI に渡した指示を比べてください。多くの場合、指示に書かれている様式とルールが、3人とも違っています。

3人の指示のうち、最も良い結果が出た指示を元にして、1つの手順書を作ってください。手順書を1か所に保存し、次の設計書から全員が使います。