AIが書いたプログラムには、設計書に無い処理が入る。設計書との対応を、処理ごとに確認する
AIは、設計書に書かれていない処理を補ってプログラムを書きます。プログラムは動くので、レビューでは見つかりません。設計書とプログラムの対応表を作る方法と、単体テストの作り方を書きます。
この記事の要点
- AIは、設計書に書かれていない処理を、自分で補ってプログラムを書きます。プログラムは動くので、レビューでは見つかりません。
- 人がプログラムを読む前に、AIに、設計書とプログラムの対応表を作らせます。対応する記載が無い処理が、補われた処理です。
- 単体テストは、プログラムからではなく、設計書から作ります。プログラムから作ったテストは、プログラムの誤りを見つけられません。
AIが書いた受注取込のプログラムは、単体テストにすべて合格しました。結合テストで、受注の件数が合いません。調べると、プログラムは数量が0の行を読み飛ばしていました。設計書には、その処理は書かれていませんでした。
AIは、設計書に書かれていない部分を、一般的な処理で補います。補った処理は、多くの場合、もっともらしく見えます。プログラムは動き、テストにも合格します。
原因は、AIの能力ではありません。設計書とプログラムの対応を、誰も確認していないことです。この記事では、対応を確認する方法と、単体テストの作り方を書きます。あわせて、AIに任せる作業を書きます。
01AIは、設計書に無い処理を補って書く
人の開発者は、設計書に書かれていない点があると、設計の担当者に質問します。AIは質問せずに、処理を補います。補われる処理には、3つの種類があります。
例外の処理
値が空の場合、件数が0の場合、桁数を超えた場合の処理。
例:数量が0の行を読み飛ばすエラーが起きたときの動作
処理を中止するか、続けるか、再実行するか。
例:登録に失敗した行を、3回まで再実行する初期値と変換
項目が指定されていない場合の値と、単位や日付の変換。
例:通貨が空の場合は、円として登録する3種類とも、業務の担当者が決めるべき内容です。AIが補うと、業務の担当者が知らないルールが、プログラムの中に作られます。
AIが補った処理は、誤りとは限りません。問題は、その処理を、誰も決めていないことです。
稼働後に「なぜこの動作なのか」と質問されても、理由を説明できる人がいません。02補われた処理は、レビューでもテストでも見つからない
補われた処理が見つからない理由は、2つあります。
- レビューする人は、プログラムの誤りを探す。補われた処理は、プログラムとしては正しく書かれています。レビューする人は、設計書に無い処理だとは気づきません。
- 単体テストも、AIがプログラムから作っている。AIは、プログラムの動作に合わせてテストを作ります。補われた処理も、テストの期待値に含まれます。テストは必ず合格します。
単体テストを AI がプログラムから作っていることが、より重大な問題です。プログラムから作ったテストは、プログラムが設計書どおりかを確認していません。確認しているのは、プログラムが、プログラムどおりに動くことだけです。
03人が読む前に、AIに設計書とプログラムの対応表を作らせる
補われた処理は、設計書とプログラムを1行ずつ比べると見つかります。人がこの作業を行うと、プログラム1本に数時間かかります。この作業を AI に任せます。
| 設計書の記載 | プログラムの処理 | 判定 |
|---|---|---|
| 3.1 受注ファイルを読み込む | 読み込みの処理 | 対応している |
| 3.2 得意先コードを確認する | 得意先マスタの検索 | 対応している |
| 3.3 受注伝票を登録する | 受注伝票の登録 | 対応している |
| (記載なし) | 数量が0の行を読み飛ばす | 設計書に無い処理 |
| (記載なし) | 登録に失敗した行を、3回まで再実行する | 設計書に無い処理 |
| 3.4 結果の一覧を出力する | (処理なし) | プログラムに無い処理 |
朱色の2行が、AIが補った処理です。最後の行は、設計書に書かれているのに、プログラムに書かれていない処理です。
対応表からは、2種類の問題が見つかります。1つ目は、設計書に無い処理です。2つ目は、設計書にあるのに、プログラムに無い処理です。レビューする人は、対応表のうち「対応している」以外の行だけを確認します。
プログラムを書いた AI に、同じ会話の中で対応表を作らせないでください。AIは、自分が補った処理を「設計書の記載から当然に必要な処理」と説明します。対応表は、新しい会話で、設計書とプログラムだけを渡して作らせます。
04設計書に無い処理は、消すか、設計書に書くかを決める
設計書に無い処理が見つかったら、対応は2つのどちらかです。プログラムから消すか、設計書に追加するかです。プログラムにだけ残す、という対応は取りません。
| 見つかった処理 | 決める人 | 対応 |
|---|---|---|
| 業務のルールに関わる処理 | 業務の担当者 | 必要なら設計書に追加する。不要ならプログラムから消す。 |
| 技術的な処理(再実行、ログの出力など) | 開発のリーダー | 開発標準に合っていれば、設計書か開発標準に追加する。 |
| 設計書にあるのに、プログラムに無い処理 | 開発の担当者 | プログラムに追加する。 |
業務のルールに関わる処理は、開発の担当者が判断してはいけません。数量が0の行を読み飛ばすか、エラーにするかは、業務の担当者が決めることです。
05単体テストは、プログラムからではなく、設計書から作る
プログラムからテストを作る場合
テストは、プログラムの動作を確認しているだけ。設計書との違いは見つからない
設計書からテストを作る場合
テストは、設計書の記載を確認する。プログラムが設計書と違うと、不合格になる
右の方法では、テストを作る AI に、プログラムを読ませません。設計書だけを渡します。
設計書からテストを作ると、設計書の記載の不足も見つかります。設計書に期待する結果が書かれていない処理では、AIはテストを作れません。テストを作れない処理は、設計書の記載が不足しています。
06開発は、プログラム・テスト・対応表を別々に作る5つの手順で進める
- AIが、設計書からプログラムを作るAIに、設計書と開発標準を読ませます。
- 別の会話で、AIが単体テストを作るAIには設計書だけを渡します。プログラムは渡しません。
- 別の会話で、AIが対応表を作るAIに設計書とプログラムを渡します。AIは、設計書の記載とプログラムの処理を1行ずつ並べた対応表を作ります。
- 開発の担当者が、対応表と、テストの結果を確認する担当者は、「対応している」以外の行と、不合格のテストを確認します。
- 決める人が、設計書に無い処理の対応を決める決めた内容を、設計書かプログラムに反映します。
最も重要なのは、プログラム・単体テスト・対応表を、別々の会話で作らせることです。同じ会話で続けて作らせると、AIは自分が書いたプログラムを前提にして、テストと対応表を作ります。
07開発の品質は、設計書に無い処理の件数で確認する
数字は説明のための例です。件数が多い種類は、設計書の様式に、その種類を書く欄がありません。
記録する数字は、プログラム1本あたりの、設計書に無い処理の件数です。件数が多い種類は、設計書の様式を見直します。たとえば、例外の処理が多い場合は、設計書に「値が空の場合」「件数が0の場合」を書く欄を追加します。
設計書の様式に欄を追加すると、設計の担当者がその処理を書くようになります。次のプログラムから、AIが補う処理が減ります。
08明日は、AIが書いたプログラム1本で対応表を作る
- AIが書いたプログラムを1本選ぶ。レビューが済んだプログラムを選ぶ。
- 新しい会話で、AIに設計書とプログラムを渡す。設計書の記載と、プログラムの処理の対応表を作らせる。
- 対応表のうち、設計書に記載が無い処理の件数を数える。その処理を決めた人がいるかを確認する。
レビューが済んだプログラムでも、設計書に無い処理が数件見つかることがあります。見つかった処理を、業務の担当者に見せてください。担当者が知らない処理があれば、ほかのプログラムにも同じ問題があります。
担当者が知らない処理が見つかった場合は、開発のリーダーが、単体テストの作り方も確認します。テストをプログラムから作っている場合は、設計書から作る方法に変えてください。