AIが書いたプログラムには、設計書に無い処理が入る。設計書との対応を、処理ごとに確認する

AIは、設計書に書かれていない処理を補ってプログラムを書きます。プログラムは動くので、レビューでは見つかりません。設計書とプログラムの対応表を作る方法と、単体テストの作り方を書きます。

この記事の要点

  1. AIは、設計書に書かれていない処理を、自分で補ってプログラムを書きます。プログラムは動くので、レビューでは見つかりません。
  2. 人がプログラムを読む前に、AIに、設計書とプログラムの対応表を作らせます。対応する記載が無い処理が、補われた処理です。
  3. 単体テストは、プログラムからではなく、設計書から作ります。プログラムから作ったテストは、プログラムの誤りを見つけられません。

AIが書いた受注取込のプログラムは、単体テストにすべて合格しました。結合テストで、受注の件数が合いません。調べると、プログラムは数量が0の行を読み飛ばしていました。設計書には、その処理は書かれていませんでした。

AIは、設計書に書かれていない部分を、一般的な処理で補います。補った処理は、多くの場合、もっともらしく見えます。プログラムは動き、テストにも合格します。

原因は、AIの能力ではありません。設計書とプログラムの対応を、誰も確認していないことです。この記事では、対応を確認する方法と、単体テストの作り方を書きます。あわせて、AIに任せる作業を書きます。

01AIは、設計書に無い処理を補って書く

人の開発者は、設計書に書かれていない点があると、設計の担当者に質問します。AIは質問せずに、処理を補います。補われる処理には、3つの種類があります。

図 1AIが補う処理は3種類。どれも、設計書には書かれていない
1

例外の処理

値が空の場合、件数が0の場合、桁数を超えた場合の処理。

例:数量が0の行を読み飛ばす
2

エラーが起きたときの動作

処理を中止するか、続けるか、再実行するか。

例:登録に失敗した行を、3回まで再実行する
3

初期値と変換

項目が指定されていない場合の値と、単位や日付の変換。

例:通貨が空の場合は、円として登録する

3種類とも、業務の担当者が決めるべき内容です。AIが補うと、業務の担当者が知らないルールが、プログラムの中に作られます。

AIが補った処理は、誤りとは限りません。問題は、その処理を、誰も決めていないことです。

稼働後に「なぜこの動作なのか」と質問されても、理由を説明できる人がいません。

02補われた処理は、レビューでもテストでも見つからない

補われた処理が見つからない理由は、2つあります。

単体テストを AI がプログラムから作っていることが、より重大な問題です。プログラムから作ったテストは、プログラムが設計書どおりかを確認していません。確認しているのは、プログラムが、プログラムどおりに動くことだけです。

03人が読む前に、AIに設計書とプログラムの対応表を作らせる

補われた処理は、設計書とプログラムを1行ずつ比べると見つかります。人がこの作業を行うと、プログラム1本に数時間かかります。この作業を AI に任せます。

図 2対応表を作ると、設計書に無い処理と、プログラムに無い処理が分かる(例)
設計書の記載プログラムの処理判定
3.1 受注ファイルを読み込む読み込みの処理 対応している
3.2 得意先コードを確認する得意先マスタの検索 対応している
3.3 受注伝票を登録する受注伝票の登録 対応している
(記載なし)数量が0の行を読み飛ばす 設計書に無い処理
(記載なし)登録に失敗した行を、3回まで再実行する 設計書に無い処理
3.4 結果の一覧を出力する(処理なし) プログラムに無い処理

朱色の2行が、AIが補った処理です。最後の行は、設計書に書かれているのに、プログラムに書かれていない処理です。

対応表からは、2種類の問題が見つかります。1つ目は、設計書に無い処理です。2つ目は、設計書にあるのに、プログラムに無い処理です。レビューする人は、対応表のうち「対応している」以外の行だけを確認します。

落とし穴

プログラムを書いた AI に、同じ会話の中で対応表を作らせないでください。AIは、自分が補った処理を「設計書の記載から当然に必要な処理」と説明します。対応表は、新しい会話で、設計書とプログラムだけを渡して作らせます。

04設計書に無い処理は、消すか、設計書に書くかを決める

設計書に無い処理が見つかったら、対応は2つのどちらかです。プログラムから消すか、設計書に追加するかです。プログラムにだけ残す、という対応は取りません。

見つかった処理決める人対応
業務のルールに関わる処理業務の担当者必要なら設計書に追加する。不要ならプログラムから消す。
技術的な処理(再実行、ログの出力など)開発のリーダー開発標準に合っていれば、設計書か開発標準に追加する。
設計書にあるのに、プログラムに無い処理開発の担当者プログラムに追加する。

業務のルールに関わる処理は、開発の担当者が判断してはいけません。数量が0の行を読み飛ばすか、エラーにするかは、業務の担当者が決めることです。

05単体テストは、プログラムからではなく、設計書から作る

図 3プログラムから作ったテストは、プログラムの誤りを見つけられない

プログラムからテストを作る場合

設計書→プログラム→テスト

テストは、プログラムの動作を確認しているだけ。設計書との違いは見つからない

設計書からテストを作る場合

設計書
→プログラム→テスト

テストは、設計書の記載を確認する。プログラムが設計書と違うと、不合格になる

右の方法では、テストを作る AI に、プログラムを読ませません。設計書だけを渡します。

設計書からテストを作ると、設計書の記載の不足も見つかります。設計書に期待する結果が書かれていない処理では、AIはテストを作れません。テストを作れない処理は、設計書の記載が不足しています。

06開発は、プログラム・テスト・対応表を別々に作る5つの手順で進める

  1. AIが、設計書からプログラムを作るAIに、設計書と開発標準を読ませます。
  2. 別の会話で、AIが単体テストを作るAIには設計書だけを渡します。プログラムは渡しません。
  3. 別の会話で、AIが対応表を作るAIに設計書とプログラムを渡します。AIは、設計書の記載とプログラムの処理を1行ずつ並べた対応表を作ります。
  4. 開発の担当者が、対応表と、テストの結果を確認する担当者は、「対応している」以外の行と、不合格のテストを確認します。
  5. 決める人が、設計書に無い処理の対応を決める決めた内容を、設計書かプログラムに反映します。

最も重要なのは、プログラム・単体テスト・対応表を、別々の会話で作らせることです。同じ会話で続けて作らせると、AIは自分が書いたプログラムを前提にして、テストと対応表を作ります。

07開発の品質は、設計書に無い処理の件数で確認する

図 4設計書に無い処理は、設計書の記載が少ない機能に多い(プログラム10本の例)
例外の処理
14件
エラーが起きたときの動作
9件
初期値と変換
6件
そのほか
2件

数字は説明のための例です。件数が多い種類は、設計書の様式に、その種類を書く欄がありません。

記録する数字は、プログラム1本あたりの、設計書に無い処理の件数です。件数が多い種類は、設計書の様式を見直します。たとえば、例外の処理が多い場合は、設計書に「値が空の場合」「件数が0の場合」を書く欄を追加します。

設計書の様式に欄を追加すると、設計の担当者がその処理を書くようになります。次のプログラムから、AIが補う処理が減ります。

08明日は、AIが書いたプログラム1本で対応表を作る

半日でできる、3つの確認
  1. AIが書いたプログラムを1本選ぶ。レビューが済んだプログラムを選ぶ。
  2. 新しい会話で、AIに設計書とプログラムを渡す。設計書の記載と、プログラムの処理の対応表を作らせる。
  3. 対応表のうち、設計書に記載が無い処理の件数を数える。その処理を決めた人がいるかを確認する。

レビューが済んだプログラムでも、設計書に無い処理が数件見つかることがあります。見つかった処理を、業務の担当者に見せてください。担当者が知らない処理があれば、ほかのプログラムにも同じ問題があります。

担当者が知らない処理が見つかった場合は、開発のリーダーが、単体テストの作り方も確認します。テストをプログラムから作っている場合は、設計書から作る方法に変えてください。