結合テストは、AIが SAP の画面を操作して実施できる。ただし検証環境だけにする
結合テストの時間の多くは、画面の操作と、証跡の貼り付けに使われています。AIに任せる作業と、人が決める作業の分け方を書きます。
この記事の要点
- 結合テストの時間の多くは、画面の操作と証跡の作成に使われています。この2つの作業は、AIに任せられます。
- AIに操作させるのは、検証環境だけです。本番環境では、AIに操作させません。
- AIは、結果と期待値を比べ、一致しないケースを報告します。合否は、テストの担当者が決めます。
ある製造業のプロジェクトで、結合テストが2週目に入りました。テストの担当者が1日に実施できたケースは、12件でした。計画は30件です。担当者の作業を調べると、時間の6割が、画面への入力と、画面を画像で保存して貼る作業でした。
結合テストが遅れる原因は、担当者の判断が遅いことではありません。判断の前の作業に、時間がかかりすぎていることです。
この記事では、AIに任せる作業と、人が決める作業の分け方を書きます。あわせて、AIに操作させる環境の決め方を書きます。
01テストの時間は、判断ではなく、操作と証跡に使われている
割合は説明のための例です。図で朱色にした2つの作業は、手順が決まっていれば、誰が行っても結果が同じになります。
画面の操作と証跡の作成は、担当者の知識を必要としません。テストケースに書かれた手順を、順番に実行する作業です。一方、合否の判断と不具合の調査には、業務とシステムの知識が必要です。
業務を最もよく知っている人が、1日の半分以上を、画面への入力と画像の貼り付けに使っています。
02AIに任せる作業と、人が決める作業を、先に分ける
AIを使う前に、AIに任せる作業と、人が決める作業を分けます。分け方の基準は1つです。手順どおりに行えば結果が決まる作業は、AIに任せます。判断が必要な作業は、人が行います。
AIに任せる作業
- テストデータを画面に入力する
- テストケースの手順どおりに、画面を操作する
- 操作のたびに、画面を画像で保存する
- 結果を、テストケースの期待値と比べる
人が決めること
- テストケースの手順と期待値を書く
- 合格か不合格かを決める
- 一致しない結果が、不具合かどうかを決める
- 設計書の記載があいまいな場合に、解釈を決める
AIは「期待値と一致しない」と報告します。一致しない結果を不合格とするかどうかは、テストの担当者が決めます。
AIが「一致しない」と報告した結果には、不具合ではないものが含まれます。テストケースの期待値が誤っている場合や、テストデータが誤っている場合です。そのため、AIに合否を決めさせません。
03AIに操作させるのは、検証環境だけにする
AIに画面を操作させる場合、最も重要なルールは、操作させる環境を限定することです。AIは、指示された手順をそのまま実行します。接続先が本番環境であっても、AIは操作を止めません。
開発環境
結合テストでは使わない
開発の担当者が、単体の確認に使う
検証環境
AIに操作させる
結合テストを実施する。AIはこの環境だけで操作する
本番環境
AIに操作させない
人だけが操作する。AIは接続もしない
操作の前の確認AIは、画面に表示された環境の名前を読みます。検証環境の名前でなければ、AIは操作を始めずに、担当者に報告します。
環境の確認は、AIへの指示に書くだけでは不十分です。AIが使うユーザーに、本番環境の権限を付与しないことで、二重に防ぎます。
| 決めること | ルール |
|---|---|
| 操作させる環境 | 検証環境だけ。本番環境では、AIに操作させない。 |
| AIが使うユーザー | テスト専用のユーザーを作る。本番環境には、このユーザーを登録しない。 |
| 操作の前の確認 | AIは、接続先の環境の名前を読む。検証環境でなければ、操作を始めない。 |
| 操作の記録 | AIが操作した日時・ケース・画面を記録する。担当者が、後から確認できるようにする。 |
検証環境から、外部のシステムにデータが送信される場合があります。たとえば、取引先への注文データや、メールの通知です。AIにテストを実施させる前に、検証環境から外部に送信される経路を確認してください。送信される経路がある場合は、その経路を止めてから実施します。
04AIが実施できるのは、手順と期待値が具体的に書かれたケースだけ
AIにテストを実施させると、最初に、実施できないケースが見つかります。手順や期待値が、具体的に書かれていないケースです。
- 手順が省略されている。「受注を登録する」とだけ書かれています。入力する項目と値が書かれていません。
- 期待値があいまいである。「正しく登録されること」と書かれています。どの項目がどの値になれば正しいのかが、書かれていません。
- 前提のデータが書かれていない。使う得意先と品目が、指定されていません。
人がテストを実施する場合、担当者は自分の知識で不足を補います。そのため、テストケースの不備は表に出ません。AIは不足を補えないので、不備のあるケースを実施できません。
AIが実施できないケースは、担当者が交代したときに、人も実施できなくなるケースです。
AIにテストを実施させると、テストケースの不備が、テストの前に見つかります。05結合テストは、AIが実施し、人が合否を決める5つの手順で進める
- AIが、テストケースを2つに分けるAIにテストケースを読ませます。AIは、実施できるケースと、手順や期待値が不足しているケースに分けます。
- テストの担当者が、不足している手順と期待値を書く担当者は、AIが示した不足の箇所を書き足します。
- AIが、検証環境でテストを実施するAIは、手順どおりに画面を操作します。操作のたびに、画面を画像で保存します。
- AIが、結果と期待値を比べるAIは、一致しないケースを一覧にします。一覧には、期待値と実際の値を並べて書きます。
- テストの担当者が、合否を決める担当者は、一致しないケースの証跡を確認します。不具合と判断したケースを、不具合票に登録します。
AIが「一致」と報告したケースを、担当者がまったく確認しない運用は危険です。期待値そのものが誤っていることがあります。その場合も、AIは結果が期待値と同じなら「一致」と報告します。「一致」のケースのうち一部を、担当者が毎回確認してください。確認する件数は、最初は多くします。誤りが出ない状態が続いた場合に、件数を減らします。
06効果は、実施した件数と、担当者が確認に使った時間で確認する
1日に実施したケース
AIが実施できなかったケースの割合
数字は説明のための例です。「AIが実施できなかったケースの割合」が下がれば、テストケースの手順と期待値が具体的になっています。
PM は、次の3つの数字を確認します。1つ目は、1日に実施したケースの件数です。2つ目は、AIが実施できなかったケースの割合です。3つ目は、担当者が一致しないケースの確認に使った時間です。
2つ目の割合が下がらない場合は、テストケースの書き方が改善されていません。テストケースを書く担当者に、AIが実施できなかった理由を伝えてください。
07明日は、テストケース20件を「AIが実施できるか」で分ける
- 結合テストのテストケースから、20件を選ぶ。
- 20件それぞれについて、入力する項目と値がすべて書かれているかを確認する。
- 20件それぞれについて、期待値が、項目と値で書かれているかを確認する。両方とも書かれているケースの件数を数える。
両方とも書かれているケースが半数に満たない場合、AIを導入する前に、テストケースの書き方を見直してください。入力する値と期待値を書く欄を、テストケースの様式に追加します。
書き方を見直したテストケースは、AIを使わない場合にも役立ちます。担当者が交代しても、同じ手順でテストを実施できます。