結合テストは、AIが SAP の画面を操作して実施できる。ただし検証環境だけにする

結合テストの時間の多くは、画面の操作と、証跡の貼り付けに使われています。AIに任せる作業と、人が決める作業の分け方を書きます。

この記事の要点

  1. 結合テストの時間の多くは、画面の操作と証跡の作成に使われています。この2つの作業は、AIに任せられます。
  2. AIに操作させるのは、検証環境だけです。本番環境では、AIに操作させません。
  3. AIは、結果と期待値を比べ、一致しないケースを報告します。合否は、テストの担当者が決めます。

ある製造業のプロジェクトで、結合テストが2週目に入りました。テストの担当者が1日に実施できたケースは、12件でした。計画は30件です。担当者の作業を調べると、時間の6割が、画面への入力と、画面を画像で保存して貼る作業でした。

結合テストが遅れる原因は、担当者の判断が遅いことではありません。判断の前の作業に、時間がかかりすぎていることです。

この記事では、AIに任せる作業と、人が決める作業の分け方を書きます。あわせて、AIに操作させる環境の決め方を書きます。

01テストの時間は、判断ではなく、操作と証跡に使われている

図 1テストの担当者の時間の6割は、画面の操作と証跡の作成に使われている(例)
画面の操作34%
証跡の作成26%
結果の確認と合否の判断22%
不具合の調査18%
AIに任せられる作業人が行う作業

割合は説明のための例です。図で朱色にした2つの作業は、手順が決まっていれば、誰が行っても結果が同じになります。

画面の操作と証跡の作成は、担当者の知識を必要としません。テストケースに書かれた手順を、順番に実行する作業です。一方、合否の判断と不具合の調査には、業務とシステムの知識が必要です。

業務を最もよく知っている人が、1日の半分以上を、画面への入力と画像の貼り付けに使っています。

02AIに任せる作業と、人が決める作業を、先に分ける

AIを使う前に、AIに任せる作業と、人が決める作業を分けます。分け方の基準は1つです。手順どおりに行えば結果が決まる作業は、AIに任せます。判断が必要な作業は、人が行います。

図 2手順で結果が決まる作業はAIに任せ、判断が必要な作業は人が行う

AIに任せる作業

  • テストデータを画面に入力する
  • テストケースの手順どおりに、画面を操作する
  • 操作のたびに、画面を画像で保存する
  • 結果を、テストケースの期待値と比べる

人が決めること

  • テストケースの手順と期待値を書く
  • 合格か不合格かを決める
  • 一致しない結果が、不具合かどうかを決める
  • 設計書の記載があいまいな場合に、解釈を決める

AIは「期待値と一致しない」と報告します。一致しない結果を不合格とするかどうかは、テストの担当者が決めます。

AIが「一致しない」と報告した結果には、不具合ではないものが含まれます。テストケースの期待値が誤っている場合や、テストデータが誤っている場合です。そのため、AIに合否を決めさせません。

03AIに操作させるのは、検証環境だけにする

AIに画面を操作させる場合、最も重要なルールは、操作させる環境を限定することです。AIは、指示された手順をそのまま実行します。接続先が本番環境であっても、AIは操作を止めません。

図 3AIは、操作の前に接続先を確認する。検証環境でなければ、操作を始めない

開発環境

結合テストでは使わない

開発の担当者が、単体の確認に使う

検証環境

AIに操作させる

結合テストを実施する。AIはこの環境だけで操作する

本番環境

AIに操作させない

人だけが操作する。AIは接続もしない

操作の前の確認AIは、画面に表示された環境の名前を読みます。検証環境の名前でなければ、AIは操作を始めずに、担当者に報告します。

環境の確認は、AIへの指示に書くだけでは不十分です。AIが使うユーザーに、本番環境の権限を付与しないことで、二重に防ぎます。

決めることルール
操作させる環境検証環境だけ。本番環境では、AIに操作させない。
AIが使うユーザーテスト専用のユーザーを作る。本番環境には、このユーザーを登録しない。
操作の前の確認AIは、接続先の環境の名前を読む。検証環境でなければ、操作を始めない。
操作の記録AIが操作した日時・ケース・画面を記録する。担当者が、後から確認できるようにする。
落とし穴

検証環境から、外部のシステムにデータが送信される場合があります。たとえば、取引先への注文データや、メールの通知です。AIにテストを実施させる前に、検証環境から外部に送信される経路を確認してください。送信される経路がある場合は、その経路を止めてから実施します。

04AIが実施できるのは、手順と期待値が具体的に書かれたケースだけ

AIにテストを実施させると、最初に、実施できないケースが見つかります。手順や期待値が、具体的に書かれていないケースです。

人がテストを実施する場合、担当者は自分の知識で不足を補います。そのため、テストケースの不備は表に出ません。AIは不足を補えないので、不備のあるケースを実施できません。

AIが実施できないケースは、担当者が交代したときに、人も実施できなくなるケースです。

AIにテストを実施させると、テストケースの不備が、テストの前に見つかります。

05結合テストは、AIが実施し、人が合否を決める5つの手順で進める

  1. AIが、テストケースを2つに分けるAIにテストケースを読ませます。AIは、実施できるケースと、手順や期待値が不足しているケースに分けます。
  2. テストの担当者が、不足している手順と期待値を書く担当者は、AIが示した不足の箇所を書き足します。
  3. AIが、検証環境でテストを実施するAIは、手順どおりに画面を操作します。操作のたびに、画面を画像で保存します。
  4. AIが、結果と期待値を比べるAIは、一致しないケースを一覧にします。一覧には、期待値と実際の値を並べて書きます。
  5. テストの担当者が、合否を決める担当者は、一致しないケースの証跡を確認します。不具合と判断したケースを、不具合票に登録します。
落とし穴

AIが「一致」と報告したケースを、担当者がまったく確認しない運用は危険です。期待値そのものが誤っていることがあります。その場合も、AIは結果が期待値と同じなら「一致」と報告します。「一致」のケースのうち一部を、担当者が毎回確認してください。確認する件数は、最初は多くします。誤りが出ない状態が続いた場合に、件数を減らします。

06効果は、実施した件数と、担当者が確認に使った時間で確認する

図 41日に実施できるケースが増え、担当者の時間は確認と判断に使われる(例)

1日に実施したケース

人が実施12件
AIが実施45件

AIが実施できなかったケースの割合

1週目40%
3週目10%

数字は説明のための例です。「AIが実施できなかったケースの割合」が下がれば、テストケースの手順と期待値が具体的になっています。

PM は、次の3つの数字を確認します。1つ目は、1日に実施したケースの件数です。2つ目は、AIが実施できなかったケースの割合です。3つ目は、担当者が一致しないケースの確認に使った時間です。

2つ目の割合が下がらない場合は、テストケースの書き方が改善されていません。テストケースを書く担当者に、AIが実施できなかった理由を伝えてください。

07明日は、テストケース20件を「AIが実施できるか」で分ける

半日でできる、3つの確認
  1. 結合テストのテストケースから、20件を選ぶ。
  2. 20件それぞれについて、入力する項目と値がすべて書かれているかを確認する。
  3. 20件それぞれについて、期待値が、項目と値で書かれているかを確認する。両方とも書かれているケースの件数を数える。

両方とも書かれているケースが半数に満たない場合、AIを導入する前に、テストケースの書き方を見直してください。入力する値と期待値を書く欄を、テストケースの様式に追加します。

書き方を見直したテストケースは、AIを使わない場合にも役立ちます。担当者が交代しても、同じ手順でテストを実施できます。