移行データは全件を照合する。一部の照合では、誤りは稼働後に見つかる
移行データの照合は、件数が多いという理由で一部だけになります。変換と照合のプログラムをAIに作らせ、全件を照合する方法を書きます。
この記事の要点
- 一部だけの照合では、特定の条件のデータだけで発生する誤りを、見つけられません。
- AIが、変換のプログラムと照合のプログラムを作ります。プログラムで、全件を照合します。
- 人が確認するのは、プログラムで一致か不一致かを判断できない項目だけです。
移行リハーサルで、得意先マスタ8万件を新しいシステムに移しました。移行の担当者は、200件を選んで照合しました。200件に誤りはありませんでした。稼働から2週間後、請求書の送付先の誤りが見つかりました。誤りは、支店コードが4桁の得意先だけで発生していました。
200件の中に、支店コードが4桁の得意先は1件も含まれていませんでした。一部だけの照合では、特定の条件のデータで発生する誤りを見つけられません。
この記事では、全件を照合する方法を書きます。照合するプログラムの作り方と、人が確認する項目の決め方も書きます。
01移行の誤りは、特定の条件のデータに集中する
9件だけ照合する
照合した 9件 見つけた誤り 0件 残った誤り 9件
全件を照合する
照合した 84件 見つけた誤り 9件 残った誤り 0件
マスの数は説明のための例です。朱の点線の枠が、照合されなかった誤りです。誤りは、同じ条件を持つデータにまとまって発生します。
移行の誤りは、データ全体に均等には発生しません。変換のルールが想定していなかった条件のデータで、まとまって発生します。たとえば、コードの桁数が違うデータ、古い時期に登録されたデータ、項目が空欄のデータです。
想定していなかった条件のデータは、件数が少ないのが普通です。そのため、一部だけを選ぶ照合では、選んだデータに含まれません。
一部だけの照合で確認できるのは、変換のルールが想定したデータだけです。誤りは、想定していなかったデータで発生します。
02照合が一部だけになる原因は、人が照合していること
全件を照合しない理由は、多くの場合、時間が足りないことです。時間が足りない原因は3つあります。
- 照合する量が多い。得意先マスタが8万件、項目が96個ある場合、照合する値は768万個です。人が目で比べられる量ではありません。
- 照合を、表計算ソフトで行っている。移行元と移行先のデータを表に貼り、数式で比べています。件数が多いと、表計算ソフトが動かなくなります。
- リハーサルのたびに、同じ作業を繰り返している。照合の手順が人の作業なので、2回目も3回目も同じ時間がかかります。
照合が一部だけになる3つの原因は、照合をプログラムで行うと解決します。プログラムは、768万個の値を数分で比べます。2回目以降のリハーサルでは、同じプログラムをもう一度実行するだけです。
03照合のプログラムは、変換のプログラムとは別に作る
AIに、変換のプログラムと照合のプログラムを作らせます。重要なのは、2つのプログラムを別々に作ることです。
2つのプログラムは、同じ仕様書から別々に作ります。照合のプログラムは、変換のプログラムの中身を読まずに作ります。
照合のプログラムを、変換のプログラムを元にして作ると、2つのプログラムが同じ誤りを持ちます。変換が誤っていても、照合の結果は「一致」になります。
そのため、AIには、移行の仕様書だけを読ませて照合のプログラムを作らせます。変換のプログラムを読ませません。2つのプログラムの結果が違う箇所は、どちらかのプログラムか、仕様書に誤りがあります。
件数の一致だけで、照合を終わらせないでください。移行元が8万件、移行先も8万件であっても、項目の値が正しいとは限りません。件数の照合と、項目の値の照合は、別の確認です。両方を行います。
04項目を3種類に分ける。人が確認するのは、1種類だけ
すべての項目を、プログラムで照合できるわけではありません。照合の前に、項目を3種類に分けます。
そのまま移す項目
移行元の値と、移行先の値が同じかを照合する
プログラムが照合する変換する項目
変換のルールで計算した値と、移行先の値が同じかを照合する
プログラムが照合する人が判断する項目
名前の表記の統一、住所の書き方、自由に記入された備考
人が確認する項目の数は説明のための例です。人が確認する項目を先に決めると、担当者は、判断が必要な項目だけに時間を使えます。
3種類目の「人が判断する項目」は、変換のルールを1つに決められない項目です。たとえば、同じ会社が2つの名前で登録されている場合です。どちらの名前に統一するかは、業務の担当者が決めます。
人が判断する項目についても、AIは準備の作業を行えます。AIは、名前が似ている得意先を組にして、一覧にします。業務の担当者は、組ごとに、同じ会社かどうかを決めます。
05全件の照合は、5つの手順で行う
- 移行の担当者が、項目を3種類に分ける担当者は、移行の仕様書に、項目ごとの種類を書きます。
- AIが、変換のプログラムを作るAIに、移行の仕様書を読ませます。AIは、仕様書のルールどおりに変換するプログラムを作ります。
- AIが、照合のプログラムを別に作るAIに、移行の仕様書だけを読ませます。変換のプログラムは読ませません。
- 移行の担当者が、全件を変換し、全件を照合する担当者は、2つのプログラムを実行します。照合のプログラムは、不一致の一覧を作ります。
- AIが、不一致を原因ごとにまとめるAIは、同じ条件のデータで発生した不一致を1つにまとめます。担当者は、まとめごとに原因を確認します。
全件を照合すると、1回目は数千件の不一致が出ます。担当者が不一致を1件ずつ確認すると、時間が足りなくなります。不一致は、同じ条件のデータでまとまって発生しています。条件ごとにまとめ、まとめごとに原因を1つ確認してください。数千件の不一致の原因は、多くの場合、数個です。
06不一致の件数がリハーサルのたびに減れば、移行の品質は上がっている
件数は説明のための例です。同じプログラムで毎回照合するので、回ごとの件数を比べられます。
移行の担当者は、リハーサルのたびに、次の3つの数字を記録します。1つ目は、不一致の件数です。2つ目は、不一致の原因の数です。3つ目は、人が判断する項目のうち、まだ決まっていない件数です。
不一致の件数が減らない場合は、原因が解決されていません。原因の数が増えた場合は、新しい条件のデータが見つかっています。どちらの場合も、稼働の判定の前に、移行の担当者が原因を確認します。
07明日は、直近のリハーサルで照合した範囲を数える
- 直近のリハーサルについて、照合した件数と、全体の件数を、マスタごとに書き出す。
- マスタごとに、照合した項目の数と、全体の項目の数を書き出す。
- 照合するデータをどの方法で選んだかを確認する。先頭から選んだのか、条件ごとに選んだのかを書く。
照合した件数が全体の1割に満たないマスタがある場合、照合をプログラムで行うことを検討してください。件数の多いマスタから始めると、効果が大きくなります。
照合するデータを、一覧の先頭から選んでいた場合は、特に注意が必要です。先頭のデータは、古い時期に登録されたデータに偏ります。先頭のデータは、登録された時期や条件が似ています。条件の違うデータは、照合されていません。