移行データは全件を照合する。一部の照合では、誤りは稼働後に見つかる

移行データの照合は、件数が多いという理由で一部だけになります。変換と照合のプログラムをAIに作らせ、全件を照合する方法を書きます。

この記事の要点

  1. 一部だけの照合では、特定の条件のデータだけで発生する誤りを、見つけられません。
  2. AIが、変換のプログラムと照合のプログラムを作ります。プログラムで、全件を照合します。
  3. 人が確認するのは、プログラムで一致か不一致かを判断できない項目だけです。

移行リハーサルで、得意先マスタ8万件を新しいシステムに移しました。移行の担当者は、200件を選んで照合しました。200件に誤りはありませんでした。稼働から2週間後、請求書の送付先の誤りが見つかりました。誤りは、支店コードが4桁の得意先だけで発生していました。

200件の中に、支店コードが4桁の得意先は1件も含まれていませんでした。一部だけの照合では、特定の条件のデータで発生する誤りを見つけられません。

この記事では、全件を照合する方法を書きます。照合するプログラムの作り方と、人が確認する項目の決め方も書きます。

01移行の誤りは、特定の条件のデータに集中する

図 1誤りは一部のデータに集中する。9件だけ照合すると見つからず、全件を照合すると見つかる(例)

9件だけ照合する

照合した 9件 見つけた誤り 0件 残った誤り 9件

全件を照合する

照合した 84件 見つけた誤り 9件 残った誤り 0件

マスの数は説明のための例です。朱の点線の枠が、照合されなかった誤りです。誤りは、同じ条件を持つデータにまとまって発生します。

移行の誤りは、データ全体に均等には発生しません。変換のルールが想定していなかった条件のデータで、まとまって発生します。たとえば、コードの桁数が違うデータ、古い時期に登録されたデータ、項目が空欄のデータです。

想定していなかった条件のデータは、件数が少ないのが普通です。そのため、一部だけを選ぶ照合では、選んだデータに含まれません。

一部だけの照合で確認できるのは、変換のルールが想定したデータだけです。誤りは、想定していなかったデータで発生します。

02照合が一部だけになる原因は、人が照合していること

全件を照合しない理由は、多くの場合、時間が足りないことです。時間が足りない原因は3つあります。

照合が一部だけになる3つの原因は、照合をプログラムで行うと解決します。プログラムは、768万個の値を数分で比べます。2回目以降のリハーサルでは、同じプログラムをもう一度実行するだけです。

03照合のプログラムは、変換のプログラムとは別に作る

AIに、変換のプログラムと照合のプログラムを作らせます。重要なのは、2つのプログラムを別々に作ることです。

図 2変換と照合を別々に作ると、変換の誤りを照合で見つけられる

2つのプログラムは、同じ仕様書から別々に作ります。照合のプログラムは、変換のプログラムの中身を読まずに作ります。

照合のプログラムを、変換のプログラムを元にして作ると、2つのプログラムが同じ誤りを持ちます。変換が誤っていても、照合の結果は「一致」になります。

そのため、AIには、移行の仕様書だけを読ませて照合のプログラムを作らせます。変換のプログラムを読ませません。2つのプログラムの結果が違う箇所は、どちらかのプログラムか、仕様書に誤りがあります。

落とし穴

件数の一致だけで、照合を終わらせないでください。移行元が8万件、移行先も8万件であっても、項目の値が正しいとは限りません。件数の照合と、項目の値の照合は、別の確認です。両方を行います。

04項目を3種類に分ける。人が確認するのは、1種類だけ

すべての項目を、プログラムで照合できるわけではありません。照合の前に、項目を3種類に分けます。

図 3得意先マスタの96項目のうち、人が確認するのは6項目(例)
71項目

そのまま移す項目

移行元の値と、移行先の値が同じかを照合する

プログラムが照合する
19項目

変換する項目

変換のルールで計算した値と、移行先の値が同じかを照合する

プログラムが照合する
6項目

人が判断する項目

名前の表記の統一、住所の書き方、自由に記入された備考

人が確認する

項目の数は説明のための例です。人が確認する項目を先に決めると、担当者は、判断が必要な項目だけに時間を使えます。

3種類目の「人が判断する項目」は、変換のルールを1つに決められない項目です。たとえば、同じ会社が2つの名前で登録されている場合です。どちらの名前に統一するかは、業務の担当者が決めます。

人が判断する項目についても、AIは準備の作業を行えます。AIは、名前が似ている得意先を組にして、一覧にします。業務の担当者は、組ごとに、同じ会社かどうかを決めます。

05全件の照合は、5つの手順で行う

  1. 移行の担当者が、項目を3種類に分ける担当者は、移行の仕様書に、項目ごとの種類を書きます。
  2. AIが、変換のプログラムを作るAIに、移行の仕様書を読ませます。AIは、仕様書のルールどおりに変換するプログラムを作ります。
  3. AIが、照合のプログラムを別に作るAIに、移行の仕様書だけを読ませます。変換のプログラムは読ませません。
  4. 移行の担当者が、全件を変換し、全件を照合する担当者は、2つのプログラムを実行します。照合のプログラムは、不一致の一覧を作ります。
  5. AIが、不一致を原因ごとにまとめるAIは、同じ条件のデータで発生した不一致を1つにまとめます。担当者は、まとめごとに原因を確認します。
落とし穴

全件を照合すると、1回目は数千件の不一致が出ます。担当者が不一致を1件ずつ確認すると、時間が足りなくなります。不一致は、同じ条件のデータでまとまって発生しています。条件ごとにまとめ、まとめごとに原因を1つ確認してください。数千件の不一致の原因は、多くの場合、数個です。

06不一致の件数がリハーサルのたびに減れば、移行の品質は上がっている

図 4不一致の件数は、リハーサルのたびに減る。3回目に残った38件が、人の判断を待つ項目(例)
リハーサル 1回目
4,820件
リハーサル 2回目
610件
リハーサル 3回目
38件

件数は説明のための例です。同じプログラムで毎回照合するので、回ごとの件数を比べられます。

移行の担当者は、リハーサルのたびに、次の3つの数字を記録します。1つ目は、不一致の件数です。2つ目は、不一致の原因の数です。3つ目は、人が判断する項目のうち、まだ決まっていない件数です。

不一致の件数が減らない場合は、原因が解決されていません。原因の数が増えた場合は、新しい条件のデータが見つかっています。どちらの場合も、稼働の判定の前に、移行の担当者が原因を確認します。

07明日は、直近のリハーサルで照合した範囲を数える

半日でできる、3つの確認
  1. 直近のリハーサルについて、照合した件数と、全体の件数を、マスタごとに書き出す。
  2. マスタごとに、照合した項目の数と、全体の項目の数を書き出す。
  3. 照合するデータをどの方法で選んだかを確認する。先頭から選んだのか、条件ごとに選んだのかを書く。

照合した件数が全体の1割に満たないマスタがある場合、照合をプログラムで行うことを検討してください。件数の多いマスタから始めると、効果が大きくなります。

照合するデータを、一覧の先頭から選んでいた場合は、特に注意が必要です。先頭のデータは、古い時期に登録されたデータに偏ります。先頭のデータは、登録された時期や条件が似ています。条件の違うデータは、照合されていません。