前提事項
現在、【令和6年度（2024年度） システム監査技術者試験】受験予定者である純然たる日本人へ当該試験学習を含めた助言を行っている。
その一環で、当該受験予定者の許可を得て、当該受験予定者が作成した当投稿タイトルの午後Ⅱ（論述式）過去問題の解答を下記2点の目的から当Webサイトに掲載する。
①私と当該受験予定者がいつでも当解答を閲覧可能とすることで、私からの助言時の参考とすると共に、将来にも当時点での当該受験予定者の論述解答作成能力の振り返りができるようにする。
②他の情報処理技術者試験受験予定者等の試験学習・自己研鑽等の一助として頂く。
補足事項
①上記目的故、当解答はあくまで受験予定者が作成した「解答例」であり、必ずしも「正答例」ではないことに留意すること。
②「受験予定者の作成解答」は、当Webサイト掲載用に、原文に対して、原文骨子に影響無い範囲で、軽微な誤字訂正を含めた極めて軽微な校正を私が行っている。
③論述練習のため、現時点では字数制限に対して多少過不足が有っても良いこととしている。
④各設問の「見出し」に記載した「文字数」は、Microsoft Wordの「校閲」→「文字カウント」の「文字数（スペースを含める）」で簡易算出したものである。
従って、実際に原稿用紙に論述する場合は、改行に起因して、実質的文字数はこの「文字数」より多くなる可能性が高いことに留意すること。
過去問題 独立行政法人情報処理推進機構（IPA） 公式情報源
上記内の【システム監査技術者試験】令和2年度（2020年度） 午後Ⅱ
問題冊子
https://www.ipa.go.jp/shiken/mondai-kaiotu/gmcbt8000000d05l-att/2020r02o_au_pm2_qs.pdf
解答例
https://www.ipa.go.jp/shiken/mondai-kaiotu/gmcbt8000000d05l-att/2020r02o_au_pm2_ans.pdf
採点講評
https://www.ipa.go.jp/shiken/mondai-kaiotu/gmcbt8000000d05l-att/2020r02o_au_pm2_cmnt.pdf
【問題文】及び【設問文】
問１ AI技術を利用したシステムの企画・開発に関する監査について
近年、大量のデータの中から一定の規則・特徴を見つけ出し、予測・判断する機械学習、深層学習などのAI技術が進展し、AI技術を利用したシステム（以下、AIシステムという）の導入事例が増えてきている。既に、画像認識による顔認証、テキスト・音声を通じて会話するチャットボット、人材マッチングによる採用支援、顧客の信用力スコアリングによる与信審査などのAIシステムが実用化されている。
AIシステムの開発は、ユーザ企業など（以下、ユーザという）がAI技術のノウハウをもったベンダに収集データを提供して委託することが多い。ベンダは、収集データを学習用データセットに加工して、オープンソースソフトウェア、ベンダが保有する開発プログラムなどを組み合わせた学習用プログラムに入力し、成果物として学習済みモデルを生成する。
一方、AIシステムには、アルゴリズムのブラックボックス化の問題をはじめ、収集データの不足・偏りなどによって、学習済みモデルによる予測・判断結果の解釈が難しかったり、精度が低かったりする場合がある。したがって、機能要件を確定してから構築する従来の開発手法では対応が難しくなる。また、収集データの加工に多くのコストが掛かったり、ベンダが有するノウハウなどの権利帰属の問題によって、ユーザが学習済みモデルを利用する際に制約が生じたりすることも想定される。
今後、AIシステムの実用化が広がる中、システム監査人には、AIシステムの利用段階でのリスクを踏まえて、AIシステムの導入目的、開発手法、ユーザ・ベンダ間の取決めなどが適切かどうかを企画・開発段階で確かめておくことが求められる。
あなたの経験と考えに基づいて、設問ア～ウに従って論述せよ。
設問ア あなたが関係する組織において、AI技術を利用する目的と、開発を検討している又は開発したAIシステムの概要について、800字以内で述べよ。
設問イ 設問アで述べたAIシステムの利用段階において想定されるリスクについて、700字以上1,400字以内で具体的に述べよ。
設問ウ 設問イを踏まえて、AIシステムの導入目的、開発手法、ユーザ・ベンダ間の取決めなどが適切かどうかを確かめるために、企画・開発段階において実施すべき監査手続について、700字以上1,400字以内で具体的に述べよ。
受験予定者の作成解答
設問ア 【87５文字】
第１章 私が関係する組織におけるＡＩ技術とＡＩシステムについて
１．１ 私が関係する組織がＡＩ技術を利用する目的
私が関係する組織（以下、当社）は、日本国内の特に東京都を中心とした関東地方で各種ニッチ領域商品の小売業を行っている株式会社である。そして、従業員数は約２，０００名である。これまでは、表計算ソフトや従来の開発手法で開発した各種情報システムを活用して効率的かつ効果的な業務プロセスを構築してきた。この事業活動において、顧客からの問合せや注文などは、従業員による電話応対や、公式ホームページを通じたインターネットショッピングサイトで対応してきていた。
一方で昨今は、大量のデータの中から一定の規則・特徴を見つけ出し、予測・判断する機械学習・深層学習などのＡＩ技術が進展し、ＡＩ技術を利用したＡＩシステムの導入事例が増えてきた。当社では、一定期間はＡＩ技術の他社事例を経過観察して、実用化ひいては成功事例を十分に研究した上でＡ Ｉ技術の導入をするＩＴ戦略でいた。この度、これら成功事例を調査した上で、前述の当社の顧客からの問合せや注文などの対応を後述のＡＩ技術を活用したＡＩシステムを導入することで、人的業務の軽減できると見込み、これを目的としてＡＩ技術の利用を計画した。
１．２ 私が関係する組織が開発を検討しているＡＩシステムの概要
上述の１．１を踏まえて当社が開発を検討しているＡＩシステムは、従業員による電話応対や、公式ホームページを通じたインターネットショッピングサイトで対応していた顧客対応を行う、テキスト・音声を通じて会話するチャットボットである。このチャットボットの導入によって、チャットボットでの対応で解決できる顧客対応をチャットボットで済ませたり、従業員による応対の支援に活用することで、当社従業員の業務効率化を目的としている。
私は当社の内部監査部門長として、このチャットボットの導入目的、開発手法、ユーザ・ベンダ間の取決めなどが適切かどうかを確かめるため、この企画・開発段階のシステム監査を実施することとなった。
設問イ 【902文字】
第２章 前述の第１章で述べたＡＩシステムの利用段階で想定されるリスク
第１章で述べたチャットボットの企画は、当社側としては、技術的観点では情報システム部門が、利用的観点ではそのユーザ部門である営業部門が担当し、情報システム部門と営業部門が協力して対応することとなっている。そして、実際の開発はＡＩ技術のノウハウをもったベンダであるＰ社へ外部委託することとなっている。このため、当社は、当社従業員によるこれまでの顧客対応データをＰ社へ提供し、Ｐ社が顧客対応データをチャットボットの学習用データセットに加工して、学習用プログラムに入力し、成果物としてチャットボットを開発する。
このため、従来の開発手法とは異なり、このチャットボットの利用段階においては、以下に挙げるようなリスクが想定される。
２．１ 顧客対応データの不足・偏りなどによって、チャットボットの判断精度が低かったり、判断できないリスク
具体的には、当社は各種ニッチ領域商品の小売業を行っていることから、特に新規取扱い商品に関する顧客対応データを学習できていなかったり、学習が不十分である可能性がある。このことから、ユーザ部門である営業部門が要求する機能要件を充足できていない可能性が有る。
２．２ Ｐ社による顧客対応データの加工に計画以上の時間を要することによって、計画以上のコストが掛かるリスク
当社としては、事前に他社のＡＩシステム導入の成功事例を調査した上で、このチャットボットの開発を検討したが、百聞は一見に如かずで、実際に開発してみると、利用段階における追加の顧客対応データの学習用データセットへの加工に計画以上のコストがかかることが想定される。
２．３ Ｐ社が有するノウハウなどの権利帰属の問題によって、当社がチャットボットを利用する際に制約が生じるリスク
本件において、当社からＰ社へ提供する、当社従業員によるこれまでの顧客対応データは、第一義的には当社が所有するものであるが、これらをＰ社が独自に有するノウハウで加工した学習用データセットを用いて開発されたチャットボットは、当社が利用する時に想定外の問題が起こり得る。
設問ウ 【1,330文字】
第３章 前述の第２章を踏まえて、ＡＩシステムの企画・開発段階で実施すべき監査手続
３．１ ＡＩシステムの導入目的の適切性の監査手続
前述の１．２で述べた通り、このチャットボットの導入目的は、チャットボットでの対応で解決できる顧客対応をチャットボットで済ませたり、従業員による応対の支援に活用したりすることによる、当社従業員の業務効率化が導入目的である。「業務効率化」には当然に「コスト軽減」も含まれている。
しかし、前述の２．２で挙げたように、Ｐ社による顧客対応データの加工に計画以上の時間を要することによって、計画以上のコストが掛かるリスクが想定される。
このことから、企画段階におけるＰ社による顧客対応データの加工に要する時間・コストの見積りの精度を高めるコントロールが適切に実施されているか否かを確かめる監査手続を実施すべきである。
この監査手続の具体例としては、当社ともＰ社とも異なる、ＡＩ技術の知見を有する外部のＡＩ技術コンサルタントから時間・コストの見積りの改善提案を受けるというコントロールを実施している場合は、当該ＡＩコンサルタントが当社へ提示した「チャットボット企画改善提案書」と「チャットボット企画書」の閲覧及び突合により、本件の企画段階で時間・コストの適切な見積りが反映され、実施されていることを確かめる。
３．２ ＡＩシステムの開発手法の適切性の監査手続
前述の２．１で述べた通り、顧客対応データの不足・偏りなどによって、チャットボットの判断精度が低かったり、判断できないリスクが想定される。
このリスクは、何よりも企画・開発段階における不適切または不十分な対応によって作り込まれるものであることから、利用段階でリカバーすることは容易ではない。
これらに対する監査手続例としては、顧客対応データの不足・偏りに対する企画段階で実施する監査手続例としては、「チャットボット企画書」の閲覧と情報システム部門とユーザ部門である営業部門へのインタビューによって、顧客対応データの不足・偏りが無い企画であることを検証していることを確かめる、というものが挙げられる。
そして、チャットボットの判断精度が低かったり、判断できないような開発が行われていないことを開発段階で確かめる監査手続として、「情報システム部門とユーザ部門である営業部門とP社との開発進捗会議議事録」の閲覧により、十分な判断精度かつ適切な判断ができるチャットボット開発が実施されていることを確かめる。
３．３ ＡＩシステムのユーザ・ベンダ間の取決めの適切性の監査手続
前述の２．３で述べた通り、Ｐ社が有するノウハウなどの権利帰属の問題によって、当社がチャットボットを利用する際に制約が生じるリスクが想定される。
このことから、企画・開発段階における「Ｐ社との契約書類」等の閲覧と、それに踏まえた情報システム部門とユーザ部門である営業部門へのヒアリングにより、チャットボットに関するP社との契約内容に当社でのチャットボット利用時に不都合な制約が締結されていないことを確かめる。
以上が、このチャットボットに関して企画・開発段階で実施すべき監査手続である。
－以上－
コメント