自動化を進めるほど、逆に「ここはAIに任せない」という線を、はっきり引く必要が出てきた。
何でも自動でやれることが、強さではない。任せてよい範囲と、絶対に任せない範囲を分けて、任せた部分で間違いが出ても、世に出る前に捕まえられること。それが揃って初めて、無人で回せる。今回は、その線引きと、網の張り方の話だ。
任せない領域を、決めておく
まず、AIに最終判断をさせない領域を決めた。
採用。与信。医療。法律の最終的な判断。こういう、間違えたときに人の人生や経営に重く響くものは、自動の成果物として出さない。文章を整えたり、一次案を作ったりするのは構わない。けれど、最後の決めは人に残す。できることと、やってよいことは、別だ。
迷ったときの基準も決めておいた。間違えた結果を、AIのせいにできるか。できないなら、人が決める。採用も、与信も、最後の責任は人が負う。だから、自動の成果物としては出さない。線は、技術ではなく責任で引いた。
機密情報は、入る前に止める
任せる仕事でも、扱ってはいけない情報がある。
機密や、特に配慮の要る個人情報は、そもそも入力の手前で警告し、検知して、伏せる。送ってよいものと、送ってはいけないものを、入口で仕分ける。保存の期限も決めておく。預かったものを、必要以上に長く持たない。漏れる経路を、最初から作らないようにした。
間違いを、出る前に捕まえる
任せた仕事は、間違える前提で網を張った。
匿名化した想定ケースを使って、繰り返し試す。同じ質問を二度していないか。項目が抜けていないか。ありもしないことを書いていないか。偏った出力になっていないか。費用が膨らんでいないか。こうした観点で、出力を機械的に比べる。人が一件ずつ目視する代わりに、検査のほうを自動で回す。
自動化は、放置ではない
網を張ったら終わり、ではなかった。張り続け、直し続ける運用が要る。
同じ種類の間違いが、ある回数を超えて出たら、それは個別の不運ではなく、仕組みの問題だ。そういうときは、その場で直すのではなく、製品の側を直す。受け付ける条件や、入力の検査や、質問の出し方を変える。検知して終わりにせず、原因を製品に返していく。自動化は、放っておくことではなく、絶えず手を入れ続けることだった。
モデルが変わっても、品質を測り直す
AIそのものが、いつ変わるか分からない、という前提も置いた。
使っているモデルが止まることもある。値上がりすることもある。だから、特定のモデルに縛られない作りにして、いざというときは別のものに切り替えられるようにした。ただし、切り替えたら、品質を測り直す。同じ網にかけて、出力が落ちていないかを確かめてから、本番に戻す。
任せない領域を決め、機密を入口で止め、間違いを出る前に捕まえ、モデルが変わっても測り直す。派手さはないが、この四つの網がないと、自動化はすぐに事故を起こす。慎重すぎるくらいで、ちょうどよかった。
次の回で、この第4部を締める。堀の本体は、実は新しく掘ったものではなかった、という話だ。