AIは悪意なく嘘をつく
【読むのに約 3 分】
米ミシシッピ州の裁判で、双方の弁護士がAIを使って存在しない判例を引用していたことが発覚し、裁判が中止になったらしい。
元記事によると、関与した4人の弁護士は全員その訴訟から外され、責任の度合いに応じて罰金も科されたという。もともとの報道は404 Mediaの記事で、そこでは判事がAI出力の未検証利用にかなり強く怒っていたことも紹介されている。
両陣営がAIを使って、存在しない判例を根拠に戦っていた。
すごい。
法廷でAI同士が架空の法的根拠をぶつけ合い、人間の裁判官が「ちょっと待て」と止める。かなり現代っぽい。未来が来ている。できれば、もう少し別の未来がよかった。
ただ、これは単に「弁護士がAIを使ってはいけない」という話ではないと思う。
AIを使うこと自体はたぶん問題ではない。法律文書のたたき台を作る。判例を探す補助にする。論点整理をする。そういう使い方は、うまくやればかなり便利なのだろう。
問題は、AIが出してきたものを検証せずに、現実の仕事として流してしまうことだ。
AIは嘘をつく。
ただし、ここが面倒なのだが、AIはたぶん悪意を持って嘘をついているわけではない。
人間が存在しない判例をでっち上げて裁判所に提出したら、それはかなり強い悪意のある行為に見える。少なくとも、法廷でうっかりやりました、では済みにくい。証拠の捏造とか、業務妨害とか、そういうしっかりとした犯罪になりそうだ。
でもAIは、わりと平然とそれをやる。
人間がやったらだいぶ悪いことを、AIは悪い顔をせずにやる。そもそも顔がない。反省もしない。次の日も普通に「お手伝いできます」と言ってくる。強い。
ここにAI利用の嫌なところがある。
人間相手なら、相手に悪意があるかもしれないと思えば、こちらも身構える。言っていることを逐一確認する。契約書を読む。出典を見る。裏を取る。面倒だが、そうするしかない。
しかし相手に悪意がないと思っていると、人はかなり信用する。多少の間違いはあるだろうが、基本的には本当のことを言っているはずだ、という前提で話を進める。そうしないと仕事が進まないからだ。
AIはこの性善説ゾーンに、かなり入り込みやすい。
チャット画面で丁寧に返事をする。文章もきれい。こちらの意図も汲む。人間が雑に聞いたことを、それっぽく整理して返してくれる。なんだかちゃんとしている。少なくとも、明らかに不審な詐欺メールみたいな顔はしていない。
そして、そのちゃんとした顔で存在しない判例を出す。
こわい。
プログラミングでは、AIエージェントがかなり実用的になってきている。わたしも日々使っている。コードを書く、テストを書く、既存の実装を読ませる、修正させる。便利である。かなり便利である。
プログラミングでAIが比較的使いやすいのは、検証しやすいからだと思う。
コードはある程度厳密に書かないと動かない。構文が壊れていたらエラーになる。テストが落ちる。ビルドが通らない。画面が表示されない。ログに怒られる。プログラムはわりと冷たい。言い訳を聞いてくれない。
この冷たさが、AI利用にはありがたい。
AIが雑なものを出しても、かなりの部分は機械が止めてくれる。もちろん全部ではないが、少なくとも「存在しない関数を呼んでいる」くらいなら、すぐ見つかる。存在しない判例を裁判所に提出するよりは、発覚が早い。
それでも、プログラミングなら安全、という話ではない。
見た目は動いている。エラーも出ない。テストも通っている。だが、実は計算式が間違っている。境界条件が抜けている。セキュリティ的にまずい。仕様を勝手に読み替えている。こういうことは普通にある。
AIは「調べた結果、この計算式が妥当です」と言いながら、実はちゃんと調べていないことがある。あるいは、調べたような顔をして、なんとなくそれっぽい式を置く。
顔がないのに、顔だけは作る。ずるい。
それでもプログラマがAIを実用的に使えているのは、プログラミングの世界にはもともとレビューする文化があるからだと思う。
コードレビューをする。テストを書く。CIを回す。仕様を読む。ログを見る。挙動を確認する。怪しい実装を差し戻す。そういう面倒な習慣がもともとある。
AIは、その面倒な習慣の上に乗っているから、かなり使える。
逆に言えば、その検証文化がない場所にAIだけを持ち込むと危ない。
人間の仕事をAIで代替する。相手も、これまで通り人間から来たものとして受け取る。多少の間違いなら、相手側で直してくれる。会話は進む。書類も回る。メールも返ってくる。
そして、しばらく進んだあとで、根っこにAIの捏造が混じっていたことが発覚する。
そこまで積み上げた時間が無駄になる。あるいは、発覚する前に実務が壊れる。裁判なら裁判が止まる。契約なら契約が壊れる。医療なら、もっとまずい。
AIを使うな、という話ではない。
AIは便利だ。使えるところでは使ったほうがいい。人間が長時間かけてやっていた作業を、かなり短くできる。
ただ、AIが出した結果を誰がどう検証するのか。
その検証にどれくらいコストをかけるのか。
検証できないなら、その結果をどこまで使っていいのか。
ここを決めずに、ただ「AIで効率化しました」と言うのは、かなり危ない。
AIは悪意なく嘘をつく。
だから、人間は悪意を疑うときのように、AIの出力を確認しなければならない。
かなり面倒である。
でも、その面倒を飛ばした結果、裁判所で存在しない判例が殴り合う世界になる。
それはそれでSFとしては面白いが、実務としてはあまり見たくない。
AI時代に必要なのは、AIを使う勇気だけではなく、AIを疑う根気なのだと思う。
華やかさはない。
だが、たぶんそこが一番大事だ。