--- title: "AIは悪意なく嘘をつく" slug: "ai-wa-akui-naku-uso-wo-tsuku" publishedAt: "2026-06-12T04:49:03.784Z" updatedAt: "2026-06-12T11:35:05.490Z" tags: ["essay","AI","仕事","リスク"] excerpt: "404 Mediaの記事に出てきたAI生成の架空判例問題をきっかけに、AIのハルシネーション、検証コスト、弁護士や仕事で使う側の責任について考えた。AIは悪意なく嘘をつくので、悪意より検証漏れのほうが怖い。便利さと危うさは同じ画面にいる。" canonical: "https://ishinao.net/ai-wa-akui-naku-uso-wo-tsuku" --- > [INTERNET Watch: 裁判で双方の弁護士がAIを用いて存在しない架空の判例を引用、判事激怒で裁判は中止に](https://internet.watch.impress.co.jp/docs/yajiuma/2116657.html) 米ミシシッピ州の裁判で、双方の弁護士がAIを使って存在しない判例を引用していたことが発覚し、裁判が中止になったらしい。 元記事によると、関与した4人の弁護士は全員その訴訟から外され、責任の度合いに応じて罰金も科されたという。もともとの報道は404 Mediaの記事で、そこでは判事がAI出力の未検証利用にかなり強く怒っていたことも紹介されている。 両陣営がAIを使って、存在しない判例を根拠に戦っていた。 すごい。 法廷でAI同士が架空の法的根拠をぶつけ合い、人間の裁判官が「ちょっと待て」と止める。かなり現代っぽい。未来が来ている。できれば、もう少し別の未来がよかった。 ただ、これは単に「弁護士がAIを使ってはいけない」という話ではないと思う。 AIを使うこと自体はたぶん問題ではない。法律文書のたたき台を作る。判例を探す補助にする。論点整理をする。そういう使い方は、うまくやればかなり便利なのだろう。 問題は、AIが出してきたものを検証せずに、現実の仕事として流してしまうことだ。 AIは嘘をつく。 ただし、ここが面倒なのだが、AIはたぶん悪意を持って嘘をついているわけではない。 人間が存在しない判例をでっち上げて裁判所に提出したら、それはかなり強い悪意のある行為に見える。少なくとも、法廷でうっかりやりました、では済みにくい。証拠の捏造とか、業務妨害とか、そういうしっかりとした犯罪になりそうだ。 でもAIは、わりと平然とそれをやる。 人間がやったらだいぶ悪いことを、AIは悪い顔をせずにやる。そもそも顔がない。反省もしない。次の日も普通に「お手伝いできます」と言ってくる。強い。 ここにAI利用の嫌なところがある。 人間相手なら、相手に悪意があるかもしれないと思えば、こちらも身構える。言っていることを逐一確認する。契約書を読む。出典を見る。裏を取る。面倒だが、そうするしかない。 しかし相手に悪意がないと思っていると、人はかなり信用する。多少の間違いはあるだろうが、基本的には本当のことを言っているはずだ、という前提で話を進める。そうしないと仕事が進まないからだ。 AIはこの性善説ゾーンに、かなり入り込みやすい。 チャット画面で丁寧に返事をする。文章もきれい。こちらの意図も汲む。人間が雑に聞いたことを、それっぽく整理して返してくれる。なんだかちゃんとしている。少なくとも、明らかに不審な詐欺メールみたいな顔はしていない。 そして、そのちゃんとした顔で存在しない判例を出す。 こわい。 プログラミングでは、AIエージェントがかなり実用的になってきている。わたしも日々使っている。コードを書く、テストを書く、既存の実装を読ませる、修正させる。便利である。かなり便利である。 プログラミングでAIが比較的使いやすいのは、検証しやすいからだと思う。 コードはある程度厳密に書かないと動かない。構文が壊れていたらエラーになる。テストが落ちる。ビルドが通らない。画面が表示されない。ログに怒られる。プログラムはわりと冷たい。言い訳を聞いてくれない。 この冷たさが、AI利用にはありがたい。 AIが雑なものを出しても、かなりの部分は機械が止めてくれる。もちろん全部ではないが、少なくとも「存在しない関数を呼んでいる」くらいなら、すぐ見つかる。存在しない判例を裁判所に提出するよりは、発覚が早い。 それでも、プログラミングなら安全、という話ではない。 見た目は動いている。エラーも出ない。テストも通っている。だが、実は計算式が間違っている。境界条件が抜けている。セキュリティ的にまずい。仕様を勝手に読み替えている。こういうことは普通にある。 AIは「調べた結果、この計算式が妥当です」と言いながら、実はちゃんと調べていないことがある。あるいは、調べたような顔をして、なんとなくそれっぽい式を置く。 顔がないのに、顔だけは作る。ずるい。 それでもプログラマがAIを実用的に使えているのは、プログラミングの世界にはもともとレビューする文化があるからだと思う。 コードレビューをする。テストを書く。CIを回す。仕様を読む。ログを見る。挙動を確認する。怪しい実装を差し戻す。そういう面倒な習慣がもともとある。 AIは、その面倒な習慣の上に乗っているから、かなり使える。 逆に言えば、その検証文化がない場所にAIだけを持ち込むと危ない。 人間の仕事をAIで代替する。相手も、これまで通り人間から来たものとして受け取る。多少の間違いなら、相手側で直してくれる。会話は進む。書類も回る。メールも返ってくる。 そして、しばらく進んだあとで、根っこにAIの捏造が混じっていたことが発覚する。 そこまで積み上げた時間が無駄になる。あるいは、発覚する前に実務が壊れる。裁判なら裁判が止まる。契約なら契約が壊れる。医療なら、もっとまずい。 AIを使うな、という話ではない。 AIは便利だ。使えるところでは使ったほうがいい。人間が長時間かけてやっていた作業を、かなり短くできる。 ただ、AIが出した結果を誰がどう検証するのか。 その検証にどれくらいコストをかけるのか。 検証できないなら、その結果をどこまで使っていいのか。 ここを決めずに、ただ「AIで効率化しました」と言うのは、かなり危ない。 AIは悪意なく嘘をつく。 だから、人間は悪意を疑うときのように、AIの出力を確認しなければならない。 かなり面倒である。 でも、その面倒を飛ばした結果、裁判所で存在しない判例が殴り合う世界になる。 それはそれでSFとしては面白いが、実務としてはあまり見たくない。 AI時代に必要なのは、AIを使う勇気だけではなく、AIを疑う根気なのだと思う。 華やかさはない。 だが、たぶんそこが一番大事だ。 > [404 Media: Judge Learns Lawyers on Both Sides of Case Used AI, Cancels Trial, Kicks Everyone Off the Case](https://www.404media.co/judge-learns-lawyers-on-both-sides-of-case-used-ai-cancels-trial-kicks-everyone-off-the-case/)