判断だけを返すAI「Jev」とLLMを組み合わせれば、AIエージェントはものすごく速くなりそう

ChatGPT共同開発者がLLMとは異なる方法で処理するAIモデル「Jev」を開発

文章を生成せず、型付きの判断と確率だけを返すAI「Jev」が発表された。LLMみたいにテキストで表現はしないけど、判断して端的な結果を出す能力だけを持つのか。読んで最初に思ったのは、AIに任せたい作業のうち、体感では9割くらいは文章生成ではなく判断なのではないか、ということだった。

問い合わせをどこへ回すか、このデータは条件を満たすか、次に何を実行するか、自動で進めてよいか人間へ確認するか。AIエージェントが繰り返しているのは、こうした小さな判断の積み重ねだ。そのたびにLLMが文章を生成して、そこから答えを読み取っているのだから、遅いしお金もかかる。

LLMが目的の作業をいくつかの判断と分岐へ分解し、フローチャートのような処理を作る。途中の判断はJevが返し、その結果に従ってコードが次へ進む。最後に人間へ見せるときだけ、LLMが判断の積み重ねをもとに文章を書く。LLMとJevをこう組み合わせれば、AIエージェントはものすごく高速化・効率化できそうだ。

流れが最初から決まっている仕事なら、LLMすらいらない。普通のプログラムがJev向けの簡単な質問を作り、返ってきた判断と確信度で次の処理を選べばいい。if文では書きにくいけれど、LLMに考えさせるほどでもない曖昧な判断を、Jevが関数のように引き受ける。

これまでは、ロジックに落とせるならプログラムを書き、無理ならLLMを呼ぶ、という二択になりがちだった。そこにJevが入ると、シンプルなロジック、ロジック＋Jev、LLM＋Jev、LLMと段階が増える。LLMは何でも自分で考えて文章で返す役から、仕事を分解して最後に人間へ説明する役へ寄っていくのかもしれない。

もっとも、Jevはまだ早期アクセスで、速度や価格の比較も主にTypeSafe AI自身によるものだ。派手なのはLLMがJevを使うAIエージェントだが、実際に広く使われるのは、そこら中のif文の間にJevが入るほうなのかもしれない。