LLMの限界

最近のLLM（大規模言語モデル）は、一般的な質問に対して、素人目にはそれなりに的確な回答を返すことができます。
しかし、創造力や論理的思考を要する課題では、その限界が顕著に現れることがあります。

例えば、水平思考クイズ（いわゆる「ウミガメのスープ」）の問題作成を依頼した際の結果が挙げられます。
LLMが生成した問題は、以下のようなものでした。

問題： ある朝、高層マンションの管理人が驚愕の光景を目にしました。1階のロビーに、全裸の男性が横たわっていたのです。不思議なことに、男性の周りには壊れた野菜が散らばっていました。警察の調べによると、この男性は自殺したわけでもなく殺されたわけでもなく、事故死だったことがわかりました。一体何が起きたのでしょうか？

答え： この男性は、上階に住む熱心な菜食主義者で自然主義者でした。その日の夜、裸でベランダに出て日光浴をしていた彼は、突然の強風でバランスを崩し転落。同時に、開いていた冷蔵庫から野菜も風に煽られて飛び出し、男性と共に落下しました。野菜のクッション効果で命は取り留めましたが、衝撃で意識を失ったため、「事故死ではない」と判断されたのです。

LLMは論理的かつ創造的な出力を生成することが苦手なのではないかと思います。
高性能なLLMが新しくリリースされるたびに小説を執筆させることを試みているのですが、一見それらしい文章を生成する能力はプロと比べてもそれほど遜色ないのではと思えるレベルに達しているものの、完成度の高い作品を仕上げる構成力はまだまだ不足しているようです。

この問題が今の技術の延長線上で解決できるのか、それとも別のブレークスルーが必要なのか、注視したいと思います。