AIは「AはBだ」を逆から聞くと答えられない？

AIは「AはBだ」で覚えた事実を、「BはA」と逆から聞かれると取り出せない——ICLR 2024で報告された「逆転の呪い」を60秒で紹介します。実在しない人名と作品名だけで作った文で追加学習させ、向きだけ変えて質問すると、正答率はでたらめに答えた場合とほぼ同じでした。
出典: Lukas Berglund et al., “The Reversal Curse: LLMs trained on ‘A is B’ fail to learn ‘B is A'”, ICLR 2024 / arXiv:2309.12288 —

【研究の中身】
・問い: 言語モデルは事実を「二者の関係」として覚えているのか、それとも文の並びに縛られているのか。
・方法: 世の中に存在しない事実（例「ダフネ・バリントンは『時をこえて』の監督だ」）を多数作り、その向きだけで追加学習させたうえで、逆向きに質問した。
・結果: 逆向きの質問には答えられず、正答率はランダム水準とほとんど変わらなかった。当時のGPT-3やMetaのLlamaなど複数のモデルで確認され、学習量を増やしてもモデルを大きくしても変わらなかった。

【ここから言えること／まだ言えないこと】
・示唆されるのは、モデルが事実を関係としてではなく文の並びとして覚えている可能性です。
・この論文が調べたのは2023年時点のモデルです。今のモデルで同じことが起きるかどうかは、この論文からは分かりません。
・映像の挿絵はすべてイメージ図で、実験の写真や論文の図表ではありません。

世界の研究カタログでは、論文や実験を1本1研究で、方法まで含めて紹介しています。

※この動画の映像と音声は生成AIで制作しています。

source