AIS夢想著電羊嗎？

推理模型的關鍵特征是它通過將其分解為較小的部分并制定解決每個策略來解決復雜任務的能力。與僅依靠統(tǒng)計概率產(chǎn)生答案的模型不同，推理模型創(chuàng)建了與人類思維類似的問題解決策略。

為了注冊AI生成創(chuàng)意和潛在新穎的解決方案的Live Science Daily新聞通訊訂單，它必須參與某種水平的幻覺 - 否則，它將僅限于反省已經(jīng)學到的數(shù)據(jù)。

Vectra AI的AI研究員Sohrob Kazerounian在接受Live Science采訪時說：“了解幻覺不是幻覺，而是AI的特征，而是AI的特征?！?“正如同事曾經(jīng)說過的那樣，'LLM產(chǎn)生的一切都是幻覺。這只是其中一些幻覺恰好是真的。'如果AI僅生成了培訓期間看到的確切副本，那么AI將不過是大規(guī)模的搜索引擎?！?/p>

“這意味著只編寫以前寫過的代碼，只發(fā)現(xiàn)已經(jīng)知道的屬性的分子，并僅回答以前被問到的家庭作業(yè)問題。您將無法要求LLM為圍繞AI奇異性的概念專輯寫歌詞，結(jié)合了Snoop Dogg和Bob Dylan的風格?！?/p>

有效地，LLMS和他們權(quán)力的AI系統(tǒng)需要幻覺才能產(chǎn)生原始內(nèi)容，而不是簡單地重復現(xiàn)有知識。從概念上講，這類似于人類夢想或想象場景引發(fā)新想法。

在框外思考太多

但是，當目標是傳遞精確和正確的信息時， AI幻覺就會成為問題，尤其是當用戶接受無驗證的輸出時。

沃森解釋說：“這在事實準確性至關重要的領域尤其令人關注，例如醫(yī)學，法律或金融?！?“盡管更高級的模型可能會減少明顯的事實錯誤，但幻覺的微妙形式仍然存在。隨著時間的流逝，這些捏造會破壞對AI系統(tǒng)的信任，并且當用戶對未驗證的信息采取行動時，可能會導致現(xiàn)實世界中的傷害?！?/p>

此外，隨著AI技術的進展，這一挑戰(zhàn)似乎也會增長。沃森指出：“隨著模型的改善，錯誤通常變得不那么明顯，但很難檢測到?！?“現(xiàn)在被捏造的內(nèi)容嵌入了令人信服的敘述和邏輯推理鏈中。這造成了獨特的危險：用戶可能沒有意識到存在錯誤，并且可以將輸出視為確定性。該問題從濾除明顯的錯誤到識別出僅在仔細檢查下浮出水面的細微扭曲而轉(zhuǎn)變?！?/p>

Kazerounian支持這種觀點。他說：“盡管對AI幻覺會隨著時間的流逝而逐漸減少，但有證據(jù)表明，較新的推理模型實際上可能比簡單的幻覺更頻繁地幻覺，而且對為什么會發(fā)生這種情況尚無共識。”

由于難以理解LLM如何得出結(jié)論，這種情況與我們?nèi)匀徊煌耆斫馊四X的功能相似，這使情況更加復雜。

AI Company Anthropic的首席執(zhí)行官Dario Amodei在最近的一篇文章中指出，關于AIS如何產(chǎn)生響應缺乏透明度。他寫道：“當生成性AI總結(jié)了財務文件時，我們對為什么要做出特定的單詞選擇或為什么偶爾會出錯，盡管通常是正確的?！?/p>

Kazerounian強調(diào)，AI產(chǎn)生虛假信息的后果已經(jīng)非常真實。他說：“沒有可靠的方法可以確保LLM正確回答有關它可以訪問的任何給定數(shù)據(jù)集的問題?！?“不存在參考，客戶服務聊天機器人發(fā)明公司政策和其他不準確的實例現(xiàn)在令人震驚。”

粉碎夢

Kazerounian和Watson都告訴Live Science，完全消除AI幻覺可能很困難。但是，可能有一些方法可以減少其影響。

沃森（Watson）提出，將模型的輸出與已驗證的外部知識源聯(lián)系起來的“檢索增強的一代”可以幫助實現(xiàn)事實數(shù)據(jù)中的AI生成的內(nèi)容。

沃森解釋說：“另一種策略涉及構(gòu)建模型的推理過程。通過提示驗證自己的輸出，比較不同的觀點或遵循邏輯步驟，腳手架推理框架最大程度地減少了未檢查的猜測并提高一致性?！彼a充說，這可以通過旨在鼓勵模型優(yōu)先級準確性的培訓方法來支持，并加強對人或AI評估者的學習，以促進更多紀律和基于事實的響應。

以上是為什么AI會更頻繁地進行Hallucin，我們?nèi)绾瓮Ｖ顾?？的詳細?nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！