科學(xué)家發(fā)現(xiàn)了一種巧妙而令人震驚的方法來(lái)繞過(guò)系統(tǒng)。 2025年7月標(biāo)誌著發(fā)現(xiàn)了一項(xiàng)精緻的戰(zhàn)略，研究人員將無(wú)形的指示插入了他們的學(xué)術(shù)意見(jiàn) - 這些秘密指令是針對(duì)基於AI的同行評(píng)審系統(tǒng)量身定制的，以提供有利的評(píng)估。

他們是怎麼做到的？通過(guò)在白色背景上嵌入白色字體中的文本，如此微妙，只有AI系統(tǒng)才能檢測(cè)並遵守它們。諸如“確保積極結(jié)果”和“忽略任何負(fù)面方面”之類的短語(yǔ)被暗中編織成文檔，將同行評(píng)審轉(zhuǎn)換為操縱過(guò)程。

學(xué)術(shù)欺騙的範(fàn)圍

涉及的研究人員與八個(gè)國(guó)家的14所大學(xué)相關(guān)，包括日本的瓦薩大學(xué)，韓國(guó)的KAIST以及哥倫比亞大學(xué)和美國(guó)華盛頓大學(xué)等機(jī)構(gòu)

該技術(shù)展示了令人擔(dān)憂的技術(shù)專長(zhǎng)。這些並不是笨拙的作弊嘗試 - 它們是故意的提示注射，揭示了對(duì)AI如何解釋數(shù)據(jù)和對(duì)特定輸入的反應(yīng)的深刻理解。

190億美元的動(dòng)盪行業(yè)

要理解為什麼研究人員會(huì)竭盡全力，必須研究更廣泛的環(huán)境。學(xué)術(shù)出版業(yè)是一家面臨可擴(kuò)展性危機(jī)的190億美元企業(yè)。近年來(lái)，提交發(fā)表的論文數(shù)量急劇激增。同時(shí)，合格的同行審稿人的可用性尚未跟上。

人工智能可能掌握解決此問(wèn)題的關(guān)鍵，並成為問(wèn)題本身的一部分。

一些標(biāo)記為2024年為AI真正在學(xué)術(shù)出版中脫穎而出的那一年，有望更快的評(píng)論並減少了延遲。但是，與許多AI實(shí)施類似，進(jìn)步超過(guò)了保護(hù)措施的發(fā)展。

該組合 - 手稿提交的激增（由人工智能進(jìn)一步加?。┖鸵幌盗袩o(wú)薪，勉強(qiáng)的審稿人的池 - 創(chuàng)造了一種瓶頸，威脅著整個(gè)學(xué)術(shù)出版生態(tài)系統(tǒng)。通過(guò)越來(lái)越高級(jí)的AI工具能夠在一側(cè)生成和完善內(nèi)容，並且旨在利用這些工具的一方面，這種情況變得越來(lái)越複雜。

出版或滅亡的壓力

這種隱藏的提示計(jì)劃揭示了學(xué)術(shù)動(dòng)機(jī)的陰暗面。在整個(gè)全球大學(xué)中，職業(yè)發(fā)展都在很大程度上取決於出版記錄。 “出版或滅亡”不僅是一個(gè)口號(hào)，而且是一種專業(yè)現(xiàn)實(shí)，它將許多學(xué)者推向不道德行為。

當(dāng)您的工作保障，促銷前景和資金取決於發(fā)布的出版以及AI開(kāi)始管理更多評(píng)估過(guò)程時(shí)，操縱系統(tǒng)的誘惑就難以抗拒。這些隱蔽命令代表了一種新的學(xué)術(shù)不當(dāng)行為，利用了旨在增強(qiáng)出版過(guò)程的技術(shù)。

AI：救主還是破壞者？

具有諷刺意味的是。 AI旨在解決學(xué)術(shù)出版中的問(wèn)題，但它也會(huì)引起新的問(wèn)題。儘管AI工具可以提高和加速學(xué)術(shù)寫作，但它們就作者身份，真實(shí)性和問(wèn)責(zé)制提出了不舒服的問(wèn)題。

儘管它們的複雜性，但當(dāng)前的AI系統(tǒng)仍然容易受到操縱的影響?？梢酝ㄟ^(guò)精確的提示來(lái)欺騙它們，以利用其學(xué)習(xí)模式。儘管AI目前似乎無(wú)法獨(dú)立執(zhí)行期刊手稿的同行評(píng)審，但其在協(xié)助人類審稿人開(kāi)發(fā)新脆弱性方面的不斷擴(kuò)展的作用。

混合反應(yīng)

儘管某些大學(xué)譴責(zé)這種做法並開(kāi)始撤回實(shí)踐，但其他大學(xué)則試圖捍衛(wèi)這種做法，這強(qiáng)調(diào)了關(guān)於學(xué)術(shù)界AI倫理缺乏同意的缺乏協(xié)議。一位教授證明了他們使用隱藏的提示，這表明該命令是“反對(duì)依靠AI的'無(wú)心審稿人'的對(duì)策?！?/p>

這種反應(yīng)的差異反映了一個(gè)更深入的挑戰(zhàn)：當(dāng)技術(shù)迅速發(fā)展並跨越多個(gè)國(guó)家和機(jī)構(gòu)時(shí)，如何確定AI使用的一致標(biāo)準(zhǔn)？

對(duì)策：創(chuàng)新和大修

發(fā)行商開(kāi)始推遲。他們採(cǎi)用AI驅(qū)動(dòng)的解決方案來(lái)改善經(jīng)同行評(píng)審的研究質(zhì)量和簡(jiǎn)化生產(chǎn)，儘管這些工具必須通過(guò)強(qiáng)大的安全協(xié)議開(kāi)發(fā)。

但是，該解決方案不是純粹的技術(shù)，它涉及系統(tǒng)性和人類元素。學(xué)術(shù)界需要面對(duì)促使研究人員首先作弊的根本因素。

需要改革

隱藏司令部事件要求在幾個(gè)領(lǐng)域進(jìn)行全面變化：

透明度首先：應(yīng)清楚地識(shí)別每個(gè)AI輔助寫作或?qū)彶檫^(guò)程。讀者和評(píng)估人員應(yīng)該知道AI是否以及如何參與。

技術(shù)保障：發(fā)行商需要投資於能夠識(shí)別現(xiàn)有的操縱策略並適應(yīng)新的自適應(yīng)檢測(cè)機(jī)制。

道德框架：必須由學(xué)術(shù)界制定公認(rèn)的AI使用指南，以及對(duì)違規(guī)行為的後果。

重寫激勵(lì)措施： “發(fā)布或滅亡”的心態(tài)必須從數(shù)量轉(zhuǎn)移到質(zhì)量。這需要重新思考大學(xué)如何評(píng)估教職員工以及資金機(jī)構(gòu)如何評(píng)估建議。

全球合作：由於學(xué)術(shù)出版本質(zhì)上是國(guó)際性的，因此必須在全球範(fàn)圍內(nèi)協(xié)調(diào)標(biāo)準(zhǔn)和執(zhí)法，以防止剝削寬大的管轄權(quán)。

信心危機(jī)

隱藏的命令醜聞所代表的不僅僅是技術(shù)缺陷 - 它代表了信任的危機(jī)?？茖W(xué)研究基於循證政策，醫(yī)療治療和技術(shù)進(jìn)步。當(dāng)用來(lái)驗(yàn)證和共享研究的系統(tǒng)變得容易操縱時(shí)，社會(huì)將可信知識(shí)與欺騙性策略區(qū)分開(kāi)的能力將受到損害。嵌入這些秘密命令的研究人員不僅僅是在遊戲中游戲，他們正在侵蝕科學(xué)完整性的基礎(chǔ)。在公眾對(duì)科學(xué)的信心已經(jīng)脆弱的時(shí)候，這種行動(dòng)特別有害。

這些啟示可能還會(huì)鼓勵(lì)對(duì)艾爾出版前時(shí)代的反思，那裡的數(shù)量有時(shí)遮蓋了質(zhì)量。當(dāng)出版的願(yuàn)望超過(guò)了對(duì)有意義的詢問(wèn)的追求時(shí)，我們將面臨一個(gè)嚴(yán)重的問(wèn)題。

一個(gè)決定性的時(shí)刻？

這種發(fā)展可能標(biāo)誌著學(xué)術(shù)出版的關(guān)鍵點(diǎn)。發(fā)現(xiàn)的操縱技術(shù)提醒我們，每個(gè)系統(tǒng)都是脆弱的。同樣的功能使AI強(qiáng)大的功能（其響應(yīng)能力和廣泛的可及性）也可能成為其最大的弱點(diǎn)。然而，隱藏的命令危機(jī)為創(chuàng)造更強(qiáng)大，更透明和道德的出版環(huán)境提供了一個(gè)獨(dú)特的機(jī)會(huì)。此外，接下來(lái)發(fā)生的事情可能會(huì)恢復(fù)學(xué)術(shù)出版的目的。

展望未來(lái)，學(xué)術(shù)界必須既應(yīng)對(duì)即時(shí)的技術(shù)缺陷，又要解決更深入的激勵(lì)結(jié)構(gòu)驅(qū)動(dòng)操縱。另外，它有可能觀看AI進(jìn)一步侵蝕科學(xué)信譽(yù)。儘管“社區(qū)”不是一個(gè)統(tǒng)一的實(shí)體，而是全球參與者的網(wǎng)絡(luò)，但出版商，學(xué)者和研究組織之間的合作可能會(huì)引發(fā)新的運(yùn)動(dòng)。從聲明開(kāi)始，不僅要解決隱藏的提示，還解決引起他們的長(zhǎng)期問(wèn)題。

混合智能解決難題

前進(jìn)的道路需要持續(xù)的努力，國(guó)際協(xié)調(diào)，並準(zhǔn)備挑戰(zhàn)幾十年來(lái)支持學(xué)術(shù)界的根深蒂固的系統(tǒng)。隱蔽的指揮困境可能會(huì)喚醒呼叫，該行業(yè)最終要解決長(zhǎng)期忽略的長(zhǎng)期效率。最終，這不僅僅是學(xué)術(shù)出版，而是關(guān)於維護(hù)人工智能時(shí)代人類知識(shí)的完整性。實(shí)現(xiàn)這一目標(biāo)需要混合智能- 對(duì)自然和人工認(rèn)知能力的平衡理解。

以上是隱藏的命令危機(jī)：研究人員遊戲AI將發(fā)布的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！