上周，我在全美首屈一指的AI會(huì)議之一上登上了舞臺(tái) - SSON智能自動(dòng)化第2025周，以提供有關(guān)企業(yè)抹布的一些令人不安的真相。我分享的是，即使經(jīng)驗(yàn)豐富的從業(yè)人員措手不及，失敗率的增加42％。

這是我告訴他們的內(nèi)容，以及為什么每個(gè)公司建立AI都很重要：

當(dāng)每個(gè)人都急于為他們的公司開發(fā)下一個(gè)Chatgpt時(shí)， 42％的AI項(xiàng)目在2025年失敗了，比2024年增加了2.5倍。

這是企業(yè)AI的138億美元支出處于危險(xiǎn)之中！

這是踢腳： 51％的企業(yè)AI實(shí)現(xiàn)使用了抹布架構(gòu)。這意味著，如果您正在為公司建立AI，則可能是建造抹布。

但這是沒有人在AI會(huì)議上談?wù)摰膬?nèi)容： 80％的企業(yè)抹布項(xiàng)目將經(jīng)歷嚴(yán)重的失敗。只有20％的人取得了持續(xù)的成功。

根據(jù)我在跨金融服務(wù)方面在企業(yè)AI部署方面的經(jīng)驗(yàn)，我看到了許多YouTube視頻，這些視頻在以企業(yè)范圍內(nèi)部署時(shí)沒有預(yù)期的性能。

在YouTube教程中效果出色的“簡(jiǎn)單”抹布演示在遇到現(xiàn)實(shí)世界的企業(yè)約束時(shí)，YouTube教程在YouTube教程中效果很好。

今天，您將了解為什么大多數(shù)抹布項(xiàng)目都會(huì)失敗，更重要的是，如何加入成功的20％。

目錄

• 破布現(xiàn)實(shí)檢查
• 導(dǎo)致企業(yè)抹布失敗的5個(gè)關(guān)鍵危險(xiǎn)區(qū)域
  • 危險(xiǎn)區(qū)域1：策略失敗
  • 危險(xiǎn)區(qū)域2：數(shù)據(jù)質(zhì)量危機(jī)
  • 危險(xiǎn)區(qū)域3：及時(shí)的工程災(zāi)難
  • 危險(xiǎn)區(qū)4：評(píng)估盲點(diǎn)
  • 危險(xiǎn)區(qū)5：治理災(zāi)難
• 結(jié)論

破布現(xiàn)實(shí)檢查

讓我從一個(gè)聽起來很熟悉的故事開始。

您的工程團(tuán)隊(duì)在周末建造了抹布原型。它索引了您公司的文檔，嵌入式功能效果很好，而LLM可以通過來源提供明智的答案。領(lǐng)導(dǎo)印象深刻。預(yù)算批準(zhǔn)。時(shí)間軸集。

六個(gè)月后，您的“智能” AI自信地告訴用戶，您公司的度假政策允許無限的病日（不），并引用了2010年以來的文件，該文件已被取代了三遍。

聽起來很熟悉嗎？

這就是為什么發(fā)生企業(yè)抹布失敗的原因，以及簡(jiǎn)單的抹布教程完全錯(cuò)過了標(biāo)記的原因。

導(dǎo)致企業(yè)抹布失敗的5個(gè)關(guān)鍵危險(xiǎn)區(qū)域

我已經(jīng)看過工程團(tuán)隊(duì)的夜晚和周末工作，只是看著用戶在數(shù)周內(nèi)忽略了他們的創(chuàng)作。

在閱讀并聽取了數(shù)十個(gè)失敗的企業(yè)部署故事的故事之后，以及罕見的成功，我得出的結(jié)論是，每一次災(zāi)難都遵循了可預(yù)測(cè)的模式。它屬于這五個(gè)關(guān)鍵危險(xiǎn)區(qū)域之一。

讓我以真實(shí)的例子引導(dǎo)您穿過每個(gè)危險(xiǎn)區(qū)域，這樣您就可以在項(xiàng)目成為另一個(gè)傷亡統(tǒng)計(jì)數(shù)據(jù)之前識(shí)別警告信號(hào)。

危險(xiǎn)區(qū)域1：策略失敗

發(fā)生了什么： “讓我們將所有文件索引，看看AI找到了什么！” - 每當(dāng)POC在少數(shù)文檔上工作時(shí)，我都聽到了這一次數(shù)

為什么它殺死項(xiàng)目：想象一家500強(qiáng)公司的花費(fèi)18個(gè)月，構(gòu)建了一個(gè)可以“回答有關(guān)任何文件的任何問題”的320萬美元。結(jié)果？一個(gè)系統(tǒng)如此通用，以至于一切都無用。

真正的失敗癥狀：

• 無目的的范圍爬行（“ AI應(yīng)該解決所有問題！”）
• 沒有可測(cè)量的ROI目標(biāo)
• 業(yè)務(wù)，IT和合規(guī)團(tuán)隊(duì)完全不對(duì)
• 零采用是因?yàn)榇鸢笩o關(guān)緊要

解毒劑：

1. 開始不可能。
2. 選擇一個(gè)每月花費(fèi)100個(gè)小時(shí)的問題，每月花費(fèi)100個(gè)小時(shí)。
3. 僅使用50頁建立一個(gè)重點(diǎn)的知識(shí)庫(kù)。
4. 在72小時(shí)內(nèi)部署。
5. 在擴(kuò)展之前測(cè)量采用。

危險(xiǎn)區(qū)域2：數(shù)據(jù)質(zhì)量危機(jī)

發(fā)生了什么：您的抹布系統(tǒng)檢索了策略文檔的不正確版本，并充滿信心地提供了過時(shí)的合規(guī)信息。

為什么這是災(zāi)難性的：在受監(jiān)管的行業(yè)中，這不僅令人尷尬，而且是一種等待發(fā)生的監(jiān)管違規(guī)行為。

關(guān)鍵故障點(diǎn)：

• 缺少元數(shù)據(jù)（沒有所有者，日期或版本跟蹤）。
• 過時(shí)的文檔與當(dāng)前文件混合。
• 破碎的桌子結(jié)構(gòu)使LLMS幻覺。
• 跨不同文件的重復(fù)信息會(huì)使用戶感到困惑。

修復(fù)程序：

1. 實(shí)施元數(shù)據(jù)守衛(wèi)，以阻止缺少關(guān)鍵標(biāo)簽的文檔。
2. 除非標(biāo)記為“常綠”，否則自動(dòng)退縮任何東西以外的東西超過12個(gè)月。
3. 使用保留表結(jié)構(gòu)的語義意識(shí)塊。

以下是一個(gè)示例代碼段，您可以用來檢查元數(shù)據(jù)字段的理智。

代碼：

 ＃示例理智檢查元數(shù)據(jù)領(lǐng)域

def document_health_check（doc_metadata）：
    red_flags = []
    
    如果“所有者”不在doc_metadata中：
        red_flags.append（“沒有人擁有此文檔”）
    
    如果不是doc_metadata中的“ creation_date”：
        red_flags.append（“不知道何時(shí)創(chuàng)建”）
    
    如果“狀態(tài)”不在doc_metadata或doc_metadata ['status']！='active'中：
        red_flags.append（“文檔可能已過時(shí)”）
    
    返回len（red_flags）== 0，red_flags

＃測(cè)試您的文檔
is_good，問題= document_health_check（{
    'filename'：'some_policy.pdf'，
    “所有者”：'[電子郵件保護(hù)]'，
    'creation_date'：'2024-01-15'，
    “狀態(tài)”：“主動(dòng)”
}）） 

危險(xiǎn)區(qū)域3：及時(shí)的工程災(zāi)難

發(fā)生的事情：首先，工程師并不是要提示的。他們復(fù)制和粘貼了Chatgpt教程的提示，然后想知道為什么主題專家拒絕他們提供的每個(gè)答案。

斷開連接：針對(duì)消費(fèi)者聊天機(jī)器人優(yōu)化的通用提示在專門的業(yè)務(wù)環(huán)境中出色地失敗。

示例災(zāi)難：使用通用提示的金融抹布系統(tǒng)將“風(fēng)險(xiǎn)”視為一般概念，何時(shí)意味著以下內(nèi)容：

風(fēng)險(xiǎn)=市場(chǎng)風(fēng)險(xiǎn)/信用風(fēng)險(xiǎn)/運(yùn)營(yíng)風(fēng)險(xiǎn)

解決方案：

1. 與您的中小型企業(yè)共同創(chuàng)建。
2. 部署特定角色的提示（分析師獲得的提示與合規(guī)人員不同）。
3. 使用旨在引起故障的對(duì)抗場(chǎng)景進(jìn)行測(cè)試。
4. 根據(jù)實(shí)際使用數(shù)據(jù)進(jìn)行季度更新。

以下是基于不同角色的示例提示。

代碼：

 def create_domain_prompt（user_role，business_context）：
    如果user_role ==“ financial_analyst”：
        返回f“”
您正在幫助{business_context}的財(cái)務(wù)分析師。

討論風(fēng)險(xiǎn)時(shí)，請(qǐng)始終指定：
 - 類型：市場(chǎng)/信用/運(yùn)營(yíng)/監(jiān)管
 - 定量影響如果可用
 - 相關(guān)法規(guī)（巴塞爾三世，多德 - 弗蘭克等）
 - 所需的文檔

格式：[答案] | [置信度：高/中/低] | [來源：DOC，頁面]
”“”
    
    elif user_role ==“ compriance_officer”：
        返回f“”
您正在幫助{business_context}的合規(guī)官。

總是標(biāo)記：
 - 監(jiān)管截止日期
 - 需要報(bào)告
 - 潛在的違規(guī)行為
 - 何時(shí)升級(jí)為合法

如果您不是100％確定的，請(qǐng)說“需要法律審查”
”“”

    返回“通用后備提示”


Analyst_prompt = create_domain_prompt（“ financial_analyst”，“ FDIC保險(xiǎn)單”）
打?。ˋnalyst_prompt） 

危險(xiǎn)區(qū)4：評(píng)估盲點(diǎn)

發(fā)生了什么：您在沒有適當(dāng)評(píng)估框架的情況下將破布部署到生產(chǎn)中，然后僅在用戶投訴時(shí)發(fā)現(xiàn)重大失敗。

癥狀：

• 沒有源引用（用戶無法驗(yàn)證答案）
• 沒有用于測(cè)試的金數(shù)據(jù)集
• 用戶反饋忽略了
• 生產(chǎn)模型與測(cè)試模型不同

現(xiàn)實(shí)檢查：如果您無法追蹤您的AI結(jié)論，那么您可能還沒有準(zhǔn)備好進(jìn)行企業(yè)部署。

框架：

1. 構(gòu)建一個(gè)由中小企業(yè)審查的50個(gè)質(zhì)量檢查對(duì)的金數(shù)據(jù)集。
2. 進(jìn)行夜間回歸測(cè)試。
3. 強(qiáng)制執(zhí)行85％-90％的基準(zhǔn)精度。
4. 用文檔ID，頁面和置信度得分將引用添加到每個(gè)輸出。

危險(xiǎn)區(qū)5：治理災(zāi)難

發(fā)生了什么：您的破布系統(tǒng)在響應(yīng)（SSN/電話號(hào)碼/MRN）中意外暴露了PII（個(gè)人身份信息），或自信地提供錯(cuò)誤的建議，以損害客戶關(guān)系。

最糟糕的情況：

• AI響應(yīng)中未編輯的客戶數(shù)據(jù)
• 監(jiān)管機(jī)構(gòu)敲門時(shí)沒有審核步道
• 敏感的文件對(duì)錯(cuò)誤的用戶可見
• 幻覺的建議充滿信心

企業(yè)需求：受監(jiān)管的公司不僅需要正確的答案 - 審核跟蹤，隱私控制，紅線測(cè)試和可解釋的決策。

您如何修復(fù)它？：實(shí)現(xiàn)分層的修訂，在不變的存儲(chǔ)中記錄所有交互，每月用紅線提示進(jìn)行測(cè)試，并維護(hù)合規(guī)性儀表板。

以下是代碼片段，該代碼片段顯示了要捕獲的基本字段以審核目的。

代碼

＃最低可行的審核記錄
def log_rag_interaction（user_id，詢問，答案，置信度，來源）：
    導(dǎo)入哈希布
    從DateTime Import DateTime
    
    ＃不要存儲(chǔ)實(shí)際的問題/答案（隱私）
    ＃商店哈希和元數(shù)據(jù)進(jìn)行審核
    log_entry = {
        'timestamp'：dateTime.now（）。isoformat（），
        'user_id'：user_id，
        'Question_hash'：hashlib.sha256（Question.encode（））。hexdigest（），
        'wonse_hash'：hashlib.sha256（wonse.encode（））。hexdigest（），
        “信心”：信心，
        “來源”：來源，
        'fragged_for_review'：置信度<p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/175159125530494.jpg" class="lazy" alt="企業(yè)抹布失?。罕苊?0％的5部分框架"></p><h2>結(jié)論</h2><p>對(duì)企業(yè)抹布故障的分析將有助于您避免導(dǎo)致80％部署失敗的陷阱。</p><p>本教程不僅向您展示了五個(gè)關(guān)鍵危險(xiǎn)區(qū)域，而且還提供了實(shí)用的代碼示例和實(shí)施策略來構(gòu)建適合生產(chǎn)的破布系統(tǒng)。</p><p>對(duì)于與大型文件存儲(chǔ)庫(kù)打交道的組織，企業(yè)抹布正在成為越來越重要的能力。原因是它改變了團(tuán)隊(duì)如何訪問機(jī)構(gòu)知識(shí)，減少研究時(shí)間并擴(kuò)展整個(gè)組織的專家見解。</p><p></p>

以上是企業(yè)抹布失敗：避免80％的5部分框架的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！