先週、私はエンタープライズRAGに関する不快な真実をいくつか提供するために、2025年のSSON Intelligent Automation Week Week Week Week Week Week Week Week Week Week Week Weekの1つで舞臺に上がりました。私が共有したのは、障害者の42％の増加について、経験豊富な開業(yè)醫(yī)でさえも不意を突かれました。

これが私が彼らに言ったことです、そしてなぜそれがAIを建設(shè)するすべての會社にとって重要なのか：

誰もが會社の次のChatGPTを開発するために急いでいますが、 AIプロジェクトの42％は2025年に失敗し、2024年から2.5倍の増加がありました。

これは、138億ドルのエンタープライズAI支出のリスクです！

キッカーは次のとおりです。エンタープライズAIの実裝の51％がRAGアーキテクチャを使用しています。つまり、會社のためにAIを構(gòu)築している場合、おそらくぼろを作っています。

しかし、AI會議で誰も語っていないことは次のとおりです。エンタープライズRAGプロジェクトの80％が重大な失敗を経験します。持続的な成功を収めたのは20％だけです。

金融サービス全體のエンタープライズAIの展開での経験に基づいて、エンタープライズスケールで展開したときに予想どおりに実行されないYouTubeビデオを數(shù)多く見てきました。

30分間のYouTubeチュートリアルで美しく機(jī)能する「シンプルな」ラグデモは、実際の企業(yè)の制約に遭遇すると、數(shù)百萬ドルの災(zāi)害になります。

今日、あなたはほとんどのRAGプロジェクトが失敗する理由と、さらに重要なことに、成功した20％に參加する方法を?qū)Wぶつもりです。

目次

• ぼろきれの現(xiàn)実チェック
• エンタープライズのぼろきれにつながる5つの重要な危険ゾーン
  • 危険ゾーン1：戦略の失敗
  • 危険ゾーン2：データ品質(zhì)危機(jī)
  • 危険ゾーン3：迅速なエンジニアリング災(zāi)害
  • Danger Zone 4：評価盲室
  • 危険ゾーン5：ガバナンス大慘事
• 結(jié)論

ぼろきれの現(xiàn)実チェック

おなじみの話から始めましょう。

エンジニアリングチームは、週末にRAGプロトタイプを構(gòu)築します。會社の文書をインデックス化し、埋め込みはうまく機(jī)能し、LLMは情報(bào)源でインテリジェントな答えを提供します。リーダーシップは感銘を受けました。予算が承認(rèn)されました。タイムラインセット。

6か月後、「インテリジェント」AIは、あなたの會社の休暇ポリシーが無制限の病気の日を許可していることをユーザーに自信を持って伝えています（そうではありません）。

おなじみのように聞こえますか？

エンタープライズラグの障害が発生する理由と、単純なぼろきれのチュートリアルがマークを完全に逃す理由は次のとおりです。

エンタープライズのぼろきれにつながる5つの重要な危険ゾーン

エンジニアリングチームが夜と週末に働くのを見てきましたが、ユーザーが數(shù)週間以內(nèi)に作成を無視するのを見るためだけです。

珍しい成功と同様に、會議やポッドキャストからの失敗したエンタープライズ展開の數(shù)十のストーリーを読んで聴いた後、私はすべての災(zāi)害が予測可能なパターンに従うと結(jié)論付けました。これらの5つの重要な危険ゾーンの1つに分類されます。

実際の例を使用して各危険ゾーンを歩いてみましょう。プロジェクトが別の犠牲者の統(tǒng)計(jì)になる前に警告サインを認(rèn)識できるようにします。

危険ゾーン1：戦略の失敗

何が起こるか： 「すべてのドキュメントをインデックスして、AIが見つけたものを見てみましょう！」 - POCが少數(shù)のドキュメントで動作するたびに、この數(shù)を聞いたことがあります

プロジェクトを殺す理由： Fortune 500の會社が18か月を費(fèi)やし、320萬ドルを「ドキュメントに関する質(zhì)問に答える」ことができるRAGシステムを構(gòu)築することを想像してください。結(jié)果？あまりにも一般的なシステムであり、すべてに役に立たないでしょう。

本當(dāng)の失敗の癥狀：

• 目的のないスコープクリープ（「AIはすべてを解く必要があります！」）
• 測定可能なROIターゲットはありません
• ビジネス、IT、コンプライアンスチームは完全に整列しています
• 回答は無関係であるため、ゼロ採用

解毒剤：

1. 信じられないほど小さく始めます。
2. 毎月100時間かかる會社の質(zhì)問を1つ選択してください。
3. わずか50ページで集中した知識ベースを構(gòu)築します。
4. 72時間で展開します。
5. 拡大する前に採用を測定します。

危険ゾーン2：データ品質(zhì)危機(jī)

何が起こるか： RAGシステムは、ポリシー文書の誤ったバージョンを取得し、時代遅れのコンプライアンス情報(bào)を自信を持って提示します。

なぜそれが壊滅的なのか：規(guī)制された産業(yè)では、これは恥ずかしいだけでなく、起こるのを待っている規(guī)制違反です。

重大な障害ポイント：

• メタデータがありません（所有者、日付、またはバージョンの追跡なし）。
• 現(xiàn)在の文書と混合された時代遅れの文書。
• LLMSを幻覚にする壊れたテーブル構(gòu)造。
• さまざまなファイル間で情報(bào)を複製すると、ユーザーを混亂させることができます。

修正：

1. 重要なタグが欠落しているドキュメントをブロックするメタデータガードを?qū)g裝します。
2. 「Evergreen」とマークされない限り、12か月以上古いものを自動的に退役させます。
3. テーブル構(gòu)造を保持するセマンティックアウェアチャンキングを使用します。

以下は、メタデータフィールドの正気を確認(rèn)するために使用できるコードスニペットの例です。

コード：

 ＃メタデータフィールドの正気確認(rèn)の例

def document_health_check（doc_metadata）：
    red_flags = []
    
    doc_metadataにない「所有者」の場合：
        red_flags.append（「誰もこのドキュメントを所有していない」）
    
    doc_metadataではない場合は "creation_date '：
        red_flags.append（「これが作成されたときにわからない」）
    
    doc_metadataまたはdoc_metadata ['status']！= 'Active'にない「ステータス」：
        red_flags.append（ "ドキュメントが時代遅れになる可能性がある"）
    
    return len（red_flags）== 0、red_flags

＃ドキュメントをテストします
IS_GOOD、問題= document_health_check（{
    'filename'： 'some_policy.pdf'、
    「所有者」： '[電子メール保護(hù)]'、
    'creation_date'： '2024-01-15'、
    「ステータス」：「アクティブ」
}） 

危険ゾーン3：迅速なエンジニアリング災(zāi)害

何が起こるか：まず、エンジニアは促すことを意図していません。 ChatGptチュートリアルからプロンプトをコピーして貼り付けてから、主題の専門家が提供するすべての回答を拒否する理由を疑問に思います。

切斷：消費(fèi)者チャットボット向けに最適化された一般的なプロンプトは、専門的なビジネスコンテキストで見事に失敗します。

災(zāi)害の例：一般的なプロンプトを使用した金融RAGシステムは、「リスク」を一般的な概念として扱います。

リスク=市場リスク/信用リスク/運(yùn)用リスク

解決策：

1. 共同作成中小企業(yè)とのプロンプト。
2. ロール固有のプロンプトを展開します（アナリストはコンプライアンス擔(dān)當(dāng)者とは異なるプロンプトを取得します）。
3. 故障を誘発するために設(shè)計(jì)された敵対的なシナリオでテストします。
4. 実際の使用データに基づいてQuarterlyを更新します。

以下は、さまざまな役割に基づいた例です。

コード：

 def create_domain_prompt（user_role、business_context）：
    user_role == "Financial_analyst"の場合：
        f "" "を返す
{Business_Context}で金融アナリストを支援しています。

リスクについて議論するときは、常に指定します。
 - タイプ：市場/クレジット/運(yùn)用/規(guī)制
 - 利用可能な場合は定量的影響
 - 関連する規(guī)制（バーゼルIII、ドッドフランクなど）
 - 必要なドキュメント

形式：[回答] | [自信：高/中/低] | [出典：doc、page]
"" "
    
    elif user_role == "Conpliance_officer"：
        f "" "を返す
{Business_Context}でコンプライアンス擔(dān)當(dāng)者を支援しています。

常にフラグ：
 - 規(guī)制の締め切り
 - 必要な報(bào)告
 - 潛在的な違反
 - 合法にエスカレートする時期

100％確信がない場合は、「法的審査が必要」と言ってください
"" "

    「ジェネリックフォールバックプロンプト」を返します


Analyst_prompt = create_domain_prompt（ "Financial_analyst"、 "fdic保険契約"））
print（analst_prompt） 

Danger Zone 4：評価盲室

何が起こるか：適切な評価フレームワークなしでRAGを生産に展開し、ユーザーが文句を言うときにのみ重大な障害を発見します。

癥狀：

• ソースの引用はありません（ユーザーは回答を確認(rèn)できません）
• テスト用のゴールデンデータセットはありません
• ユーザーフィードバックは無視されます
• 生産モデルは、テストされたモデルとは異なります

現(xiàn)実のチェック： AIがどのように結(jié)論付けられたかを追跡できない場合、おそらくエンタープライズの展開の準(zhǔn)備ができていないでしょう。

フレームワーク：

1. 中小企業(yè)がレビューした50 QAペアの黃金のデータセットを構(gòu)築します。
2. 毎晩回帰テストを?qū)g行します。
3. 85％-90％のベンチマーク精度を?qū)g施します。
4. ドキュメントID、ページ、および信頼性スコアを使用して、すべての出力に引用を追加します。

危険ゾーン5：ガバナンス大慘事

何が起こるか： RAGシステムは、誤って回答（SSN/電話番號/MRN）でPII（個人識別情報(bào)）を公開するか、クライアントの関係に損害を與える間違ったアドバイスを自信を持って提供します。

最悪のシナリオ：

• AI応答の編集されていない顧客データ
• 規(guī)制當(dāng)局がノックするときの監(jiān)査証跡はありません
• 機(jī)密文書は、間違ったユーザーに表示されます
• 幻覚のアドバイスは自信を持って提示されました

企業(yè)のニーズ：規(guī)制された企業(yè)は、監(jiān)査証跡、プライバシー管理、赤チームのテスト、説明可能な決定など、正解以上の回答を必要とします。

どのように修正できますか？：レイヤード編集を?qū)g裝し、すべてのインタラクションを不変のストレージに記録し、毎月赤チームのプロンプトでテストし、コンプライアンスダッシュボードを維持します。

以下は、監(jiān)査目的でキャプチャされる基本フィールドを示すコードスニペットです。

コード

＃最小実行可能な監(jiān)査ロギング
def log_rag_interaction（user_id、質(zhì)問、回答、自信、ソース）：
    Hashlibをインポートします
    DateTime Import DateTimeから
    
    ＃実際の質(zhì)問/回答（プライバシー）を保存しないでください
    ＃監(jiān)査用のハッシュとメタデータを保存します
    log_entry = {
        「タイムスタンプ」：datetime.now（）。isoformat（）、
        'user_id'：user_id、
        'question_hash'：hashlib.sha256（question.encode（））。hexdigest（）、
        'Answer_hash'：hashlib.sha256（Answer.Encode（））。hexdigest（）、
        「自信」：自信、
        「ソース」：ソース、
        'flagged_for_review'：自信<p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/175159125530494.jpg" class="lazy" alt="エンタープライズラグの障害：80％を回避するための5部構(gòu)成のフレームワーク"></p><h2>結(jié)論</h2><p>エンタープライズラグの障害のこの分析は、展開の80％が失敗する落とし穴を回避するのに役立ちます。</p><p>このチュートリアルは、5つの重要な危険ゾーンを示しただけでなく、実用的なコードの例と、生産対応のRAGシステムを構(gòu)築するための実裝戦略も提供しました。</p><p>エンタープライズラグは、大規(guī)模なドキュメントリポジトリを扱う組織にとってますます重要な機(jī)能になりつつあります。その理由は、チームが組織全體の研究時間を短縮し、組織全體の専門家の洞察を尺度する方法を変革するからです。</p><p></p>

以上がエンタープライズラグの障害：80％を回避するための5部構(gòu)成のフレームワークの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。