翻訳者 | Li Rui

レビュー擔(dān)當(dāng)者 | Chonglou

最近、人工知能 (AI) と機械學(xué)習(xí) (ML) のモデルはますます複雑になっており、これらのモデルはの出力はブラックボックスであり、関係者に説明できません。 Explainable AI (XAI) は、利害関係者がこれらのモデルがどのように機能するかを理解できるようにし、これらのモデルが実際に意思決定を行う方法を理解できるようにし、AI システムの透明性、信頼性、およびこの問題に対処するための説明責(zé)任を確保することで、この問題を解決することを目指しています。この記事では、さまざまな説明可能な人工知能 (XAI) 手法を検討して、その基礎(chǔ)となる原理を説明します。

説明可能な AI が重要である理由のいくつか

• 信頼と透明性: AI システムが広く受け入れられ、信頼されるためには、ユーザーは意思決定がどのように行われるかを理解する必要があります。
• 規(guī)制遵守: 歐州連合の一般データ保護規(guī)則 (GDPR) などの法律では、個人に影響を及ぼす自動化された決定についての説明が求められています。
• モデルのデバッグと改善: モデルの決定に関する洞察を得ることで、開発者がバイアスや不正確さを特定して修正するのに役立ちます。

解釈可能性 人工知能のコアテクノロジー

インテリジェントワーカーの解釈可能性は、モデルに依存しない方法とモデル固有の方法に分けることができる技術(shù)モデルを指し、それぞれの方法は異なる用途に適していますスマート ワーカー モデルとアプリケーションの種類。

モデルに依存しない手法

(1) ローカルに解釈可能なモデルに依存しない説明 (LIME)

ローカルに解釈可能なモデルに依存しない説明 (LIME) は、予測を行うために設(shè)計された革新的なテクノロジーです。の人間が理解できる複雑な機械學(xué)習(xí)モデル?；镜膜?、LIME の利點は、そのシンプルさと、複雑さに関係なく、分類子やリグレッサーの動作を説明できることにあります。 LIME は、入力データの近傍でサンプリングし、単純なモデル (線形回帰モデルなど) を使用して元の複雑なモデルの予測を近似することによって機能します。単純なモデルは、複雑なモデルの意思決定プロセスを理解できるように、特定の入力に対する複雑なモデルの予測を解釈する方法を?qū)W習(xí)します。このようにして、複雑なモデルがブラックボックスであっても、解釈可能なモデルを使用して局所的に近似することで、単純なモデル

LIME の解釈を通じて、任意の分類子や回帰子の予測を明らかにすることができます。重要なアイデアは、入力データに摂動を加え、予測がどのように変化するかを観察することです。これは、予測に大きな影響を與える特徴を特定するのに役立ちます。

數(shù)學(xué)的には、特定のインスタンス (x) とモデル (f) に対して、LIME は新しいサンプル データセットを生成し、それらに (f) のラベルを付けます。次に、局所的に (f) に忠実な (f) に基づく単純なモデル (線形モデルなど) を?qū)W習(xí)し、次の目的を最小限に抑えます:

[ xi(x) = underset{g in G }{text {argmin}} ; L(f, g, pi_x) + Omega(g) ]

ここで、(L) は、(x の周りで (f) を近似するときの (g) の忠実度の尺度です。 )、( pi_x) は、(x) の周囲の局所近傍を定義する近接度の尺度であり、(Omega) は (g) の複雑さにペナルティを與えます。

(2) Shapley additivityexplanation (SHAP) ) を指定することで、予測された各特徴には、機械學(xué)習(xí)モデルの出力を理解するのに役立つ重要な値が割り當(dāng)てられます。人々が家の広さ、築年數(shù)、場所などの特徴に基づいて家の価格を予測しようとしていると想像してください。特定の機能は予想価格を引き上げる可能性がありますが、他の機能は予想価格を下げる可能性があります。 SHAP 値は、ベースライン予測 (データセットの平均予測) と比較して、最終予測に対する各特徴の寄與を正確に定量化するのに役立ちます。

[ phi_i = sum_{S subseteq F setminus {i}} frac{|S|!(|F| - |S | - 1)!}{|F|!} [f_x(S カップ {i}) - f_x(S)] ]

ここで、F) はすべての特徴の集合、S) は( i の特徴のサブセット)、(f_x(S)) は特徴セット S の予測です) を除き、その合計がすべての可能な特徴サブセットになります。この式により、各特徴の寄與が、予測への影響に基づいて公平に分散されることが保証されます。

モデル固有の手法

(1) ニューラルネットワークのアテンションメカニズム

ニューラルネットワークのアテンションメカニズムは、予測を行うのに最も関連する入力データの部分を強調(diào)します。 。シーケンス間モデルのシナリオでは、ターゲット タイム ステップ (t) とソース タイム ステップ (j) のアテンション ウェイト (alpha_{tj}) は次のように計算されます。 frac {exp(e_{tj})}{sum_{k=1}^{T_s} exp(e_{tk})} ]

ここで、(e_{tj}) は位置 (j) の入力と位置 (t) の出力の間のアラインメントを評価するスコアリング関數(shù)であり、(T_s) は入力シーケンスの長さです。このメカニズムにより、モデルは入力データの関連部分に焦點を當(dāng)てることができるため、解釈可能性が向上します。

(2) デシジョン ツリーの視覚化

デシジョン ツリーは、入力特徴から導(dǎo)出された一連のルールとして決定を表すことによって、固有の解釈可能性を提供します。デシジョン ツリーの構(gòu)造により、ノードが特徴ベースの決定を表し、リーフが結(jié)果を表す視覚化が可能になります。この視覚的表現(xiàn)により、入力特徴がどのように特定の予測につながるかを直接追跡できます。

(3) 実際の実裝と倫理的考慮事項

説明可能な AI を?qū)g裝するには、モデルの種類、アプリケーション要件、説明の対象者を慎重に検討する必要があります。モデルのパフォーマンスと解釈可能性の間でトレードオフを行うことも重要です。倫理的には、AI システムの公平性、説明責(zé)任、透明性を確保することが重要です。説明可能な AI の將來の方向性としては、説明フレームワークの標(biāo)準(zhǔn)化と、より効率的な説明方法の研究の継続が挙げられます。

結(jié)論

Explainable AI は、複雑な AI/ML モデルを解釈し、アプリケーションにおける信頼を提供し、説明責(zé)任を確保するために不可欠です。 LIME、SHAP、アテンション メカニズム、デシジョン ツリー視覚化などのテクノロジーを利用します。この分野が進化するにつれて、ソフトウェア開発と規(guī)制遵守の進化するニーズに対応するには、より洗練され標(biāo)準(zhǔn)化された解釈可能な AI 手法の開発が重要になります。

原題: Explainable AI: Interpreting Complex AI/ML Model 著者: Rajiv Avacharmal