多模態大模型中，多模態融合后怎樣知道最終結果受哪種模態影響更大？ 原創
?本篇介紹多模態大模型中如何基于最終結果分析各模態的影響。
具身智能被眾多大佬看好，通往AGI的路最終肯定需要多個模態的大模型互相融合。多個模態配合好也是有可能去構建一個模擬現實的世界模型的。
最近一直在研究和嘗試多模態大模型在一些VQA領域的前瞻研究和實際落地部署問題，遇到一個值得思考的問題：如果當預測結果出問題的時候，怎么去溯源是哪個模態的數據出的問題呢？這個方向感覺探索的足夠深入是可以發論文的。
由于基于注意力機制去溯源的方法在大模型時代成本極高，因此最后還是需要考慮建模后的可解釋性方法，目前主要是找到一些比較經典的可解釋性機器學習方法，大家有更好的思路也可以提一提啊~
下面是一個快捷目錄。
1. 可解釋性機器學習分類
2. 推薦方法
一、可解釋性機器學習分類
1. 內置 or 建模后
- 內置可解釋性：將可解釋模塊嵌入到模型中，比如說線性模型的權重、決策樹的樹結構。
- 建模后可解釋性：在模型訓練結束后使用解釋技術去解釋模型。
2. 特定于模型 or 模型無關
- 特定于模型的解釋：意味著必須將解釋方法應用到特定的模型體系結構中
- 模型無關：解釋方法與所用模型無關聯，應用范圍廣
3. 全局解釋 or 局部解釋
- 全局解釋：解釋模型的全局行為
- 局部解釋：在單條數據或者說單個實例上的解釋
二、推薦方法
主要推薦兩個方法：Permutation Importance 和 SHAP；另外還介紹了一下類似于LIME (Local Interpretable Model-agnostic Explanations) 的思路，大家還可以基于這個思路去延伸~
1. Permutation Importance
前提：在model訓練完成后，才可以計算
思想：
基于“置換檢驗”的思想對特征重要性進行檢測。簡單來說，就是打亂某種模態的數據，保持其余特征不動，看其對預測精度的影響有多大。
計算步驟：
1）用多模態數據訓練一個MLLM。（也可以直接用開源的）
2）驗證集預測得到得分。
3）驗證集的某個單模態數據進行隨機打亂，比如把文本給打亂，預測得到得分。
4）將上述得分做差即可得到該模態對預測的影響。
5）同理可以在3）中把另一個模態的數據隨機打亂進行驗證，最后比較即可。
2. SHAP (SHapley Additive exPlanation)
前提：在model訓練完成后計算
思想：
計算特征對模型輸出的邊際貢獻，再從全局和局部兩個層面對“黑盒模型”進行解釋。
SHAP構建一個加性的解釋模型，所有的特征都視為“貢獻者”：
對于每個預測樣本，模型都產生一個預測值，SHAP value就是該樣本中每個特征所分配到的數值。
具體來說，計算一個特征加入到模型時的邊際貢獻，然后考慮到該特征在所有的特征序列的情況下不同的邊際貢獻，取均值，即某該特征的SHAP baseline value，包括Kernel Shap，Deep Shap和Tree Shap。
這也是目前可解釋機器學習在風控、金融中最實用的一個方法。
3. 類似于LIME (Local Interpretable Model-agnostic Explanations) 的思路
之所以說“類似于”是因為LIME暫時無法實現對圖像的解釋，但這個思路本身是值得借鑒的。
前提：在model訓練完成后計算
思路：
使用訓練的局部代理模型來對單個樣本進行解釋。
假設對于需要解釋的黑盒模型，取關注的實例樣本，在其附近進行擾動生成新的樣本點，并得到黑盒模型的預測值，使用新的數據集訓練可解釋的模型（如線性回歸、決策樹），得到對黑盒模型良好的局部近似。
實現步驟
1）如上圖是一個非線性的復雜模型，藍/粉背景的交界為決策函數；
2）選取關注的樣本點，如圖粗線的紅色十字叉為關注的樣本點X；
3）定義一個相似度計算方式，以及要選取的K個特征來解釋；
4）在該樣本點周圍進行擾動采樣（細線的紅色十字叉），按照它們到X的距離賦予樣本權重；
5）用原模型對這些樣本進行預測，并訓練一個線性模型（虛線）在X的附近對原模型近似。
這樣就可以使用可解釋性的模型對復雜模型進行局部解釋。
上述方向只是一些示例和思路，具體一些實現可以看看參考文獻。
本文只是拋磚引玉，大家如果有更好的思路也可以一起討論看看有沒有論文可發~
參考文獻
[1] 可解釋性機器學習_Feature Importance、Permutation Importance、SHAP — (https://blog.csdn.net/weixin_44803791/article/details/109776357)
[2] 機器學習模型可解釋性進行到底 —— SHAP值理論（一） — (https://zhuanlan.zhihu.com/p/364919024)
[3] 機器學習可解釋性Lime方法小結 — (https://zhuanlan.zhihu.com/p/193152643)
[4] LIME - Local Interpretable Model-Agnostic Explanations – Marco Tulio Ribeiro — (https://homes.cs.washington.edu/~marcotcr/blog/lime/)
[5] “Why Should I Trust You?” Explaining the Predictions of Any Classifier— (https://arxiv.org/pdf/1602.04938)
?
文轉載自公眾號瓦力算法學研所，作者：喜歡瓦力的卷卷
