雖然無法徹底解決維度詛咒帶來的問題，根據(jù)理論證明，曼哈頓距離在高維空間中的識別能力要遠遠好于常用的歐式距離，可以緩解維度詛咒效應。

方法框架

即便曼哈頓距離有著更好的識別效力，但是研究人員也不認為在識別后門攻擊的時候曼哈頓就能完全替代歐氏距離。

除此以外，先前的工作已經(jīng)表明[3]，有的后門攻擊會在歐氏距離上表現(xiàn)區(qū)分度，有的則會在余弦相似度（Cos 距離）上表現(xiàn)差異。

于是研究人員決定采用曼哈頓、歐氏和 Cos 距離共同去識別后門，如上圖所示。

在定義好了識別梯度時的指標之后，在研究人員面前也有兩個障礙：

1. 三種距離有著不同的尺度，由于每個度量都是相關的，因此需要一種新的正則化方法，而不是通常的按最大值進行歸一化；

2. 不同的數(shù)據(jù)分布（如不同程度的非 IID）會使惡意客戶端和良性客戶端的梯度不同。

因此，需要動態(tài)加權來應對各種環(huán)境和攻擊，以實現(xiàn)通用防御。

為了解決上述問題，研究人員提出了一種通過濃度矩陣（協(xié)方差矩陣的逆）進行白化的方法如上圖所示，其中x為客戶端距離特征向量，Σ為協(xié)方差矩陣，其能夠根據(jù)每個客戶端上三個指標特征的分布動態(tài)地決定每個指標的權重，以適應不同的數(shù)據(jù)分布情況和攻擊策略。

在得到了客戶端的距離得分δ后，便可以根據(jù)該分數(shù)聚合更優(yōu)梯度。通過這種機制，方法不僅能夠容納三種指標，同時也能根據(jù)需要容納更多的指標去分析各個梯度。

論文2：TIFS 2025

論文題目：Scope: On Detecting Constrained Backdoor Attacks in Federated Learning（第一作者：黃思銓；通訊作者：高英）

論文鏈接：https://ieeexplore.ieee.org/document/10852410

代碼鏈接：https://github.com/siquanhuang/Scope

摘要

聯(lián)邦學習（Federated Learning，F(xiàn)L）使多個客戶端能夠協(xié)同訓練高效的深度學習模型，但其也易受到后門攻擊的威脅。

傳統(tǒng)的基于檢測的防御方法依賴特定度量標準來區(qū)分客戶端的梯度。然而，具備防御認知的攻擊者可以利用這一點，通過在這些度量上對攻擊梯度施加約束，從而逃避檢測，形成度量約束攻擊。

研究人員具體實現(xiàn)了這類威脅，并提出了余弦約束攻擊，這種攻擊能夠成功突破基于余弦距離的先進防御方法。

為應對上述挑戰(zhàn)，研究人員提出了一種新穎的防御機制 Scope。該方法通過揭示攻擊梯度中被約束的后門維度，在使用余弦距離的同時，能夠檢測出余弦約束攻擊。

Scope采用逐維歸一化和差異化縮放策略，以放大后門維度與正常或未被使用維度之間的差異，有效對抗高級攻擊者掩蓋后門特征的行為。

此外，研究人員還設計了一種全新的聚類方法主導梯度聚類，用于隔離并剔除后門梯度。

在多個數(shù)據(jù)集、模型、聯(lián)邦學習設置以及不同攻擊者場景中進行的廣泛實驗表明，Scope在檢測和防御后門攻擊方面顯著優(yōu)于現(xiàn)有方法，特別是在應對余弦約束攻擊方面效果尤為突出。

研究人員還提出了一種專門針對Scope的定制攻擊，試圖最大限度地增強其隱蔽性以規(guī)避Scope的檢測，但實驗結果顯示該攻擊依然失敗，這進一步凸顯了Scope防御機制的魯棒性和先進性。

背景

由于大多數(shù)后門檢測方法依賴特定的度量標準（如歐幾里得距離或余弦距離）來區(qū)分正常梯度與惡意梯度，因此它們容易受到度量約束攻擊（metric-constrained attacks）的影響。

當攻擊者完全了解服務器端部署的防御算法時，他們可以有針對性地對其惡意梯度在防御所使用的度量上進行約束，從而繞過檢測。

這種針對防御機制精心設計的攻擊給聯(lián)邦學習系統(tǒng)的安全性帶來了巨大挑戰(zhàn)。

已有研究表明，基于歐幾里得距離的防御方法無法有效抵御在該度量下受到約束的攻擊。盡管使用余弦距離的方法能夠識別受歐幾里得距離約束的攻擊，但卻難以抵擋余弦約束攻擊（cosine-constrained attack）。

值得注意的是，盡管已有研究提出了使用多重度量的方法以應對這一挑戰(zhàn)，這些方法依然未能有效防御此類攻擊。

在該研究中，研究人員采用了一個全新的視角，聚焦于檢測惡意梯度向量中潛藏的后門特征。已有研究表明，神經(jīng)網(wǎng)絡（Neural Networks, NNs）的不同維度承載著不同的任務，例如正常任務與后門任務。

基于這一觀點，可以將神經(jīng)網(wǎng)絡的權重劃分為三類維度：正常維度（benign dimensions），后門維度（backdoor dimensions），其余未被利用的維度（unused dimensions）。

后門梯度主要作用于后門維度，而正常梯度則主要更新正常維度。研究人員認為，度量約束攻擊中后門維度難以被區(qū)分的原因有兩個：

1. 被正常維度掩蓋，

2. 被未被使用的維度稀釋。

于是，該論文聚焦于以下問題：如何在后門維度被掩蓋和稀釋的情況下找到后門梯度的差異性？

方法

逐維歸一化

由于變化絕對值較大的維度在梯度中占主導地位，導致現(xiàn)有防御方法難以有效檢測出惡意梯度。

因此，研究人員將重點轉向關注各維度的變化率而非其具體數(shù)值，以消除高絕對值維度對檢測結果的顯著干擾。為了計算每個維度上的變化率，研究人員將客戶端的梯度（即）在全局模型和客戶端模型之間逐維分解，并將每個維度的梯度變化縮放到區(qū)間 [0,1]，從而統(tǒng)一量綱并實現(xiàn)對不同維度變化的相對比較。

差異化縮放

由于所有維度在歸一化后被映射到區(qū)間[0,1][0,1]，研究人員將每個維度的歸一化值g_i自身冪乘?次，以進一步壓低更新幅度較小的維度值，使其趨近于0，從而消除這些微弱更新維度的影響。

相反，對于接近1的維度，保持其影響不變，甚至增強，從而放大各維度之間的差異，形成「強者愈強」的效應。

通過這種方式，有效削弱了大量未被使用維度對少數(shù)關鍵后門維度的干擾，使后門相關的關鍵維度在梯度向量中占據(jù)主導地位。

最終，梯度向量的方向將完全由這些后門維度主導，忽略了微弱維度的干擾，從而提升后門特征的可檢測性。