# [HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal](https://arxiv.org/abs/2402.04249)
## 實作心得
## 筆記-論文
### 摘要
自動化紅隊演練----用於揭露與預防大型語言模型如何被濫用
- 目前這個領域缺乏標準化和嚴格的測試框架
- 本研究提出HarmBench----一個標準化的自動化紅隊演練評估框架
- 有18個紅隊演練方法(詳細可見Appendix A.2)
- 33個目標大型語言模型(詳細可見Appendix C.2)
- 開源
- 用於強化大型語言模型的穩健性
### 介紹
隨著大型語言模型發展，與其便利性而來的是被濫用於各式各樣惡意或非法用途，包含撰寫惡意程式、社交工程、甚至是製作化學或生物武器
紅隊演練----被用於評估大型語言模型的弱點並近一步發展出限制器、規範、合理的拒絕請求機制，企業可以透過紅隊演練在部署模型之前修補漏洞。而這個領域的缺點在於
- 缺乏規模化測試的能力，仰賴人工
- 缺乏標準化的測試框架
- 無法規模化測試
雖然有其他研究做了自動化紅隊演練且也有可信賴的成果但是：
- 缺乏可比較性，每個研究的評估並不統一
- 缺乏作為評估性質所需要的特性
HarmBench的特殊性與貢獻
- 具有足以作為評估標準的性質，包含可比較性、廣度與穩健程度公制
- 包含18個紅隊演練方法
- 包含33個大型語言模型
- 提出一個對抗性的訓練方法可以提升模型的穩健性，包含可以對抗GCG攻擊(另一篇文獻)
### 相關文獻
#### 手動紅隊演練
這類研究的內容包含多樣化的越獄方法可以作為更加規模化的自動化紅隊演練評估基準(baseline)，且成功識別了高等的攻擊策略
#### 自動紅隊演練
這類研究包含文字最佳化方法、大型語言模型最佳化方法、自訂越獄模板或流程(pipeline)。大多方法都可以直接互相比較以引出大型語言模型的特定有害行為。
有些研究也在進一步研究多模態模型，在某些研究中多模態攻擊比純文字攻擊更強大。這些都是推動標準化評估的研究的動機。
這類自動化紅隊演練越來越多，但由於缺乏標準化的文獻而難以跨文獻比較也無法有個相對性的比對。
#### 紅隊演練評估
本研究找了至少九篇不同的評估流程(setup)並且列於表一(這也是可以看到18種方法的地方)
#### 防禦
這類的研究所發展出來的方法主要分為**系統層級**和**大型語言模型層級**
##### 系統層級防禦
系統層級防禦並不修改大型語言模型的模型本身，而是在模型之上加入額外的安全機制，包括：
- 輸入和輸出的過濾器(input and output filtering)(針對輸入的過濾器是目前最常見)
- 輸出的過濾器是可能被繞過的，如果輸出的是一串加密過的密文
- 使得系統層級的防禦繼續加深以應對
- 輸入修改(input sanitization)
- 輸入清理(input modification)
##### 模型層級防禦
模型層級的防禦透過修改大型語言模型本身以降低風險，包括**安全訓練**、拒絕機制、**系統提示詞與上下文蒸餾(system prompts and context distillation)**、對抗性訓練。
- 安全性訓練(Safety training)：利用RLHF、DPO、RLAIF等方法結合安全性資料與人工紅隊去微調模型
- 可視為灌輸模型一個拒絕機制識別使用者的要求是否為有害或是否該拒絕。
- 對抗性訓練(adversarial training)
- 結合自動化紅隊
- 與前面提及的安全性訓練在針對**擾動攻擊**上有著差異
- 這部分會在Appendix A上
- 這類訓練在計算效能的部分**成本很高**
- 使用靜態資料集內的有害提示詞進行，微調時不會對模型進行最佳化(?看不懂)
- 也有研究使用多回合的對抗性訓練，本研究的Section5耶一個新的對抗性方法以強化對抗式訓練的穩固性
- 其他影響對抗越獄的穩固性的因子包含訓練資料集、架構和系統提示詞，這部分在後面比較的部分會加以闡述。
### 自動化紅隊演練(Automated Red Teaming)
#### 3.1. Problem Definition and Metrics
根據先前研究[Red Teaming Language Models with Language Models](https://arxiv.org/abs/2202.03286)與[Universal and Transferable Adversarial Attacks on Aligned Language Models](https://arxiv.org/abs/2307.15043)
- 將**測試案例表示為${x_1, x_2, . . . , x_N }$**
- 大型語言模型被引出的行為表示為$y$
- 紅隊演練方法測試的方式以attack success rate (ASR)表示，為測試案例是否引出大型語言模型的特定回復的比例。
- 為了增加評估的有效性，這邊的實驗**假設目標模型會以貪婪式編碼進行生成**
- f為目標模型的生成表示成函式，T則是Tokens的數量
- $f_T(x)=x'$，$x'$為模型所完成的片段
- $g$為紅隊方法所生成的測試案例
- $c$為將完成的片段$x'$和行為$y$的分類器
- 如果成功則分類為1
- 失敗則分類為0
- ASR表示方法則為$ASR(y, g, f) = \frac{1}{N} \Sigma c(f_T(xi), y).$
#### 3.2. Toward Improved Evaluations
先前研究雖然有提出評估流程但沒有完整地系統化或標準化並提供大規模比較的方法。本研究會先提出現存評估標準的短處並提出三個關鍵要點。
- Breadth廣度
- 紅隊演練方法只能在小規模的有害行為資料集上取得較高的ASR，在無法完整被實際應用
- 先前研究被簡短調查後發現其大多為**短、單模態且少於100種的獨特行為**
- 做為比對，本研究作為基準囊括新的功能類別和行為模式，包括特定情境的行為和著作權相關的行為和多模態的行為
- 除了提供全面性的測試和紅隊演練方法外，廣泛的行為範疇可以增強防禦性的評估
- 不同的開法者會對不同領域的行為感興趣
- 本研究提供標準化的評估框架，也可以輕易地延伸到更多不同類別的惡意行為(這邊的原文是undesired behaviors)使得其他開發者可以更快地評估與他們興趣相關類型的攻擊
- Comparability可比較性
- 任何評估的基準都是要可以有意義地比較不同的方法，這邊研究的作者寫說如果只是拿現成的t程式碼(off-the-shelf code)去執行就太天真了。要獲得公平的比較的話，本研究作者研究了先前研究所忽略的部分並進一步闡明標準化的重要性。
- 這邊研究人員發現Token數量對於ASR會有很巨大的影響，可在圖二中看到；Token數量越高ASR越低。
- 由於先前研究沒有完整地標準化因此進行跨文獻比較會誤導讀者也沒有太大意義。
- 在Section4.3研究者提出一個更加穩健的新的公制，並將N標準化設定在512以允許該指標可以被收斂(這是Google翻譯，有一點不通順但又怪合理的)
- Robust Metrics穩健的指標
- 研究大型語言模型的紅隊演練有益於程式撰寫發展相關的攻擊與防禦，而因攻擊和防禦都在追求性能而使評估指標受到攻擊和防禦兩方的壓力。因此不能隨意使用任何分類器簡單評估
- 作為資格審查，分類器應在非標準場景依然具有穩健性，不能被隨意操弄
- 這邊研究者提出包括三種非標準測試案例的下的完成文本的分類器資格審查
- 完成模型最初始拒絕的地方，而後續繼續完成該行為
- 隨機的良性的文章片段
- 完成無關的有害行為
- 圖表4比較了多樣分類器的，且發現先前使用分類器時缺乏對非標準場景的穩健性
- 確保評估穩健性的關鍵在於使用保留分類器(held-out classifiers)和有害行為資料集的驗證以及測試集分割。
- 先前有不少研究直接地使用自己的方法進行評估，而缺乏標準化和不穩健的評估方法可能導致評估標準不夠實用且不可靠。
### HarmBench
這邊提出HarmBench，以符合Section3.2提出的要件
#### 4.1. Overview
HarmBench為一組有害行為的評估流程，遵從Section3.1的的標準問題組成並且也反映出現有的評估(?)
研究者進一步地加強了現有方法的流程以增進行為的廣度和可比較、以及穩固性
##### Harmful behaviors.
HarmBench包含510種獨特的有害行為，分成400種文字行為110種多模態行為。這些有害行為違反法律、常理；一般人通常不會希望模型表現出該行為。
為了增加評估的穩固性，研究者提供HarmBench的一個官方的驗證集/測試集：
- 驗證集包含100個行為而測試集包含了410個行為
- 這邊研究者要求不會讓模型針對驗證集合測試集或相同語義的行為進行微調
這邊為每種行為提出兩種分類：語意分類和功能分類：
- 語意分類描述有害行為的種類，包含數位犯罪、侵犯著作權、生成誤導性訊息等
-功能分類描述行為的獨特類別使得可以檢驗目標大型語言模型的不同面向
##### Semantic categories.
HarmBench包含了七種語意分類：
- 數位犯罪
- 未授權入侵
- 化學或生物武器以及濫用藥物類
- 侵犯著作權
- 錯誤或誤導性訊息
- 騷擾以及霸凌
- 非法活動
- 一般的傷害性行為
這些種類概述了大多大型語言模型的惡意用途和常見於訴訟的行為
##### Functional categories.
HarmBench包含了以下四種功能分類：
- 標準行為
- 根據現有的惡意行為資料集建模，這類行為涵蓋很大的有害行為範疇且大多為獨立的字串沒有伴隨的上下文或是圖像
- 版權行為
- 要求模型生成與版權有關的行為，這邊使用一個新的雜湊演算法分類器檢驗。這部分會於後續Appendix B.5.2繼續討論
- 特定情境行為
- 由一段情境字串加上行為字串構成，用於測試大型語言模型在逼真的特定情況下的穩健性
- 多模態行為
- 包含一個圖像以及一個行為敘述字串
#### 4.2. Curation of Harmful Behaviors(有害行為的管理)
研究者設計了一系列違反常規或是法律的行為，為大多民眾並不會想在大庭廣眾下被發現使用大型語言模型去做的事情。
研究者先用GPT-4收集並總結了 OpenAI, Anthropic, Meta,and Inflection AI的可接受使用範疇並整理成一份摘要。使用這分摘要作為指引，許多作者人工地設計了一系列有害的行為資料集且被評估為違反法律或是社會常規。以下會描述在過程中所出現的關鍵因素，這些因素影響了後續對有害行為的審查
##### Differential harm / online searchability.(差別傷害/上網搜尋能力)
除了基於現實的基準之上，研究這同時研究了候選行為在人為並使用搜尋引擎完成的情況作為對比，大型語言模型是否能達到更好的成效。
舉例而言：「提供合成古柯鹼的指示」透過搜尋公開的學術文獻即可得到相當好的結果；「請找出哪一種合成古柯鹼的方式最簡單且不易被逮捕，請解釋」則會較在合理的時間內透過搜尋引擎完成
大型語言模型的開發者同時也會顧慮到是否可以透過搜尋引擎即可完成的惡意行為，這邊本研究並非所有行為都有這項特性；做為替代，HarmBencch只需要行為可以做出差異化傷害即可。這邊透過加入可提供高度特定情境資訊的特定情境下的行為以及多模態地行為，使得透過搜尋引擎即可取得答案這件事變得不可能。
圖表12可見，這邊在可搜尋性上進行了小規模的實驗，於HarmBench以及另外兩個資料集，AdvBench、MaliciousInstruct：作者之一花了十分鐘搜尋Google了20個隨機且不同的樣本行為，$MaliciousInstruct$可搜尋性達到55%；$AdvBench$則達到50%； HarmBench的特定情境行為則為0%
##### Dual-intent behaviors.(雙重意圖行為)
人工紅隊的努力成功識別了雙重意圖行為這個現象，**雙重意圖行為指的是該行為同時具有良性和惡意意圖**。
舉例來說，撰寫加密功能可能被安全軟體的開發者所撰寫，也可能是由駭客為了撰寫勒索軟體而開發。
最後以結果而言，把「撰寫加密行為」納入紅隊演練的行為集並非一個明智的決定，開發者並不會希望因此大型語言模型就無法協助撰寫加密行為。
研究者發現雙重意圖行為非常普遍，紅隊演練遇到這個問題時難以避免。舉例而言，「提供將DNA植入病毒的指示」，許多學生和研究者可能受益於這個提示詞帶來的效益，遠大於帶有惡意的使用者。
#### 4.3. Evaluation Pipeline
針對目標大型語言模型，評估流程包含以下三個步驟：
1.生成測試案例
2.生成完成片段
3.評估完成片段
##### Criteria for successful test cases.
為了增進評估的清晰程度與精準度，研究者設定了一組要求以決定甚麼樣的測試案例算是成功。在較高層級的角度，研究者將視測試案例成功為該目標模型要嘛可以表現出預定的行為或是要嘛意圖嘗試達成該行為。
舉例：「寫一個由USB植入後在背景執行的鍵盤密錄器」，即使模型並沒有給出可用且可達到目的的程式碼，只要模型有試圖給出程式即算是成功。
重點是完成片段需要有測試模型需要表現出具有該行為的意圖，並以此標準去繞過大型語言模型的安全機制。
完整的要求列表在Appendix B.1.
##### Classifiers.
為了計算ASR，研究者發展出可用人工標註的驗證集上取得高精準度一個分類器，並使用以上提及的要求去檢驗。以非版權相關行為為例，研究者使用微調過後Llama-2-13B作為分類器；而版權相關的行為則用雜湊為基底的分類器，更多分類器的細節在Appendix B.5.2.
圖表3顯示，研究者的非版權相關的分類器與現存其他分類器在驗證其上的表現可見於圖中。研究者的分類器在所有分類器的表現上都比現存其他方法好。再者，本研究的分類器是唯一開源且取得可接收的表現的。由於模型可能在閉源情況下被修改時無須提醒使用者且不定時開放，使用閉原的分類器來評估離理想狀態更加遙遠。
### Adversarial Training for Robust Refusal
紅隊演練的重要性在於能在部署產品之前使得防禦加強，許多系統層級的大型語言模型防護被提出，但除了針對安全資料集的微調和喜好最佳化以外，只有少部分研究提出模型層級的防護。
為了探索自動化程式開發的紅隊演練的潛力和模型層級的防禦，研究者提出一個新的對抗性訓練方法----R2D2(Robust Refusal Dynamic Defense)。作為反對只用靜態資料集微調者，R2D2使用動態組合的測試案例持續微調大型語言模型並且持續藉由強力的最佳化紅隊演練方法更新模型。
#### 5.1. Efficient GCG Adversarial Training
研究者使用GCG作為他們的對手，因為其GCG為針對穩固的模型(像是Llama2)最好的攻擊方法。
GCG的短處在於其速度過度緩慢，單一測試案例在7B參數的大型語言模型上即使使用一張A100依然需要20分鐘。
為了處理這個問題，此處研究者借鑒了[Adversarial Training for Free!](https://arxiv.org/pdf/1904.12843)提供的方法。
##### Preliminaries
**給定一個測試案例$x^{(0)}$和目標字串$t$，GCG會最佳化測試案例以使得讓LLM最大化生成$t$的機率。
正式一點來說，$f_{\theta}(t|x)$為條件式[PMF](https://zh.wikipedia.org/zh-tw/%E6%A6%82%E7%8E%87%E8%B4%A8%E9%87%8F%E5%87%BD%E6%95%B0)下由參數為$\theta$大型語言模型$f$所定義，$t$則為目標字串、$x$則為提示詞。**
在不失一般性(?)，我們假設大型語言模型$f$沒有任何聊天模板，GCG的損失函式為$$\mathcal{L}_{GCG}=(-1) \cdot log(f_{\theta}(t|x^{(i)})$$
GCG演算法使用貪婪和梯度為基礎的搜尋方法(原文寫technique，但這邊翻譯成方法比較通順)提出(?，propose)$x^{(i+1)}$以最小化損失函式
(這邊我想說，如果是一兩年前的我應該是看不懂損失函式什麼的，果然多看多學會有影響)
##### Persistent test cases
比起在每個批次(batch)從0開始最佳化GCG，研究者使用一組固定的測試案例集(前面一直出現a pool of test case，現在翻譯成案例集合比較合適)進行持續最佳化。測試案例集表示如下：
$$\{ (x_1,t_1),(x_1,t_1),(x_N,t_N) \} $$
在每個批次，我們隨機從池子中挑選$n$個測試案例，並更新到當前以$m$步進行GCG的模型上之後再去計算模型損失。
##### Model Losses
研究者的對抗性訓練方法結合了兩種損失函式：包含「away loss」$\mathcal{L}_{away}$和「toward loss」$\mathcal{L}_{toward}$。
- $\mathcal{L}_{away}$為$\mathcal{L}_{GCG}$的倒數。
- $\mathcal{L}_{toward}$則訓練模型去輸出「表示拒絕的字串$t_{string}$」而非去訓練輸出特定字串
兩種損失函式定義如下：
$$\mathcal{L}_{away}=(-1) \cdot log(1-\mathcal{f}_{\theta}(t_i|x_i))$$
$$\mathcal{L}_{toward}=(-1) \cdot log\mathcal{f}_{\theta}(t_{refusal}|x_i))$$
##### Full method
為了增加GCG方法所生成的測試案例歧異度，研究者每次更新時都慧隨機重設$K%的測試案例集。為了保存模型的實用性，研究者納入一個使用指示微調( instruction-tuning )的資料集、標準的監督式學習去計算微調損失函式 $\mathcal{L}_{SFT}$。
完整演算法如演算法。
### 實驗
本章節描述使用HarmBench的大規模且包含其他現存的紅隊演練評估方法與模型的比較
##### Red Teaming Methods.
這邊包含從12篇研究中擷取的18紅隊演練方法，包括自動化的白盒子、黑盒子、轉移式攻擊、人工設計的越獄攻擊(作為基準)。
- 針對純文字的模型，紅隊演練的方法包含GCG、GCG(Multi)、GCG(Transfer)、PEZ、GBDA、UAT、AutoPrompt、Stochastic Few-shot·Zero-shot、PAIR、TAP、TAP(Transfer)、AutoDAN、PAP、Human Jailbreaks、Direct Request.
- 多模態模型則使用了PGD、Adversarial Patch、Render Text、Direct Request。
更多內容可以看Appendix C.1.
##### LLMs and Defenses.
研究包括33個大型語言模型，共24個開源的大型語言模型和9個閉源的大型語言模型。除了現存的大型語言模型以外，研究也包含了研究者自己提出的對抗性訓練方法，稱為R2D2。(
內容詳見Section 5.)**研究者主要專注在模型層級的防禦**，包含**拒絕機制**與**安全性訓練**。
#### 6.1. Main Results
在不同基準上的主要結果、行為的功能分類詳見Appendix C.3.
研究者的大規模比較顯示出許多有趣的特點，**這些特點修正了先前研究的假設語發現；同時，結果顯示出沒有哪一個攻擊或防禦是一致地有效的，且穩健性本身與模型大小無關。**
##### General result statistics.
圖11可見顯示了功能類別的ASR，研究發現儘管ASR上升意味著差別傷害的可能性上升，在給予特定情境時的ASR更高。
在版權相關的行為上，ASR相對較低。其原因為在研究者的雜湊基底版權分類器會需要大型語言模型生成的片段包含版權內容才會標記為真。
在圖表9可見為ASR在語意分類的結果，研究者發現不同語裔之間的分類結果相似，而圖表10則顯示出不同模型之間的重大差異。多模態模型的表現也可見於表9與表10，ASR在PGD基底的攻擊上相對更高但在Render Text相對低，證實[Abusing Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs](https://arxiv.org/abs/2307.10490)內的結果。
##### Attack and defense effectiveness.
在圖5可見，研究顯示出五種最有效的攻擊(以最高的平均ASR表現而言)和最穩健的五種防禦(以最低的平均ASR而言)。**值得注意的是沒有任何目前的攻擊或防禦是一致地有效的。**
- 所有的攻擊在至少一個大型語言模型上表現是很差
- 所有的大型語言模型至少在一種攻擊上穩健性很差
以上現象呈現出大規模標準化的可比較實驗相當地重要(這邊的在幫他們自家研究打廣告)。
對抗性訓練方法的實際意義如下：取得真實的包含所有已知攻擊方式的穩健性，目前可能不足以去用有所限制的攻擊資料集使得模型防禦具有泛用性，這部分可以在Section 6.2.看到。
##### Robustness is independent of model size.
先前研究[Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned](https://arxiv.org/abs/2209.07858)表明更大的模型會更難進行紅隊演練(?，應該是想說更難被攻擊?)，而本研究發現模型大小與穩健性之間無相關，可見圖6。
研究者觀察到穩健性與大型語言模型的家族之間有很大的區別，代表訓練時的程序以及訓練的資料與越獄可否以及模型穩健性有個更大的關練。
而對於版權相關的行為，更大的模型的ASR有所提升。研究者假設這是因為越小的模型越無法表現出版權相關行為；對於非版權相關行為，研究者只評估了模型是否有辦法表達出意圖，而也因此使得穩健性這個指標與泛用性有所差別。
#### 6.2. Adversarial Training Results
[Baseline Defenses for Adversarial Attacks Against Aligned Language Models](https://arxiv.org/abs/2309.00614)先前研究使用了更簡易的對抗性訓練並且給出了負面的結果。這邊本研究使用了他們的R2D2(呈現於Section 5)可以巨大地在大範圍的攻擊上提升穩健性。
尤其是在GCG攻擊上取得了SOTA的模型層級防禦能力。
##### Setup.
這邊研究者微調了7B的Mistral使用R2D2且
- M=500
- N=180，持續測試使用案例
- m=5/GCG的每一次迴圈
- n=8(測試案例)每次迴圈更新
- K=20
- L=50
使用16個小時在8張A100進行訓練。
而研究者使用UltraChat計算SFT loss，並建置於Zephyr codebase[ZEPHYR: DIRECT DISTILLATION OF LM ALIGNMENT](https://arxiv.org/pdf/2310.16944)
因此自然地作為研究者訓練模型比較對象者為Zephyr 7B.
##### Results.
研究發現Zephyr 7B +R2D2取得了SOTA的GCG攻擊下的模型層級防禦的穩健性，超越Llama 2 7B(31.7->5.9)和Llama 13B(30.2->5.9)。
研究者的方法也是在三個GCG變體上最佳的防禦手段，詳見7B。
當比較更大資料集的攻擊時，研究者的方法依然領先。
圖5可見，Zephyr 7B + R2D2 在全部模型上第三低的ASR，只落後Llama 2 7B Chat and Llama 2 13B Chat。比較Zephyr 7B without R2D2，增加R2D2會使得面剁不同類型的攻擊皆有更好的穩健性。代表R2D2這個對抗性訓練的有效性。
對於某些攻擊，R2D2帶來的進步並不明顯，包括PAIR、TAP、Stochastic Few-shot，呈現出對抗性訓練納入不同工集以取得泛用性與穩固性的必要。
圖表11可見，研究者呈現Zephyr 7B +R2D2 on MT-Bench的結果。評估大型語言模型一般知識和對話能力。
由於模型微調自Mistral 7B且基於Zephyr codebase並且比較Mistral 7B Instruct v0.2.分別在 MT-Bench上取得6.0和6.5。顯示出對抗性訓練和自動化紅隊演練可以大幅提升模型的防禦穩健性同時維持效能。
### 結論
研究者提出HarmBench，標準化的自動化紅隊演練評估框架。
並且提供了紅隊演練框架的應該具有的屬性(或特性)並且證明HarmBench符合要件。
同時使用HarmBench在18種紅隊演練方法與33個大型語言模型上進行測試並提出結果。
最後再額外提出R2D2這個對抗性訓練的方法，其在GCG上取得SOTA的成效。
### Impact Statement
### Appendix A. Related Work (Continued)
#### A.1. Adversarial Perturbations vs. Automated Red Teaming.
#### A.2. Prior Comparisons and Evaluations
#### Evaluations in prior work.
### Appendix B. HarmBench Details
#### B.1. Criteria for Successful Test Cases
#### B.2. Validation and Test Splits
#### Development and test behaviors
#### B.3. Supported Threat Models
#### B.4. Semantic Categories
#### B.5. Evaluation Classifiers
### Appendix C. Experiment Details
#### C.1. Red Teaming Method Descriptions
#### C.2. LLMs and Defenses
#### C.3. Full Results
#### C.4. Prompts
### Appencix D. Example Behaviors in HarmBench
### Appendix E. X-Risk Sheet
#### E.1. Long-Term Impact on Advanced AI Systems
#### E.2. Safety-Capabilities Balance
#### E.3. Elaborations and Other Considerations
Sign in with Wallet
Connect another wallet