---
tags: AI
---
# 用AI整理報告 - AI and Covert Influence Operations:Latest Trends
## 使用工具
claude.ai Opus、PDFelement(壓縮pdf)
## 閱讀報告
AI and Covert Influence Operations:Latest Trends (OpenAI)

# 整理內容如下

# AI與隱蔽影響力行動：2024年最新趨勢

## 引言
- 我們致力於開發安全、廣泛有益的AI
- 威脅參與者有時會濫用我們的模型來傷害他人
- 應對這些威脅需要多學科、多機構的共同努力

## 構建安全、可靠、值得信賴的AI
- 我們的使用政策禁止利用服務誤導他人
- 我們禁止參與隱蔽影響力行動的賬號
- 我們與安全系統團隊分享洞見,持續改進安全措施

## 多管齊下應對威脅
- 我們監測並阻斷威脅參與者
- 我們與安全系統團隊互動迭代
- 我們與AI生態系統中的其他參與者合作
- 我們公開傳播,突出AI的潛在濫用並分享安全知識

## 2024年的威脅和趨勢

### 攻擊者趨勢
#### 內容生成
- 攻擊者利用模型提高內容質量,減少語言錯誤
- 攻擊者利用模型大量生成簡短評論

#### 新舊混合
- 攻擊者結合使用AI生成內容與傳統手動創作內容

#### 偽裝參與度
- 攻擊者利用模型創造虛假在線參與,如自問自答

#### 生產力提升
- 攻擊者利用模型進行翻譯、格式轉換等日常工作

### 防禦者趨勢
#### 防禦性設計
- 模型內置防禦措施,對某些請求予以拒絕 [AI模型拒絕冒充真人的請求]

#### AI助力防禦
- 研究人員利用模型提升分析效率,實現跨語言工作

#### 傳播渠道很重要
- 內容傳播渠道對影響力至關重要
- 案例中的網絡在各平台的影響力評級普遍較低

#### 信息共享的重要性
- 我們與業界同行分享詳細的威脅指標
- 我們公布與行動相關的域名,便於開源研究

#### 人為因素
- 儘管使用AI,威脅參與者仍易犯人為錯誤 [人為錯誤導致內容不一致]
- 案例中多次出現威脅者無意中暴露自身的情況

## 案例研究

### Bad Grammar
- 未報道過的來自俄羅斯的威脅參與者
- 主要在Telegram上散布英語和俄語政治評論
- 影響力評級:1級(最低)

### Doppelganger
- 持續活躍的俄羅斯威脅參與者
- 在互聯網上散布反烏克蘭內容
- 影響力評級:2級(多平台散布,無實質性影響)

### Spamouflage
- 持續活躍的中國威脅參與者
- 在互聯網上散布讚揚中國、批評中國批評者的內容
- 影響力評級:2級(多平台散布,無實質性影響)
> 利用模型調試代碼、分析輿情、撰寫文章、生成評論
> AI生成內容與人工內容交錯發布,無明顯規律
> 觸及多平台,但未獲得真實用戶的積極互動
> 相關網域示例:revealscum[.]com

### 虛擬媒體國際聯盟(IUVM)
- 持續活躍的伊朗威脅參與者
- 發布支持伊朗、批評以色列和美國的網絡內容
- 影響力評級:2級(多平台散布,無實質性影響)
- 自動化生成的網站標籤暴露了AI的參與

### Zero Zeno
- 以色列商業公司STOIC運營
- 針對加沙衝突、以色列工會組織、印度大選等話題散布內容
- 影響力評級:2級(多平台散布,無實質性影響)
- 同一照片被多個賬號使用,且互動回覆自己的帖子,製造虛假參與感

## 結論 🎯
- 威脅參與者正利用AI提升能力,但尚未取得實質性影響力突破
- 跨平台合作、信息共享對遏制威脅至關重要
- 模型防禦性設計和人為失誤限制了威脅者的能力
- 持續創新、調查、協作對維護AI生態安全不可或缺

P.S
1. 報告第3頁說:these campaigns do not appear to have meaningfully increased their audience engagement or reach as a result of their use of our services.看起來有點欲蓋彌彰的味道
2. 使用Breakout Scale測量影響力行動的影響