# 9/25 進度紀錄 AIGC ## 陳孟蓉 ## 論文: ### 1. Detecting Multimedia Generated by Large AI Models https://arxiv.org/abs/2402.00045 https://hackmd.io/@Mengrong/Hy_-P4tsel ### 2. Survey on AI-Generated Media Detection: From Non-MLLM to MLLM http://arxiv.org/abs/2502.05240 https://hackmd.io/@Mengrong/SyW8ACcsgx ### 3. MiRAGeNews: Multimodal Realistic AI-Generated News Detection 用多模態打擊人工智慧產生的假新聞的傳播(英文) dataset : https://huggingface.co/datasets/anson-huang/mirage-news https://arxiv.org/pdf/2410.09045 https://github.com/nosna/miragenews/tree/main https://hackmd.io/ZBXfiSezRmaYnBKAl3T_eA?view 專注於完整由擴散模型生成的新聞圖片+誤導性文字 真實資料: 從 New York Times (NYT) 的 TARA 資料集中取出 6,500 組圖片與新聞標題。 這些新聞附有 時間、地點等資訊,能幫助生成模型更擬真。 假新聞文字(Fake Captions): 使用 GPT-4,輸入真實新聞標題,要求生成 帶有誤導性或有害資訊的虛構新聞標題。 保留原本的專有名詞(人名、地點),讓假新聞看起來更真實。 假新聞圖片(Fake Images): 使用 Midjourney V5.2,搭配 GPT-4 生成的假新聞文字,生成相應的圖片。 設定與真實圖片相同的長寬比例,以保持新聞圖片的「真實感」。 Baselines - 圖片偵測 DE-FAKE (Sha et al., 2023) DIRE (Wang et al., 2023) KNN (Ojha et al., 2023) - 文字偵測(Text-only) TBM(Text Bottleneck Model, Ludan et al., 2023) - 多模態偵測(Multimodal) HAMMER (Shao et al., 2024) ___ - MiRAGe-Img(圖片模組) EVA-CLIP + Object-Class CBM - MiRAGe-Txt(文字模組) CLIP 文字嵌入線性模型 → 捕捉文字語義+ Text Bottleneck Model (TBM) → 提取 18 個文本概念(如:煽動性語言、暴力描述) - MiRAGe 多模態融合 將 MiRAGe-Img 與 MiRAGe-Txt 融合:各自輸出結果,再進行最終決策融合(不需額外訓練) ### 4. Can MLLMs Understand the Deep Implication Behind Chinese Images? https://huggingface.co/papers/2410.13854 評估MLLM對中文圖片的高階感知和理解能力 ![image](https://hackmd.io/_uploads/SkGEiLG3gg.png) ### 5. Breaking News: Case Studies of Generative AI's Use in Journalism https://huggingface.co/papers/2406.13706 生成式人工智慧在新聞報導中的應用案例研究 - 發現記者會向 LLM 提供敏感資料(例如與消息來源的機密通信或其他機構的文章)作為刺激,促使其生成文章,並在有限的干預下發布這些機器生成的文章 ### 6. BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM(兩個月前) https://huggingface.co/papers/2507.14632 MLLM 實現統一的跨模態 AI 生成內容偵測與解釋 dataset : 4,000 張圖片和影片片段 - 專為跨模態偵測和解釋合成媒體而設計的新框架。結合了一種先進的強化學習 ( RL ) 後訓練策略,透過多階段訓練、思考獎勵和混合推理,BusterX++ 實現了穩定且顯著的效能提升 ### 7. J-Guard: Journalism Guided Adversarially Robust Detection of AI-generated News (2023?) https://huggingface.co/papers/2309.03164 人工智慧產生的新聞可能是網路上虛假資訊的主要來源,框架 J-Guard能夠指導現有的監督人工智慧文字偵測器來偵測人工智慧產生的新聞。 ### 8. FakeVLM https://github.com/opendatalab/FakeVLM 專為通用合成影像和深度偽造影像偵測任務而設計的多模態大型模型 ## non-ai dataset: ENG: 1. https://huggingface.co/datasets/anson-huang/mirage-news(MIRAGeNews dataset) New York Times (NYT) 的 TARA 資料集中取出 6,500 組圖片與新聞標題 Chinese: 1. https://www.kaggle.com/datasets/ceshine/yet-another-chinese-news-dataset from RSS feeds or Twitter、繁中、含圖(https://gdb.voanews.com/4EA2180C-1F83-48C0-A09C-2E816B9133F5_w1200_r1_s.png) 2. https://dqwang122.github.io/projects/CNewSum/?utm_source=chatgpt.com 簡中 3. https://arxiv.org/abs/2206.11863 (包含 1 萬條真實世界聲明的中文基於證據的事實查核資料集) 4. https://www.kaggle.com/datasets/concyclics/renmindaily (簡中) 5. Taiwan news dataset https://github.com/nail1021734/Taiwan_news_dataset?tab=readme-ov-file