--- title: "「Owl-Eyes: Intelligence Collection System」企劃書" tags: project, proposal, Abyss description: 1. title 請改為 [專案名稱]企劃書 2. tag 請刪去template,加上專案內容類型或名稱 3. 下方會議記錄請使用會議記錄範本 4. 加上"{%hackmd BkVfcTxlQ %}"意為套用黑色模板 --- {%hackmd BkVfcTxlQ %} # ***Owl-Eyes: Intelligence Collection System*** > 負責人聯絡資訊: > 負責人︰薯羊 / 手機:0900220161 / Email:workingam.sheep@gmail.com :::info 專案參與成員: * 許堃陽、李崇瑋、黃丰嘉 共計 3 人 [name=專案負責人:許堃陽] <br/> 會議記錄: * [Jun. 06^th^, 2021](https://app.slack.com/client/T01C9JLV5LM/C01D2GLK648/thread/C01D2GMFYPJ-1608261472.000600) ::: > [TOC] > *** ## **專案資訊** * 專案時期: [time=]Jul. 01^st^, 2021 ~ Sep. 15^th^, 2021 --- ### *專案概述* 建立「自動收集資各平台特定資料」的系統,如從論壇、新聞、社交平台中,收集個人資料 / 特定主題的文章內容。 --- ### *預期目標* 收集社群網路、論壇 (Reddit, Other)、新聞 - 社群網路︰個人資料 - 論壇︰漏洞,技術收集 - 新聞︰新聞 收集後可自動進行分類、彙集到特定主題下。 **最高期望︰具彈性的系統,只要更改指定欄位的內容就可以收集不同的資料** --- ## **專案內容** ### *環境* 語言︰Python 3.X 版本控制︰GitHub ### *技術簡介* UI 設計、網站分析、資料收集、資料分類。 ### *系統架構* ### *系統流程* --- ## **專案安排** ### *專案工作* * [分類] | 姓名 | 工作內容 | | ----- | ------------------ | | 許堃陽 | UI | | 李崇瑋 | 網站分析、爬蟲 | | 黃丰嘉 | 資料分類、關鍵字詞提供 | ### *專案時程* #### 7月 * 確認收集目標 * 主題︰Cyber Security * 論壇︰ * 第一目標︰Reddit * [/r/netsec](https://www.reddit.com/r/netsec/) * [/r/LanguageTechnology](https://www.reddit.com/r/LanguageTechnology/) * [/r/Game](https://www.reddit.com/r/Games/) * 抓取對象︰所有 PO 文 * 內文 * 留言數 * 更新頻率︰? * 7/11 - 7/18 第一次爬蟲測試 * 系統架構 (羊) * 爬蟲測試 - reddit 本文內容 (丰嘉) * Deadline: 07/25 * 爬蟲測試 - reddit 連外內容 (夜貓) * Deadline: 07/25 * 思考儲存方式 * 系統架構設計 * 系統流程設計 #### 8月 * 許陽︰UI 設計 * 夜貓︰網站分析、爬蟲 * 丰嘉︰資料分類 --- ## **備註與附件** ### 其他需求 * 買 Server - 要 TWD $100,000 左右 * 買 IP - 實體 IP 很貴, DHCP 的實體 IP 會便宜一點 ## 未來展望 * 收集目標 * 新聞 * BCC * CNN * IThome * TechNews * 社群 * [FB](https://www.Facebook.com) * [Twitter](https://www.twitter.com) * [Instagram](https://www.instagram.com) * LinkedIn? * Blog * [KDnuggets](https://www.kdnuggets.com/) * * 系統擴充 * 從分類器演化為 AI 進行中數據收集