# **Seminar 2022** ## **09/23** ![](https://i.imgur.com/6SxkI1F.png) #### **Topic** - 疫情時代，壓力「清零」? 「共存」? #### **Date & Time** - 2022 / 09 / 23 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 賴欣怡 心理師 國立清華大學 諮商中心 #### **Abstract** 1. 認識壓力 2. 與壓力共存之路 3. 紓壓練習 #### **Short Bio** - 專長: - 童年創傷與復原 - 親密關係與人際議題 - 壓力與情緒調適 - 生涯探索 - 自我瞭解 - 親職諮詢 - 身心障礙議題及其家屬陪伴 - 曾擔任: - 育達科技大學職涯課程合作講師 - 清華大學諮商中心資源教室輔導員 - 明新科技大學諮商輔導中心約用心理師 - 親密之旅團體帶領人 - 新北市情緒障礙兒童團體帶領人 - 桌遊人際團體帶領人 - 世界展望會生涯團體帶領人 - 大專校院兩性溝通及時間管理團體帶領人 - 現職: - 清華大學諮商中心兼任心理師 - 馬大元診所諮商心理師 - 誠正中學合作心理師 - 心桌遊工作室合作心理師 #### **Notes** - 壓力是什麼(? - 壓力是客觀的刺激 - 外在 Pressure vs 內在 Stress - 十大生活事件壓力 - 配偶死亡 - 離婚 - 分居 - 入獄 - 近親死亡 - 研究生壓力 - 焦慮 情緒 - 學業 論文壓力 - 生活方式壓力 - 情感議題 - 親子關係 - 人際關係 - 師生關係(特別是博班) - 自我接納與肯定 - 自我了解與成長 - 經濟 就業壓力 - Tunnel vision 隧道效應 - 認知頻寬變窄，形成隧道效應 - 一顆棒球加球棒要110元，球棒比棒球貴100元，請問一顆棒球要多少錢(? 5元 - 重塑壓力反應 - 人生經驗會影響個人如何選擇壓力反應模式 - 透過 找到例外 跟 重新詮釋 去重塑壓力反應 - 運用認知面對壓力 - 具體描述，不要籠統 - 將工作分成小部分來完成 - 一次專心完成一項工作 - 放棄表現極大化，讓自己感受何為滿足 - 相信能力是可以發展，而不是固定的 (成長性思維) - 如何看待自己的表現 (e.g. 以終為始的人生觀) - 客觀看待事情 - 人的基本情緒 - 快樂 - 憤怒 - 悲傷 - 恐懼 - 驚訝 - 噁心 - 壓力情緒梳理 - 認識自己 - 察覺自己的情緒 - 發展適合自己的照顧方式與行動 - 接納自己的情緒及有限性 - 調控自己的情緒 - 舒壓練習 - 呼吸放鬆 - 每天3分鐘練習 - 自由書寫 - 每天 3、5 分鐘抒發 - 檢示生活 - 照顧身體 / 生活健康 - 照顧心理 / 人際健康 #### **Feedbacks** - 今天的講者是清大諮商中心的賴欣怡心理師，本來第一眼看到是諮商中心的演講還以為是跟上學期同一位鄭秋娥心理師。 - 這次演講心理師帶大家稍微回顧一下「壓力是什麼?」，定性分析壓力的來源與組成，區分外在壓力(Pressure)跟內在壓力(Stress)的不同；分享十大生活事件的壓力，我對前五名比較有印象，像是配偶死亡、離婚、分居、入獄、近親死亡，雖然聽起來跟我們有點遠，可能很難有共鳴，帶可以想像若我們自己或身邊的人遇到這樣的挫折，的確會帶來難以想像的巨大壓力。 - 接著帶到研究生的常見壓力，這個相信大家肯定很有感，像是焦慮情緒、學業跟論文壓力、生活方式壓力、情感議題、親子關係、人際關係、師生關係，特別是博班學長姊、自我接納與肯定和自我了解與成長的壓力、經濟與就業壓力。而我們可以透過不要讓自己被隧道效應 (Tunnel vision) 影響，盡量不要讓自己的認知頻寬變窄，但當然如果是自己身陷其中很難脫離。 - 關於如何面對壓力，心理師介紹說我們可以練習改善認知面對壓力，呼應前述隧道效應的問題，大致分為 5 個部分，分別是具體描述壓力，不要籠統、將工作分成小部分來完成、一次專心完成一項工作、放棄表現極大化，讓自己感受何為滿足、並抱持著成長性思維，相信能力是可以發展而不是固定的。 - 了解自己的基本情緒、了解壓力情緒梳理並適時做舒壓練習，可以慢慢培養抗壓性跟調適壓力，就像練習一項技能。很高興在學期初能跟心理師聊聊有趣的壓力排解問題。 ## **09/30** ![](https://i.imgur.com/Qfy3HTD.png) #### **Topic** - 科技業與專利審查經驗分享 IT Industry Work & Patent Examination Experience Sharing #### **Date & Time** - 2022 / 09 / 30 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 黃衍勳 專利助理審查官 經濟部智慧財產局 #### **Abstract** - 科技業心路歷程 - 專利申請與審查 #### **Short Bio** - 職業生涯是從當時的股王宏達電起步，原以為和一般本科生一樣，將自此於科技業界貢獻所學，卻沒料到在四年內遭遇被逼退、部門裁撤、金融海嘯等挫折，而走上了不太一樣的職涯道路。 - 現為專利審查官，專業橫跨理工與法律領域。 #### **Notes** - 黃衍勳學長，16年前清大通訊所畢業，於2008年金融海嘯時轉換跑道，去考公務員考上智財局 - 個人經歷 - 宏達電 通訊韌體 - 威盛 威睿電通 基頻晶片演算法 Via Telecom - 英華達 擎泰 - 宏達電 hTC - 積極 be active - 人際 relationship - 用腦 be thoughtful - 威睿電通 VIA Telecom - 高層內鬥 Internal conflict - 部門裁撤 Division closed - 失業救濟 Unemployment benefits - 保持信心 Kept confident - 把握空檔 Gap months - 英華達 & 擎泰科技 Inventec & Skymedi - 做天線頻率的校正 Calibration - 產線支援 Production line support - 記憶體控制晶片 legacy code 極度糟糕 - 公司傳承 Legacy - 組織文化 Organization culture - 公司制度 Corporate system - 補習專利法，短期衝刺考特考 - 專利申請與審查 - 對審制 - 何謂發明專利(? - 專利法第21條 定義何謂法律上認定的發明 發明，指利用自然法則的技術思想的創作。 - 設計專利的目的(? - 既定印象 - 專利訴訟 - 專利法第1條 闡明訂定專利保護的意義為 促進產業發展 - 必須是開創性發明嗎(? - 開創性發明 Pioneer invention - 舉例 演唱視覺特效系統 Singing visual effect system - e.g. 一開始是工作人員透過聲音頻率控制 - 改良性發明 Modified invention - e.g. 也可以是麥克風仰角、接觸面積、開關 - 專利申請 Patent application - 申請書 - 摘要 - 說明書 - 發明內容 - 定義欲解決什麼問題 - 定義解決問題的手段 - 實施方式 - 申請專利範圍 Claims - 闡明希望法律保護的部分，必須事前講清楚要保護什麼 - 圖示 - e.g. 聲控骰子 voice controlled dice 定義 一種隨機數產生裝置 - 專利審查 - 明確性 Clarity (最重要) - e.g. 音樂量子能 quantum music energy 太玄學無法明確解釋清楚 - 新穎性 Novelty - 只要技術手段有點不一樣、沒有完全相同就可以符合新穎性 - 進步性 Inventive steps - 非常複雜、很難定義 - 產業利用性 Industrial applicability - 基本上都會符合 - 補充案例 More cases - 音訊廣播系統 - 用超音波束把聲音約束在一定範圍 - 嬰兒翻譯機 - 具和弦片的鐵琴構造 - 滑動解鎖 slide to unlock - 總結 Summary - 對自己有信心 Have confidence in ourselves - 培養嗜好 Take up a hobby - 勇敢嘗試 Try anything new - 謹記 時間是把無情的殺豬刀 Reminder. The wear and tear of time - 學長超chill 很有趣 - 提問 - 不確定能做出來的東西能否申請專利? - 有被剽竊的救濟管道 #### **Feedbacks** - 今天書報討論的講者是黃衍勳學長，主題是科技業心路歷程及專利申請與審查，且由於學長是專利審查官，所以會著重審查的部分。在演講的一開始，學長介紹說他是 16 年前從清大通訊所畢業去科技業工作，所以換算下來可能是 2006 年左右開始在宏達電工作，並於 2008 年金融海嘯時不幸部門被裁撤，在 2 年內輾轉於威睿電通、英華達跟擎泰科技，又於 2010 年左右轉換跑道，經朋友介紹下決定參加公務員高考，最後短期衝刺補習專利法、特考考上智財局專利審查官，名言是 20 分的題目至少要寫 20 行! - 今天的書報節奏明快有趣，整體氛圍非常 chill 非常不同於一般演講或學術報告的感覺，跟學術報告類的演講相比很喜歡這類的經驗分享。從學長工作經歷分享的字裡行間中推敲，覺得學長非常努力、盡責、聰明、懂得享受工作，能在工作跟生活找到平衡且能在工作中找到成就感，並實踐自我價值觀，就好像實踐自己心中的正義。努力跟聰明可以從職務內容的轉變中發現，從最開始的通訊韌體到後來慢慢跳槽到基頻晶片、記憶體控制晶片演算法，已經算是公司的核心人物，只是遭逢高層內鬥 (Internal conflict) 跟部門裁撤 (Division closed) 才中途換到產線支援 (Production line support) 做天線晶片頻率的校正 (Calibration)，但從中也學到很多有趣的實地經驗。 - 關於專利申請與審查的部分，覺得最有價值的資訊是 “未來申請與審查可能會變成對審制” 也就是智財局專利審查部門未來可能會像是除民事、刑事、行政外的第四個法庭。作為理工科學生，我們應該認真了解一下何謂法律上的專利、了解專利法的基礎，也許對未來職涯會很有幫助。第一個直覺問題是，何謂發明專利? (當然，對智財法稍有瞭解會知道除發明專利還有新型專利跟設計專利等等) 專利法第21條，定義何謂法律上認定的發明，“發明，指利用自然法則的技術思想的創作”。但想必大部分人對專利的既定印象是專利訴訟，但設計專利保護的初衷是希望能促進產業發展，如專利法第1條所述–“為鼓勵、保護、利用發明與創作，以促進產業發展，特制定本法”。 - 直覺上會有個疑問是 “必須是開創性發明 (Pioneer Invention) 才能申請專利保護嗎?” 從問題問法可知事實不然，改良性發明 (Modified Invention) 也可以，這裡學長是舉 “演唱視覺特效系統 (Singing visual effect system)” 為例，像此系統一開始的發明是工作人員透過聲音頻率控制，但後來也演變出透過麥克風仰角、跟麥克風的接觸面積、或直接設一個開關去控制。 - 專利申請的書面流程大致需要準備 6 份文件，分別是 1. 申請書，2. 摘要，3. 說明書，4. 發明內容，如要定義欲解決什麼問題、定義解決問題的手段及實施方式等等，5. 申請專利範圍 (Claims) 即闡明希望法律保護的部分，必須事前講清楚要保護什麼，法律才能賦予保障，最後是 6. 簡單圖示說明。這邊學長舉了聲控骰子 (voice controlled dice) 為例，說明書面文件的書寫有很多需要注意的地方，申請方會期望盡量把專利範圍擴大以避免其他人能輕易繞開，比如聲控骰子的主體不應該直接寫骰子，應該寫 “一種隨機數產生裝置”。 - 專利審查主要會看 4 個面向，分別是明確性 (Clarity)、新穎性 (Novelty)、進步性 (Inventive Steps) 及產業利用性 (Industrial Applicability)，其中明確性最為重要，比如量子音樂能 (Quantum music energy) 的申請，說聽此音樂可以治癌、改善健康狀況等等，但內容太玄學無法明確解釋清楚，法律當然不予保障；新穎性的話，基本上只要技術手段有點不一樣、沒有完全相同就可以符合新穎性，進步性則非常複雜、很難定義；產業利用性基本上都會符合。 - 最後總結說，大家要對自己有信心 (Have confidence in ourselves)、培養一些嗜好 (Take up a hobby)、並勇敢嘗試 (Try anything new)，且要謹記時間是把無情的殺豬刀 (Remind that the wear and tear of time)，希望還能有機會再碰到有趣的畢業學長姐。 ## **10/07** ![](https://i.imgur.com/byYGNoA.png) #### **Topic** - Channel Capacity of First Arrival Position Channel in Diffusive Molecular Communication #### **Date & Time** - 2022 / 10 / 07 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 李彥奇 博士 鴻海研究院 量子計算研究所研究員 - [鴻海研究院](https://www.hh-ri.com/hhri/people/) - [量子計算研究所](https://www.hh-ri.com/q-computing/team-member/) - 吳仁銘老師是[新世代通訊研究所](https://www.hh-ri.com/communication/)所長 !? #### **Abstract** - In this talk, we will first give a brief introduction to the emerging field molecular communication. Then, we will introduce the **problem** of characterizing the **First Arrival Position (FAP)** channel in **Diffusive Molecular Communication (DMC)**. - Our first contribution of this work is to **derive** the **FAP density function**, i.e. the **impulse response of FAP channel**, for DMC systems equipped with **absorbing receivers** in arbitrary spatial-dimensions. - Our FAP density formula recovers the existing formulas for 2D and 3D cases in MC literature as **special cases**. - Furthermore, we also show that the FAP density reduces to a multi-dimensional **Cauchy distribution** in **low velocity** limit. - Our second contribution of this work is to provide an initiative **characterization** of the **channel capacity** for **zero-drift FAP channels** in 2D and 3D cases. The main difficulty of depicting the capacity of these FAP channels comes from the fact that FAP density falls into the category of heavy-tailed distributions. - As a result, the commonly used techniques in wireless communications are no longer applicable, since the **second moment does not exist for Cauchy-like distributions**. - We provide a **capacity formula** for zero-drift FAP channel under a modified logarithmic constraint in both 2D and 3D cases. - The **resulting capacity formula** turns out to have a form **similar to** the **Gaussian channel** case. It is worth mentioning that the capacity value of 3D FAP channel is twice as large as 2D FAP channel. - This is an evidence that FAP channels get **larger capacity as** the **spatial dimension grows**. #### **Short Bio** - Education - 國立台灣大學電信工程學研究所 博士 Ph.D. degree in GICE - 國立台灣大學數學研究所 碩士 M.S. degree in Math - 國立台灣大學電機系 學士 B.S. degree in EE - Skills - 數學物理 mathematical physic - 分子通訊理論 molecular communication - 消息理論 classical and quantum information theory - Yen-Chi Lee received the B.S. degree in Electrical Engineering, the M.S. degree in Department of Mathematics, and the Ph.D. degree in Graduate Institute of Communication Engineering (GICE), all from National Taiwan University. - Since 2021, he has affiliated with Hon Hai (Foxconn) Research Institute (HHRI), Taiwan, as an Assistant Research Fellow. - His research interests include classical and quantum information theory, molecular communication and mathematical physic. #### **Notes** - Channel Capacity of First Arrival Position Channel in Diffusive Molecular Communication - Dr. Yen-Chi Lee - Hon-Hai Research Institute (HHRI), Taipei, Taiwan - 今天的演講主題是分子通訊，李博士從十年前開始現在跟已經去美國的教授研究分子通訊 - 重點摘要 - 什麼是分子通訊(? Molecular communication? - First Arrival Position (FAP) - Diffusive Molecular Communication (DMC) - Main contribution - FAP density similar to impulse response - 進一步探討分子通訊的 channel capacity ##### **I. Brief introduction of Nanonetworks and Diffusive Molecular Communication** - Nanonetworks - already exist in biological system - Questions. - can we understand and control the signaling in small system? - are synthetic nanonetworks possible? - 分子通訊優勢 - feasibility. Easier to implement - appropriate size. Compatible scale for nanomachines - bio compatibility. Integration with living system is possible - energy efficient. Diffusion is 自發性的 - 分子通訊難點 - stochasticity. Intrinsically Radom propagation of molecules (Brownian motion) - delay. 因為是提供擴散作用傳播，不像電磁波快又可控 - 分子通訊定義 - 載波為物質分子，且傳送端有意傳遞訊息 ##### **II. New Formula of Channel Impulse Response for FAP Channel** - Microscopic Diffusion Theory - 非探討量子效應 - 早期模型是 Random walk 連續時間連續值但不是處處可微(不可微) - 現在是 Ito diffusion process (隨機微積分) - Macroscopic Diffusion Theory - 把電磁波的波動方程換成 Diffusion Equations - Large numbers of molecules are released - Channel Impulse Response (CIR) can be defined for time invariant MC systems - Standard Diffusion Equation - diffusion in free space 可以看成沒有 boundary condition 的情況 - Advanced Diffusion Equation - 像是微流控研究，有考慮velocity的情況 - Note. Diffusion evolution equations can be regarded as different communication channel - First Arrival Position (FAP) Channel - Large planar Rx, use a large planar Rx (and Tx) - 考慮分子打到分子板的時間跟位置的函數，所以比較難 - Fully absorbing Rx - 先不考慮反彈，考慮完全吸收不反彈 - the information is embedded in the landing position - New method / Proposed method - step 1. - remove time t 只考慮量子力學線性項 - find the generator of Diffusion 其實是研究 semi-group - step 2. - Look up the representation formula - 就是要解 green function - step 3. - compared with dynkins formula - 新方法複雜度比較低 - 討論至此已經解決分子通道的 Channel response 建模 ##### **III. Channel Capacity Characterization for FAP Channel** - 傳統消息理論概念是 surprisal 定義訊息量 - surprisal 是機率倒數取log 取log是因為訊息量定義為線性相加 - Shannon entropy - Shannon是考慮 n 趨近無限大的 entropy - Renyi entropy - one shot information theory - 只考慮 1 次, n = 1 - Divergence as a parent quantity - KL divergence - 很像是距離的意義，但不用滿足三角不等式，透過簡單的測度論去架構 - Information Theory in Molecular Communication - Questions. - what's the channel if a MC channel? - 但這個問題太大，得限縮討論框架才能去探討，有 2 種通道有人在研究 - FAT Channel - First Arrival Time - info embedded in releasing time - FAP Channel - First Arrival Position - info embedded in releasing position - Example of FAT channel - Additive Inverse Gaussian Noise (AIGN) Channel - 可被證明是 additive - inverse Gaussian Noise 已經存在，但還要被證明可表示為一個 channel - closed form solution 還沒解出來，但上下界已經被找出來 - 可以用一階 moment 去 bounded 出來 - FAP Channel - 先考慮 low velocity 的解 Zero Drift Limit of FAP Channel - using the principle of maximum entropy 利用 l2 constraint 後來發現 不可行 (infeasible) - 因為導出來的 distribution 跟 Cauchy dist 是同構，此 dist 的一階二階 moment 不存在，在 l1, l2 space 不存在 - 後來發現利用 alpha stable space 可以表示 - 如何知道研究方向跟初步成果是正確的(? - 比較 Gaussian, 2D FAP Channel, 3D FAP Channel 發現 Channel Capacity 的數學結構相似，且係數項有物理意義的解釋 - Conclusion - take home message - 找到 zero drift FAP Channel 的解析解 但 general solution 還沒找到 - open problem - how to characterized 2D, 3D FAP Channel at non-zero drift - 問題 - synchronization 怎麼解決(? - 講師 email - yenchilee1925@gmail.com #### **Feedbacks** - 今天書報討論的主題為 Channel Capacity of First Arrival Position Channel in Diffusive Molecular Communication，是分子通訊領域的新興理論研究題目，講者是任職於鴻海研究院量子計算研究所的李彥奇博士 (Dr. Yen-Chi Lee)，鴻海研究院好像是近幾年創立的企業研究機構，給人很像是以前的 Bell Labs 的感覺。 - 覺得講者的學歷非常厲害，分別是台大電機學士 (B.S. degree in NTU EE), 台大數研所 (M.S. degree in NTU Math), 台大電信所 (Ph.D. degree in NTU GICE)。李博士的研究專長有(量子)消息理論 (classical and quantum information theory), 數學物理 (mathematical physic), 及分子通訊理論 (molecular communication), 都是光聽起來就覺得超難的主題。 - 這次演講有兩個重點摘要，一是解釋什麼是分子通訊? 為此得先對什麼是 Diffusive Molecular Communication (DMC) 跟 First Arrival Position (FAP) 有個基本的概念跟認知；二是他們近期研究成果的主要貢獻為何? 首先是構建 FAP Channel 的通道模型，包含推導出 FAP density function 也就是 FAP channel 的 impulse response 表示式；接著是討論此通道的特性，特別是 channel capacity 才是我們最在意的部分。 - 分子通訊的發想源於 Nanonetworks 的概念，而 Nanonetworks 其實早已存在於生物系統 (biological system) 中，所以由此衍伸出兩個基本問題: “Can we understand and control the signaling in small system?” “Are synthetic nanonetworks possible?” 分子通訊、甚至量子通訊就在嘗試解決這些疑問。 - 跟傳統通訊相比，分子通訊有四個優勢，一是可行性 (feasibility)，實現較簡單、二是大小適當 (appropriate size)，大小可以跟奈米機械 (nanomachines) 兼容、三是生物相容性 (bio compati-bility)，可能可以跟活體生物相容，比起在生物體內裝一個會被排斥的機械裝置、在生物體內打電磁波，明顯是分子通訊比較好、最後第四個優勢是節能 (energy efficient)，因為分子通訊是透過擴散作用 (Diffusion) 傳播資訊的，而擴散是自發性的，我們應該不需要額外供能。 - 隨之而來的是分子通訊的難點，一是隨機性 (stochasticity) 不好掌握，像布朗運動 (Brownian motion) 就是很直觀的例子、二是延遲 (delay) 的問題，畢竟是透過擴散作用傳播，不像電磁波快又可控，二者加起來馬上會聯想到，這樣怎麼解決通訊中很常見且重要的同步 (synchronization) 問題? 不過同步是比較後面的問題，現在李博是做得是更基礎的研究，這裡能簡單定義 “何謂分子通訊的模型?” 即 “載波為物質分子，且傳送端有意傳遞訊息”。 - 接著是主要貢獻的前半部分，提出 FAP channel 的新 CIR 公式 (New Formula of Channel Impulse Response for FAP Channel)，這裡得先稍微解釋並區分微觀跟巨觀的擴散理論 (Microscopic and Macroscopic Diffusion Theory)。 - 微觀的尺度是到微米，非探討量子效應，早期是透過 random walk 去模擬分子在連續時間下有連續值但不是處處可微(不可微)的狀態(如布朗運動)，後來有發展出 Ito diffusion process (隨機微積分) 的理論去更好的探討這裡的數學問題。 - 巨觀是把電磁波的波動方程換成分子的擴散方程式 (Diffusion Equations)，從巨觀擴散理論可以導出非時變分子通訊系統下的CIR。 - 接著就能進到再難一點的設定，FAP channel 顧名思義是把資訊編碼在到達的位置，接收端這裡考慮簡單一點的狀況，分別是 - Large planar Rx - Fully absorbing Rx - 想像接收端大分子有一個切面可以完全吸收接觸到的小分子，攜帶訊息小分子不會有慣性、反彈而會被完全吸收，若此理論基礎建立起來可以再推廣到整個大分子球體都能接收、推廣到若有慣性或反彈等影響，但光是考慮分子打到分子板的時間跟位置的函數的建模就已經非常難了。 - 李博士提出的新方法分成三個步驟， - 一是移除diffusion equation的時間項，只考慮量子力學線性項，跟嘗試找出generator，像是某種 moment generating function，其實就是研究 semi-group； - 二是用representation formula表示，其實就是變成要解 green function， - 最後第三步是用 Dynkin's formula 求解，新方法相較直接去解擴散方程的方法複雜度更低， - 討論至此已經解決分子通道的 Channel response 建模，接下去是更難的 channel capacity 推導。 - 一般性的分子通訊 channel capacity 定義，這個問題太大，得限縮討論框架才能去探討，現在有 2 種通道有人在研究，分別是 - FAT (First Arrival Time) channel - FAP (First Arrival Position) channel - 前者資訊編碼 (embedded) 在 releasing time 而後者則是 releasing position。 - 這裡先舉個 FAT channel 例子，像 Additive Inverse Gaussian Noise (AIGN) Channel，可加性 (additive) 可以被證明，其實很早以前就知道 inverse Gaussian Noise 存在，但還要再證明其可表示為一個通道，目前closed form solution 還沒解出來，但上下界已經被找出來，可以用一階 moment 去 bounded 出來。 - 接著是 FAP channel，李博士是先考慮 low velocity 的解 (Zero Drift Limit of FAP Channel)，一樣是用 maximum entropy 跟利用 l2 constraint 去 bound，後來發現不可行，因為導出來的 distribution 跟 Cauchy distribution 是同構，此分布的一階跟二階 moment 都不存在，在 l1, l2 space 不存在，再後來又發現利用 alpha stable space 可以表示。 - 這裡有個小疑問是 “如何知道研究方向跟初步成果是正確的?” 這裡是比較 Gaussian, 2D FAP channel, 3D FAP channel 發現 channel capacity 的數學結構相似，係數項有物理意義，假設是 n-dimensional hyperspace，則係數會是 (n – 1)，可以理解成如果從 3 維通道傳送，撞到 2 維分子板接收，自然會少 1 個自由度，所以會反映在係數項減1。 - 最後總結此次學術報告，李博士在分子通道建模中找到 zero drift FAP channel 的解析解，但 general solution 還沒找到，所以接下來的開放問題是去討論 2D, 3D FAP channel 在 non-zero drift 情況下的解，這裡有點忘記為什麼是只需要探討 2, 3 維的情況了。 - 今天的演講其實幾乎都聽不懂、一知半解，對這類偏向學術報告的書報演講比較沒太大興趣，除非是做相關領域的，不然厲害的學者來這邊感覺也是浪費他們時間，因為台下的同學們可能聽不太懂更沒什麼共鳴，只希望老師們覺得有收穫就好，期待下週的演講。 ## **10/14** ![](https://i.imgur.com/j4WqkGt.png) #### **Topic** - Overview of CPU Architecture Design and Reconfigurable Instruction Cell Array, RICA #### **Date & Time** - 2022 / 10 / 14 (Fri) 14:20~16:20 #### **Location** - Delta Building R216 #### **Speaker** - Qualcomm, Taiwan - Tai-Hua Lu - Obe Wu - Aaron Du #### **Abstract** - Introduce the work content of CPU team in Taiwan, which is divided into two parts: - CPU architecture and Performance team - CPU Design Implementation team - CPU architecture and team focuses on exploring CPU and system architecture to achieve competitive CPU performance. - CPU design implementation team focuses on CPU subsystem realization. In the seminar, we will introduce how to analyze and realize RICA - The Reconfigurable Instruction Cell Array, RICA, with Machine Learning Accelerator and SoC implementation are our important function and task on the multi-media (MM?) Taiwan R&D team. - With the rapid growth of the technical requirement of computer vision and image processing, RICA provides a kind of programmable solution on C-language without the turn-around time of IC manufacturing. - This speech will introduce some applications on RICA and the reasons why we should use RICA. As a digital design team in Taiwan, we also share some parts on implementation to realize this RICA-SoC #### **Short Bio** - Tai-Hua Lu - NCKU, ITRI, MTK, SiFive, Qualcomm - Obe Wu - NCTU, TSMC, MTK, Qualcomm - Aaron Du - NTHU, MTK, Spreadtrum, Vicore-Logic, Qualcomm #### **Notes** - 10/14 Overview of CPU Architecture and Design - Taiwan Design Center CPU Team - Lu 成大電機博士 - 高通全球 CPU Team 有哪些 - 6個 site 美印台 3地 - 高階晶片 800系列 主要美國 台灣輔助 - 中階 主要台灣 - 低階 印度 - team work 4 parts - 效能分析 - 架構跟模型 - 設計跟實作 - 什麼是 CPU 效能架構團隊(? What is a CPU Architecture and performance tram? - 負責訂定下一代 CPU spec，預測未來所需規格，負責分析、做模型 - what next product is? 需要定義問題 - is it better than competitor? - if not, why we are inferior? - next, how to improve power, performance, and thermal? - 競爭態勢分析 competitive analysis - 跟其他公司甚至國家比較 - make a systematic analysis method - competitive analysis 了解我們有沒有比較好 - performance issues analysis 為什麼我們沒有比較好 - performance, power, and thermal projection - competitive analysis - fully analysis competitor's CPU micro architecture and architecture - 如何知道蘋果手機的 l1 cache? - performance issue analysis - 確認產品線才比較，比較同量級的對手 - performance projection - how to improve our product? - deep diving benchmark characteristic to do more accurate performance projection - 必須提出合理的 model / benchmark 去說服大家 - performance projection model - 什麼是 memory bound? 讀寫頻率快到一定程度後 L1 cache 會跟不上 - power projection model - 溫度越高漏電流越大，成正相關 - 如何建模的(? - 招人 可能可以收新人 很像研究單位 - skill requirements - computer architecture - micro-architecture modeling - language - Python, C/C++ - Design implementation - 台灣有的單位 - RTL Design Team - Front-End Synthesis Team - Digital Verification Team - Power Team - 只收熟悉 RTL coding 的 - CPU Design 下面再分 2 個 - CPUSS design - system design 韌體 - MM RD Team - RD, Rework and Debug lol - Introduction - Applications on RICA - RICA design tools - RICA on CGRA - SoC implementation on Architecture - Digital Design Flow on RICA - Difficulties and Challenges - Intro - RICA 概念很像是 FPGA，只是使用者可以把演算法實作在 SoC 上面，用 C code 實作即可，不像 FPGA 得寫 RTL code - FPGA 的缺點是其並非軟體可實現的，必須寫 Verilog，更不用提開 ASIC 門檻更高 - RICA 產品應用 - AR VR - CV - ISP with ML accelerator - Multi-sensor applications - Depth Camera (RGB + Depth sensor) & Stereo imaging 我有興趣(! #### **Feedbacks** - 今天書報的主題為 Overview of CPU Architecture Design and Reconfigurable Instruction Cell Array, RICA，有 3 位 講者: Tai-Hua, Obe, 及 Aaron，分別是介紹CPU 架構 team, CPU design implementation team 及 RICA team，其中 Aaron 是邱靜德老師的學生。覺得 CPU 架構 team 跟 RICA team 的工作內容相當有趣。CPU 架構 team是做晶片架構的 high level 分析；RICA team 是做High Level Synthesis (HLS) 硬體，透過 System C 去生成電路的硬體，我是理解成可以吃 C code 的 FPGA。 ## **10/21** ![](https://i.imgur.com/oEPhCYT.png) #### **Topic** - Ultra-low Power AI at the Edge: Making Always-on Sensing a Reality #### **Date & Time** - 2022 / 10 / 21 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 陳有棟 副總 奇景光電 #### **Abstract** - 奇景光電為一個專注於影像顯示處理技術之IC設計公司。本公司係全球顯示器驅動IC與時序控制IC的領先廠商，產品應用於電視、筆記型、桌上型、平板電腦、手機、數位相機、汽車導航以及其他多種消費性電子產品。講者將針對 Ultra-low power AI 之運用與未來發展趨勢做介紹，期與同學們產生共鳴。 #### **Short Bio** - 於2013年加入奇景光電，專長為數位/類比混合信號處理電路及系統設計，超低功耗電路及系統設計，目前負責設計工程中心，主要負責超低功耗邊緣運算晶片及系統開發。 - Eduacation - 成大電機學碩 - Experience - 凌陽科科技 處長 - 我想科技 (鈺創科技) 處長 - 聯陽半導體 資深工程師 - 奇景光電 副總 #### **Notes** - ultra-low power AI at the edge - Agenda - Himax company and products introduction - AI + IoT revolution - Challenges of always-on smart sensing solution - Himax AIoT platform introduction - Always-on sensing applications - 從硬體軟體的角度出發，提出新的方案 - 海馬 Himax - 過去 - display driver 是目前主力產品，如車用顯示面板 - 中期 - 有做先進光學IC開發 - 近期 - 3D sensing, AoS smart sensing - 不是純design house，除了IC也有做IP、做完整產品、做光學元件等等 - 辦公室地點 - 美日韓中美以色列、台灣有台北新竹臺南辦公室 - 在Nasdaq上市，今年是第21年 - “built material” 硬體公司的宿命，一直在做 cost down - how to make hardware S3xy again? - apply AIoT on product, collecting data to improve user experience - S3xy hardware - user experience - hardware as a service - personalization - AI + IoT revolution - 哪些應該放在 edge 哪些應該放在 cloud? - requirements - low power - low latency - privacy - use case in endpoint AI application - vision - 海馬主力是 vision - voice - accelerometer - challenges - low energy consumption - real time performance - NN model deployment - 硬體上 ultra-low power always-on image sensor, ultra-low power AI processor - 軟體上 ML Inference Library - 算法上 Tensorflow Lite for Microcontroller - 1顆鈕扣電池可以撐2週、大小比 raspberry pi 還小 - 公司未來期望能提供系統整合服務，客戶只要提供 data，其他都能自動化處理 - WiseEye - vision/voice/vibration algorithm - ASIC AI processor - CMOS ultra-low power image sensor - Mic - 如何節省功耗? - 搬data、搬weights是AI演算法耗電最多的部分 - 用SRAM為主，因為DRAM, DDR太耗電，大概會高10倍 - near memory computing 設計 - easy to deploy using tensorflow lite micro framework - workflow using tensorflow lite micro - pick a model - optimized and convert, float32 轉 int8 - deploy - open source sw tool chain - integrated with Synopsys embARC MLI optimized kernel - machine learning inference (MLI) optimized library - integrated with Tensorflow Lite Micro - Himax WE-I Plus MCU 網路上就買得到 - 一片開發版台幣2600 #### **Feedbacks** - 今天書報討論的主題為 Ultra-low Power AI at the Edge: Making Always-on Sensing a Reality，是奇景光電 (Himax) 近期的新產品、新研發方向，演講者是奇景光電的陳有棟副總，講者學經歷豐富，成大電機學碩、先後在凌陽、鈺創、聯陽擔任處長及資深工程師，並於2013年加入奇景光電，專長為數位/類比混合信號處理電路及系統設計，超低功耗電路及系統設計，目前負責設計工程中心，主要負責超低功耗邊緣運算晶片及系統開發，超強。演講的內容從奇景的公司及產品介紹開始，含括近期 AI + IoT 演進、Always-On Smart Sensor會遇到的挑戰、奇景 AIoT 開發平台介紹、Always-On Sensing (AoS) 應用。 - 奇景目前的主力產品是 display driver (IC) 如車用顯示面板，但不知道產品跟聯詠在做的有沒有衝突? 也有做先進光學IC及光學元件開發，而近期是在發展3D sensing, AoS Smart Sensing，公司不是純design house，除了IC也有做IP、做完整產品、做光學元件等等。辦公室地點有美、日、韓、中、美、以色列，而台灣在台北、新竹、台南有據點，總部應該是在台南。公司於2001年在Nasdaq上市，今年是邁向第21年。 - 公司發展想避開硬體公司的宿命，也就是 “一直在做 cost down”，為此想從硬體軟體的角度出發，提出新的方案 “how to make hardware S3xy again?” 可以應用 AIoT 於各個產品上蒐集資料以增進使用者體驗。“怎樣是一個 S3xy 的硬體?” 增進使用者體驗、把硬體也作為一種服務(service)、並讓不同使用者有客製化的感覺(personalization)。 - AI + IoT 的演進，有個重要的問題是 “哪些應該放在 edge? 哪些應該放在 cloud?” 而 AIoT 要求低功耗 (low power)、低延遲 (low latency)、及隱私問題 (privacy)。在終端 (endpoint) 常見的 AI 應用需求有 vision (奇景主力是 vision)、voice、跟 accelerometer，會遇到的挑戰有低功耗 (low energy consumption)、實時運算 (real time performance)、及模型佈署 (NN model deployment)。硬體上要能提供極低功耗的影像感測器 (ultra-low power always-on image sensor) 以及對應極低功耗的 AI 處理器 (ultra-low power AI processor)，為什麼是影像? 因為奇景主力是做顯示器IC 的，功耗需要多低，舉例1顆鈕扣電池可以撐2週，且開發版大小比 Raspberry pi 3還要小；軟體上要支援 ML Inference Library，算法上最好能和現有主流深度學習框架兼容，如 Tensorflow Lite for Microcontroller。公司未來期望能夠提供系統整合的服務，客戶只要提供資料，其他都能自動化處理。 - 目前出的產品是 WiseEye，提供現有的 vision/voice/vibration algorithm，主要是 Tensorflow Lite 支援的 pre-trained model、提供一顆 ASIC AI processor 負責相關運算，其實是一顆小型的 AI 加速器，也是現今非常多硬體實驗室在做的題目、提供極低功耗的 CMOS 影像感測器 (CMOS ultra-low power image sensor)，這剛好是奇景的強項、甚至能額外提供麥克風 (Mic)，就看有無此需求。 - 關於功耗的部分，他們研究調查發現搬data或搬weights是AI演算法耗電最多的部分，所以有額外設計硬體去降低搬運資料的耗電量，記憶體是用SRAM為主，因為DRAM或DDR太耗電，大概會高10倍，並採用 near memory computing 設計。應用層是我們寫軟體比較關心的部分，產品有支援 Tensorflow lite micro framework 的佈署流程，硬體有支援 Machine Learning Inference (MLI) optimized library 並跟 Synopsys 的 embARC MLI optimized kernel 整合，且有提供開源的軟體工具 (open source soft-ware tool chain)，但我去他們官方 github 看看，覺得文件跟sample code都有點不足，新手小白或是 maker 很難自己隨便去玩玩看。最終產品是 Himax WE-I Plus MCU 開發版在網路上就買得到，一片開發版台幣 2600 元，其實不貴，跟樹莓派或Arduino比還算有競爭力的價格。 - 課後有留下來討論一下做邊緣計算相關應用的方向及建議，像是如何了解或定義 “edge device” 上應有的算力、記憶體等等，有無一個公訂的標準，做下游應用怎麼知道硬體規格合乎需求? 副總解釋說他們的 github 提供晶片的 emulator 供使用者做測試，且支援 C++ 跟 python 的Tensorflow Lite API，我超級有興趣但上網查還沒看到，可能還沒正式釋出吧? 但他們提供的 SDK 看起來不是很好用，還要再觀望，期待 PyTorch 版本。 ## **10/28** ![](https://i.imgur.com/CajN2ni.png) #### **Topic** - Lifelog Mining and Applications #### **Date & Time** - 2022 / 10 / 28 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 顏安孜 教授 國立交通大學 資訊工程學系 #### **Abstract** - When recalling life experiences, people often forget or confuse life events, which necessitates information recall services. Recently, people are used to recording their life experiences via writing social media posts, taking photos, or filming videos. - In my work, I aim to extract personal life events from social media posts, daily dialogues, and videos. The extracted events are transformed into structured representations for storing in the personal knowledge base. - To support the user query their life experiences over personal knowledge base, a proactive information recall system is constructed. - We use a human-annotated life experience retelling dataset to detect the right time to trigger the information recall service. We propose a pilot model—structured event enhancement network (SEEN) that detects life event inconsistency, additional information in life events, and forgotten events. - A fusing mechanism is also proposed to incorporate event graphs of stories and enhance the textual representations. To explain the need detection results, SEEN simultaneously provides support evidence by selecting the related nodes from the event graph. - Experimental results show that SEEN achieves promising performance in detecting information needs. In addition, the extracted evidence can be served as complementary information to remind users what events they may want to recall. #### **Short Bio** - Dr. An-Zi Yen is currently an Assistant Professor in the Department of Computer Science at National Yang Ming Chiao Tung University. - Her research interests include natural language processing and information retrieval. - Her work has been published in AAAI, SIGIR, WWW, CIKM, and COLING. #### **Notes** - Lifelog Mining and its Applications 生活記錄探勘及其應用 - by An-Zi Yen - azyen@nycu.edu.tw - 研究專長: NLP, ML/DL, Data Mining - Outline - personal knowledge base construction - from world knowledge to personal knowledge - personal life event extraction - proactive information recall - 輔助記憶，重點是 “主動” 是最新的研究，以前已經有做過 “被動” reactive 的版本 - lifelong applications - lifestyle analysis - diet monitoring - memory recall assistance - 在什麼情境下的幫助(? - 如幫助社交上的 memory loss - 也許透過某種 personal knowledge graph - 記憶輔助的構想 - memex = memory + index - by Vannevar Bush in 1945 - what is Lifelogs? - 如日記、部落格、社群軟體 (社交媒體平台) - 從純文字為主、到圖文、到影像為主、除視覺上還甚至有 GPS, heart rate 等等資訊 - 如何以結構化的方式來儲存這些資訊記錄(? - from world knowledge to personal knowledge 概念源自自然語言處理 - world knowledge base - personal knowledge base - 這些knowledge base是整理成graph的形式儲存 - how to use Lifelogs? - extract Lifelogs 如何抽取不同模態的資料 - construct personal knowledge graph 儲存成同類型的個人知識圖譜，如圖片會轉成用文字描述的方式儲存 - recall life experience 適時提醒用戶 - personal knowledge base construction - SIGIR, 2019 - IPM, 2020 - lifelogs in social media - 儲存 head entity 跟 tail entity 跟 relation 加上 time 源自 world knowledge base 概念 - 也可以理解成 subject, predicate, object 跟 time 衍伸的 personal knowledge base - 透過 語言學上的 frame name 去分類 - 使用者表述有分 顯性 explicit 跟 隱性 implicit - 混合自然語言跟圖片資訊去解讀隱含訊息 - 隱性通常會省略動詞 - 設計一系統可以從圖片、影像推理出使用者真正的意思 找動詞 - 蒐集 25344 則中文 tweet 推文 人工標註 - 共 18 名使用者 (2009~2017) - ntnulplab 的 github - mining Lifelogs from multimodal data - mining Lifelogs from vlog - action recognition - 2 個 benchmark dataset - epic-kitchens, first personal - charades, indoor, third personal - low-level event vs high-level event - Computer Vision 著重的點是每一步驟的細節 - 但 memory recall system 在意的是事件的意義 - 舉泡咖啡為例 - CV / NLP 會推理出，步驟一磨豆子，步驟二沖咖啡，步驟三加牛奶... - memory recall system 期望是推理出 "泡拿鐵" - challenge: semantic gap - 現有資料集的資訊或現有自然語言模型能辨識或提取的資訊不符需求 - low-level concept vs high-level concept - low-level info - color, shape, texture, embedding - high-level info - object, scene, description - dataset preparation from lifelog on youtube - 1733 videos collected from 3 selected youtubers ranging from 2016 to 2019 - youtuber 會邊拍影片邊自述在幹嘛 - personal life event 組成 - Lifelog activity - textual argument - visual argument - challenge: visual and textual information mismatch - youtuber的敘述跟當前影像內容對不上 - 怎麼把語言描述 align 的影像資料上 - how to extract life event from TV series? - 電視劇的記錄比較完善，如有字幕、文法是對的、描述精確 - e.g. 取材 the big bang theory, sitcon - 把問句轉成描述句 - mining Lifelogs from daily dialogues - 別人整理好的資料集，有 2 種分類 - task oriented dialogue 有個明確的目的，如訂餐廳訂飯店訂票等等 - human conversation 沒有明確目的，只是閒聊，內容跳痛，個人生活事件豐富 - ntnulplab/Lifelog-Dialog - proactive information recall - SEEN: Structured Event Enhancement Network, EMNLP, 2022 - SEEN network 的應用目標 - 提醒、修正、更新 - 微軟的 hippocorpus 資料集 - pre-retold story and post-retold story - 從具體描述變成某種大致正確的模糊想法 - event type annotation - 事件的格式，把句子先預處理標成 subject predicate 跟 object - pre-retold - unforgotten - forgotten - post-retold - consistent - inconsistent - additional - event type vs NLI (Natural Language Inference) - 在意的是 “整體是對的，但細節上不一致” 比 NLI 更難 - ntnulplab/SEEN - data analysis - 為什麼需要這個服務 - 遺忘跟年齡沒有絕對關係，但是是統計上的意義 - task definition - event type identification - 判斷描述一不一致，pre-跟post-會輪流作為reference - support evidence extraction - 先判斷遺忘不遺忘後，得提取出證據來幫助回想 - model structure - transformer based model 做第一步資料提取，需要能吃大量文字資料的模型 e.g. longformer 或 Bert - coreference resolution 跟 super node insertion (GCN的常見手法) - node feature construction + self attention 輸入到 GNN layer - 一層 fusion layer 做圖文資訊整合，從 textual encoder 跟 graph encoder 的輸出取第一位慢慢融合在一起，用 GeLU 激活 - fusion layer 是一個單層的 前饋神經網路 做資訊融合 - 輸出先接 2 個分類器 跟 1 個 evidence extractor - ablation study - 測試 event graph 等等機制是不是真的有效 - NLI analysis - pre-trained 在 NLI 上有沒有幫助(? 其實沒什麼用 - metric 是 overall, consistent, inconsistent, additional, unforgotten, forgotten - vision API 是以第三人稱直接描述細節事件 - 希望未來是能做到直接生第一人稱的敘述 #### **Feedbacks** - 今天書報討論的主題為 Lifelog Mining and its Applications 生活記錄探勘及其應用，講者是交大資工系的顏安孜教授 (Prof. An-Zi Yen)，研究領域跟專長有自然語言處理 (Natural Language Processing, NLP)，機器學習/深度學習 (ML/DL)，跟資料探勘 (Data Mining) 等等。 - 老師的氣質給人一種心態年輕、個性又可愛的感覺，整體演講的氛圍跟節奏很讚，非常有趣的學術報告且是報告近期最新的成果，相信能帶給大家一點提示與警醒。利用高深的深度學習、資料探勘及軟體工程技術去做一個乍聽之下很不學術的學術研究且又做得很厲害這點，馬上讓人聯想到也是通訊所的李祈鈞教授。 - 高深的深度學習像是自然語言處理，NLP 常會用到大型語言模型如 2018 年的 BERT, 2020 年的 Longformer 等等，模型又大又複雜且實驗室電腦/伺服器不夠強不要說 pretrain 連 fine-tuning 都跑不動。 - 資料探勘的部分要先從網路上大量爬資料、累積足夠大的資料量基數，初步探勘出符合需求的資料，如必須能保留 temporal feature，還要轉換成統一文字格式，再來是人工做 high-level 的 semantic labeling 並建立對應的 personal knowledge graph，還要做 coreference resolution 跟 super node insertion，這兩個 GCN 上的常見手法，至此可能才稍微算是準備好訓練資料，很好奇是如何以結構化的方式來儲存這些資訊記錄? - 這樣的爬蟲算法雖然技術上不是非常困難但光想就覺得真的超級麻煩，要爬異質結構的資料如日記純文字為主、部落格有圖有文、社群軟體又有像是部落格、粉專的 Facebook 或圖片影像為主的 IG，除視覺上還甚至有 GPS 位置資訊、呼吸心率生理數據....等等，也很好奇是如何抽取不同模態的資料? - 儲存成同類型的個人知識圖譜，如圖片會轉成用文字描述的方式儲存，如利用微軟的 vision API 直接轉換圖片成文字，但 automatic labeling 得到的會是偏向 Natural Language Inference (NLI) 風格的標籤，這又跟所需的 semantic label 稍有一些差別，整個又是大工程。 - 建立這個大系統的整個過程都牽涉較深的軟體工程技術，不然光是要把東西串起來大概光相容性 debug 就飽了，很好奇這些開發過程大概需要多少人手、耗時多久累積下來的。 - 唯一小失望是老師給的 github repo link 已經失效了!! ## **11/03** ![](https://i.imgur.com/W0InQRa.jpg) #### **Topic** - Classifying Shark Behavior in Time and Frequency Domain using CNN and RNN #### **Date & Time** - 2022 / 11 / 03 (Tue) 14:00~16:00 #### **Location** - Delta Building R304 #### **Speaker** - Prof. Hen-Geul Yeh, California State University, Long Beach, CA, USA #### **Abstract** - This paper uses accelerometer data from California horn sharks obtained from the Shark Lab at California State University, Long Beach, (CSULB) to create a behavior classifier using deep convolutional neural networks (CNN) and recurrent neural networks (RNN). The data consists of motion samples in six degrees of freedom, which were visually observed and classified into four categories: feeding, swimming, resting, and nondeterministic motion (NDM). We process 2-, 5-, and 10-seconds snapshots in the time and frequency domains, which are fed into the neural network’s toolbox to train classifiers. It is observed that the performance of both models is drastically improved when the frequency domain data is applied in the deep neural network. #### **Biography** - Hen-Geul Yeh (SM’82) received the B.S. degree in engineering science from National Chen Kung University, Taiwan, ROC (1978), and the M.S. degree in mechanical engineering (1979) and the Ph.D. degree in electrical engineering from the University of California, Irvine (1982), respectively. - Since 1983, he has been with the Electrical Engineering department at California State University, Long Beach (CSULB), USA, and served as the department Chair from 2016 to 2022. - Dr. Yeh is the recipient of IEEE R6 Outstanding Engineering Educator Award for outstanding contribution to the education of electrical engineers in the areas of DSP, Green Energy, and smart systems in 2019, seven US patents and applications. Since 2010, he has served as the Founder and Chair of IEEE Green Energy and Smart Systems Conference (IGESSC). ## **11/04** ![](https://i.imgur.com/BuQGEc6.png) #### **Topic** - Joint Transceiver and Intelligent Reflecting Surface Design for mmWave Massive MIMO Systems #### **Date & Time** - 2022 / 11 / 04 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 陳榮杰 教授 國立成功大學 電機工程學系 #### **Abstract** - This study aims to maximize the **spectral efficiency** of an intelligent reflecting surface (IRS)‐assisted hybrid millimeter‐wave massive multiple‐input–multiple‐output system by jointly optimizing the hybrid precoding at the base station, hybrid combining at the user equipment, and reflecting beamforming at the IRS, where the reflecting beamforming and analog precoding/combining are implemented with finite‐resolution phase shifters. - This joint design problem can be decoupled into reflecting beamforming and hybrid precoding/combining design problems. However, such a decoupled approach experiences difficulties in solving the reflecting beamforming design problem. - A known solution further reformulates the reflecting beamforming design problem into a more tractable problem addressed by a Riemannian manifold optimization (RMO)‐based algorithm. However, the application of the RMO‐based algorithm to solve the reformulated problem may lead to performance degradation given that the reformulated problem differs from the original one. - Moreover, the RMO‐based algorithm is tailored for the IRS with infinite‐resolution phase shifters rather than practical finite‐resolution phase shifters. Furthermore, the complexity of the RMO‐based algorithm remains high. - Therefore, we propose two coordinate descent method‐based algorithms to tackle these issues. Simulation results demonstrate the effectiveness of the proposed algorithms compared with the state‐ of‐the‐art RMO‐based algorithm. #### **Short Bio** - Jung‐Chieh Chen (陳榮杰) received the B.S. degree in electrical engineering from the Tatung Institute of Technology, Taipei, Taiwan, the M.S. degree in electrical engineering from National Chung Cheng University, Chiayi, Taiwan, and the Ph.D. degree in communications engineering from National Tsing Hua University, Hsinchu, Taiwan. - He joined National Kaohsiung Normal University, Kaohsiung, Taiwan, as an Assistant Professor in August 2005. He was promoted as an Associate Professor and a Full Professor in March 2009 snd March 2012, respectively. - Since February 2022, he has been a Full Professor with the Department of Electrical Engineering at National Cheng Kung University, Tainan, Taiwan. - His research interests include wireless communication systems, radio resource management, stochastic optimization methods, and signal processing for communications. - Prof. Chen currently serves as an Editor for the IEEE Transactions on Vehicular Technology and the IEEE Wireless Communications Letters. He is also an Associate Editor for the IET Signal Processing. He is currently the Chair of the Tainan Chapter for the IEEE Communications Society. #### **Notes** - joint transceiver and IRS design for mmWave massive MIMO systems - 成大電機系電通所 陳榮杰教授 - 2005 年清大通訊博班畢業 - outline - hybrid beamforming for mmWave massive MIMO systems - motivation and hybrid beamforming - system model - manifold optimization - motivation - RF chain - 基本上看成是 一個 ADC + OP amp - 缺點是高成本 高功率消耗 - 且 digital beamforming 所需的 RF chain 數量會呈指數型成長 - joint Tx and RIS design for mmWave massive MIMO systems - other RIS based works - multiple antenna multiple user 超難 - 也許可以考慮 RIS + amp 但有不是真的考慮 amp 不然就是 relay 了 - 如何讓 RIS 板子變大但成本不要加太高，方法是可以一次只讓部分元件啟動，但如何決定要讓誰啟動(? 啟動即給一點功率(放大) - system model得考慮 active mode 跟 passive model，主動會造成 noise 也被放大 - 考慮 點對點的 hybrid beamforming design - Tx 小的 digital precoding + 大的 analog precoding = beamforer (phase shifter) - Rx 即反過來 - Riemann manifold optimization, RMO - 可以應用在解 constant modulous constraint problem - 著重 step size $\mu$ 的設計，可以以數學解或用 DL-based method 去找 step size - 缺點是 迭代次數很高 - 分別解 2 個 objective function 可以算是 joint design 嗎(? - 交替最佳化的精神 - 很難知道迭代或交替計算最後會不會收斂，很難證明 - 假設找出 digital beamforming 如何找出對應的 hybrid beamforming? - proposed method, GP algorithm - gradient projection based alternating minimization algorithm for hybrid beamforming design, 2019, IEEE communication letters - RIS - passive 沒有放大器 就不會有雜訊放大的問題 - 也不需要ADC成本更低 - 用 diode 跟 phase shifter 組成 - 跟 hybrid beamforming 一樣只考慮 phase - 移相器得考慮 finite solution - solution跟power呈指數關係 且RIS相位設計的複雜度太高 - high resolution 對應的是 super high power (指數關係) - 得考慮 RIS 相位的 constraint 如離散相位 - RIS 解析度極低 如 1、2-bit 而已 - two stages? - 先做 fully digital beamforming - 利用 mmwave 稀疏性特徵 (假設) 簡化問題 - 本質上是設計 RIS 的相位 - 然後可以反推剩餘的 precoder 跟 combiner - coordinate descent method, CDM based framework - 一次解一個變數 感覺很像是 greedy - 變成 一維 的暴力搜索 1D ESA Algorithm 又因為只有 1、2-bit所以可以很快搜出來 複雜度其實算低 - modified CDM algorithm - 想要找出各次 updates 之間有沒有什麼關聯 透過避免重複計算降低複雜度(? 像是某種 Dynamic Programming? - 發現其實可以不用每次都 update 很多參數不需要時時更新 reuse weights? - RIS元件數跟複雜度降低倍數成正比 e.g. N個element 複雜度降低N倍 - RMO 會大幅受 real resolution 影響 - 演算法收斂性怎麼證明(? 必須是 Convex - 透過考慮 channel estimation error 也就是考慮 AoA, DoA 有一個 uniform distribution 的 error $\epsilon$ 即存在一個 $\{-\epsilon, \epsilon\}$ 分布的 error，至少要呈現自己的方法跟其他方法有一樣的 decay 趨勢、不會整個 crash 掉就好 - 老師可以推演算法的 Big-O 複雜度，超強 #### **Feedbacks** - 今天書報討論的主題為 Joint Transceiver and Intelligent Reflecting Surface Design for mmWave Massive MIMO Systems，講者是成大電機的陳榮杰教授，老師是 2005 年清大通訊第一屆博班畢業，以前是在高師電機(光電與通訊工程)學系任教，報告的論文是老師近期第一線做研究的成果，覺得升上教授後還在第一線做研究、自己寫論文、課又教得很好，真的非常難能可貴，可惜陳老師不是來清大，但有光浩來也超讚的。 - 演講內容大致分 3 個部分，一是相關背景知識 hybrid beamforming for mmWave massive MIMO systems, motivation, system model, manifold optimization，二是怎麼設計 joint Tx and RIS design for mmWave massive MIMO systems，三是其他非主流 RIS 相關研究。 - 老師演講的節奏跟重點呈現都超讚的，很可以想像老師的課會超讚、在老師底下做研究應該也超讚。在書報結束後的問問題、聊天環節時，老師說因為底下沒有人手、外加對 DL-based Optimization Methods 沒有時間去深入了解跟實際去 tune 演算法，所以目前解法都是以傳統數學最佳化方法為主。我有問 2 個問題，一是這樣分別解 2 個 objective function 可以算是一種 joint design 嗎? 可以，有一篇發在頂會 citation 很高的論文有推導說明這個方法，因為之前學長的研究也是採取先設計 digital beamforming 再設計對應的 hybrid beamforming，結果就被口委質疑說這樣哪能算是 joint design 或 hybrid? 二是先求 digital 再求 analog 的過程有必要一直迭代求得一個收斂結果嗎? 問題是其實我們沒辦法知道這樣算最終會不會收斂，這個問題目前無解，我們無從得知，會問這個問題一樣是因為之前學長口試被問說為什麼只算一次最佳化? 怎麼不迭代一直算直到收斂? - 因為實驗室也有在做用 hybrid beamforming 且有數學解也有 learning-based 的解，也是解某種 Manifold Optimization 的問題，只是是用 deep unfolding 的方法，所以對這個報告主題有種相當熟悉的感覺，且陳老師提供的建議比指導老師還有用。 ## **11/11** ![](https://i.imgur.com/SfinYCR.png) #### **Topic** - 全球 5G 市場發展趨勢及應用 #### **Date & Time** - 2022 / 11 / 11 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 李冠佑 副理 安立知股份有限公司 #### **Abstract** - 2022 年 5G 已經如火如荼的商業化，透過這次演講，會對於市場趨勢的作簡略的介紹，並針對 5G 特有的特性以及生活中常見的應用介紹說明。 #### **Short Bio** - 國立交通大學電信工程學系碩士 - Qisda 佳世達科技 通訊協議軟體工程師 - Anritsu 安立知 業務暨技術支援部 技術副理 #### **Notes** - 11/11 全球5G市場發展趨勢與應用 - 業務暨技術支援部 FAE - 李冠佑 Eric Lee 副理 - 高階通訊量測儀器、震盪器、synthesizer、oscillator? - Background - 手機 通訊協定軟體工程師 SW - 通訊相關部門通常分成 射頻 跟 協議 - 日商 Anritsu 通訊量測儀器設備商 FAE - 分成 pre-sales 跟 post-sales - 售前提供目前及未來可能產品 - 售後有產品支援、使用教學 - What's 5G? - 日本內政部的廣告影片 - Evolution of Mobile Communication - 1G - 語音 voice - 2G - 簡訊 text message - 3G - 網路 cellular network (not wifi) - 圖像 image - 影片 video - 4G - 非手機周邊產品能聯網 如平板 (wifi and cellular network) - 5G - URLLC 1ms latency - eMBB 5~20 Gbps - mMTC $10^6$ devices per $km^2$ - 5G New Radio 不會同時支援這3點 - 如 router, wifi AP 需要 eMBB，手機基於耗電問題其實不需要 - 如 自駕車系統 需要 URLLC 可靠度 低延遲 - 如 物聯網、邊緣計算系統 需要 mMTC - 5G Release Standard Overview - Release 15~18 - R15 從 eMBB 開始 - R16 改進 eMBB 頻段問題 - 分 licensed 跟 unlicensed band - IIOT/NPN、NR sidelink for automotive - R17 今年2022年中的 spec 大致訂定下來 - NR NTN 低軌道衛星通訊 - VR/XR - R18 是2022年末開始討論 - 比較特別的有 UAV、AI - 平均每個 release 會持續討論 1年半左右 - Market Status Update - 通常分 美、日韓中、歐 - Spec 已經出到 R18 但截至 2023年 美國才剛把 R16 商用化 - Key Technology of 5G - Frequency - FR1 410MHz - 7.125 GHz - FR2-1 24.25GHz - 52.6 GHz - FR2-2 52.6GHz - 71GHz - 其他往上到 100GHz 都是 5G 的預備頻段但還沒被規範 - 4G 是到 6GHz - 5G 是 6GHz 到 100GHz 左右 - licensed-band 會在 spec 訂定的時候就規範清楚，不會更動的 - Supplementary Uplink - uplink 打較低頻率、downlink 打較高頻率 以達到相同 coverage - Voice Related Services - NSA service - VoLTE - SA service - EPS Full Back - SA service - VoNR 最終目標 - Public Warning System - 通常法規會要求要支援 - CMAS / ETWS - 5G 相關考慮點 - low latency - reliability - peek data rate - coverage - low complexity - power saving - 5G 相關方案 - eMBB - URLLC - LTE-m - NB IoT 極低複雜度方案 - RedCap 中庸版本方案 - Local 5G / Private 5G - 不是電信業者提供的 5G 服務稱為 private 5G 如企業專網、特殊應用 (農林漁牧、災害預防、娛樂系統)、針對特別小部分客群、範圍大於wifi 但小於公共網路 (工廠、產線) - network slicing 技術，透過通訊協定去切割資源 - 跟 wifi 不一樣的是，wifi 是 data packet 的機制，幾乎沒有客製化的空間，沒辦法有太多控制 - 政府會特別保留頻段 - 如日本規範 4.6GHz - 4.9GHz 為 private 5G - ORAN, Open Radio Access Network - 標頻段成本、部署對應頻段的硬體設備成本 - 3G 一開始分散式部建 連上 RNC (Radio Network Controller) - 4G 整合成 中心化的 eNB 再分 BBU 跟 RRH - 5G 變成 ORAN，5G 之前是電信業者提供 total solution 中間任何設備都無法更換 - ORAN把 gNB 分成 O-CU, O-DU, O-RU，台灣大宗在做 RU - O-RU 是 實體層 (phy-low) + RF - O-DU 是 實體層 (phy-high)，訊號調變解調是 DU 負責 - O-CU - NTN, Non Terrestrial Network - 聯發科有實驗室等級手機連衛星 - T-Mobile 有跟 starlink 合作提供衛星聯網 - 衛星通訊 - GEO / MEO - 衛星太高 對應延遲大 - LEO / VLEO - 500~2000公里以內算是低軌道衛星，成本極高 只能使用3、5年 - HAPs - 高空載具 - LAPs - 無人機載具 - 挑戰 - 天線設計 - strong Doppler effect - 成本要可接受，要能跟現有的商用技術競爭 - 目前只能存在於完全無一般通訊服務的市場，如救災 - 衛星通訊應用 - relay 目前大宗 - BS - backhaul - V2X, Vehicle to Everything - 主要考量 - packet rate - communication range - Reliable Communication - everyone - everywhere - 如 tunnel - different generations - 現在的車跟未來的自駕車相容 - scalability - 對抗 congestion - 兩大陣營 - DSRC 是 IEEE 802.11p 支援，所有網路設備都要重新部建，屬 IEEE 旗下 - C-V2X 是延用 4G LTE 跟 5G 設備，屬 3GPP 旗下 - eCall, Emergency Call - 車用，當車禍發生時自動抓取 GPS 訊號，自動撥通電話通知 - emergency call - provisioning - emergency call center - quicker help - 6G requirements - 前 4 在5G已經有考慮到 - extreme high data rate / capacity - extreme low latency - extreme high reliability - extreme massive connectivity - 後 2 是新一點點的 - extreme coverage - extreme low energy and cost - 大致在 2024年後才會開始討論 6G spec #### **Feedbacks** - 今天書報討論的主題為全球5G市場發展趨勢與應用，講者是安立知 (Anritsu) 業務暨技術支援部的李冠佑 (Eric Lee) 副理，Anritsu是日本的高階通訊量測儀器設備商，講者是交大電信碩畢，之前曾在佳世達科技 (Qisda) 手機部門擔任通訊協定軟體工程師，手機(無線)通訊相關部門通常分成射頻 (RF) 跟 協議 (Protocol)，現在在日商Anritsu 做FAE，有分成 pre-sales 跟 post-sales，售前提供目前及未來可能產品、售後有產品支援、使用教學等等。 - 覺得講者的報告很讚，雖然都在分享一些規範規定、有點記憶性的內容但又不會讓人覺得想睡，且語速剛好能讓我把重點記錄下來。比較喜歡這種不是非常深入切入某個主題的演講，如果研究做得題目不是非常相關、或講者沒有講得很好的話根本很難有什麼收穫，像這次講者簡單分享各個 spec 的規範跟重點的話，給大家一個 5G / 6G 的全局觀，這樣我們就不用自己讀一堆 spec 再慢慢累積獨到觀點，可以馬上有一個從設備商角度出發的見解。 ## **11/18** ![](https://i.imgur.com/BQywbkC.png) #### **Topic** - 毫米波積體電路用於波束成形 天線之使用設計、控制與測試 #### **Date & Time** - 2022 / 11 / 18 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 柯宣仲 資深研發經理 - 李貿勳 副課長 技術工程支援 #### **Abstract** - 2022年5G已經如火如荼的商業化，透過這次演講，會對於市場趨勢的作簡略的介紹，並針對5G特有的特性以及生活中常見的應用介紹說明。希望透過影片與簡介的方式，能讓同學對於5G相關應用有更廣的了解。 #### **Short Bio** - 無線通訊業界十年相關工作經歷，精通3G/4G/5G 通訊協議與國際相關認證，內部與外部企業相關訓練與演講超過百場 - 國立交通大學電信工程學系碩士 (2010.9-2012.6) - Qisda 佳世達科技 通訊協議軟體工程師 (2012.9-2015.8) - Anritsu 安立知 業務暨技術支援部 技術副理 (2015.9-至今) #### **Feedbacks** - 今天書報討論的主題為毫米波積體電路用於波束成形天線之使用設計、控制與測試，講者有2位，分別是耀睿科技的柯宣仲資深研發經理以及李貿勳副課長，從公司業務介紹聽起來主要是提供5G相關技術檢測及分析服務 O-RAN Based Product Testing，應該可以算是測試廠? 跟上週書報的 5G spec 主題契合度很高，這週聽起來有種很熟悉的感覺。服務項目有 O-RU,O-DU,O-CU Conformance Test、Interoperability Test、End-to-End System Test、Performance Test和基本的壓力測試，主力產品有DYnamic Spectrum Environment Emulator (DYSE), Sim4Life 生醫電磁波模擬軟體等等。公司 2021 年才成立相當新，又新創又測試廠感覺人會滿難找的。 ## **11/25** ![](https://i.imgur.com/1cFta4W.png) #### **Topic** - CODE-iOS : Convex Optimization and Deep Learning-Based Imaging for Optical Satellite #### **Date & Time** - 2022 / 11 / 25 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 國立成功大學 電機工程學系 林家祥 教授 #### **Abstract** - Convex optimization (CO) and deep learning (DE) are the most powerful/popular theoretical frameworks for solving inverse problems. - However, CO often induces a math-heavy optimization procedure, which is a daunting task for most software developers. - Also, DE usually requires collecting big data, quite expensive or even unavailable. - Motivating by these facts, we invent a new inverse imaging theoretical framework, termed CODE. - CODE, as its name suggested, blends the advantages of CO and DE, thereby allowing us to solve challenging inverse problems using just small data and regularizers of very simple math form. - We bridge CO and DE using the so-called Q-quadratic norm—a simple convex regularizer for extracting key features embedded in a weak DE solution learned from small data (or even single data). - The radically new CODE theory achieves state-of-the-art performance in reconstructing NASA's highly damaged hyperspectral satellite images. If time permits, I will also share our recent research results about quantum satellite image processing. #### **Short Bio** - 林家祥副教授2010於清大電機系取得學士學位、2016於清大通訊所取得博士學位。 - 現由成大電機系主聘、敏求智慧運算學院合聘。 - 曾於香港中文大學(2014)、美國維吉尼亞理工(2015-2016)、葡萄牙里斯本大學(2017-2018)、中央大學太空遙測中心(2018)，鑽研通訊、生醫、太空領域之研究，近期研究領域涵蓋凸優化、盲訊號處理、深度學習、衛星遙測、量子影像處理。 - 曾榮獲五年期(2018-2023)科技部「愛因斯坦計畫」、2020 IEEE地科與遙測學會「Prize Paper Award」、2021科技部電信學門計畫執行成果「特優獎」、2021 IEEE Tainan Section「最佳年輕學者獎」、2022國家科學及技術委員會「FutureTech Award」（未來科技獎）、2022中國電機工程學會「優秀青年電機工程師獎」。 #### **Notes** - 11/25 CODE-iOS, Convex Optimization and Deep Learning based Imaging for Optical Satellite - 講者 成大電機系 林家祥教授 - 2016年 清大通訊所博士畢業 指導老師是祈老師 - 研究專長含括通訊、生醫、太空領域，凸優化、衛星遙測、深度學習 - CO 優點是不用大數據、缺點是需要很多數學 - DL 優點是不用太多數學、缺點是需要大數據 - 結合二者得到的結果是可以避開大數據、甚至是 single data，但又不需要太多數學 - iOS 光學衛星成像 - hyperspectral image 高光圖，有可見光跟不可見光 共 242 個頻段，不像 RGB 只有 3 個 - 除可見光外，其他頻段的頻譜可以變成物體的指紋、還可以辨識空間分布 - Optical Satellite P1 解析度問題，一個 pixel 最佳的解析度是 30公尺 x 30公尺，需要能把模糊的東西分開，即 blind source separation - 類似研究，雞尾酒會問題，這裡統稱為 蒙蔽訊號源問題，blind的意思是沒有 dataset 可以學習，必須利用全非監督式學習的方式，計算資源有限 - Optical Satellite P2 影像超解析 Image Super-Resolution - Optical Satellite P3 Hyperspectral Inpainting，常見是條狀遺失 dense stripes, serious stripes，有數學上的結構性，如自相關性。怎麼知道補回來的結果是對的，可以用數學驗證 - Optical Satellite P4 Hyperspectral Compressed Sensing，現在的衛星趨勢是微型化、星鍊(沒有儲存設備)，能否在已經壓縮的影像上做訊號處理並直接傳送結果，能否直接直接拍出壓縮檔 - Metagrating 超穎材料，用奈米元件製成的天線，期望用2D材料做出分光鏡、凸透鏡 - 材料設計的排列問題可以形塑成一個離散的最佳化問題 - 為什麼要2維(? 因為微型衛星、大小很小，硬體資源很有限 - 目前已經可以用 2D超穎材料 做beamformer - 壓縮倍數可以 lossless 壓 100倍 - Magic? There is no magic. There is only knowledge, more or less hidden - No deep learning, No Adam - No big data - No small data - everything is achieved by single data - 只用最佳化、純數學理論 - Basic? Convex Optimization - 函數是凸函數，且值域是凸集 - 什麼是最佳化(? 目標函數跟限制 - ADMM Optimizer 數學對工程師來講有點太難 - ref. Convex Optimization for Signal Processing and Communication - in convex optimization, the math is often too heavy - Adam Optimizer, simple operator, proposed by Dr. Diederik Kingma (Google Brian) in 2014 - 能否合併二者得到一個中庸解法 - 衛星反演成像之小數據凸深度學習 - Motivation，在 複雜的數學 跟 大數據蒐集 中間取得平衡 - CODE 理論框架，small data 經 Adam Optimizer (深度學習) 得到一個 weak DE solution (裡面可能已經提取出一些重要資訊)，接著用 ADMM Optimizer (凸優化) 得到 recovered image - 引入 Q-quadratic norm 的設計，在 l2-norm 中間塞一個 半正定矩陣，Q matrix 唯一限制是必須是 半正定，Q怎麼找是個問題 - simple math 得到 fast algorithm - no big data collection required - SOTA Performance - 補充說明 - GAN from Game Theory - CODE 附加優勢，學生(軟體工程師)不需要進階深度學習背景 - CO 絕對優勢，通常只需要單一數據，能否突破 - from small data to single data vis DIP - DIP, Deep Image Prior - Regularizer 調節項 用深度學習表示 - 發想是 把一個隨機雜訊 丟入 decoder 得到還原影像 - image optimization problem 是原來 regularizer 問題 - 假設 可以等效成 network parameters optimization problem - CODE 理論的一般性，interdisplinary application - 測試在下面 5 種領域的效果 - geometrics, dynamic multispectral mangrove imaging - statistics, - optics, - remote sensing, - image processing, - 重點還是最佳化，最佳化是個基礎的工具 - 最佳化的其他研究，基因調控網路分析、超穎介面、量子小數據深度學習 - 為什麼深度學習需要小數據、為什麼需要跟量子計算結合 - 目前 IBM 實驗室比較成熟的量子電腦只支援 80 個 quantum bit (Qubits)，中間的量子態是無法讀取的，只要讀取就會崩塌，如何解決量子態崩塌跟量子糾纏的問題 #### **Feedbacks** - 今天書報討論的主題為 CODE-iOS: Convex Optimization and Deep Learning-Based Imaging for Optical Satellite，講者是成大電機系的林家祥教授，研究專長含括通訊、生醫、太空領域、凸優化、衛星遙測、深度學習等等，老師是 2016年從清大通訊所博士畢業，指導教授是祈老師，畢竟專長是凸優化跟數學。凸優化的優點是不用大數據、只需少量訓練資料甚至單一比資料即可，缺點是需要很多數學，對學生或工程師來說使用門檻比較高；深度學習的優點是不用太多數學，或數學概念較簡單易懂，缺點是需要大數據、大量訓練資料才可能有好的效果，林教授這次的成果即結合二者，既可以避開大數據、甚至是只需單一數據，也不需要太多太複雜的數學就能達到相當好的效果。目前主要是應用在光學衛星成像 (IOS, Imaging for Optical Satellite) 上面，但可以推斷這個方法有他的一般性，未來可應用範圍應該很廣。 - 上次碰到林教授是在成大電通所面試的時候，老師那關是考機率，總共 3 題，分別是機率為1是否一定會發生、蒙提霍爾問題、布豐投針問題。老師的研究感覺非常厲害、真的是做很前沿的尖端研究，反觀通訊所或光是看自己的實驗室，我們做的感覺都是一些搬不上檯面、只是為了發論文而做的題目，即使做得很辛苦、投得上 ICC, Globecom 但感覺不出來有什麼實質貢獻、或解了什麼重要的問題，感覺每次聽書報都覺得 “好像其他學校的教授或實驗室的研究都做得比較好”。 ## **12/02** ![](https://i.imgur.com/UTvDItD.png) #### **Topic** - Physical Beam Sharing with Applications over Low Earth Orbit Satellite Communications #### **Date & Time** - 2022 / 12 / 02 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 國立陽明交通大學 電機工程學系 蔡尚澕 教授 #### **Abstract** - Physical (analog) beamforming plays important roles to overcome severe path-loss in millimeter wave (mmWave) communications in the 5G and incoming 6G communications systems. - We have proposed a new new beam sharing scheme that uses few RF chains to support more users. The feasibility of this new beam sharing scheme have been verified via over-the-air (OTA) experiments using a 28 GHz mmWave platform, which consists of an 8x8 uniform planar array (UPA). - In this talk, we will introduce the applications of this new beam sharing scheme to the Low Orbit (LEO) Satellite Communications. - In the first part of this talk, the proposed beam sharing scheme will be reviewed. - Then, in the second part of this talk, the corresponding beamforming designs for the LEO communications as well as the emulation using practical LEO ground tracks will be provided. #### **Short Bio** - Shang-Ho (Lawrence) Tsai received the Ph.D. degree in electrical engineering from the University of Southern California (USC), USA, in August 2005. - From June 1999 to July 2002, he was with Silicon Integrated Systems Corporation (SiS), where he participated the VLSI design for DMT-ADSL systems. - From September 2005 to January 2007, he was with MediaTek Inc. (MTK) participating in the VLSI design for MIMO-OFDM systems and standard specifications for IEEE 802.11n. - Since February 2007, he has been with the Department of Electrical Engineering, National Chiao Tung University (now National Yang Ming Chiao Tung University), where he is currently a Professor. - From June 2013 to December 2013, he was a Visiting Fellow with the Department of Electrical Engineering, Princeton University. - His research interests are in the areas of signal processing for communications, statistical signal processing, and machine learning. - He was in the Editorial Board of IEEE SigPort in 2018-2020. - He is an Editor of APSIPA Transactions on Signal and Information Processing since 2022. - He is in the Signal Processing for Communications and Networking Technical Committee (SPCOM TC) of IEEE Signal Processing Society in 2023-2025. - Dr. Tsai was awarded a Government Scholarship for Overseas Study from the Ministry of Education, Taiwan, from 2002 to 2005. He was awarded the Micron Teacher Award in 2018. He is a distinguished lecturer in the APSIPA in 2022-2023. #### **Notes** - 12/02 physical beam sharing with applications over low earth orbit satellite communication - ref. Physical Beam Sharing Multiuser System: Beamforming Design and OTA Testing, IEEE Transaction on Wireless Communication, Aug. 2022 - 蔡尚華 教授 - NYCU CaSIC Lab - 南加大博士 - 聯發科任職、交大任教 - part I intro to physical beam sharing in mmwave communication - motivation and goal - system model - problem formulation - MISO solution - MIMO solution - simulation results - OTA experiment over 28GHz mmwave UPA array - part II physical beam sharing with applications in LEO communications - motivation and goal - system model - problem formulation - proposed solution - simulation results - conclusion - motivation and goal - hybrid precoding was proposed to reduce hardware cost - 雖然能減少 RF chain 數量，但所需數量還是大於使用者數 - 實際上不是 Interference-free 還是會有干擾，需要處理 multi-user inference - 想法: - one RF chain for multiple streams or users - 傳統解法: - CEP, Constant Envelope Precoding - Joint Constellation Design - 疑問: - can we use only one RF chain to form multiple beams simultaneously for multiple users? - system model of the proposed system - 因為只有一個 陣列天線，所以所有 beam 共用一個 RF/analog precoder F，自由度較小，digital precoder B 可以各個 beam 自己決定，自由度較大 - design precoder 有分 2 種 - high SNR regime - low SNR regime, low SNR 比較簡單 - high SNR 又再分 2 種 - two-user - multiuser，其中 two-user 可以找到 closed form 的解 - 正交假設：當陣列天線數夠大的時候，也就是分得夠細，各個天線 form 的 beam 會正交 - NOMA system - 在 Rx 端需要 SIC - 但什麼是 SIC? SIC, Successive Inteference Cancellation - 且 NOMA system 會有 fairness 的問題 - 即使 2 個 user 離很近，分到的功率也不一樣，會有 strong user 跟 weak user 的問題 - 用 beam sweep 去找 user 所在的角度 - EVM measurements 來測 user 收到訊號強弱好壞 - physical beam sharing with applications in LEO communications - motivation 1: bad weather blocks transmission - ITU-R p.618 has modeled the attenuation for communications between earth and space - attenuation can be up to 42dB - motivation 2: conventional dedicated beam needs multiple RF chain to support multiple data streams for each user with LOS channels - 在 LEO comm 有 LOS 的情況下，一個 RF chain 只能支援一個 data stream - motivation 3: nowadays space communications with multiple satellites are very common - problem formulation issues - maximize sum rate - minimize power consumption - conclusion - proposed a new beam sharing scheme and its applications in mmwave and LEO communications - OTA verification - built a practical ground track of LEO satellites passing through the middle of Taipei 101 and NYCU - 推廣 - APSIPA 協會，有別於 IEEE - trade-off - beam sharing 問題，power 比較弱、是在頻域上分 user 所以其實沒有用到所有頻帶 #### **Feedbacks** - 今天書報討論的主題為 Physical Beam Sharing with Applications Over Low Earth Orbit Satellite Communications，講者是交大電機系的蔡尚華教授，老師學歷顯赫是南加大博士，先在聯發科任職一段時間後才回交大任教。Physical Beam Sharing 這個主題我去年有旁聽過一次，上次聽的時候論文才剛投出去，現在是已經刊在 IEEE TWC 上了。演講的節奏有點慢但又不是講得很清楚，感覺可以再多帶一點基礎的內容，畢竟不是每個同學都很熟 hybrid beamforming，會的人當複習；不會的當科普，做beamforming 設計的也不一定看過真的 beamforming 實驗架設，總得還說還是覺得滿有趣的。 ## **12/09** ![](https://i.imgur.com/QC0bk7m.png) #### **Topic** - 大腦的RAM-工作記憶 (The Brain's RAM- Working Memory) #### **Date & Time** - 2022 / 12 / 09 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 國立清華大學 幼兒教育學系 陳湘淳 教授 #### **Abstract** - 工作記憶和我們日常生活息息相關，是支援我們與外界互動和學習的重要能力，可用來預測語文理解、邏輯推理和流體智力。 - 但是你可能不知道，什麼是工作記憶? 和短期記憶有什麼不同? 什麼時候我們需要運用工作記憶? 工作記憶的運作機制為何? 如何測量一個人的工作記憶容量? 工作記憶容量可以訓練嗎? - 講者將從認知發展與實驗心理學的角度，介紹一系列和工作記憶有關的理論、測量與訓練研究。 #### **Short Bio** - 陳湘淳副教授畢業於國立中正大學，是認知心理學博士。目前任職於國立清華大學幼兒教育學系，研究興趣與專長領域為「工作記憶理論與測量」、「嬰幼兒工作記憶發展」、「學習與記憶策略」、「訓練研究」、「眼動研究」。 - 陳湘淳副教授執行的國科會研究計畫，主要在發展『幼兒工作記憶測量工具』、用眼動和行為測量『探討嬰幼兒時期注意力和工作記憶發展的關係』。產學合作計畫曾與廠商合作開發「5-7歲幼兒認知能力測量app」，並推廣至新竹縣市的公立幼兒園，也曾參與教育部大型產業創新計畫(RSC)，設計「數位化工作記憶訓練遊戲」，並已申請專利。 - 另外，陳湘淳副教授從106年開始至今，皆代表學校承辦「新竹市東區親子館」(在巨城的三樓)，免費提供優質的親子活動課程與遊戲設備給新竹市0-12歲的兒童與弱勢家庭。 #### **Notes** - 12/09 brain's RAM - working memory 大腦的 RAM 工作記憶 - 陳湘淳 清大幼教系 副教授 - 新竹市東區親子館 計畫主持人 - 認知心理學，幼兒工作記憶測量、保存與提取 - Contents - 01 何謂工作記憶 - 02 工作記憶的量測 - 03 工作記憶的訓練 - 何謂工作記憶(? - 工作記憶是一項重要的認知能力(功能)，用來支援我們暫存與操作接收到的訊息 - 訊息處理理論 the multi-store model, 1986 - 感官記憶 sensory memory - 如 vision, hearing, touch - 持續 250~500 ms - 短期記憶 short-term memory - 透過 rehearsal 加強並儲存 - 持續 7 ± 2 sec - 長期記憶 long-term memory - multi-component working memory model - by Baddeley, 2000, trends in cognitive sciences - 工作記憶分 4 個部分 - 老大 central executive 中央執行器 - phonological loop 語音語文訊息暫存操作 - visuospatial sketchpad 視覺空間訊息暫存操作 - episodic buffer 事件緩衝器 - Baddeley 工作記憶模式 語音迴圈運作的方式 - by Baddeley, 2003, Nature Review: neuroscience - 音似效應 the phonological similarity effect - 音太像反而容易混淆 - (v b g t e) - (w x k r u) - 長字效應 the word length effect - 1.8 sec 後就會被忘記 - (mat, sum, harm, bag, top) - (university, opportunity, semantic) - 咬音抑制 the effect of articulatory suppression - 咬音速度 articulation rate 與記憶廣度的關係 - 記憶廣度 與 說話速度 呈正相關 - fun fact 數字廣度 美國 < 台灣 (小學至大學) - 短期記憶 跟 工作記憶 不一樣 working memory ≠ short-term memory - 工作記憶 = 短期記憶 + 注意力控制 / 抑制干擾 - 工作記憶 暫存與操作的訊息 在任務完成後 就消失 - 短期記憶 暫存的訊息 經過複習複誦後 儲存至長期記憶 - 工作記憶容量 = 在一邊進行手邊工作時 最大能保留的訊息量 - 短期記憶 7 ± 2 - 工作記憶 4 ± 1 因為認知資源拿去做別的事情了 - 工作記憶經歷更長的發展，受到額葉成熟影響，會一直發展到青少年 - 什麼時候會用到工作記憶(? - 所有有意識的行為都會用到 - e.g. 解決問題、學習、生活大小事 - 如何量化小孩的工作記憶容量(? - 02 工作記憶的量測 - 越來越多研究人員和教育人員意識到，許多我們想要理解、測量和操縱的行為和認知能力，都與工作記憶運作有關 - 工作記憶測驗 - complex span tasks 複雜廣度作業 - 儲存作業 + 處理作業 - ref. Evaluation of children's cognitive load in processing and storage of their spatial working memory, 2022 - 當覺得題目很難的時候瞳孔會放大，放棄的時候瞳孔會再縮小回去 - 腦力大挑戰App，AI@Stream - AB task 嬰兒工作記憶測驗 - 嬰兒工作記憶容量: 正確記憶、保留時間 - 延宕反應作業 24個月 - 嬰兒工作記憶容量: 預期觀看階段、正確記憶、保留時間 - 03 工作記憶的訓練 - 工作記憶訓練，5~11歲約有10%的低工作記憶兒童 (工作記憶是個穩定的特質) - 複誦策略訓練可以增進幼兒工作記憶廣度, 2012 - 數位記憶遊戲訓練可以提升工作記憶表現 - 實驗方法: - 3組別 x 2測驗 二因子混合變異數分析 - t 檢定 - QA - 資訊抽取的速度比較接近短期記憶、若有處理的過程則是用到工作記憶 - 講話、對談能有助於工作記憶維持 - transformer, all you need is attention #### **Feedbacks** - 今天書報討論的主題為 The Brain's RAM- Working Memory，講者是清大幼教系的陳湘淳副教授，老師是中正認知心理學博士畢業，研究興趣與專長領域為「工作記憶理論與測量」、「嬰幼兒工作記憶發展」、「學習與記憶策略」、「訓練研究」、「眼動研究」。陳老師有接國科會的研究計畫，主要在發展『幼兒工作記憶測量工具』、用眼動和行為測量『探討嬰幼兒時期注意力和工作記憶發展的關係』，還有接產學合作計畫曾與廠商合作開發「5-7歲幼兒認知能力測量app – AI@stream」及設計「數位化工作記憶訓練遊戲」。 ## **12/14** ![](https://i.imgur.com/Mq6QK0E.jpg) #### **Topic** - Innovation for the Intelligently Connected World #### **Date & Time** - 2022 / 12 / 14 (Wed) 10:10~11:20 #### **Location** - Delta Building R919 & R920 #### **Speaker** - Dr. Andrew Chiu, VP of Technology for the Camera System Team, Qualcomm #### **Abstract** - The Intelligently Connected World (including the "The time is Now" video by Qualcomm, shown on the Qualcomm Investor Day 2021) - The Rise of Smartphone and its Technology Innovation and Impact on the Intelligently Connected World - Imaging and AI Technology Innovation at Qualcomm - Areas of Research Interests - Qualcomm Opportunities in Taiwan - Q&A #### **Biography** - Andrew Chiu (邱進川) comes from Kaohsiung (高雄崎漏) and is Qualcomm's VP of Technology for the Camera System Team. Andrew began his Qualcomm career in 2003 and founded the camera team for camera technology development for Mobile, Automotive, IoT, etc. Before joining Qualcomm, Andrew was a scientist in AT&T Bell Lab for ML research from 1991-1992, and Sony Cooperation for "machine vision for factory automation and imaging research for digital still camera" from 1992-2003. Andrew received a B.S. degree in Control Engineering (Now EE) from NCTU and a Ph.D. from Michigan State University EE Dept. Ph. D. in 1991, with research focusing on Neural Network for Dynamic Programming. ## **12/16** ![](https://i.imgur.com/ywgX1TS.png) #### **Topic** - Multi-domain Cooperative SLAM: The Enabler for Integrated Sensing and Communications #### **Date & Time** - 2022 / 12 / 16 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 國立中山大學 通訊工程研究所 溫朝凱 教授 #### **Abstract** - Simultaneous localization and mapping **(SLAM)** provides user tracking and environmental mapping capabilities, enabling communication systems to gain situational awareness. - Advanced communication networks with ultra-wideband, multiple antennas, and a large number of connections present opportunities for deep integration of sensing and communications **(ISAC)**. - In this talk, we will present efficient mechanisms for multi-domain collaborative SLAM. - In particular, research opportunities and challenges for cross-sensing, cross-user, cross frequency, and cross-device SLAM mechanisms are proposed. - We prove that the multi-domain cooperative SLAM mechanisms based on hybrid sensing and crowdsourcing can considerably improve the accuracy of localization and mapping in complex multipath propagation environments through numerical analysis. - Furthermore, we conduct testbed experiments to show that the proposed SLAM mechanisms can achieve decimeter-level localization and mapping accuracy in practical scenarios, thereby proving the application prospect of multi-domain collaborative SLAM in ISAC. #### **Short Bio** - 2004 國立清華大學工學博士 - 2004~2009 工研院、聯發科 - 2009.2 加入國立中山大學通訊所，曾任通訊所所長、工學院副院長 - 研究主軸圍繞通訊訊號處理，已發許多論文和專利，Google Scholar Citation 超過 9,000 次，獲 GLOBECOM2016, WCSP2019, ICC2022 Best Paper Award，多次獲得國立中山大學產學績優獎 - 目前擔任 IEEE Trans. Wireless Communications，IEEE Wireless Communications Letters，IEEE Communications Letters 編輯、副編 #### **Feedbacks** - 今天書報討論的主題為 Multi-domain Cooperative SLAM: The Enabler for Integrated Sensing and Communications，講者是中山通訊所的溫朝凱教授，老師是2004年清大工學博士畢業，2004~2009年前後分別任職於工研院及聯發科，之後才加入中山通訊所，曾任通訊所所長、工學院副院長等等，研究主軸圍繞通訊、訊號處理，有發表許多論文和專利，在 Google Scholar的被引用次數超過9000次，還曾獲 GLOBECOM 2016, WCSP 2019, ICC 2022的最佳論文獎。目前擔任 IEEE Transactions on Wireless Communications, IEEE Wireless Communications Letters, IEEE Communications Letters 的編輯及副編。 - 這次溫老師來介紹的是最新的研究進展，今年11月才先發在arXiv上面，同時也已經在IEEE Wireless Communications Magazine被接受，會選擇發在Magazine覺得有點意外，因為以h5-index跟h5-median來看，Magazine不是最頂的。如果是有做LiDAR 算法, localization, tracking或3D Sensing的同學來說肯定獲益良多，可惜我對這類Dual-functional Communication System或SLAM演算法沒什麼了解，只能外行人走馬看花。 - 之前去中山通訊面試的時候，跟溫老師有一面之緣，中山面試只有一關5分鐘、一次3個老師一起問線代、訊號跟通原的問題，然後老師都是邊問邊看學生的簡歷。會很印象深刻是因為一開始自我介紹只講30秒，只說畢業學校及學系跟專題在做什麼，然後時間快結束的時候，溫老師突然說 “多益900怎麼不早點講!?” 才回說 “謝謝老師XD” - 覺得溫老師實驗室整體以及個別學生都比清大通訊所大部分實驗室強很多，希望電資院能延攬溫老師來清大XDD ## **12/19** ![](https://i.imgur.com/O5rekbL.jpg) #### **Topic** - Learning Dynamics by Smart Systems #### **Date & Time** - 2022 / 12 / 19 (Mon) 10:00~12:00 #### **Location** - Delta Building R304 #### **Speaker** - Prof. Hsiao-Chun Wu, Electrical and Computer Engineering, Louisiana State University, USA #### **Abstract** - How to construct a dynamic system has been appealing to researchers in physics, applied mathematics, computer science, and engineering since it can facilitate system identification, trajectory tracking, and time series forecast. In recent years, advanced smart systems capable of identifying dynamics inherent in the observed data are in high demand as they can enable the machine intelligence for predicting and detecting human behaviors and environmental evolution. According to our recent studies, the time series can be transformed into critical homological structures and/or features such that robust machine learning can be established using the homological analysis, especially for classifying, detecting, and predicting object motions, human behaviors, and fundamental characteristics in time varying (dynamic) signals. The conventional statistical signal processing and machine learning approaches are often under the unrealistic assumption of i.i.d. (statistically independently and identically distributed) data and thus the dynamics across data samples are not allowed. Based on the aforementioned new machine learning paradigm, it is possible to convert any non i.i.d. time series resulting from a Markov process to a neat geometric structure so the detection. prediction, and classification can be accurately fulfilled. In this talk, the mathematical framework and algorithms of the advanced homological analysis to learn dynamics by smart systems will be introduced and then the corresponding effectiveness on several practical applications will be demonstrated. #### **Biography** - Hsiao-Chun Wu graduated from University of Florida in 1999 with a Ph. D. degree in Electrical and Computer Engineering, where he started to dedicate research on Signal Processing under the guidance of Dr. Jose C. Principe. Since March of 1999, he had joined Motorola Personal Communications Sector research labs and gotten involved with the ongoing research for Motorola VR Lite speech recognition software. His research in Motorola included novel robust speech detection and enhancement algorithms in a wide variety of background noise. In January of 2001, he joined the faculty at the Department of Electrical and Computer Engineering, Louisiana State University as a tenure-track assistant professor; he became a tenured associate professor in 2007. In July to August 2007, Dr. Wu was a visiting assistant professor at Television and Networks Transmission Group, Communications Research Centre, Ottawa, Canada. From August to December 2008, he was a visiting associate professor at Department of Electrical Engineering, Stanford University, California, USA. His current interests are in graph-based algorithms, topological analysis, finite-field transforms, audio/speech signal processing, image processing, neural-networks/artificial-intelligence, pattern recognition and machine learning, wireless systems, wireless communications, intelligent systems, robotic technologies, indoor and outdoor localization/ranging/navigation mechanisms, non-destructive evaluation for material, civil, and mechanical structures, and biometric instrumentation. Dr. Wu has published more than 300 refereed journal and conference papers in signal processing, broadcasting, wireless communications, computer, electronics, sensor networks and ultrasonics areas (more than 260 of them are published by IEEE or ACM). He has ever served on twenty journal editorial boards in the area of electrical and computer engineering including IEEE Transactions on Signal Processing, IEEE Transactions on Communications, IEEE Transactions on Mobile Computing, IEEE Transactions on Wireless Communications, IEEE Transactions on Broadcasting, IEEE Transactions on Vehicular Technology, IEEE Communications Magazine, IEEE Communications Letters, IEEE Signal Processing Letters, etc. From 2009 to 2011, he has been serving on IEEE Multimedia Technical Committee. Dr. Wu is currently an IEEE Distinguished Lecturer and an IEEE Fellow of Class 2015. ## **12/21** ![](https://i.imgur.com/hQ6xCFu.png) #### **Topic** - On Physical-Layer Authentication via Online Transfer Learning #### **Date & Time** - 2022 / 12 / 21 (Mon) 13:00~15:00 #### **Location** - Delta Building R304 #### **Speaker** - Prof. Shih Yu Chang, San Jose State University, San Jose, CA, USA #### **Abstract** - This work introduces a novel physical layer (PHYlayer) authentication scheme, called Transfer Learning based PHY-layer Authentication (TL-PHA), aiming to achieve fast online user authentication that is highly desired for latency sensitive applications such as edge computing. The proposed TL-PHA scheme is characterized by incorporating with a novel convolutional neural network architecture, namely Triple Pool Network (TP-Net), for achieving lightweight and online classification, as well as effective data augmentation methods for generation of dataset samples for the network model training. To assess the performance of the proposed scheme, we conducted two sets of experiments, including the one using computer simulated channel data, and the other utilizing real experiment data generated by our wireless testbed. The results demonstrate the superiority of the proposed scheme in terms of authentication accuracy, detection rate, and training complexity compared with all the considered counterparts. - After this work technical discussion, we will also provide discussions about future works about applying data/science to IoT. #### **Biography** - Shih Yu Chang received a B. S. E. E. degree from National Taiwan University, Taiwan, in 1998, and Ph. D. degrees in electrical engineering and computer engineering from University of Michigan, Ann Arbor, in 2006. From August 2006 to February 2016, he was the faculty in the Department of Computer Engineering, National Tsing Hua University, Hsinchu, Taiwan. From July to August 2007, Dr. Chang had been a visiting assistant professor at Television and Networks Transmission Group, Communications Research Center, Ottawa, Canada. From June 2018, he began to provide lectures about machine learning, data science, and AI in San Jose State University, San Jose, CA, USA. Besides academic positions, Dr. Chang also works as an AI technical lead focusing on applying machine learning techniques to automate office work. - Dr. Chang has published more than 80 peer-refereed technical journals and conference articles in electrical and computer engineering. His research interests include the areas of wireless networks, wireless communications and signal processing. He currently serves as the technical committee, symposium chair, track chair, or the reviewer in networking, signal processing, communications, and computers. ## **12/23** ![](https://i.imgur.com/Ivp4SVd.png) #### **Topic** - 物聯網與智慧生活應用 #### **Date & Time** - 2022 / 12 / 23 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 國立政治大學 資訊科學系 蔡子傑 教授 #### **Abstract** - 物聯網是一個非常應用導向為主的設計與運用。從每個物的感測資料、傳輸、資料儲存與管理，到資料的運算與整合，最後結果的呈現，可以說是每個環節都會有關連。要設計一個好的物聯網，跟它的智慧生活應用是非常密切關聯的。本次演講先從基本的物聯網概念與架構介紹起，接著介紹我們如何運用感測資料， 透過哪些方法來進行運算，達到應用的目標。最後，我們提出一個未來的想像，結合邊緣運算與聯邦學習，物聯網的資料，應該如何傳輸、儲存與管理，以因應多元資料來源，智慧運算的架構，符合未來可能的應用目標。 #### **Short Bio** - 現職: 國立政治大學資訊科學系 教授 兼 碩士在職專班職行長 - 經歷: 政治大學研發處代理研發長、副研發長、資科系主任、數位內容學士與碩士學位學程主任 - 學歷: 台大電機系學士、美國南加大電機碩士、美國UCLA電腦科學博士 #### **Notes** - 12/23 物聯網與智慧生活應用 - 政大資科 蔡子傑 教授 / 系主任 / 研發長 - UCLA 電腦科學博士畢業 - 吳仁銘老師的大學同學 - Abstract - 應用導向為主的設計運用 - 感測器資料 傳輸 儲存 管理 每個環節都有關連 - 物聯網設計與應用息息相關 - 如何運用感測資料 運用哪些方法運算 - 物聯網只是個概念 - 物聯網 介紹 - what is Thing? - 產生資料 sensor, data source - 計算 computing possibly - 傳輸 transmit, receive or forwarding data - 接受命令 actuator, result receiver - why connected? - usually application-oriented - what kind of data to collect - how to collect? - what kind of network architecture - where to store and compute - infrastructure based vs ad-hoc - (single hop vs multihop) - centralized vs distributed - (cloud computing vs edge computing) - 舉例 - 感測器使用 藍芽傳輸 很便宜，且若傳輸算法設計得當的話，可以非常低功耗； - 監視器使用 wifi 傳輸比較不會佔頻寬 - An IoT based parking recommendation system considering distance and parking lot flow - motivation (application driven) - parking in big city - usually hard to find a free space - to find a parking space takes on average 14.5 minutes in Taipei city - over 16.5% of drivers spend more than 30 minutes - slow down the driving speed on the road - introduce traffic jam - App goal - existing mature technology: - IoT hardware technology - mobile phone Apps - the app that driver can utilize: - find and choose a candidate parking space - navigating to there - the problem: - there's a time delay between query moment and driving there - status changes frequently - the goal is based on the sensed data for IoT system: - considering driving time - estimate the probability of parking vacancy when getting there - related smart parking app only provide information - 但 real time 不是解決之道，應該是要一個推薦系統，推薦停到機率最高的車位 - IoT components - components: - user's phone might provide GPS - road side unit, RSU and sensor (也許可以用壓條的感測器，在每個紅綠燈路口計數) - edge node - base station, BS - cloud server - system flow: - → find parking slot near destination → parking engine → highest probability of vacancy → navigation → respond user request - Problem analysis: - 3 factors - distance - traffic status - parking lot / space status - possible sensors for failure to recommend parking spaces: - many vehicles might choose same parking lot /space almost simultaneously - more traffic jam nearby - fully occupied earlier than driving there - we cannot really know - Solution idea: - travel time estimation - probability estimation for obtaining a vacancy - Travel time Estimation - the whole path (from query place to target parking space) is divided into 3 sections - starting - halfway - destination - Probability Estimation for Obtaining a Vacancy - MM1 queue - 定義 3 種 狀態 - Amending for the probability - Simplified Markov Chain - 如何模擬 background noise? 需要模擬 results-penetration rate - 計算 probability of failure, time spend on parking - 是用 SUMO 模擬的 - 每一個 路段都是用 MM1 queue 模擬 - 有考慮 fairness - 怎麼評估 edge server 所需算力 (成本)? - A smart badminton swing recognition and scoring system based on lightweight wrist sensors 以輕便型手腕感測套之智慧型羽球揮拍動作辨識與評分系統 - 碩士在職專班 劉敏傑 研究生 - 痛點: - 能不能用自己的球拍 - 能不能不用攝影機 - 能不能感測器不要裝在球拍上 - 目的: - 穿戴方便 - 平價成本 - 立即可用 - 初步實驗硬體: - 六軸感應器 + arduino + BT LE + 電池 - 系統架構: - 資料取得 - Arduino + raspberry Pi + BT LE，因為手腕套感測器幾乎沒有記憶體，資料需要傳出來儲存 - 記錄 60 fps 6軸感測器資料 - 記錄 3 種球路，分 3 種程度的球員 - 資料前處理 - 擷取單一揮拍資料，分揮拍開始 結束 擊到球瞬間 - 實驗結果: - 用簡單的 LSTM 演算法分析 - 用 tensorflow keras 實作 - Extension: - 資料感測器傳輸到 local NB - 硬體改善，傳輸方式改善 - 如何更輕易的蒐集資料及樣態，使模型越來越適性化、更準確 - 邊緣計算與聯邦學習 - edge computing 邊緣計算 - locality - reduce communication overhead - privacy - federated leaning 聯邦學習 - privacy - reduce communication overhead - 結合邊緣計算與聯邦學習，物聯網資料應該如何傳輸、儲存、管理，以因應多元資料來源，智慧運算架構，以符合未來可能的應用目標 - the proposed future data management architecture - NDN / DTN anycast - MQTT - Federated Learning, FL #### **Feedbacks** - 今天書報討論的主題為物聯網與智慧生活應用，講者是政大資科的蔡子傑教授兼碩士在職專班執行長，老師還曾任政大資科的系主任、研發處代理研發長、副研發長、數位內容學士與碩士學位學程主任，蔡教授是台大電機系學士畢業，還是吳仁銘老師的大學同學、美國南加大電機碩士、美國UCLA電腦科學博士畢業。 - 今天的演講分兩部分，前半部分是IoT based parking recommendation system、後半部分是smart badminton swing recognition and scoring system based on lightweight wrist sensors，覺得停車推薦系統非常實用、有趣。 ## **12/30** ![](https://i.imgur.com/MBTjIYQ.png) #### **Topic** - 玉山銀行AI金融科技應用實務 #### **Date & Time** - 2022 / 12 / 30 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 玉山銀行 智能金融處 陳照元 資深工程師 & 林其翰 主任工程師 #### **Abstract** - 玉山銀行在 2018 年創立了台灣金融同業間第一個以 AI 技術發展為核心的部門 - 智能金融處，並大量導入AI作為資料管理與資訊提取的來源，目前已大量應用在包括行銷、營運流程管理，乃至於風險控管等領域，透過流程自動化與業務的智能化，將可提供兼具「溫度與速度」的服務。 - 本次書報討論將為大家帶來銀行業如何運用AI在實際業務上，究竟創造了什麼更具價值的服務。我們在自己開發的運算平台上發展各項技術，除資料科學外，在影像、語音和自然語言處理上皆有耕耘，當然套用在實務上也遭遇到各種困難與限制，期望透過這次演講，為大家建立起理論與實務的連結。 #### **Short Bio** - 陳照元: - 國立清華大學 工業工程與工程管理學系 碩士 - 現職為 玉山銀行智能金融處 資料科學家 - 學生時期研究主題: - 電腦視覺辨識 - 財務交易模型 - 目前在玉山主要負責專案: - 風險與價值模型 - 推薦系統 - 新技術驗證 - 林其翰: - 國立清華大學 資訊工程學系 博士 - 現職為 玉山銀行智能金融處 機器學習工程師 - 目前在玉山主要負責專案: - 語音辨識技術及其應用 #### **Notes** - 12/30 智能金融處 玉山銀行AI金融科技應用實務 - 好奇後端是用 python 開發嗎(? 因為一開始有看到 FlaskAPI, Django, MongoDB - 舊系統是 COBOL - 新系統慢慢換成用 Java - 風控 AI - e.g. 信用卡盜刷偵測 - credit card fraud detection on Kaggle - 交易數據特徵 - 問題難點 - 1. 實際上會有 “盜刷資料label回收延遲” 且 label 很髒 - 1天可以回收 60% - 2週可以回收 90% - 月底能回收 99% - 2. data drifting 問題，訓練資料跟測試資料分佈不同 - 不完善的解決方案 - 過去歷史資料隨機抽樣、相似週期資料隨機抽樣 - 疑問 - 什麼時候該重新訓練模型(? - 用 AUC 來評估模型好壞 - 信用卡冒用 retrain 機制 - 分長期跟短期模型 - 感覺很像是 LSTM 的想法 + 某種 deep ensemble 機制 - 困難點 - 樣態變化很大 - 無法即時監控模型成效 - 發現 - 偏離預測常態分佈 - 模型成效開始調的時機 - 行銷 AI 推薦系統 - e.g. Smart Channel - 房屋估價模型 - 重點是 POI (Point of Interest) 演算法的影響力比較有限 - 賦能 AI 自動化腳本 - e.g. RPA, Robotic Process Automation - 風控 AI 影像技術應用 - 1. 票據影像辨識 - 每年 支票約 560 萬張；匯款單約 130 萬張 - 覆蓋率約 81% - 準確率約 99.8% - 2. 分行影像檢驗 - 偵測行員異常行為 - 3. 活體人臉辨識 - 目標是讓所有裝置都能有 face ID 的功能，且要能避免有人用照片而非真人解鎖 - 服務 AI - 問答機器人，智能 IVR, Interactive Voice Response (智能語音導航) - NLU 語意理解 - STT (Speech To Text) 語音辨識 - TTS (Text To Speech) 仿真人對話設計 - 需求 - 意圖分類 + 要項識別 → 理解客戶需求 - 進階內容進階分析 - 1. 利用 NLP 的 TF-IDF 技術，分析進線內容熱門關鍵字，並追蹤趨勢變化 - 2. 特殊個案自動標記，e.g. 有人短時間內一直打進來 - 3. 自動化智能引導 - 其他研究 - g2pW - g2p, grapheme to phoneme - 用途 TTS, ASR lexicon - 困難 - 斷句斷詞、破音字、語意 - GitHub - PaddleSpeech - pypinyin-g2pW - MLaaS, ML as a Service #### **Feedbacks** - 今天書報討論的主題為AI金融科技應用實務，講者是玉山銀行智能金融處的陳照元資深工程師及林其翰主任工程師，陳照元學長是清大工工系碩士畢業，現職為玉山智能金融處的資料科學家，碩論是做電腦視覺及財務交易模型，目前主要負責的專案有風險與價值模型、推薦系統及新技術驗證；林其翰學長是清大資工系博士畢業，現職為玉山智能金融處的機器學習工程師，目前主要負責的專案是語音辨識技術及其應用。 - 今天的演講主要是介紹玉山銀行的 風控AI (信用卡盜刷偵測、影像技術應用)及 服務AI (問答機器人, Smart Interactive Voice Response)，也有簡單提到 行銷AI (推薦系統、房屋估價模型)及 賦能AI (Robotic Process Automation, 自動化腳本)；風控AI的影像技術應用又分 3 種: (1)票據影像辨識，自動化辨識支票及回款單、(2)分行影像檢驗，以偵測行員異常行為、(3)活體人臉辨識，透過 Android App 讓所有裝置都能有 face ID 的功能，且要避免有人用照片而非真人解鎖。 - 覺得從他們分享的工作內容來看，真的是完美應證 “AI演算法工程師供過於求”，就是雖然面試的時候會問一些很重要但跟實際佈署集寫 code 沒關係的問題，像是 “L1 與 L2 Regularization 有什麼不同?”, “深度學習的 Optimizer 怎麼選擇? 為什麼用 Adam?”, “請解釋 Batch / Layer / Group / Instance Normalization 之間的差別” 等等，但實際工作的時候卻主要是在整理資料、寫自動化腳本、套模型，僅有小部分時間真正在做演算法設計，大概用不到什麼厲害的研究，雖然聽起來很負面但我不覺得這是件壞事，以產業角度來看重點當然是希望越多人能投入、使AI算法使用普及化，但當然要避免無腦亂套方法，不要變成研究上有超多超強算法、但實務上沒有工程師幫忙在第一線佈署、克服實際上會遇到的工程問題，雖然從工程師的角度來看會覺得，大多時間都在打雜，時間久了自然功力會退步；從軟體工程的角度，謹慎實作一個好的軟體，就跟深度學習的數學一樣重要，不能把AI領域大家習慣的 fast prototyping 跟 unsustainable system design 一併帶到軟體實作上。希望有越來越多有能力負擔的公司能看見AI算法實務上的潛力並願意付出成本經營。 ## **01/06** ![](https://i.imgur.com/4oy0CHR.png) #### **Topic** - 下一代 WiFi 技術簡介 從實作角度出發 An Introduction to the Next-Generation WiFi From an Implementation Point of View #### **Date & Time** - 2022 / 01 / 06 (Fri) 14:20 ~ 16:20 #### **Location** - Delta Building R216 #### **Speaker** - 瑞昱半導體 楊凱傑 博士 #### **Abstract** - WiFi 技術至今逾 25 年, 規格從最初 802.11b 到目前的802.11ax, 傳輸率成長已超過百倍。 - 本次演講希望從WiFi規格, 理論預估, 實作限制, 實際量測/應用等幾個面向, 探討WiFi技術演進與面臨的挑戰。 #### **Short Bio** - 2013年進入瑞昱半導體, 擔任技術副理，負責WiFi演算法開發驗證。 #### **Notes** - 01/06 下一代wifi技術簡介，從實作角度出發 An introduction to the next-generation wifi from an implementation point of view - 瑞昱半導體 技術副理 楊凱傑 博士 - 清大通訊碩博，2009年博班畢業，蔡育仁老師的學生 - physical layer wifi 演算法 - wifi技術建置整合，怎麼從spec出發到實際implementation - Outline - WiFi spec: brief intro - Implementation challenges - Case study: orientation test - Summary - WiFi Spec (即 WLAN Spec) Overview - 1999 WiFi 11b DSSS 2.4GHz (ism band) 現在由於速度問題已經很少在用了 - 1999 WiFi 11a 其實有討論 OFDM 跟 5GHz - 2003 WiFi 11g 開始都是用 OFDM - 2013 11ac 開始有 DL-MU-MIMO - 2016 11ax 開始 extended 到 6GHz 且整合DL, UL 的 MU-MIMO - 6GHz 原先是軍事用途的band - Frame Structure - 處理分成 11ac 之前 (e.g. 11a/g, 11n, 11ac) 312.5 kHz carrier 跟之後 (11 ax) 78.125 kHz carrier - 之前的最多 256 QAM，之後的有 1024 QAM - Field Duration - cyclic prefix 0.4 us vs. 0.8 us，但之前的 0.4 us 太短了，delay spread會很大， - 有分 pre-HE, HE, EHT - Modulation - MCS levels 0~13 - DCM, Dual Carrier Modulation - STBC (single stream only), Space-Time Block Code - 1024 QAM & 4096 QAM - 可以提升 throughput - 必須做到，非 optional - OFDMA - trade off between gain and complexity - 因為要支援 320 MHz bandwidth，用OFDM可能會有點浪費，因為 header 很長又只能打給一個 user - RU, Resource Unit - 26 個 carrier 約是 2 MHz - 242 個 carrier 約是 20 MHz - 484 個 carrier 約是 80 MHz - 996 個 carrier 約是 160 MHz - 沒底定的 spec 稱作 draft - Transmission Block - Data flow - Packet Reception Flow, an 11ac example - L-STF, L-LTF, L-SIG (前半) - L 代表 Legacy，-S 代表 Short，-L代表Long - 收到此 header 代表這是個 wifi packet，就可以接著做 synchronization - 總共可能 5 個 symbol，2 : 2 : 1 - VHT-SIGA, VHT-STF, VHT-LTF, VHT-SIGB (後半) - 超多 5 個，2 : 1 : 大於 1 : 1 - 再來是接 Data - 任意 N 個 symbol - Implementation Challenges - 1. Very high MCS - MCS vs SNR requirement - e.g. MCS 13 會需要 -36 dB (是用 cable link 量測)，一般手機正常是 10幾20 dB，無線通訊透過天線量測很難達到，可能在基地台1公尺內才有機會 - 2. Very wide bandwidth - digital processing clock up to GHz - Linearity, IQ mismatch of analog circuits, response flatness - Overall power consumption 呈倍數增長 - 3. Higher center frequency - smaller CFO and Crystal variation tolerance - EVM, Error Vector Magnitude 用於 modulation accuracy measurements， - 概念是 SNR 的倒數 - 考慮 frame, OFDM symbol, spatial spectrum, subcarrier - 跟 constellation size 有關，所以測試的時候會打簡單的 constellation 如 bpsk 或 qpsk - 是量化後的相對數據 - EVM 用來衡量 signal quality - Tx 跟 Rx 的 EVM 分開討論 - Rx 只規範最低至少做到多少 - Adjacent Channel Rejection - ACI, Adjacent Channel Interference - Tramsmit center frequency and symbol clock frequency tolerance - CFO (Carrier Frequency Offset) tolerance - 2.4 GHz ± 25 ppm，120 kHz - 5 GHz ± 20 ppm，200~240 kHz - 6 GHz ± 20 ppm，240~288 kHz - 物理上晶體的震盪頻率即使跟 carrier frequency 有點偏離，我們還是要讓功能正常運作，也就是在容忍範圍內都能當作是原來的中心頻 - 還有 phase noise 跟 jitter 的問題 - SCO (Symbol Clock Offset) tolerance - 跟 CFO 概念類似 - Orientation Test - 如何判斷我們的 system spec 是可行可用的 - How performance degrades? - 把 WiFi AP 旋轉 360度然後量測每個角度的 throughput (in 1、2000 Mbps) - 可以用簡單的 Tx, Rx Block Diagram 去模擬 EVM 的結果，就把每個部分計算的 error 結果線性相加起來 - rSNR vs. condition number - condition number 越大代表各個在 MIMO 中的 data stream 分的越開，越大越好 - 是一個 wifi 解調的重要 metric - 訂定不同個 可以克服某個 condition number 所需的 spec - 要考慮 over spec 的問題 - 客戶端測試發現自己有什麼問題，發現其他廠商哪裡做得更好，我們怎樣可以達到；假設我們做的比較好，也得分享為什麼我們比較好，也許有 over spec 的問題 - Summary - spec study - performance specification and design target determination - implementation - recheck and refinement - 問題: - 會在最終 spec 確定出來前就把 IC 設計好(? - 如果進去只是做應付客戶改改 driver 的事，這樣有機會懂 wifi 嗎(? 而且 wifi 真正的 know how 技術是不是都包在 MAC firmware 裡用 ROM CODE 鎖著，這樣推薦怎麼學習(? - 底下的人會不會很多人跳槽到 Ubiquiti 或 Google Wifi Team? - 做 wifi 演算法會碰到 wifi chip 架構嗎(? - 補充: - wifi AP 會需要搭配外部 power amplifier， 像是 Tx, Rx 端的 power amplifier 不是我們能控制的 - wifi logo 的標準有基本的測項，可以避開明顯的大問題 - 從 11ac 到 11ax 至少有 1.5、2 年的 design phase，從 spec 訂定到真實產品出來也許要 4 年 #### **Feedbacks** - 今天書報討論的主題為 “從實作角度出發的下一代 WiFi 技術簡介”，講者是瑞昱半導體的楊凱傑博士，內容主講實體層的WiFi演算法、WiFi技術建置及整合，怎麼從spec出發到實際實作出來，但其實沒有真的講到算法到底長什麼樣子，感覺有點可惜，很好奇實際上的通訊演算法、WiFi演算法到底 “看起來” 是什麼樣子，我完全沒概念。楊博士對WiFi Spec的介紹非常深入淺出，讓我們對最新及現在已經推出的產品的 Spec 有一定的了解。