## Bluetooth mesh

低成本低光耗，適合遠距離傳輸

2016/6 Bluetooth 5，提高距離 50m-300m

### Basics of Bluetooth Mesh
* 紅色，是發送節點
* Mesh 網路主要優點
* 擴展範圍
* 自癒能力（泛洪）flooding 的通訊方式


### Bluetooth mesh architecture
* Bluetooth Low Energy: 低功耗，簡話封包格式
* ADV乘載
* GATT乘載：用於已連接設備之間的消息床書
* Lower transport
* Upper transport layer: 對數據進行加密、解密
* Access Layer: 管理數據格式，驗證數據是否合法規範
* Foundation Models layer: 定義狀態，配置和管理網狀網路所需的消息和模型
* Models Layer: 定義了藍芽網路模型規範中用於標準用戶場景和操作的模型

重點整理：
* 乘載的模式
1. ADV load - boardcast
2. GATT load - 1 on 1
* 在結構中會於模型層來定義網路通訊的方式，故今天要設計主要依據結構層的標準進行設計。

### Mesh組件基本概念
節點類型
低功耗節點：不負責傳輸消息
好友節點（Friendship）GATT乘載
中繼節點：收到訊息之後廣播
代理節點：橋梁的功用，可以互相溝通，可以跟手機互相通訊

重點整理：
* Friendship 用於可以與低功耗節點進行溝通的節點，也就是負責提醒旁邊同學交作業的那位
* Element(元素) vs. Group(群組) vs Node(節點)：每個實體裝置我們稱之為元素，多元素行成一個群組，而節點可能包含一個或多個元素或群組。

一個燈泡是一個元素（Element）：一個節點可能包含多個Elements

### 地址
* Unicast 單播地址
* Group 群組地址
* Virtual 虛擬地址

### Publish-Subscribe: 發布-訂閱是一種消息傳遞模式

重點整理：
* 與Youtube頻道訂閱相似，可以透過訂閱的群組將消息一次發布並進行消息的傳遞管理。

## models 模型
燈光模型可以負責燈的開關，空調模型負責溫度、濕度相關，模型之間可以互相調和

## 問題討論
確定下所以好友節點只能GATT 1對1 嗎? 還是說可以1對多? 都是1對配對的，1個低功耗配上1個好友節點

---
## 深度強化學習DRL (Hugging Face)
### Hugging Face Cource + H.Y.L

Course Syllabus Review
說明如何參與Hugging Face的課程和準備上課的環境
* 今年9月30日之前有通過所有的作業就可以取得證書

### State-Action-Reward
在封閉且明確的訓練目標裡，可以透過該機制優化抵達目標的策略

根據目前的state，決定現在的action，action會稍微改變environment，產生新的state

Markov Property
action只會depends on目前的state做決定，不會考慮過去的state。

Observation/Space
Observation:只能觀測到局部的空間
Space:可以看到全域

State會是整個畫面的情況

### actor, environment, reward


* theta代表神經網路的權重，並且可以看到前後的狀態來決定現在要執行的action
* 做未來的估算，距離越遠會讓它的價值越小，以此可以專注在接近的狀態進行action預測
*　（圖二）Gamma較大Reward會考慮比較長遠的目標，較小會考慮比較近期的目標

### Episodic Task
有些問題有終點可以用該方法，但像是股價預測可能就沒有終點，那這部分可能會用Temperal Difference

### policy pi
state → pi → action
pi是希望agent學會的function
→ input考量環境
→ output可以有多個節點的神經網路輸出(
可以選擇控制方向，或是FIRE!)

目標是pi^star來找到best pi，來調整theta值
1. 直接告訴要怎麼做
2. 有價值的狀況為何

Stochastic:就是隨機，意為在目前的狀態無法得知結果。
前面提到的Markov Property也是一種stochastic的過程。

Gradient Policy是為了更新pi的數值的策略，說是資料蒐集的時間會變成實作重要的點，跟Policy有關

### value based methods

Value function和pi是一個對抗的機制，可以互相去比較哪一個theta可以形成best pi，就像是進藤光和左為討論圍棋怎麼下比較好，Value function的形成方法是透過過往資料進行Regression來作為經驗上的分類，以此形成價值函式
* Value function的限制是至少要完整完成一場遊戲才會有

MC based approach

terporal-difference(TD) approach

~~### policy + value~~

### 為什麼在reinforcement learning 增添 deep?

Deep可以處理非結構的資料，如Speech, Image

不只要考慮state，還需要action，固定相同的action，放入q learning，之後做出反應

### state action vaule funcion


強迫它執行非優化選項，可以蒐集非最優化狀態的資料

### Target Network
透過regression將loss縮小

### 問題
* State和Space的差別?
Space是資料庫表格，State是儲存在表格裡的數值
* 想問state和environment有什麼差異？
environment是state-space?目前不確定。

* 想詢問今天一開始如果是老鼠要吃到起司，那今天遊戲一開始s1就是老鼠在起點，s2就是老鼠吃到起司的狀態，進而決定action嗎? 這裡的s2是顯示最後的目標結果還是什麼?
s2是下一步的狀態，中間只差一步
* Gamma大小怎麼影響Long, Short-Term的Reward形狀?

我有個想法，Eric說Gamma越大越考慮long-term，越小越考慮short-term，數字越大表是高次方gamma遞減較慢，因此較遠的格子的加權就不會遞減太快。當gamma很小時，高次方快速遞減，在前面的return比較重要。

酷，很像learning rate訓練速度的控制，只是這裡是用來應用在目標的距離，透過Gamma進行目標的調配

好像越來越懂了

* 為什麼要找到最優的pi、theta值，怎麼去定義最優的pi, theta值，也是minimum J(theta)的概念嗎? 試詢問pi, theta, J(theta)的用途和任務目標?
註：Maximum Return 等同於我們在神經網路找尋minimum J

pi：是一個結果
theta：經過訓練下有更好的預測，是神經網路，可以想成大腦的突觸，讓像大腦的pi逐漸優化結果。
J(theta)：用於max. return

* 所以在Stochastic一開始它就是猜然後算期望值嗎?
兩個不同概念，期望值是算Reward的，然後一開始就會根據遊戲定義期望值，是我們會先定義的規則

* deep Q learning還具有markov property嗎？
依照目前提到的還符合markov的性質，透過前一個推論下一個，但之後變化版的可能就不一定符合
* 不太能理解為何在q learning需要放入action，而不是只放state就好？
在第22頁的表示，action都是當下的action，因此為定值。