# 2016q3 Homework3 (software-pipelining) contribute by <`petermouse`> ## 開發環境 * OS:Lubuntu 16.04 LTS * Memory: 8 GB * CPU: * Name: * Intel(R) Core(TM) i5-4200H CPU @ 2.80GHz * Cache: * L1d Cache： 32K * L1i Cache： 32K * L2 Cache： 256K * L3 Cache： 3072K ## 資料閱讀 ### [Modern Microprocessors](http://www.lighterra.com/papers/modernmicroprocessors/) * 不同CPU時脈高不等於運算上比較快，因為還牽扯到每個CPU在每個clock下做的動作 * Pipeline要注意到： * 後面指令可能要馬上使用到前面還沒儲存的運算結果→加入forwarding line趕快將結果告訴前面的 * 運算時可能因為不同的指令，而有不同的運算單元處理 * RISC比CISC來得容易pineline，因為都是很精簡的動作 * Superpipelining：clock speed被最複雜的stage限制→再把stage切得更細，clock speed加快，IPC維持不變，但每秒Clock變多了，處理更多指令。 * Superscalar：因為有不同的運算單元，為了充分利用，乾脆想辦法全都使用到吧！→一次執行多個不同指令(多個pipeline運作) * 增加fetch/decode單元數量(也就是增加issue width) * 各取所需：INT與FP以不同pipeline運算 * 每個pipeline所需時間不一致 * 不同pipeline、同個pipeline間的forwarding * 不會一次多個指令都剛好有適用的pipeline→運算單元通常比issue width多 * VLIW：執行一個"明確的"長指令，一個指令包含很多"明確的"次指令。 * 簡化一開始的decode/dispatch(調度)處理 * 不考慮次指令之間的dependency→變成交由compiler處理 * 部份應用：GPU、DSP等 * Instruction Dependencies & Latencies * 指令間有先後執行順序 * latency：從指令執行到結果可被其他指令使用的時間。 * 因為latency→stage越多不會越有效益 * memory有更多麻煩：cache hit/miss的latency差很多 * branch prediction * 先猜再說，猜錯在取消 * 改善方向 * 增加猜對機率 * 降低猜錯成本 * static：complier猜測提示處理器 * runtime：有on-chip branch prediction table以及1~2bit來決定先執行哪個branch * mispredict→mispredict penalty.，尤其是愈深的pipeline，反映出diminishing returns(報酬遞減) * out-of-order：避免branch產生的bubble以及instruction的latancy產生浪費的cycle→更改執行順序。 * dynamic instructin scheduling：dispatch logic需要先看好幾個instruction來規劃順序。 * Register Renaming：更改目標的暫存器，使得指令可以平行不衝突 * 耗電，但可以不用重新編譯 * 另一種方法：編譯器來更改執行順序，但也有可能出差錯 * brainiac vs speed-demon debate * Brainiac：OOO取向 * speed-demon：complier最佳化&結構單純化。 * 各家CPU朝不同取向在發展，也有轉向發展，也可能考量其他問題。 * The Power Wall & The ILP Wall：CPU的發展到了瓶頸 * power wall：clock speed到了極限，可以往上但極度耗熱 * ILP wall：平行因為load latencies, cache misses, branches and dependencies between instructions也有發展極限 * About x86 * 屬於CISC架構，複雜而且慢 * 為了和RISC匹敵→將x86指令decode成類似RISC的小指令 * 稱為μops(micro ops) * 因為細節(μops)只有在執行時知道，complier難對其最佳化 * Simultaneous multi-threading * OOO、Superscaler、Complier優化都對指令的平行化影響有限(ILP Wall) * 一樣是解決bubble等問題，但這次是用不同執行緒填補，讓運算單元充分利用 * 一個physical processor但是多個logical processor * 需增加硬體成本，以區別、維護不同執行緒資料以及資料狀態 * intel稱為Hyper-Threading * 來不及整理 待續