Discovering novel algorithms with AlphaTensor
Introduction
之前做出 AlphaGo, AlphaZero 等專案的 DeepMind 之最新力作 (2022-10-05),用 RL 來找到比現有方法更有效率的矩陣相乘做法
AlphaTensor 為 AlphaZero 的延伸,AlphaZero 是個完全沒有訓練過的神經網路,它透過與自己對戰來進行強化學習,而 AlphaTensor 一開始也沒有被灌輸任何既有的矩陣乘法演算法,而是藉由自我學習來重新發現了歷史上的各種快速矩陣演算法,包括知名的 Strassen,最後它超越了人類,找到比現今SOTA更快的演算法。
這有什麼厲害的?
矩陣相乘 (GEMM)
// GEMM, A:MxK * B:KxN