# Материал #1 по нейроморфному железу и алгоритмам These lides: https://hackmd.io/@yY6zx91NSruf_-CrdNiKTA/S1nnjsI65 --- # Neuromorphic technology * The holy grail: emulating the brain - Low power – the brain consumes only 20 W​ - Fault tolerant – the brain loses neurons all the time​ - (No programming required) – the brain learns by itself​ - Brains learn from experience * Significant efforts in Europe, US, China (Human Brain Project, DARPA SyNAPSE) * Implementations: SpiNNaker, Spikey, TrueNorth --- # Neuromorphic groups - [+] **Intel Neuromorphic Research Community ([INRC](https://intel-ncl.atlassian.net/wiki/spaces/INRC/overview?homepageId=196610))** | | | | -------- | -------- | | [+] **Accenture** | USA | | University of Maryland | Catonsville, USA | | [+] **Wasington State University** | USA | | Department of Materials Science and Engineering | Stanford University, USA | | University of Southern California | Los Angeles, USA | | Department of Cognitive Sciences, University of California | Irvine, USA | | Dept. of Psychology, Cornell University | Ithaca, USA | | Department of Electrical Engineering, Yale University | USA | | Hewlett Packard Laboratories, Hewlett Packard Enterprise | San Jose, USA | | [+] **University of Notre Dame** | USA | | | | | | | | The University of Manchester | UK | | The University of Manchester | UK | | University of Oxford | Oxford, UK | | Department of Engineering, University of Cambridge | Cambridge, UK | | Department of Computer Science and Medical Technologies Innovation Facility, Nottingham Trent University | UK | | | | | Technical University of Denmark | Denmark | | Technical University of Denmark | Denmark | | Instituto de Microelectr´onica de Sevilla | Spain | | Peter Gruenberg Institute | Germany | | JARA-FIT, RWTH Aachen University | Aachen, Germany | | NaMLab gGmbH | Dresden, Germany | | University of Münster | Münster, Germany | | Institute of Semiconductors and Microsystems | Dresden, Germany | | FZ Juelich (PGI-7) | Juelich, Germany | | STMicroelectronics | Agrate, Italy | | CNR-IMM, Unit of Agrate Brianza | Italy | | Advanced Materials Metrology and Life Science Division, INRiM | Torino, Italy | | Event Driven Perception for Robotics, Italian Institute of Technology | Genoa, Italy | | Dipartimento di Elettronica, Informazione e Bioingegneria Politecnico di Milano | Milano, Italy | | Politecnico di Torino | Torino, Italy | | Institute of Neuroinformatics, University of Zurich and ETH Zurich | Switzerland | | École Polytechnique F´ed´erale de Lausanne | Geneva, Switzerland | | IBM Research | Zurich, Switzerland | | Universit´e Toulouse | Toulouse, France | | Universit´e Grenoble Alpes | Grenoble, France | | Universit´e Paris-Saclay | Palaiseau, France | | Physical Sciences and Engineering Division, King Abdullah University of Science and Technology (KAUST) | Thuwal, Saudi Arabia | | National Laboratory of Solid State Microstructures | Nanjing University, Nanjing, China | | International Research Center for Neurointelligence (IRCN), The University of Tokyo | Japan | | Graz University of Technology | Graz, Austria | | University of Technology | Sydney, Australia | --- ## Лаборатории России - Лаборатория искуственного интеллекта Цифрум, (часть корпорации Росатом). - Научно-исследовательский институт системных исследований РАН, Москва - Post-training quantization of deep neural network weights - Национальный исследовательский центр «Курчатовский институт», Москва - developing local learning rules --- ## IBM’s TrueNorth chip * 1 million programmable neurons​ * 256 million programmable synapses​ * 4096 neurosynaptic cores​ * Uses 70mW​ * 5.4 billion transistors (28 нм)​ * Spiking rate >1000Hz * Built on Sumsung's 28 nm process * Ядра не программируются, конфигурируются с помощью СPU * Нет обучения на чипе * У нейрона максимум 256 связей, вес связи 1 бит * Первый промышленный не ФойнНеймановский чип, с 2013 picture (https://i.imgur.com/6RDNmOz.jpg) --- ### Google TPU Version 1: 15-month effort, basic design, only for inference, 92 TOPs peak, 15x faster than GPU, 40 W 28nm 300 mm2 chip​ Version 2: designed for training, a pod is a collection of v2 chips connected with a torus topology Version 3: 8x higher throughput, liquid cooled picture (https://i.imgur.com/wdI84pR.png) --- ### SpiNNaker #### SpiNNaker1 Полностью асинхронный. Манчестер, с 2008 г, 1M ARM 130 nm. #### SpiNNaker2 Дрезден, с 2018, 10M ARM 22 nm. Новые фичи: rate-based DNN, акселераторы численных операций (exp, log, random, mac, conv2d), динамическое управление питанием. - STDP обучение --- ### Intel Loihi (2018) - Первый нейроморфный чип с обучением (9 бит на вес + 8 бит на синап. задержка + 6 бит) - hierarcial connectivity - sparse computations - stochastic noise - tree processing - 128 ядер и 3 СPU - 128 kнейронов (208 KB, fixed allocation) - 128M синапсов - 2,1 млрд транзисторов - 14 нм, 60 мм^2 - one-short learning #### Loihi 2 (2021) - Обощенная событийная модель коммуникации (graded spikes до 32 бит, local broadcasts) - Программируемая модель нейрона - Поддержка backprop (SLAYER) - 3D multi chip scaling - Open source neuromorphic computing frw (LAVA) - 128 ядер и 6 CPU - 1M нейронов (192 KB, fixed allocation) - 120M синапсов - 2.3 млрд транзисторов - 7 нм, 31 мм^2 --- ### BrainScaleS (Гайдельбергский Универ. с 2011) - 2018 - В рамках Human Brain Project - ASIC устройство с аналоговыми вычислениями состояний нейрона + цифровая коммуникация - 180 нм - 512 нейронов - 114К синапсов - Нет обучения - PyNN ## BrainScaleS-2 (2020) - Поддерживает онлайн обучение, 2 СPU - Cтруктурная пластичность - Ускоритель для ANN - 512 нейронов - 131K синапсов - 65 nm --- ### Tianjic - Университет Синьхуа (с 2019) - Объединение ANN и SNN на одной платформе - 156 ядер - 40К нейронов - 10М синапсов - 28 нм - 22 КВ SRAM - Обучение не поддерживается ### NeuronFlow #### GrAI one (2020) - 196 ядер - 200К нейронов - 28 нм TSMC - ### Akida (2020) - Первый коммерческий чип - 80 ядер - 1.2М нейронов - 10 млрд синапсов - 28 нм TSMC - Cовмести с TensorFlow - Akida edge learning algorithm ### DYNAP - SynSence подразделение Цюрихского университета #### DYNAP-SE2 - feed-forward, recurrent and reservoir networks - 4 ядра - 1024 аналоговых нейрона - 65К синапсов - LIFAT, short term plasticity #### DYNAP-SEL - 5 ядер - аналоговые нейроны - 80К нейронов (10% пластичны) - поддерживает обучение - large fan-in/out connectivity #### DYNAP-CNN - 1М цифровых нейрона с ReLU - 22 нм, нативная поддержка DVS ### Алтай (2020) - 256 ядер - 131К нейронов - 67К синапсов - 2200 кадров/с - нет обучения - 16 акселераторов по 16 чипов ### Neurogrid ### Cerebras ### BrainDrop ### Darwin ### Rabaey ### DeepSouth ### MYTHIC --- | Процес- сор | Вычис- ления в памяти | Предст- авление информ | Обуче- ние | Анало- говость | Событий- ность | Процесс (нм) | Энерго- потреб- ление | Особенности | | -------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | | CPU, GPU, TPU | нет | Числа, импульсы | Backprop, STDP | нет | нет | 5 | Google Edge TPU, 2 Tops/watt | | | SpiNNaker 2 | нет | Импульсы | STDP | нет | да | 22 | 20 nj/operation | Асинхронный нейрокомпьютер с 10М процессоров | | BrainScaleS-2 | да | Импульсы, числа | STDP, Backprop | да | да | 65 | 10 pj/ synaptic event | Аналоговые вычисления, может выполнять SNN и ANN, поддерживает online-обучение за счет CPU | | TrueNorth | рядом с памятью | Импульсы | нет | нет | да | 28 | 400 GOPS/watt 25 pj/ operation 6000 frames/ watt | Первый не фон Неймановский чип от IBM, 4096 нейроядер, задачи CV | | Loihi | рядом с памятью | Импульсы | STDP | нет | да | 14 | 80 pj/ operation | online-обучение | | Loihi-2 | рядом с памятью | Импульсы числа | STDP, Backprop (Slayer) | нет | да | 7 | 10 times less Loihi-1 | Добавлены программируемая модель нейрона, graded spikes, local broadcasts, 3d multi-chip scaling | | Tianjic | рядом с памятью | Числа, импульсы | нет | нет | да | 28 | 1278 MACGOPS/watt 649 GSOPS/watt | Объединение ANN и SNN на одной платформе, гибридные модели нейронов и архитектур | | Neuronflow GrAiOne | рядом с памятью | Числа, импульсы | нет | нет | да | 28 | 10-20 pj/ operation | Cобытийная модель вычислений, свойство разреженности | | Akida | рядом с памятью | Импульсы | STDP (last lyr) | нет | да | 28 | 2000 frames/watt | Первый коммерческий нейроморфный процессор с поддержкой incremental, one-short and continuous learning для CNN | | Dynap SE2, SEL, CNN | рядом с памятью | Импульсы | STDP (SEL) | SE2, SEL | да | 22 | СIFAR-10 1 mJ/image | Проприетарный протокол коммуникации между нейроядрами | | Алтай | рядом с памятью | Импульсы | нет | нет | да | 28 | 500 mW | | --- ### Neuromorphic memory materials - [A non-volatile organic electrochemical device, Stanford, 2017](https://drive.google.com/file/d/1OHcZLwo0bK7tE2DKbDDqYuyLwbob8oqY/view?usp=sharing) --- ### Literature - [FRAUNHOFER INSTITUTE press release 2021](https://drive.google.com/file/d/1CedUZAeddJgtzHYvoWng-wIBvWIJZ49g/view?usp=sharing) --- Ларионов Денис А. - Лаборатория искуственного интеллекта Цифрум, (часть корпорации Росатом).