# Tutorial 上雲端、練AI、打電玩！ 從遊戲中誕生的人工智慧之手把手教學 時間：5/21 9:30~17:30 中午休息一小時 地點：PCBC犇亞會議中心 講者：陳嘉葳 sk413025@gmail.com 與其同事 ## 摘要 2015年 Google DeepMind 展示如何在沒有人類干預下，AI自己學會玩50款Atari遊戲，並且超越人類水平。在遊戲中，展示了AI如何探索環境，並透過與環境互動得到的回饋，進行預測，歸納，推理等等的能力。本次教學希望讓學員理解AI如何得到這些學習能力，並透過Google提供的GPU雲端服務，處理學習過程中的龐大運算量，並且部署訓練好的AI來玩超級瑪利歐 SuperMarioBros ! ## 演講目標 本場教學內容為講者平日讀書會內容，並有4位讀書會夥伴擔任助教。 希望帶給學員們以下技能 1. 透過講解基本的增強學習與神經網路，讓學員理解AI的學習能力與知識 2. 透過深度學習套件Keras，讓學員理解 python 如何簡單地建立神經網路模型 3. 透過Google雲端平台，讓學員理解雲端運算趨勢，建立自己的深度學習GPU實驗機 4. 透過OpenAI Gym 等工具, 讓學員可以部署自己的AI來進行各種遊戲 ## 大綱 1. 環境建置 [40 min] 1-1 Google Cloud Platform 操作 1-2 nvidia-docker 構建運行環境 2. Keras 與 OpenAI Gym 基礎教學 [60 min] 3. 基礎增強學習介紹與實作 [90 min] 4-1 馬可夫決策過程 4-2 Q-learning 4-3 SARSA 4-4 cliff walking 4. 神經網路介紹與實作 [90 min] 5-1 邏輯回歸 5-2 多層神經網路 5-3 卷積神經網路 5. Deep Q-Network 介紹與實作 [90 min] 6. 全部休息時間 [50 min] ## 講者介紹： Jiawei MLDM Monday與 Kaohsiung Python社群的 Co-organizer,同時也是電子商務公司的研發工程師，熱衷於研究機器學習相關技術，在社群分享相關技術，並應用在實務工作上。 Aaron 電商研發工程師，喜歡推導ML相關數學，對登山與攀岩亦有涉略，同時也是某過氣樂團的吉他手。信仰自由與個人價值，傾力追尋生活中的多彩多姿。 Alvin 某新創的全端工程師，特別關注資料分析的多重運用和新ai革命對人類未來的影響。另外也是虛擬實境和虛擬貨幣的愛好者。 James 電商研發工程師，喜愛嘗試各種新技術，特別是資料 ETL 流程。 ctjoy 正在努力讓自己畢業的資工所研究生。 ## 詳細說明 近年人工智慧議題非常熱門，大家都知道AI可以從大量的資料中進行學習，然後完成原先人類才能完成的工作。 但是AI如何取得這些學習能力呢？ 科學家是怎樣透過程式完成這些工作呢？ 是不是要有大量的機器與高級的GPU才能進行實作呢？ 這場教學希望讓您理解 2015年 Google DeepMind 使用的 Deep Q-Network 如何運作， 而訓練AI所需要的機器與GPU，將帶您操作 Google Cloud Platform，建立自己的深度學習GPU實驗機。 而這場教學也會讓您理解如何透過OpenAI Gym 部署AI到多款遊戲進行操作，例如我們會教您讓AI自己破關超級瑪利歐 SuperMarioBros ! ## 補充資訊 講者在2016年已實作深度學習與增強學習，訓練出無人駕駛車AI [活動] https://www.meetup.com/Taiwan-R/events/235568097/ [錄影] https://www.youtube.com/watch?v=l_e90qOuv2Q&t=1819s 並曾在台灣各Python社群給過深度學習與機器學習相關演講 [新竹] https://www.meetup.com/pythonhug/events/237723151/ [台中] https://www.meetup.com/Taichung-Python-Meetup/events/235930683/ [高雄] https://www.meetup.com/Kaohsiung-Python-Meetup/events/233880952/ 此為講者在台中python社群的投影片，內容與本教學相關 http://files.meetup.com/14527142/AI_from_games.pdf 本場教學內容，為講者平日與同事之讀書會內容，大家皆有相關知識與經驗，並且有4位讀書會夥伴願意擔任助教。