Jhang Shuo, Luo

@jasonluotw

Joined on Jan 29, 2018

  •  最近重新開始把自己家裡的桌電當成小型server,所以就有了遠端連線的需求,還記得兩三年前的時候曾經有弄過一次,但這次要弄的時候卻發現忘了很多東西,所以這次就把過程記錄下來,除了分享之外,以後有需要也有文章可以參考。雖然在這個AWS、GCP等雲端服務橫行的時代裡,直接使用他們的服務非常的方便,但仍有自己的桌機server還是一件很酷的事😎,而且也不需要花錢才能使用服務,同時在架設的過程中也可以學到一些事情。 廢話不多說,就趕快進入正題吧! 設定固定IP  首先,家用網路通常是浮動IP,因此我們需要先設定一組固定IP,這樣才能用同一組IP做登入,不然每次登入時的IP會變來變去。我家的網路是ADSL光世代,中華電信有提供一組固定IP給客戶使用,因此先到中華電信的網站去做設定,設定完之後應該可以看到以下的畫面 設定時間 [time=Thu, Jan 27, 2022 8:58 PM]
     Like  Bookmark
  •  幾個月前聽了一場有關深度學習的線上演講,那次的演講內容是有關於continual learning,此種學習方法的出現是為了解決現在深度學習模型的一個致命弱點,並提出一些改善的方法,由於此子領域仍算是DL裡非常新的研究課題,所以還有很多值得研究的地方。在這裡我紀錄了一些演講的重點。 DL的金魚腦  在現今的深度學習中,研究人員發現深度學習模型是有一個非常健忘的金魚腦。當我們訓練了一個模型分辨小貓和小狗之後,接著讓此模型再學習分辨飛機和火車,雖然訓練完的模型學會了如何分辨飛機和火車,但是它會完全忘記如何分辨貓狗,從而導致在辨別貓狗的任務上有非常差的表現。科學家們將此現象稱作Catastrophic forgetting(災難性或毀滅性的遺忘),名稱聽起來非常嚴重,但確確實實地指出了現今深度學習非常嚴重的缺陷。而Continual learning(Incremental learning)就是為了解決這問題而出現的。 為什麼DL會忘記  但到底為何會出現Catastrophic forgetting呢?其實從loss function的方向去思考很快就會知道答案了。在不同的任務之下,loss function其實長得很不一樣,當我們在訓練第二個任務的時候,模型是往當下的loss少的方向走,但有可能對於前一項任務來說卻往往是loss變高的地方走,因而造成學會了當下的任務而遺忘之前的任務。 From https://arxiv.org/pdf/2104.07286v1.pdf Continual learning的規則及方法
     Like 1 Bookmark
  • 前言  在2016年3月8日到15日期間,全世界的電腦科學家們甚至是全世界的人們都高度關注的一場世界棋賽,但與之前不同的是,這場世界棋賽並不是一般人與人之間的博奕,而是一場人與機器的世紀大對決。隨著AlphaGO降臨於眾人面前並以4:1戰勝人類最頂尖的棋手之一,開啟了大眾與企業對於人工智慧的熱情,也因此引發了一波人工智慧的熱潮。而在往後的日子中,到處都可以聽到深度學習的技術又在某一個領域得到重大的突破,但深度學習這個看似很新潮又很酷的東西是什麼玩意呢?它到底又厲害在哪裡呢?為什麼能夠短時間席捲好多領域? what is deep learning ?  其實如果對這名詞有些好奇的人,去網路上google深度學習的圖片將會查到大量類似如上的圖片,圖片中可以看到一堆圈圈,而這些圈圈之間由很多的線所連接。可能看完上圖大家還是會覺得一頭霧水不知道這個東西到底是什麼,但如果將下圖擺在一起看時就會發現上圖和人類的神經網路有些相似。  對!沒錯,深度學習某一程度其實模仿了人類身體中的神經網絡,圖中的一個一個圈圈代表了一個個神經元,而線則代表了神經元和神經元之間的連接(類似神經中的突觸)。此外,從圖中可以看到這些圈圈有分層,黃色的圈圈為輸入層(Input layer),中間許多的藍色圈圈被稱為隱藏層(hidden layer),最後的紅色圈圈則為輸出層(output layer),這樣一個架構是現在最基本的深度學習模型。然而,這個模仿人體神經網絡的領域早在1950、1960年代就已經出現,當時這方面相關的研究也被學術界稱為『類神經網路』(Artificial neural network),在1954年時,弗蘭克羅森布拉特(Frank Rosenblatt)提出『感知機』(Perceptron)的概念,而現在某些書上也可以看到多層感知機(Multi-Layer Perceptron,MLP)其實講的就是同一件事(Dnn),所以深度學習並不像很多人所想像那樣突然橫空出世,而是已經經過很多時間的醞釀,蟄伏了很長一段時間。 怎麼以前沒有 現在有
     Like  Bookmark
  • update at 2021 6/23 by JasonLuo test on Ubuntu 18.04 install Nvidia Driver 460.84, Cuda 11.1, Cudnn 8.2.1 TensorRT 8.0.0.3 compatible with tensorflow-gpu 2.4 因為deep learning的套件更新速度很快,有時更新DL套件後相對應的cuda, nvidia driver也需要重新安裝,因此在這邊紀錄一下如何install, uninstall這些東西 Nvidia Driver 安裝之前
     Like  Bookmark