# 自然環境保護とブロックチェーン [![hackmd-github-sync-badge](https://hackmd.io/L5oKoi6wSGaHkjQd4K3kTA/badge)](https://hackmd.io/L5oKoi6wSGaHkjQd4K3kTA) ###### tags: `ブロックチェーン` > :memo: 論文の草案です. :::info :bulb: **Hint:** まだヒントはありません. :pushpin: ::: [ToC] ## モチベーション * ブロックチェーンはエコでないのではないか? * PoW:電力量が無視できない.情報処理のコストとして過大ではないか? 計算競争に負けたノードが消費した電力はムダではないか? * PoS:特定主体に依存してしまうので,分権型とはいえないのではないか?(株主による民主的な仕組みかもしれないが) ## はじめに 産業界では,グリーントランスフォーメーション(GX)の取り組みが加速している. GXとは,〇〇の取り組みを指す. - デジタル社会の発展はデータ量の拡大で加速し、電力消費量も増える。 - データ量だけでなく,演算処理(アルゴリズム)の非効率性によるところもあるのではないか? - データの正当性を示すのに,PoW は過大では? - 情報の分散保管は,冗長度が必要以上に高いのではないか? - 同精度の計算処理のために,深層学習は計算量コストが高いのではないか? ブロックチェーンを永続的に運用するにあたり避けては通れない問題が,電力消費量の増大である. ### なぜ再エネなのか? #### 実際どれくらい使っている? GoogleやAmazon.comなど米IT大手のデータセンターの電力消費量は2019年時点で世界で約2千億kWh(= 日本全体の消費量の約2割)(国際エネルギー機関(IEA)調べ)。 >英国の経済学者マーシャルは、公害で地域住民が不利益を被るように、経済活動が市場などでの取引を通さずに個人や企業に悪影響を与えることを「外部不経済」と呼んだ。19~20世紀は工場や蒸気機関、自動車などによる大気汚染が代表例だったが、21世紀はデータの拡大に伴う電力消費の膨張が課題となる。 #### 将来どのくらい使う? - 華為技術(ファーウェイ)の研究者,2015年の論文「テクノロジー産業の電力消費量が2030年に世界全体の2割に達する可能性がある」 - IEAの予測「2030年の再生エネの発電量見込みは12.5兆kWh」「消費電力の削減が滞れば,世界の再生エネの7割近くをデジタルが占有する可能性もある」 ![](https://i.imgur.com/1kMyf2m.png) > https://www.nikkei.com/article/DGXZQOUB304390Q1A530C2000000/ 再生エネを使うだけでなく電力消費そのものを減らさないと追いつかない。 危機を乗り切るには技術革新が欠かせない。 Googleは,省電力のために半導体の自社開発を始めた。 ### 再エネ・サステナ意識の高まり - 国際的に 2021年5月3日、米ニューヨーク州議会のケビン・パーカー上院議員らは法案を提出し、暗号資産の採掘センターの一時停止を主張した。 問題視するのは電力を大量消費する環境負荷の高さだ。 中国の習近平国家主席は昨年9月、温室効果ガスの排出量を2060年までに実質ゼロにすると宣言し、エネルギー消費の抑制を打ち出している。 英ケンブリッジ大によると、ビットコインの年間電力消費量は2021年5月時点の推計で約130テラワット時に達し、スウェーデンやアルゼンチンの年間電力消費量に匹敵する。 中国がビットコインを生み出す能力は2019年9月時点で世界全体の75.5%を占めていたが、2021年4月には46.0%まで低下。 以前は4%前後だった米国が2位の16.9%と中国を急追しているほか、化石燃料が豊富で電力が安いカザフスタンも8.2%と存在感を増す。 中国当局が採掘を禁止した2021年5月以降、国外への拠点移転がさらに急ピッチで進むのは必至だ。 ![](https://i.imgur.com/qeqwyZB.png) https://www.sankei.com/article/20210812-VRQFXX6VDNMNFEIIYCOFP4MNUU/ - 実際問題として ### エコでないと支持されない エコでないブロックチェーンは,エコに敏感な企業・消費者から敬遠されるのではないか. 米IT大手は環境対応などに優れる企業向けのESG投資の投資先で上位に入る一方、温暖化ガス排出ゼロに逆行するジレンマも抱える。 世間や投資家からの批判に敏感だ。 各社は発電時に温暖化ガスを排出しない再生可能エネルギーの調達を急ぐ。AmazonやGoogleなど米IT大手5社は,計約720万kW(= 原発約7基分)を購入した.(IEA調べ) - 電気自動車(EV)大手,米Teslaのイーロン・マスクCEOが,BTCでの購入を停止した.これによって混乱もあった. 村上隆の事例. https://bijutsutecho.com/magazine/news/market/23880 ## 問題の所在 そもそもなんでブロックチェーンは電気食うんだっけ? ### 1) ビットコインの問題の所在:PoW Bitcoinは,コンセンサス・アルゴリズムにプルーフ・オブ・ワーク(Proof-of-Work)を採用している. PoWは,膨大な計算量の暗号を解くという計算競争(マイニング)の勝者(ノード)に,ブロックを作る権限を与えるものである.計算競争の仕組みが単純である一方,計算量が莫大となるため,電力消費も莫大となることが課題である. また,計算競争の勝者は唯一であるため,その他多数の敗者のノードが消費した電力量は,ブロックの生成には直接的には寄与しない. ☆昔はこれくらいだった.いまではこれくらいになっている. Bitcoinネットワークは,年間1,148億キロワット時(2021年6月1日時点)の電力が用いられていると試算されている. https://cbeci.org/ ビットコインのハッシュレート https://www.blockchain.com/charts/hash-rate マイニング参加者は,自身の収益を高めるため,より多くのノードをより安い電力を使って動かし,競争に勝利し続けることが求められる.マイニング参加者は,安価な電力を求めて,水力発電や太陽光発電の盛んな地域にマイニング処理の場を移している. 一方,ブロックチェーンを運営する(≒ブロックを定期的に生成しつづける)ための電力消費量が,台帳の安定的維持という目的に照らして過大ではないか,という問題がある.現状,ブロック1つ(約1MB)の記録を確定するために,約218万kWh(〇〇時点)を消費する. 「暗号資産が世界でデータ処理に使う電力はスウェーデン1国分に相当する」という。 :memo: GGPの原稿などをもとに,最新情報にする. ### 2) NFTのカーボンフットプリント NFTは,(作品をブロックチェーン技術で署名することで)デジタル資産として扱うことができる反面,ブロックチェーン取引に伴うエネルギー使用量が,莫大なカーボンフットプリント(Carbon Footprint)の原因になっているとして,環境問題が指摘されている. > カーボンフットプリント(Carbon Footprint)とは,1つの商品やサービスの原材料調達から生産、販売、使用され、最終的に廃棄やリサイクルされるまでの全体のライフサイクルを通して排出される二酸化炭素などの温室効果ガスの量を可視化したもの.個人の活動についても算出できる.地球環境団体The Nature Conservancyによると,一般人が1年で出すカーボンフットプリントは,米国でみると16トン、世界でみると4トン. 1つのNFTが作られ、販売され、所有者が変わるなどの全体のライフサイクルのカーボンフットプリントは,211kgと試算されている(デジタルアーティストの Memo Akten の記事による). これは,米国市民の1人の5日分のカーボンフットプリント量に相当し,世界でみると一般市民の3週間分のカーボンフットプリント量に相当する. それぞれのNFTには,多くの取引が含まれる. NFT化するためのミンティング,販売のための値段設定やオークションの設定,販売の取り消し,販売されたときの所有者の変更,といったすべての取引情報は,ブロックチェーンに記録される. ブロックチェーンに記録する際のコンセンサスアルゴリズムにPoWが使われている場合,莫大な計算を必要とする. その結果,計算機の消費電力量も莫大となり,大量のカーボンフットプリントの原因となっている. いま,NFTで最も利用されているEthereumネットワークは、エネルギー消費が少ないProof-of-Stake(PoS)に,2022年までに移行する予定である. また,NFTの発行に,PoSを採用するブロックチェーン(〇〇など)を用いている場合もある. https://note.com/sanchir/n/n38f6419822dc ## BTCマイニングに自然エネルギー(再生可能エネルギー)を使う件 ☆「自然エネルギー」と「再生可能エネルギー」との違いは? ### 1. 背景 ### 2. 事例:北米 アメリカでは、ビットコインマイニングへの投資が盛んになっている。 再生可能エネルギーによるBTCマイニングを手がけるStronghold Digital Mining社の事例: - 石炭を採掘した後に残る廃棄物を使って発電し,BTCマイニングを行う。 - 「1BTCをマイニングする過程で、石炭廃棄物200トンを処理できる」(同社試算) - ペンシルベニア州の規制当局は,石炭廃棄物を使った発電を水力発電と同等の再生可能エネルギーに分類している。 - ペンシルベニア州で2つ目の発電所(Panther Creek発電所)を購入.3つ目を取得計画中. > Panther Creek発電所は,最大80メガワットの発電能力をもつ.ちなみに,1つ目の発電能力と合わせて165メガワット. - 同社CEO(Greg Beard氏)は,業界最安コストでBTCをマイニングすると同時に、環境に貢献できることを望んでいる。 > 「ペンシルベニアでは石炭廃棄物置き場が依然として大きな問題となっている。我々はこれらの広大な敷地の修復を続け、土地を地元コミュニティに返還するための超党派の政治的支援を大いに歓迎している」(同社プレスリリース) > https://www.coindesk.com/stronghold-digital-mining-files-for-100m-ipo https://www.coindeskjapan.com/117982/ #### 事例:地熱発電 エルサルバドルのブケレ大統領は,2021年6月10日, 国営の地熱発電所がBTCマイニングを準備するように指示した.[(ツイート)](https://twitter.com/nayibbukele/status/1402680890057166858?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1402680890057166858%7Ctwgr%5E%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Fwww.coindeskjapan.com%2F112411%2F) エルサルバドルは地熱発電によって数十万kWを発電できる可能性がある.休止中の地熱発電所もある. 電力を遠距離送電するよりも発電所でマイニングする方が,電力効率が高いともいえる. https://www.coindeskjapan.com/112411/ エルサルバドルは,BTCを法定通貨にした. (まあ,エルサルバドルに限らず,どの国もBTCを安価で入手して国富を増やしたいと思っている) ## 人工知能で電気使いすぎ 人工知能(AI)を研究する非営利団体「OpenAI」は2019年12月、ルービックキューブを完成させるアルゴリズムを発表した。このアルゴリズムはロボットハンドを操作しながら、試行錯誤してルービックキューブを解く方法を学習する。 * このプロジェクトで使ったリソース * デスクトップコンピュータ:1,000台超 * 専用グラフィックチップを稼働させるマシン:約12台 x 数ヶ月 * 約2.8GWhの電力(≒原発3基が1時間に出力する電力) * AIプロジェクト管理用のソフトウェアを提供するDetermined AIのエヴァン・スパークス最高経営責任者(CEO)による. AIは、画像認識や会話、高度なゲームでの勝ち方、クルマの運転方法などを学習しており、目覚ましい成果を上げている。 だが、こうした進歩には、アルゴリズムを開発・訓練するための膨大な計算能力と電力が必要だ。 気候変動の影響が顕著になるにつれ、AIの専門家たちはこうしたエネルギー需要に頭を悩ませるようになっている。 機械学習アルゴリズム全般においてデータ使用量が増加し、訓練期間が長くなり、エネルギー消費量が増えている. また,多くの業界の多くの企業がAIを使い始めるにつれ、AI技術が気候危機を悪化させる懸念が広がっている。 AI研究者のなかには、ツールを使って自分のアルゴリズムのエネルギー需要を追跡したり、炭素放出を相殺する措置を講じたりする対応を始めている者もいる。 カンファレンスや研究論文のなかで、自分のアルゴリズムのエネルギー効率をアピールする研究者も増えた。 AIのコストが上昇するにつれ、AI業界では電力消費の少ないアルゴリズムに対する新たな関心が生まれつつある。 ルチョーニは以前、研究者が自分のアルゴリズムのカーボンフットプリント(ライフサイクル全体を通じた炭素排出量)を概算できるウェブサイトの立ち上げに携わったことがある。 また、より高度な対策として、AIプログラムに追加することによって個々のコンピューターチップのエネルギー使用をトラッキングできるコードもテスト中だ。 ルチョーニやほかの研究者たちは、コードの性能をトラッキングするツールを提供する企業に対し、エネルギーやカーボンフットプリントの測定を含めることを推奨している。 最先端のAIが必要とするエネルギー消費量は、急上昇を続けている。 OpenAIが発表したデータによると、過去数年間における重要かつ画期的なAIプロジェクト(DeepMindが開発した「AlphaZero」など)に必要とされる計算能力は、「3.4カ月」ごとにおよそ2倍になり、2012年から2018年までの間に30万倍に増加した。 関連記事:グーグルの最新AI「AlphaZero」は、3つのゲームで人間を超えた──その実力と「次のステップ」 これは「ムーアの法則」よりもはるかに速いペースだ。 また、最近の自然言語処理における進歩は、特に多くの電力を消費することがわかっている。 マサチューセッツ大学アマースト校の研究チームが発表した論文では、ひとつの巨大な自然言語処理モデルを訓練するために必要なエネルギーは、1台のクルマがライフサイクルを通じて消費するエネルギー(製造にかかったエネルギーも含む)と変わらない可能性がある。 強力な機械学習アルゴリズムを訓練するには、何台ものコンピューターを数日間あるいは数週間にわたって動かし続けることが多い。 特にアルゴリズムを完璧にするために必要な微調整(例えば異なるニューラルネットワーク構造のなかから最良のものを見つけるなど)は、大量の計算を伴う可能性が高いのだ。 消費エネルギー推定の難しさ 一方で、これだけの懸念があるにもかかわらず、AIが実際に消費するエネルギーの量を測定することはいまでも難しい。 それがどの程度の問題になるかを予測するのは、さらに困難だ。 米国の電力使用量全体の約2パーセントはデータセンターによる(米国エネルギー省の概算による)。 世界的に見ると、データセンターは年間約200テラWhの電力を消費している。これは一部の国の電力消費量を上回る量だ。 さらに、今後10年間でも著しい成長が見込まれている。2030年までに、世界の電気の8%から20%がコンピュータによる計算や通信技術によって消費され、その3分の1をデータセンターが占める予測もある。 近年では、クラウドサービスを提供する企業が、急上昇する電力消費に対処して炭素排出量を相殺する方法を求めており、さまざまなかたちで成功を収めている。 例えば * グーグルは、大量の再生可能エネルギーを購入することにより、運営するデータセンターの「炭素排出量の実質ゼロ化」を主張している。 * マイクロソフトは2020年1月16日、2030年までに、同社がこれまでに生み出したすべての炭素を相殺する(カーボンネガティヴ)計画を発表した。 * OpenAIは19年7月、マイクロソフトのクラウドを利用する契約を結んでいる。 関連記事:データセンターの「化石燃料を不使用」という認証は、環境保護に貢献できるか? AI技術だけを見ていてはならない AIの急速な普及が、より全体的に見たデータセンターのエネルギー使用にどうかかわってくるのか、あるいはどう変化させるのかは明らかではない。 クラウドサービス・プロバイダ各社は、機械学習システムの総エネルギー需要を公表していない。マイクロソフトやアマゾン、グーグルは、いずれもコメントを拒否した。 データセンターのエネルギー使用を追跡している研究者兼コンサルタントのジョナサン・クーミーは、最先端のAIデモから行き過ぎた結論を導き出すことに対して警鐘を鳴らしている。AIのアルゴリズムは効率を高めた専用チップで実行されることが多いことから、計算能力に見込まれる需要の一部は新しいチップ構造によって相殺される可能性があるというのだ。 さらにクーミーは、これまでIT業界が、ある分野で増加するエネルギー需要を、ほかの分野でのエネルギー使用を減らすことによって相殺してきたことも指摘する。「人は個々の例を取り上げて、目玉が飛び出るような数字が出る推計をする傾向があります。そうした数字は、たいていの場合は大きすぎるのです」 それでも各企業や組織によるAIの利用が増加するにつれ、AI技術のエネルギーフットプリントを把握することが重要になると、専門家たちは指摘している。データセンターだけでなく、ほかのデヴァイスやガジェットのエネルギーフットプリントについてもだ。 ノースウェスタン大学のエネルギーおよび資源システム分析研究所を率いるエリック・マサネット教授は、「アナリストのコミュニティが状況を把握すべきだという点については、わたしも同意見です」と言う。 “軽く”て環境に優しいAIモデルを目指して なかには、業界が「目覚める」ことを待たずに行動を始めているAI研究者たちもいる。 MILAのルチョーニは、19年12月に開催された重要なAI会議「NeurIPS」で、気候変動に関するワークショップの計画を支援した。 マイクロソフトの共同創業者である故ポール・アレンが設立したアレン人工知能研究所も、AIが環境に与える影響に対する意識を高めようと呼びかけてきた。同研究所の最高経営責任者(CEO)を務めるオレン・エツィオーニは、研究者たちの取り組みに励まされていると語る。 多くの論文に、特定のアルゴリズムや実験で必要になった大量の計算に関する何らかの説明が含まれるようになってきたからだ。 さらにエツィオーニは、業界全体が徐々にエネルギー効率を認識し始めていると話す。 たとえそれが、巨大なAIモデルの訓練に伴うコストを理由とするものであったとしても、迫りつつある気候の破局にAIが加担することを防ぐ一助になる可能性はあるだろう。 エツィオーニは言う。「より“軽い”、そして環境に優しいAIモデルが目指されていることは明らかです」 大量の電力を消費するAIは、どこまで「地球に優しく」なれるのか https://wired.jp/2020/03/07/ai-great-things-burn-planet/ AIが電力を大量消費する理由 https://www.toshiba-clip.com/detail/p=2107 電気をバカ食いするAIは背徳、脳をまねて省エネするグーグルSwitch Transformer https://xtech.nikkei.com/atcl/nxt/column/18/00692/051300055/ ------ ## 資料集め Bitcoinでの変遷 ハッシュレート 電力量(ケンブリッジ大) (1)PoWの電気使いすぎ 電気使いすぎ プレステ3800台、違法マイニング施設を閉鎖:ウクライナ 2021年 7月 12日 https://www.coindeskjapan.com/115843/ → これは,ゲームのレベルアップ目的であり,BTCマイニングとは無関係,という指摘あり.☆要出所. Ethereum Ethereum2.0で,PoWからPoSに変更予定.コンセンサス形成に消費される電力量が減る.分権度は下がる. ポルトガル2.5国分の電力を消費するビットコイン 仮想通貨の脱炭素化はなるか? https://www.itmedia.co.jp/business/articles/2104/22/news035_2.html https://www.nikkei.com/article/DGXZQOCB161N90W1A710C2000000/ https://www.nikkei.com/article/DGXZQOUB101AQ0Q1A710C2000000/ Amazon、Googleのデータセンター電力調達が、日本の電力勢力図を変える https://energy-shift.com/news/ca8a3549-df3e-44bd-be58-7d52011380d1 仮想通貨が現実を侵食している〜マイニングと脱炭素 マイニング競争は激化、中国は抑止、イーロン・マスクは保持を続ける  https://energy-shift.com/news/be8be8c2-380f-47e5-b7c1-9c33f3b2e58b ------ 機械学習のCO2排出量は乗用車5台分? 「AI」の消費電力を減らすには 「AIの消費電力」を考える【前編】 - ディープラーニング(深層学習)などの機械学習モデルを訓練するプロセスは、大量の電力を消費する. - 「1つの機械学習モデルを訓練する際の二酸化炭素排出量は、米国の平均的な乗用車1台が製造から廃車までに排出する量の約5倍」(マサチューセッツ大学コンピュータサイエンス分野の研究者が、2019年6月に発表した研究) > マサチューセッツ大学の研究者は、自然言語処理のニューラルネットワークモデルを訓練する際の消費電力を調査した。 > 論文によると、数百件から数百万件に及ぶモデル設定の組み合わせをテストすると、消費電力の問題はさらに深刻になる。 > 加えて、複数の分野にまたがるように機械学習モデルを訓練するプロセスは、比較的大量の電力を消費する。 > 機械学習モデルに必要な計算処理と消費電力は、ロジスティクスやモデリング、シミュレーションなどの処理でも増大する。  今回の研究結果によれば、 - 機械学習を用いた特定用途向けアプリを他用途のために調整しようとすると、電力消費量が増えるため、一から作成する方が効率的になる場合が少なくない. - 一部の専門家は機械学習を活用することの有効性を疑問視している.将来的には、量子コンピュータがこの種の問題の電力消費の緩和に重要な役割を果たすとみている. ### Apple注目の1ビット深層学習、超省電力で「スマホに常時AI」 2020.07.28 https://xtech.nikkei.com/atcl/nxt/column/18/00001/04366/ AI技術、具体的には物体認識などをするCNN(Convolutional Neural Network)の大幅な省電力化が進んでいる。 CNNの超省エネルギー化技術の開発や製品化の競争が加速してきた。 利用者にとってもCNNによる物体認識技術が身近になる可能性が出てきた。 - Appleは,CNNの超省電力化技術を開発したベンチャー企業の米Xnor.ai社を2020年1月に買収。近い将来、iPhoneやiPadなどに搭載する観測も出てきた(図1)。 - 米Intelも,同様な技術を実装したBNNチップを2020年6月に学会(VLSIシンポジウム)発表。既存のAIチップの数百倍の省エネルギー性能を備える. - LeapMind社が実装モデルの知的財産を「Efficiera」として2020年6月にリリース https://xtech.nikkei.com/atcl/nxt/column/18/00001/04366/ #### 1W当たりの推論性能が不足 CNNの超省電力化技術は、CNN中の演算処理の大部分を1ビットで演算させることから、2値化されたCNN、または「BNN(Binarized Neural Network)」とも呼ばれる。 単位消費電力当たりの推論性能が,実数を用いた一般的なCNNの100倍以上と高い. これまでCNNは,いかに高い推論精度を実現するか,あるいは演算の大規模化に対応させるかに開発の主眼が置かれてきた。 ところが、学習結果を利用して端末側で物体認識など推論をさせようとすると,必要な推論性能を得るには消費電力があまりに大きい. > 図2 AI技術はなぜ普及しないか > CNNなどの深層学習を用いたAI技術がなかなか普及しない理由 > → 通信端末における単位消費電力当たりの推論性能(電力性能)が不足しているため。 製品化されているAIチップ(実質的にはCNNチップ)の電力性能は,1TOPS/W前後. > TOPS(Tera Operations Per Second) = 演算速度の単位。1TOPSは1秒間に1兆回演算する。 一方、要求される推論性能は小型端末でも2.2TOPS以上で、少なくとも2W以上の電力を要する。 スマートフォンの電池容量は約15Wh(5000mAh)で、AI機能のみ使っても7時間半以下しかもたない。 自動運転では数百TOPSの高い推論性能が必要. 現状では数百~1kW(電気ストーブ並み)の消費電力と発熱が避けられない。 普及には、電力性能を100~1000倍に高める必要がある。 #### FPGAでもCPUでも動作 こうした背景から最近は,CNNの推論時の消費電力を減らす技術に開発の焦点が当たっている。 当面の目標は、電力性能として100TOPS/W以上の達成だ。 * 実現技術の候補は例えば; * (1)演算ビット数を減らす * (2)演算部とメモリ部が離れたノイマン型ではなく、メモリの読み出しと同時に積和演算も実行するCIM(Computing-In-Memory)型アーキテクチャを採用する * (3)ノーマリーオフにできる不揮発性メモリを採用する これらの一部、または全部を組み合わせることで10T~数十TOPS/W前後の実現にメドが付きつつある。 ただし、最近まで100TOPS/W越えの実現はすぐに量産可能な技術ではほとんどできていなかった。 それを実現したのがBNNだ(図3)。 最近の学会では700T~800TOPS/Wという電力性能を実現した例が複数報告されている。 これらは専用ICによる値だが、特殊なメモリ技術などは用いていない。 数十TOPS/Wの水準であれば、ハードウエアはFPGA、もしくは汎用のマイクロプロセッサでもよく、実用化までの距離が短い。 2020年6月の半導体の国際学会「2020 Symposia on VLSI Technology and Circuits (VLSIシンポジウム)」では、Intelが617TOPS/WのBNNチップを発表した(図1)。 #### 演算量とメモリ量が大幅減 CNNは一般に,積和演算が演算量やメモリ容量の9割以上を占め、メモリとのデータの出し入れも激しいため、消費電力が大きい。 BNNは,ニューラルネットワークの重みと活性化関数の出力を共に1ビットのデータ(2値)にすることで、積和演算の規模が数十分の1に減る(図4)。 しかも、積和演算のうち、積演算はXNOR回路で代替できる。 >Appleが買収したベンチャー企業の社名がXnor.aiであるのも、これが由来だと推測できる。 和演算も、データ中の1の個数を数える演算(Population Count(popcount))に帰着できる。 XNORとpopcountはいずれも,FPGAや汎用マイクロプロセッサ用のライブラリが用意されている。 → BNNは単純に演算量やメモリ容量を減らすこと以上に、実装面のメリットも大きい。 これらの技術の登場で、エッジや端末での物体認識技術の実装がこれまでにない広がりで進む可能性が出てきた。 #### 工夫なしには成立しない   こうしたメリットは2015年のBNNの初登場当初から知られていた。 BNNが表舞台に出てこなかったのは、低ビット化によって推論精度が大幅に低下するデメリットがあった。 従来の32ビットの浮動小数点演算を8ビットの整数演算にするまでは、推論精度の低下は目立たない。 ところが、8ビットより少ないビット数、例えば4ビットで特に工夫もなければ,推論精度は桁落ちなどによってゼロに近づく。 ましてや1ビットへの単純な低ビット化は、ニューラルネットワークとして成立しない。 さまざまな工夫や対処技術が積み重ねられてきたことで、実用化のメドが立ちつつある。 #### 調査項目数は2~3倍に増やす  推論精度低下の課題に対する対処では、2017年にIntelが発表したWide Reduced-Precision Networks(WRPN)法が大きな役割を果たした(図5)。 WRPN法は、CNNのビット数を減らす代わりに、画像の調査項目数に相当するチャネル数を2~3倍に増やす方法である。  BNNを実用化する上では、他のAI技術が役立てられた例が少なくとも2つある(図6)。 - 1) スパイキング(Spiking)ニューラルネットワーク(SNN)や確率論的(Stochastic)ニューラルネットワーク(SNN)などの技術が貢献した例 BNNで単純に重みと活性化関数の出力を1ビット(2値)にすると、活性化関数の微分がほぼ0になり、学習(誤差逆伝播法、BP)が成り立たない。 > このためか、2015年12月に初登場したBNNでは活性化関数の出力は1ビットではなかった注1)、2)。 2016年初頭に発表されたBNNのバージョン2では、活性化関数の出力は1ビットだが、その微分値は入力値が-1から+1までの範囲で1と定める対処を施した3)。 これは実際に1の符号を決めるだけの活性化関数(sign関数)とは別に、連続的に変化する活性化関数を仮定し、その微分値を用いるやり方で、Straight Through Estimator(STE)と呼ばれる上述のSNNの技術だった。 こうしたSNNでは、微分が容易ではなく、既存の誤差逆伝播法がそのままでは使えないからである。 - 2) 言語系ニューラルネットワークの技術を用いてBNNの課題を解決した例 BNNはCNNの重みと活性化関数の出力を1ビット化する. しかし,ほとんどの実装例では,データの入力時および学習時に生の画素データを用いるため,CNNの畳み込み層の第1層と最後の層は1ビット化できていない。 このため、第1層と最終層の演算量やメモリはほとんど減らない。 無理に1ビット化すると、推論精度は大幅に低下してしまう. もし推論精度を落とさずにこの2層を1ビット化できれば、BNNの演算量はさらに約1/2に低減でき、推論速度は2倍近くに高められる。 これを解決したのがLeapMindの徳永拓之CTOだ。 自然言語処理(NLP)のWord embedding技術を流用した,Pixel embeddingを考案した注2)。 これらは共に、高次元で疎であるデータを低次元で密なデータに変換する技術で、精度を落とさずに入力データを1ビット化できる。 https://xtech.nikkei.com/atcl/nxt/column/18/00001/04366/ 砂漠に向かうGAFAの巨大データセンター、新たな環境問題を生む「迷惑施設」に反発も https://xtech.nikkei.com/atcl/nxt/column/18/00692/081800062/?P=2 NHKおはよう日本, おはBiz, ビットコイン “グリーン”になれる? 2021.9.2 https://www3.nhk.or.jp/news/contents/ohabiz/2021_0902.html ☆9/3以降にスクリプトが公開される見込み. Krause, M.J., Tolaymat, T. Quantification of energy and carbon costs for mining cryptocurrencies. Nat Sustain 1, 711–718 (2018). https://doi.org/10.1038/s41893-018-0152-7 →和文解説は以下. https://wired.jp/2018/11/12/bitcoin-will-burn-planet-down-how-fast/ ![](https://i.imgur.com/Ze1yoTl.jpg) https://www.afpbb.com/articles/-/3338700?page=1&pid=23230592 Hashhub: 中国による暗号資産規制がマイニング業界に与えた影響 https://hashhub-research.com/articles/2021-07-16-the-impact-of-china-crypto-asset-regulation-on-the-mining →ハッシュレートの将来予測. 2021年上期の中国マイニング禁止によって,ハッシュレートが低下した(2019年上期とほぼ同水準に戻った)が,2024年には禁止前の予測値まで上昇する(中国の影響が打ち消される)予測. https://www.bitooda.io/public-files/070221%20BitOoda%20Hashrate%20Estimates.pdf