###### tags: `study` `cloudnative` `Cloud Native Days Tokyo 2019`
# Cloud Native Days Tokyo 2019 Day1
## KeyNotes
### Key Note
[CNCF Cloud Native Definition v1.0
](https://github.com/cncf/toc/blob/master/DEFINITION.md)
[Cloud Native Trail Map](https://github.com/cncf/landscape#trail-map)

+ 来場者の46%が本番環境で運用
#### commitments
[Stackanalytics](https://www.stackalytics.com/)
+ OpenStack
+ 2016年に1社だった中国企業でが今では4社に
+ CNCF
+ 個人のコントリビューターが30%くらい
#### Statics
クラウドネイティブ技術を導入指定r環境
n = 1500
+ AWS : 577
+ GCP : 335
+ Azure : 163
+ On-Premises (Openstack) : 250
+ On-Premises (VMware) : 150?
### CNCF projects
[Project Services and Maturity Levels
](https://www.cncf.io/projects/)
+ graduated : 6
+ 一定のレベルに達したプロジェクト
+ incubating: 17
+
+ sandbox : 17

#### CNCF landscape
日本企業は両手で数えられるほど
#### Certified Kubernetes Partners
+ 日本企業はなし

#### Kubernetes Certified Service Providers
[Kubernetes Certified Service Providers](https://www.cncf.io/certification/kcsp/)
+ 現在101社
+ 日本企業は3社

#### KubeCon
+ San Diego
+ Nov 18-21
+ 12000人

### OpenStack
#### Openstack has deep roots in japan
+ connections
+ community

#### Spreading
+ 9 years
+ 30+ country

#### what we have learned?
collaboration without boundaries
+ across open source community

Technology is a powerful force for changing ways

Open collaboration around technology is a powerful force to understand and change out lives and our world.
(ex.Geneva)

#### Top3 Most active opensource project in the world
+ 6 Bilion Dollers
#### innovation built with the 4 ooens
+ Open Design
+ Open Development
+ Open Community
+ Open Source

#### first generation
##### problems
+ NFV
+ Edge computing
##### Open SOurce COmmunities Deliverd
+ open stack
+ Kubernetes
+ Ceph
+ TensorFlow

### Perfoming Infrastructure Migrations (Airbnb)
+ Migrations : Airbnb Case Studdy
+ 70% on Kubernetes
+ 400+ Criticals

#### Migrations examples
+ non cloud to cloud
+ new CI

#### tech debt
+ low developer velocity
* Migrations are the sole lever to systematically reduce tech debt *
*
#### Migration types
+ component update
+ System move
+ Infrastructure: rewrite underlying infra

##### Strategies
+ know which type
+ understanding what is for, pros and cons.
#### Sequenced Migrations
+ lower lisk
+ need time and plan
+
#### Cascading Migrations
+ infrequent migrations can cause a rewrite or cascading migrations
#### Simultaneous Migrations

unfinished migrations make tech debt worse

#### airbnb example
`kube-con generate` => `kubectl apply`

use IaC, refactoring code is equal with `migration`
#### 10 Takeaways

### The 10 new rules of open source infrastructure
Ubuntu most popular Linux from laptop to cloud

#### 1. Consume unmodified upstream
#### 2. Infrastructure-is-a-Product
+ not hand-crafted
+ can be run
+ can be scale out
#### 3. Automate for day 1826
1826 = 365 * 5 + 1 days

#### 4. Run at capacity on-premise. Use public cloud for overflow
#### 5. Upgrade, don't backport
#### 6.
#### 7. Plan for transition
#### 8. Security shloud not be special
#### 9. embrace shiny objects
#### 10. Be edgy, go Micro!

### Demand Less Choices
Bare Metal => virtual machines => containers => functions Serverless
#### Containers and Functions
+ PaaS
+ Cloud Foundry
+ CaaS
+ Kubernetes
+ Functions as a Service
+ OpenWhisk

#### KNative

## Argoによる機械学習実行基盤の構築・運用から見えてきたもの
[Argoによる機械学習実行基盤の構築・運用から見えてきたもの](https://www.slideshare.net/ShinsakuKono/argo-156876353)
### Argo
+ Argo Workflows
+ Argo CD
+ Argo Events

### Arog Workflows
+ コンテナネイティブのワークフローエンジン
+ Cons
+ コンテナの良さ
+ コンテナで完結している
+ ワークフローの各ステップをコンテナとして実装することができる

### 比較
+ Airflow
+ コンテナが謎の死を遂げる
### 機械学習実行基盤
#### ETLとして使う
https://ja.wikipedia.org/wiki/Extract/Transform/Load
#### 検索ロジック重みチューニング
Argoを用いて検索クエリ・検索条件に対して最適な検索ランキングを実現するための重みをチューニング

#### CI/CD Pipeline
+ アプリケーションリポジトリ
+ コンフィグリポジトリ

PRがマージされたらArgoCDがそれを反映し、k8sクラスタにデプロイ
##### Argo Workflows
+ Input: Git(Artifact)
+ Output: Slack notificaiton

#### Tips
##### 1 Step 1 Transaction
+ pros
+ ReRunしやすい
+ cons
+ containerのリブートに時間がかかる
##### 案件毎にnamespaceを変える
関係ないpodが出てくるのは心臓に悪い

## CircleCI 2.0を支える2つのコンテナクラスターとSRE
[スライド](https://speakerdeck.com/kimh/circleci-2-dot-0wozhi-eruinhuratosrefalseyi-ge)
### CircleCI Japan
https://twitter.com/circlecijapan

### CircleCI 2.0
完全コンテナベースのCI/CD

### 1.0 ?
Linux軽量コンテナを使ってた
2016年Beta開始

1日120万ビルドのCI/CDプラットフォーム

### 技術編: 2つのクラスタ
+ Kubernetes
+ マイクロサービス用のコンテナ
+ 60くらい
+ フロントエンド
+ 課金
+ ユーザー管理
+ WebHook管理
+ Nomad
+ ビルド用のコンテナ
+ Docker imageのpull
+ コードのcheckout
+ ビルドコマンドの実行
+ Artifactsの保存
二つを分けることでセキュリティの担保
+ ユーザのコードをビルドする　== ユーザのコードを実行できる

### K8s
+ すべてのマイクロサービスが動いている(60くらい)
+ 自前でEC2上で管理
+ terraform
+ サービス間通信にはgRPCとRabbitMQを使用
#### RabbitMQ
+ 非同期通信を推奨している
+ podが死んだり復活したりするのは日常茶飯事
+ 同期を期待すると困る
+ 分散システムでは非同期が推奨
+ RabbitMQ on k8s
+ RabbitMQのスケーラビリティの向上
+ StatefulSets
+ 現在テスト中
#### マイクロサービス間の同期通信
+ gRPC
+ もともとはビルドログのストリーミング
+ 現在、サービスあいだ通信のデフォルト
+ スケールさせるのは一工夫必要
#### K8s on EC2
+ Master node のマネージメント
+ etcd
+ OSの管理
+ 認証・セキュリティ
+ Public API endpointの安全性
+ ユーザの管理
+ アップグレード問題
#### 今後の課題
+ EKSへの以降検討中
+ masterのアップグレードは手動でやらないといけない

### Nomad
[Nomad by HashiCorp](https://www.nomadproject.io/)
[さんこう?](https://www.slideshare.net/zembutsu/introduction-to-nomad-architecture)
Servers <==> Clients
+ バッチジョブ
#### CircleCIビルド == Nomad ジョブ
CircleCIのビルドはNomadのジョブの単位で実行される

#### ヒューマンスケーラー
CircleCI1.0のときは人間がスケールコマンドを叩いていた
+ 人間の手 + 職人の勘
スケールしてからUPするまで30分かかるからアラートで自動でスケールアウトすると困る
#### スケーリング@2.0
+ Datadog
+ Autoscaler
+ AWS ASG
DatadogのアラートからASGが起動
#### なぜNomadなのか
+ Nomadはバッチ処理がk8sより得意だった
+ 今ではk8sも良くなっているらしい
+ シンプルなアーキテクチャー
+ Hashipcorp　Toolsとの親和性
+ Mesosも検討したが複雑で断念
#### 運用してわかったこと　
+ シングルバイナリは正義
+ 簡単に開発環境で使える
+ スケールしやすい
+ オンプレでも管理が簡単
+ 安定している
+ Nomad自体のバグが少ない

### SRE
+ 分散したエンジニアリングチーム
+ アメリカ、ヨーロッパ、アジア
+ サンフランシスコのエンジニア単価がめちゃ高い
+ 今後は分散したエンジニアリングチームが主流になっていく？
+ ボーイング方式
+ Working together
+ 時差の有効活用
+ 継続的なペアリング
+ 無理のないアラート対応
+ 障害時対応
#### 障害対応
+ Slack
+ #investigation
+ 障害かなって思ったら
+ #
#### 障害対応チーム構成
+ Incident Commander
+ Communication Commander
+ Incident Responce Team
+ Note Taker
+ ボランティアでできそうな人がやる

#### Incident Commander
#### Communication Commander
+ ユーザーへ現状を伝える
+ ユーザーから障害をを聞く
+ StatusPageをアップデートする
+ Customer Success Enginnersが担当
#### Incident Response Team
+ 問題に詳しいエンジニア

#### SRE Clinic
+ 週ごとにローテーションでToilを潰す
+ アカウントの削除、DNSレコードの追加 etc
+ Toil以外に集中できるようにする
+ Clinic
+ 駆け込み寺的なニュアンス
#### pros, cons
+ Pros.
+ 他のエンジニアがタスクに集中できるようになった
+ 何がToilかの分類ができるようになった
+ Cons.
+ なにがClinicの仕事かの分類が曖昧
+ タスクからClinicへ映るときのタイミングが難しい
+ 自分のタスクを人に渡さないといけないので
+ Toil自体が減るわけではない

<!--
あんまおもしろくなかった
## {{ title }}
FUJITSU Cloud Serviceの管理責任者

### FUJITSU Cloud Service for OSS
OpenStack準拠のクラウドサービス
#### OpenStack準拠のサービス郡
+ 仮想マシン・ベアメタル
+ 仮想ネットワーク
+ ブロックストレージ
#### OpenStack準拠のAPI
+ openstack client
+ ansible

### ユーザーストーリーズ on OpenStack
#### FujiTSU Tech Talk: リアルコミュニケーション
+ TechTalk Connect
+ Tech Talk FOCUS
+ Tech Talk 祭

## 今さら聞けないOpenStack 〜クラウド基盤って何が嬉しいのかを再確認
NTTデータ
統合開発クラウドのOoenStack基盤
### 求められる要件
+ 2000 project / year
+ 150+ partners
+ 50+ country
+ 110,000
+ 開発支援サービス
+ 標準プロセスのベストプラクティスに準拠したサービス
+ 開発自動化サービス
+ スタックと基盤自動構築・AP自動化の仕組みを実現
*/
-->

## Kubernetesとアプリをつないだ可視化を実現しよう
クラウドネイティブアプリの最新運用管理術
New Relic
ソリューションコンサルタント

### What's cloud native?
アプリケーションを物理的な成約から解き放つ
### アプリケーションを物理的な制約から解き放つ
+ 物理サーバー
+ 仮想マシン
+ コンテナ
+ Kubernetes

### アプリケーションの作りが変わる
モノリス　< == > マイクロサービス

### Observability
Trail map でも4番目に定義されている
#### not cloud native
+ 見るべきは一つ
+ リソースが割り当てられていれば動く
+ リソースセントリック

### 何を見るのか
+ アプリと基盤だけ
+ リソースとコンポーネント郡の関係を見る

### アプリを中心に動的な環境を多面的に見る
+ kubernetes cluster
+ 分散トレーシング
+ Pods, Deployments
+ アプリケーション
+ コンテナ
+ Nodes
+ ユーザーエクスペリエンス
+ k8sを動かすクラウド

### ObservabilityってOSSで実現できる？
+ Prometheus
+ fluentd
+ etc

#### OSSは得意分野を明確に持っている
+ fluentd
+ アプリケーション
+ promeheus
+ Nodes, pods, cluster,
#### 自分で好きなようにカスタマイズすることが前提

### 作るのではなく買うという選択肢
`入門　監視`にもかかれている
+ クラウドネイティブの運用がこなれていない段階でベンダーのノウハウが詰まった統合的なビューを試してみたいとき
+ 導入・設定・運用するスキルと工数の人的コストがツールの購入コストを上回る時

### NewRelic
クラウドネイティブの可観測性がすごい
すべてを計測し見渡すための場所
+ 導入機
+ 初期設定
+ 実践編
+ ビューの味方を理解する
+ 応用編

## k3sで作る! 軽量k8sエッジコンピューティング環境
+ Rancher Labsが開発したディストリビューション
### 特徴
+ Certified Kubernetes Distribution
+ CNCFの定義する適合テストに合格したk8sディストリビューションのこと
+ 基本的なk8sの各種APIなどが実装され利用できる
+ 軽量
+ 512 MB of ram per server
+ 75 MB of ram per node
+ 200 MB of disk space

+ ARMアーキテクチャサポート
+ x86_64, ARMv7, ARM64

### どうやって軽量化したのか
#### コードの削減
５つ機能を削った
1. レガシーまたは非デフォルトの機能
2. アルファ版の機能
3. クラウドプロバイダ向けのコード
4. Storageドライバ関連のコード
5. Docker(optional)
#### プロセスの削減
Kubernetesを構成する主要コンポーネントを単一プロセスにまとめた

### showk3s
+ showKsの小プロジェクト
+ showKsと連携したk3sを用いたアプリケーション
+ k3sのエッジコンピューティングコンセプトをデモとして実装する

### エッジコンピューティングで考えなければならないこと
+ 上流のネットワークは不安定
+ エッジ端末は壊れる
+ エッジは一般的に数が多い

### Goldwing Smart Energy
[Goldwing](http://www.goldwindglobal.com/solution/effect.html)
+ スマート風力発電のために3万台を超える風車を運用
+ 各種データを数千箇所にあるエッジk8sクラスタに集約してアップロード

### show3s
+ エッジコンピューティングについてきちんとした実装を素人がするのは大変
+ デモやPoC程度にはRPiとk3sの力で実現できる
+ お小遣い程度で公開できる
+ 興味あれば動かしてみて