27th Workflow Meetup まとめ(4/16)
================================

[20200416 · manabuishii/workflow\-meetup Wiki](https://github.com/manabuishii/workflow-meetup/wiki/20200416)

2020-04-16(Thu)
13:00 - 19:00 まで。

完全リモートのため、全世界どこからでも参加可能。

# 事前計画

[各自事前計画は、こちら](https://hackmd.io/uwCUO_uMTDat0QarvjhLxw)

# 次回

[20200501 · manabuishii/workflow\-meetup Wiki](https://github.com/manabuishii/workflow-meetup/wiki/20200501)

基本完全リモートを予定
2020-05-01 (Fri)
13:00-19:00

Skypeを中心に据える予定

# 全体

## オンライン会議の注意点

* Bluetoothヘッドフォンが死ぬと死ぬ(大田)
* 予備を用意していたほうが良い
* Air podsで片方づつ使って、使ってない方を充電する方式がある。
* 片方 Air podsで、片方耳栓にしたらどうか？

## ワークフロー

* nf-coreでは、要求仕様にテストすることがかいてある
* nf-coreのテストは、どこで実行するかに興味がある（西田）
* GitHub Actionsじゃないかとおもわれる
* 開発者向けのドキュメント
* [Guidelines » nf\-core](https://nf-co.re/developers/guidelines)
* Azure Pipelineを使っている（西田）
* ローカルでも同等の環境でテストできる。
* Self Hosted Agent
* 実行環境ごと渡すことができるように使っている（西田）
* 手元のテストとCI環境が同じであるということは心理的に安全（石井）
* ほぼCircle CI/Travis CIと同じ
* Circle CI/local executer で、ローカルとクラウドと同じ環境
* Mac,Windows、Linux
* genome系
* AWS
* 大きなデータをインターネットへ向けて転送することになると、転送料金が発生する
* AWS内で完結できるテストだと、お金に優しい
* 定額制のマシンを使えるように
* BMC
* IPMI
* IPMIでもコンソールがつかめなくて困る(西田)
* 最近は、コンソールは、Javaではなく、HTML5のことがある。
* Javaでもブラウザでも、固まったら、他のOSからアクセスしたりする
* だめなときは、物理的に押すしかない。
* CI(Continuous Integration、継続インテグレーション)、(石井)
* MacでもLinuxでも動くかを確認しておく
* コミット単位でできるとよい
* CD(Continuous Delivery、継続デリバリー)、（石井）
* 新しいバージョンのウェブサイトやウェブAPIサービスを、自動的に新しいものを配置する
* ウェブサイトやウェブAPIサービスを提供していない場合はあまり考える必要がない。
* nf-core
* 載せてもらうまでの流れ
* 申請して、レビューとおれば、載せてもらえる
* CWL
* 最近 CommandLineToolについては、[common-workflow-library](https://github.com/common-workflow-library)
* レビューシステムがあるか？
* PRでのレビューがレビューであるだろう。
* Skype, Microsoft Teams, Skype for business
* [Skype for Business から Teams へのアップグレードに関する FAQ \- Microsoft Teams \| Microsoft Docs](https://docs.microsoft.com/ja-jp/microsoftteams/faq-journey)
* SfBは、そろそろサポート終了
* [Skype、Microsoft Teams、Skype for Business の違いは何ですか? \| Skype サポート](https://support.skype.com/ja/faq/FA34551/skype-microsoft-teams-skype-for-business-nowei-ihahe-desuka)
* Skypeを使ってよかった点
* 標準で、Poll(アンケート)がとれるようになっていた。
* 話題毎に、部屋をわけることができるか？
* Zoomはできる
* Discordで、ボイスチャンネルをわける
* アカウントが、Privateのアカウントと切り替えができなさそう
* Roleとしても、アカウントの切り替えは想定外っぽい
* Skypeはできない
* Google Colaboratory で最終成果物をだすときに、「みんなで」編集するのに良い方法はないか？
* Google Colaboratory
* メリット
* 実行環境としては申し分ない。ソフトウェアのインストールの必要がない
* 一人で編集でするのであれば問題ない
* [Changes made by one editor no longer visible to others · Issue \#355 · googlecolab/colabtools](https://github.com/googlecolab/colabtools/issues/355)
* [Google Realtime API Deprecation  \|  Google Developers](https://developers.google.com/realtime/deprecation)
* 複数箇所から同時に同じセルを実行すると大変だろうとか、そういう想像ができる
* デメリット
* みんなで編集すると、いろんなバージョンができて、コンフリクトしまくる
* VSCode の python 拡張でやろうとしたが
* メリット
* 単独では動く
* 実行もされるし、レンダリングもされる
* デメリット
* Live Shareではつかえない
* Jupyter notebook などを描画するCustom Editor APIが刷新されたようで、対応しきれていないかんじ
* S3の活用について
* データ置き場につかっている（大田）
* バケットごとに、認証をかけられるので、共同研究者、クライアントごとに、アクセス権をわたしてあげればよい
* 特定の人であれば、転送量もたかがしれている
* Amazonの外に出すときに、お金がかかるので、解析環境をEC2に作ってそれを使ってもらう。
* ファイルの権限に集中できるので、楽である
* 10TBで3万円くらいの転送料金のイメージ
* 普通にEC2からもってくると、10TB10万円転送料金だけ
* EBSが高いので、S3に基本おいておいて、必要なときに、ひっぱってくる
* リファレンスなどをおいている
* 普通に使っている。特別にマウントするようなことはしていない。
* マウントしたいのは、特殊用途ではないか？
* データのバージョニングの機能はどうですか？（西田）
* あまりまだ活用していない(大田)
* たまにまわすテストは、Zenodoにおいている
* 不特定多数が落とすようなデータなど
* Zenodoは、１データセットで、５０GBくらいおける
* FigshareとZenodoの違い
* Figshare
* Nature系(NPG)
* Zenodo
* CERN
* 活用したい（石井）
* 誰かからデータを受け取るときに使いたい
* 解析環境がAWSにあるならば、データをAWS内へ再配置する手間がない（少ない）
* 結果を返すのにも使いたい
* サイズの問題はあるが、結果が小さいなら十分機能すると思われる
* minio
* S3クローンのOSS実装。
* SAPPOROでも使っている
* 開発はこれでもよいかもしれない
* 公式サイト
* [MinIO \| High Performance, Kubernetes\-Friendly Object Storage](https://min.io/)
* 公式github
* [minio/minio: MinIO is a high performance object storage server compatible with Amazon S3 APIs](https://github.com/minio/minio)
* Singularity + GPU + Jupyter Notebook(西田)
* [Jupyter Notebookの利用 \- ABCI Users Guide](https://docs.abci.ai/ja/tips/jupyter-notebook/)
* Singularity + Cytoscape
* ずっと動かすプログラムを実行するのに、`docker run -ti` を付ける必要がある
* パイプラインの論文をどこに投稿するのか？（尾崎）
* 自前のツールがないケースもある場合もある
* citableにしたいのであれば、zenodoの機能でDOIをGitHubのレポジトリ
* 論文
* Bioinformatics
* BMC
* NAR
* gigascience
* [Journal of Open Source Software](https://joss.theoj.org/)
* ISMB

# 各自

## 石井

- cytoscapeのdockerイメージを作り、`docker run -ti` の `-ti` なしで動くかをテストしようとしていた
- xvfbがらみ
- メモができる範囲でいろいろメモをした。
- 次回の日程を調整した

## 西田

- nextflowでcytoscapeを活用するnf fileを作ろうとした https://github.com/kozo2/cytoscape-nextflow
- virtual biohackathonで困ってる人を助けるついでに興味を持った
- なぜかコマンドがローカル環境で実行される、コンテナ環境で実行されない
- わからないので gitter で助けを求めている https://gitter.im/nextflow-io/nextflow?at=5e980b440480c128efbef6ce
- singularity + GPU + jupyter notebook を試そうとしたがAPIキーなるものが要るようで途中断念
- rootユーザと、一般ユーザどちらで、APIキーをとったらよいのかという問題あり

## 丹生
- CWL-metrics で取ったメトリクスの可視化システムの一般公開準備をしていた
- 現状 Bitbucket のプライベートリポジトリで開発
- Github だとプライベートリポジトリ等に制限が強かったため
- 複数人での開発のため、リポジトリはプライベートプロジェクトに所属させていた
- プライベートプロジェクト内のリポジトリはパブリックにできないっぽい
- Github に移動させて公開してもいいのでは？というメールを関係者に送って反応待ち
- [Github のプライベートリポジトリなどの制約がかなりゆるくなった](https://jp.techcrunch.com/2020/04/15/2020-04-14-github-is-now-free-for-all-teams/)ため
- 今月中には公開したい
- キーボードの話が出ていたので[これ](https://yushakobo.jp/shop/b0200st-f2-1/)を買ってみました
- Slackにキーボードチャンネル誕生
- マウスもきっとおなじ道をたどるだろう。

## 熊谷

- https://qiita.com/nigyta/items/6cb321735dba0a6215b2 を参考にしたらJupyter Notebookをlogin ノードで動かすことには成功
- rocker imageにjupyterを入れてcontainerから使えるか試したかったがビルドが間に合わなそう(コンテナでかくなるとDockerHubでビルドしてからlocalにpullするのが重しんどい)。Singularity3系だと解決しているとの噂？
- 今 Singularity 3が使えるのではないか？（大田）
- 確認しました、`module avail singularity` でバージョン見れる
- 今デフォルトは3.5.2
- なぜ、rockerにjupyterをいれるのか？(西田)
- Jupyter notebook から、Rを使いたいだけ。Rとpythonを同じ感じで書きたい！(熊谷)
- 回避策ありそうなので、見つけたら連絡予定
- jupyter docker stacksを使うのはどうか？(尾崎) https://jupyter-docker-stacks.readthedocs.io/en/latest/using/selecting.html
- ここみると、なにになにがはいっているかが書いてある。大田さんもよくみている
- ここのdockerから、singularityに変換したものが使えるのか結果を知りたい(尾崎)
- 成功しても、失敗しても
- dockerhub: https://hub.docker.com/u/jupyter
- zenodoアカウント作成。作った瞬間にサーバーメンテ入っちゃったので後日設定する。
- 公開用のGitHubレポジトリ作成
- 自宅インターネット回線の見直しを決意
- 共同研究者と数百GBのやりとりをどうするか
- 遺伝研スパコンを共同研究両方ともつかっている場合
- サポートにメールするとやってくれる
- 共同研究者の遺伝研IDを伝える。
- SEさんはじめ、関係者のみなさんに感謝のこころを忘れないようにしよう！
- いつもありがとうございます、からの無茶振り
- 遺伝研スパコンを使っていない人がいる場合、HDDを送付する
- 20世紀から続いている
- 価格的にも安い気がする
- ネットワークの転送レートがでたとしても、帯域専有で他の人が困ることがある。

## 新海
- 事務作業とメール対応で終わってしまいました
- 皆さんの話聞いてると勉強になります
- とりあえずskypeでなんとなく会議に参加できることが確認できた
- ただし時々落ちる
- キーボード2枚運用個人的最強説
- thinkpad keyboard2枚（新＋旧）とかhhkb（左）thinkpad（右）とかそういう
- これやり始めてから肩の痛みが無くなりました
- 尚その横にExpert Mouse置いてます（職場では）
- 日本語配列なので分離キーボードはbarocco md600位しか…
- 単体では東プレテンキーレス30g個人的最強説ではある
- REALFORCE MOUSEが気になる（雑談）
- https://pc.watch.impress.co.jp/docs/column/hothot/1241704.html

## 尾崎
- Nextflowで作っている[scRNA-seqデータ解析パイプライン](https://github.com/rikenbit/RamDAQ) の中で使っている自作ツールの機能拡張
- Julia で Plots.jl に詳しくなり、いろんなプロットを作る関数を実装できた
- １月以上放置していたので、TODO項目を思い出す時間を結構費やした
- パイプライン論文はどこに出すか？
- NAR
- BMC Bioinformatics
- Peerj
- F1000 research
- CIについて Azure Pipelines https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/docker?view=azure-devops
- nf-co.re について情報を知れた
- CWL勢からすると、nextflowのパイプラインを探すファーストチョイスは nf-core らしい
- → 頑張って RamDAQ を nf-core にアップしたいと思った
- 前は travis CI だったが、ちょっと変わっていた (CircleCI?)
- 最近だと Github Actions が第一候補な気がします (丹生)
- 書いてありました💦 https://nf-co.re/developers/adding_pipelines#set-up-github-actions-and-docker-hub
- こんな感じ https://github.com/nf-core/methylseq/actions?query=workflow%3A%22nf-core+CI%22

## 大田

- WFHで自炊が捗る
- 職場のMac miniとLGのワイドディスプレイを新幹線で持って帰ってくればよかったと後悔している
- 参加しようとしたらBTヘッドフォンが死んだ
- Mac/Bose QC35
- ペアリングし直し、plist削除、BTモジュールリセット、オーディオデバイスの再起動、マシンの再起動等々をやってみたけどだめ
- 他のマシンにペアリングしても音が出ないのでヘッドフォンの専用appでファームウェアアップデートをかけてヘッドフォン側をリセットしたら治った
- フルリモートの今ヘッドフォンが死ぬと大変つらいので予備があったほうがいいということがわかった
- iPhone SE 買うのでついでに AirPods Pro も買います
- COVID19 Virtual BioHackathon やってました（4/5-11）
- なぜかオーガナイザーをやっていた
- [色々のトピック](https://github.com/virtual-biohackathons/covid-19-bh20/wiki)がありました
- 全部ミーティングはYouTube/TogoTVに[上げました](https://www.youtube.com/playlist?list=PL0uaKHgcG00Z7NpEH1Cg9XhT_lD2gjJkg)
- 物理 BioHackathon 2020 @ 広島の開催が危ぶまれている
- 決断は5月まで粘る予定
- 物理+バーチャルのあわせ技、もしくは完全Virtual?になるかも
- 物理 BioHackathon Europe 2020 @ バルセロナどうすんの？とオーガナイザーに訊いたら "We are very optimistic" と言っていた
- 遺伝研のSingularityがひっそりとバージョンアップしていた（前回のメンテ停電の後から変わっている）

[inutano@at138 ~]$ module avail singularity
------------------------------------------------------------------- /cm/local/modulefiles --------------------------------------------------------------------
singularity/2.6.1  singularity/3.2.0  singularity/3.3.0  singularity/3.4.1  singularity/3.5.2(default)
[inutano@at138 ~]$ module load singularity
[inutano@at138 ~]$ singularity --version
singularity version 3.5.2