24th Workflow Meetup まとめ(1/31)
================================

2020-01-31(Fri)
10:00 - 19:00 まで。
大阪、東京同時開催
大阪、16:30まで
東京、19:00まで

大阪：大阪会場：理化学研究所、A棟 3階 303会議室
東京：国立情報学研究所(NII)、2001A 実習室1 (20階)

# 次回

[20200212 · manabuishii/workflow\-meetup Wiki](https://github.com/manabuishii/workflow-meetup/wiki/20200212)

2020-02-12(Wed)
10:00 - 19:00 まで。
大阪、東京同時開催

大阪：理化学研究所、A棟 3階 303会議室
東京：理化学研究所、東京連絡事務所（日本橋）、第１会議室

# 全体

- ２月オンデマンドクラウドの何かをする予定
- うまく調整できれば、ハンズオン
- できなければ、実際の活用方法の紹介
- 今後の希望
- いろいろな、言語でのワークフローの作成方法をしる
- そ言語の詳しい人にきけたらよい
- ワークフローシステムを作る上で、このあたり注意したほうが良いとか、経験上困ったこととかをまとめる何かをつくりたい。できれば経験談もききたいが、それはあとでもよい。
- かきはじめた
- [Tips\_for\_workflow · manabuishii/workflow\-meetup Wiki](https://github.com/manabuishii/workflow-meetup/wiki/Tips_for_workflow)
# 個別

## 石井
- AMIのイメージを作る、作ったAMIをもとにマシンを作る
- ログなどの消し方などを確認した

## 西田
- galaxy training を試した
- 既存ワークフローの勉強にはよい
- ただ各処理の実行がjupyter noteobookのようにインタラクティブにできない気がした
- 正直ワークフローの「実行系」としては微妙と思った
- galaxy trainingで実例を勉強して「実行」はjupyterで行うように書きなおしたい気がした
- (石井追記:[Galaxy Training\!](https://galaxyproject.github.io/training-material/))
- AOEの  の矢印3の意味を教えてもらった
- figの3の矢印用のデータインポートのbiocのパッケージがあったらいいのになと思った

## 坊農
- 大阪会場に来た
- 以下のpaired-end(PE)版を作りかけ
- 2020年1月21日にHISAT2-StringTieワークフローをCWLで動かしてみるプチハンズオンをやった
- [作成したCWL ツール・ワークフローを実際に動かしてみた(その1)](http://bonohu.jp/blog/commonwl-for-practical-use-1.html)
- [作成したCWL ツール・ワークフローを実際に動かしてみた(その2)](http://bonohu.jp/blog/commonwl-for-practical-use-2.html)
- [作成したCWL ツール・ワークフローを実際に動かしてみた(その3)](http://bonohu.jp/blog/commonwl-for-practical-use-3.html)
- 反省点： 使いたいデータをあらかじめ取得しておくべきだった。上記の例がsingle-end(SE)用だったが、再利用したいデータはPEのデータの方が多い模様。

## 後藤
- とりあえずミートアップに来た
- Azure上のNII学認クラウドオンデマンド構築サービスの利用へ向けて
- IPアドレス/MACアドレスの管理の良い方法を探す
- IPアドレス管理はIPAM(IP Address management)と略す
- フリーソフトではphpIPAMなどがあるようだ

## 丹生
- DAT 本
- 担当しているワークフローに細かい修正
- [ep3](https://github.com/tom-tan/ep3) 関係
- entr バックエンド由来の問題と思しきバグ
- ランダムに数問 fail する

        165 tests passed, 3 failures, 29 unsupported features

- entr 自体には問題はない。使い方の問題
- ファイル監視タイミングと最初のイベント発動用のファイルコピーのタイミングの問題と考えられる
- 結局自力でバックエンド作る必要があるのでは？ということでプロトタイピング
- まだできてない
- [D言語の std.concurrency](https://dlang.org/phobos/std_concurrency.html#.unregister) ででかい構造体を送れない問題にハマった
- 32バイト以上のデータは送れないらしい
- 構造体からクラスに変更して暫定解決
- ファイル監視とか必要なかったんや！という結論になりつつある
- 他のチームとの棲み分けどうするの？という政治の問題再び

## 池田
### DESeq2をR上で動作させるためのdocker imageを検討及び構築
- docker hub上のrocker/rstudioを元に構築する場合
- Bioconductorのlibrary を導入する際にシステム上の様々なライブラリ及びツールが必要となる
- これらをapt-getでインストールするにはroot権限が必要
- `docker run -d -p 8787:8787 -e ROOT=TRUE -e PASSWORD=${password} rocker/rstudio`
- terminal上でapt-getで色々とインストール
- あまりお手軽とは言えない
- bioconductor/bioconductor_docker　を利用する
- 少なくともBioconductorの動作に必要なシステム上のライブラリ及びツールはインストールされている
- https://hub.docker.com/r/bioconductor/bioconductor_docker/dockerfile
- `docker run -d -p 8787:8787 -e ROOT=TRUE -e PASSWORD=${password} bioconductor/bioconductor_docker`
- しかし、localhost:8787に ID: rstudio Pass: rstudioでアクセス可能なまま
- rstudioで一旦接続したらTerminalの`passwd`でパスワードを変更する必要がある
- docker起動時のPASSWORD環境変数で変更されるのは biocのパスワードのみ...

## 角崎
- タンパク質用の機械学習ツールのCWLを整備していた。
- タンパク質のベクトル変換のCWLを書いた。
- 各種回帰アルゴリズムのCWLを少し書いた。
- Dockerfileを少しだけ書けるようになった。
- Arvados Composerが動かせなくて、諦めた。

## 末竹
- DAT2-cwl の整理をしていた
　　- test の整備
　　 - やれてない
　　- commit の squash
　　 - https://suecharo.hatenadiary.com/entry/2020/01/31/174000
　　 - やった
- いくつかの Meeting

## 長谷川哲

- 今まで作ってきたワークフローのcwl化を画策するが、まだ実績は０。
- bash2cwl.plの手直し[https://github.com/moirai2/moirai2/blob/master/bash2cwl.pl]。
実行の結果を変数に入れられるように改良中。このようなbashをcwlのワークフローに自動で変換したい。

userdefinedid="DRA001287"
runinfo="runinfo.txt"
summary="summary.txt"
studyid=`esearch -db gds -query $userdefinedid | elink -target sra | efetch -db sra | xtract -pattern EXPERIMENT -element STUDY_REF@accession | sort -u`
esearch -db sra -query $studyid | efetch -format runinfo > $runinfo
esearch -db sra -query $studyid | efetch -format native -start 1 -stop 2 > $summary

## 大田

- ボスと面談して仕事を減らして給料を上げてくれと懇願してきたので遅れました
- 那須野さん、末竹さんと臨床DB開発案件の設計をしていました
- 最近は珍しくDB業を頑張っており、WFに流し込むデータをスルスル取れるようになる（予定）
- ソースコードの管理をDropboxから出して幸福が実現しました

## 藤野

- あんまりワークフロー関係ないですが、ヒトのリードをいろんなリファレンスで mutation call していました
- すでによく検証された VCF ファイルがあるので、それと比較してどの程度きちんとしているか比較するなど
- うまくいきそうなら 300 サンプルくらいで動かすことになるのでその下準備など

## 那須野
- 臨床DB開発案件の打合せ
- その他、通常業務の雑務を片付け…
- Terraform による AWS リソースの更新処理（複数回の apply 実行）で想定外の挙動があり、その原因調査など。
- 依存関係が複雑な Security Group ルールの更新には注意