18th Workflow Meetup まとめ ========================== 10:00 - 19:00 まで # 全体 - VSCode の Live Share を使ってLive Coding をした。 - 大阪からも、スイスからもつなげた - インパクトがすごい - メリット - 他の人の書き方がわかる上に、自分も書いていけるので、かなり学習の効率がよい。 - 新規になにか勉強するときには、非常に効率よく学習できる感じがする - 他の人が現在どこをみているのか、すぐにジャンプできるのでよい。 - ターミナルのログのさかのぼりかたも自由にできるので、エラーを探すのも速い # 各自 ## 石井 - Live Coding で、CWLを書いた - [manabuishii/workflow\-ci: CWL workflow and test with travis\-ci](https://github.com/manabuishii/workflow-ci) - ツールを書いて、テストも書いた、travis で、CIをまわしはじめ、circleci へも対応中 - bwaの小さなインデックスなどのありかたがわかった - [hacchy1983/CWL\-workflows: Workflows written in common workflow language \(CWL\)](https://github.com/hacchy1983/CWL-workflows) - DATAの下にあるデータは、bwaのインデックスと、小さな配列 ## 海津 西田 - genome配列 to simulation model のためのワークフローの検討 - 遺伝子の制御構造までゲノム屋さんが考える余裕は無い? - ![](https://i.imgur.com/dwsCbyT.jpg) - dfastを https://github.com/hyattpd/Prodigal で使っていきたいと思う - 画像の特に赤マル箇所をワークフロー化したい - 赤マル箇所の定番ソフトがそもそもわからん - 赤マル箇所のawesome-cwl無い? - ソフトリストを作りたい、定番ソフトをはっきりさせワークフローを組みたい - それらソフトはwebでなくローカルにインストールさせてほしい - TF bsはむずいかもだからとりあえずoperon予測がしたい - まず使うoperon予測ソフト決めてワークフローを組みたい - transfacは有名だが有償ソフト 生物種のこともあるし... - https://molbiol-tools.ca/Promoters.htm 見たりしてた - https://github.com/MarcoDiSalvo90/G4PromFinder ごとうさんに教えていただいた ## 丹生 - CWL を書いていた - 新海さんに `gatk BaseRecalibrator` でエラーが出る問題を解決してもらった - 入力フォーマットが微妙に異なっていた模様 - ちゃんと与えられた手順書に従いましょう - 今度は `bwa mem` にハマる (ライブコーディングでやった bwa-mem とは別: 未解決) ```console [mem_sam_pe] paired reads have different names: "DRR006760.3.1", "DRR006760.3.2" [mem_sam_pe] paired reads have different names: "DRR006760.1.1", "DRR006760.1.2" [mem_sam_pe] paired reads have different names: "DRR006760.4.1", "DRR006760.4.2" [mem_sam_pe] paired reads have different names: "DRR006760.2.1", "DRR006760.2.2" ``` - (池田です)ヘッダーを修正して、リードの名前を同じものにしてください。末尾の".1"、".2"を除外してください - 問題の DRR006760_*.fastq は、wget で落とした sra を fastq-dump で変換したもの - オプションの問題?要確認 - (池田です) -I とか -readids 等のオプションが指定されていませんか? - `Append read id after spot id as 'accession.spot.readid' on defline.` - pitagora-cwl の fastq-dump で、意図しない `-readids` がデフォルトで有効になっていのが原因と思われる - docker コンテナ、`brew` でインストールした bwa でも同様 - コンテナ: `quay.io/biocontainers/bwa:0.7.17--h84994c4_5` - brew: 0.7.17 - ライブコーディング - Travis CI が提供する環境が古くなっている - 今から始めるなら他の CI 環境の方がいいかも - 「ここをこう修正して」とか言う時間があれば自分で修正できる - VSCode Live Share の衝撃 - まさかのノーガード戦法 - コンテナなどで環境を作るのなら十分あり - Language Server がホストに入っていれば、おそらくゲストも LS の恩恵を受けられる(はず) - cwlls reboot の機運が高まる ## 大田 (from Basel, Swiss) - 4日目にして時差ボケを解消しつつある - 昨日は史上最高に暑い日だったらしい、午後の気温が38度とかだった - ライン川にMacBookAirを水没させたが生きていた - w - VScodeのLiveShareでスイスから日本に接続した - バカウケだった - 今から CoFest 1日目です - nextflow勢が5人くらい、CWL勢が8人くらい、WDL勢が1人のワークフローグループにいる - DAT2-CWL の原稿を書いたりします - あとSapporoのデモをするかも - Sapporoにnf-coreのnextflow workflowsを入れたい ## 藤野 - Genomon pipeline を淡々と CWL に移植中 - 元のパイプラインで設定ファイルにパラメータが大量に指定できるようになっている - CWL でパラメーターを記述しても数が膨大に(デフォルト値とか指定できるならそうしたほうがいいのか) - 作った人に聞かないとパラメータの意図は分からなそう - あとは共同でライブコーディング ## 池田 - VS Code Live Shareでライブプログラミングに参加した - これは面白い - rootless dockerを試そうと思っていたが次回以降に延期... ## 谷沢 - バクテリアゲノム解析まわり - platanus ~ dfast CWL化(途中) - Live Shareすごい。(これだけでも来た甲斐あった) ## 新海 - cwlライブコーディングで色々と勉強 - bwa mem等を実際にcwl化する等 - 皆さんのやり取りを聞いていても勉強になります - というかlive share凄いですね、時代は令和 ## 小野 - VScodeの機能に驚いた.. - Live Shareのextentionを使えば自分のPCを眺めながら(書き込みながら)ライブコーディングに参加可能 - read onlyでも、他の方のターミナルをいじることも、権限選べる - GitHub以外(MicroSoft)とのアカウントとの連携もできそう - CI真面目に考えときたいと感じた - ライブコーディングで学べたのはかなり大きい ## 後藤 - cwlライブコーディングを通じてCWLの体験 - DFASTの体験。 - 昔は一晩かかった遺伝子アノテーションが全自動で10分足らずでできる! <- 要望・質問等あればslackかメール ytanizaw@nig.ac.jp へよろしくお願いします。 ## 八谷 - ライブコーディング時にテストデータ提供、CWL作成、ジョブファイル(YAML)作成、などに貢献 - CI(TRAVIS CI, CIRCLECI)のやり方がとても勉強になった ## 末竹 - CircleCI の Bug っぽいのを解決した - https://github.com/CircleCI-Public/circleci-cli/issues/281#issuecomment-515393419