17th Workflow Meetup まとめ

10:00 - 19:00 まで

全体

• 次回 2019年7月26日金曜日、大阪、東京同時開催

• Nextflow ライブコーディング(石井)

  • Nextflow を使ってみる - Qiita
  • 動いた環境
    • Mac
    • Linux
    • Windows on WSL 1

• condaでの、Rパッケージの作り方(西田)

  • docker run -it continuumio/miniconda bash
  • conda install conda-build
  • conda skeleton cran DiffCorr
  • conda config –add channels defaults
  • conda config –add channels bioconda
  • conda config –add channels conda-forge
  • conda install bioconductor-pcamethods bioconductor-multtest
  • sedで r-diffcorr/meta.yaml 中の r-pcamethods r-multtest を bioconductor-pcamethods bioconductor-multtest に置換
  • conda build r-diffcorr
  • ls /opt/conda/conda-bld/linux-x64
  • できあがり == *.tar.bz2がconda package
  • anaconda cloudにuploadするなり biocondaやconda-forgeにpackage登録を持ちかけるなり
  • conda install -c pacakgeをuploadしたchannel r-diffcorr

  でできるのだがもうすでにr-diffcorr packageがbiocondaにあった! https://bioconda.github.io/recipes/r-diffcorr/README.html?highlight=diffcorr#recipe-Recipe 'r-diffcorr'
  diffcoexpというbioconductorのpackageがDiffCorrに依存しているからdiffcoexpをconda package化するために作られたらしい
  (おそらくbiocondaチャンネルではbioconductorの全パッケージがconda package化されている)

各自

石井

• デモ中に、Mac の電源ボタンを押さない方が良いという知見を得た
• Nextflow のライブコーディングをした
  • Nextflow を使ってみる - Qiita
  • すぐ動いた。
  • インストール用のコマンドも１行で簡単
  • Atom, VSCode には、シンタックスハイライタもある。
  • コンテナは、 docker, singularity 両方共対応しているようなので、今後はこのあたりを試したい。
• VSCode の Reomote Development Plugin がよい
  • Remote Development - Visual Studio Marketplace
  • インストールすると、デフォルトで、.ssh/config を解析して、接続先を作ってくれる。
  • 接続後は、そのホストのホームディレクトリ以下に .vscode ができる
  • プラグインとかそこにいれられるようだ
  • コンテナで試したい。
• Polycom 環境でコンテンツ送信用の入力が、DVIしかない ということは考えていなかった

西田

• R conda package 作成の試行・デモ

大田

(石井代筆)

• CWL のために、golangで、ダウンロード専用ツールを作成中、シングルバイナリで
  • golang
  • 検索もサポートしたい
  • 「いいかんじに、ちいさい、やつ」をダウンロードするやつも作る予定

千葉

• AWS ECS で、CWLが使用できるか試してみる。
  • モチベーションは当研究室でAWS ECSが流行っているから
  • EC2にECSのセットアップをした
  • CWLファイルやサンプルデータの用意をした
  • 次回実行予定

丹生

(石井補足、CWLパッケージングとは、CWLで使えるようにcwlのファイルを作成した)

• annovar の CWL パッケージング+Docker化
  • http://annovar.openbioinformatics.org/
  • ライセンスなどの記載がなく、とても不安になる
  • annovar/annotate_variation.pl は Net::FTP と LWP::UserAgent に暗黙的に依存している
  • Docker 化は完了したが、再配布できるのか要確認
• シェルスクリプト内で使用されている Perl のワンライナーをどうやって CWL 化するのか悩む
  • 後回し
  • ツール単位ではなく変換単位で区切って CWL 化するほうがいいかもしれない
  • スクリプト自体を実際に動かして挙動の確認
  • スクリプトをそのままパッケージングしても問題なさそう？
    • https://github.com/makohda/ToMMoVcf2Annovar/blob/master/convert_35KJPNv2.sh がベースのスクリプト
    • 今後差分を確認

坊農

• CWLが実際に発現定量に使えるか試している
  • CWLでkallistoを動かしてみるチュートリアルをShizuoka.ngs#2でやった(6/22)
  • それに続いて、CWLでsalmonを動かしてみた→AJACSa6河内(7/25)にて上級者向けにやってもらう予定
  • trim_galoreのCWLを書き始めた

八谷

• human reseq workflow が動かない環境がある？
  • 医科研スパコンで動かないらしい。
  • NIG個人ゲノム解析環境で、singularity 2.5.0〜3.2.1 の 13 バージョンを試した
    • どのバージョンでも動いた。医科研スパコンで動かないのは、singularity のバージョンのせいだけではないようだ
• Genomon Pipeline Cloud を CWL 化したい
  • 千葉さんに親切に教えてもらった
• NIG個人ゲノム解析環境で、fastqアクセスだけでなく、bamアクセス・vcfアクセスができると良い？
  • 何か意見がある方がいれば、ディスカッションしたい
• Shields.io で、バッチを作って遊んでみたら、 CWL を認識してくれた！
  
• ナベインターナショナルの内田さんが、cwl advent calendarに書きたそうにしていた

池田

• Nextflow のライブコーディングを見せてもらった
• Nextflow の-with-reportで出力されるレポートのhtmlは DataTablesとBootstrapを埋め込んで作成されている

 * Bootstrap v4.0.0-beta.2 (https://getbootstrap.com)
 * To rebuild or modify this file with the latest versions of the included
 * software please visit:
 *   https://datatables.net/download/#bs4/dt-1.10.16/b-1.4.2/b-colvis-1.4.2/b-html5-1.4.2/cr-1.4.1
 *
 * Included libraries:
 *   DataTables 1.10.16, Buttons 1.4.2, Column visibility 1.4.2, HTML5 export 1.4.2, ColReorder 1.4.1

藤野

• GenomonPipeline を読解
• クラウドでの実行用に独自のジョブ投入・パラメーター受け渡しなどをするライブラリが構築されているらしい
• 動かさずに挙動を把握するのはなかなか大変

芳村

• WF実行結果の可視化でRを使っているので drakeについて調査した
• https://ropenscilabs.github.io/drake-manual/
• 今までの自分の書き方をそのまま流用することができないことがわかった