23th Workflow Meetup まとめ(12/16) ================================ 2019-12-16(Mon) 10:00 - 19:00 まで。 大阪、東京同時開催 大阪：大阪会場：理化学研究所、A棟 3階 303会議室 東京：国立情報学研究所(NII)、2005 講義室1 (20階) # 次回以降予定 - 2020-01-31(Fri) - 大阪：大阪会場：理化学研究所、A棟 3階 303会議室 - 東京：国立情報学研究所(NII) 2001A - 2020-02-12(Wed) - 大阪：大阪会場：理化学研究所、A棟 3階 303会議室 - 東京：理化学研究所、東京連絡事務所 - 2020-03-04(Wed) - 大阪：大阪会場：理化学研究所、A棟 3階 303会議室 - 東京：理化学研究所、東京連絡事務所 # 全体 - [Translating Software Carpentry ](https://joelnitta.github.io/swc-trans-2019-12-16/#1) - Software Carpentry と、その翻訳プロジェクトの紹介 - [日本語のREADME](https://github.com/swcarpentry-ja/i18n/blob/ja/README.md) - CWL Live Coding - 対象のワークフロー: https://ccb.jhu.edu/software/stringtie/index.shtml?t=manual#de - 1-3 まで - 成果物: https://github.com/tom-tan/cwl-live-coding-2019-12-16 - [副産物](https://github.com/tom-tan/cwl-live-coding-2019-12-16/blob/master/20191216.md) # 個別 ## 石井 - もろもろ打ち合わせをしました。 - 今後の日程を決めました。 - ドキュメントを書きながら Advent Calendar も書きました - [cwl\-live\-coding\-2019\-12\-16/20191216\.md at master · tom\-tan/cwl\-live\-coding\-2019\-12\-16](https://github.com/tom-tan/cwl-live-coding-2019-12-16/blob/master/20191216.md) ## 西田 - https://github.com/kozo2/i18n/blob/ja/po/python-novice-gapminder.ja.po の翻訳 - Po(Edit)って便利かも... (今までPoが全くわかってなかった... Nittaさん情報ありがとう) - Cytoscapeハンズオン(ワークショップ?) at 神戸理研打ち合わせ - 二階堂研のみなさまありがとうございます... - 来年1月20or21日に神戸理研で開催、関西でCytoscapeのワークフローに興味がありそうな方いらしたらお声がけいただけると幸いです。 - 平日開催なので個別に声をかけさせていただく予定です。(阪大Python会，laboraryto automation 勉強会など) - 東京とは異なる毛色のワークショップ - 遺伝子リストを元データにしたEnrichment analysisのワークフローをGUIで - 東京はいかにもDBCLS向け「いかにもデータベース」って感じになるかと - 下記今日のミートアップと関係無いですが... - https://github.com/nrnb/gsod2019_kozo_nishida -　Bio "Pack" athon 2-25から2-28 (横浜) - https://twitter.com/antiplastics/status/1203308953326632960 - 参加申込などは - https://sites.google.com/view/biopackathon/biopackathon20191?authuser=0 - slackありますんで参加申込前に気楽にご相談ください ## 新海 - 自分の仕事その他をしてました。 - Software Carpentryというプロジェクトがあることを知った - というか某所サーバーのメンテ休みに対応して自分のスケジュールというか仕事順序の調整が必要でした（婉曲表現）。そういうメンテの無いクラウドサービスは強いですね（感想）。 ## 坊農 - 道場本シール配り - HISAT2-StringTieによる新規transcript発見ワークフローの話題提供 - [StringTieのマニュアル](https://ccb.jhu.edu/software/stringtie/index.shtml?t=manual)にある図を参考にLive coding ## 丹生 - Software Carpentry について紹介してもらった - CWL Live Coding - [成果物](https://github.com/tom-tan/cwl-live-coding-2019-12-16) - 困ったときの conformance test 頼り、ということが[明文化された](https://github.com/tom-tan/cwl-live-coding-2019-12-16/blob/master/20191216.md#conformance-test-を参照すると色々な利用方法を確認できる) - `stringtie --merge` は `zatsu-cwl-generator` で一撃だった - 一撃で倒せるような素直なツールが増えてくれると嬉しい - ep3 公開準備 - 政治的な問題がなくなった！ - 変更点を説明して、上司に最終的なゴーサインを出してもらう予定 - 週末までにいけるか？ ## 那須野 - 坊農さんの道場本ステッカーいただきました！ - 学認クラウドオンデマンド構築サービス(NII) の仮想ネットワーク作成・設定等について石井さんと打合せ - Live Coding に参加 * GitHub に未ログイン状態で Live Share に接続しようとして一度失敗（Participantsが制限付きのような表示に） * 以前、社内でLive Shareを主催しようとしたらうまくいかなかった。現行のVS CodeでLive Share を主催する際の手順、どこかにまとまってませんか？ ## 長谷川 -二回目の参加。だいぶcwlに慣れてきました。 -前回の参加以降、CWLのユーザーガイドを参考にして自分流のperl版「zatsu-cwl-generator」に取り掛かっています。 https://www.commonwl.org/user_guide/ https://github.com/moirai2/moirai2/blob/master/bash2cwl.pl ``` > cat bash.sh echo "Hello World" > hello.txt cat hello.txt|grep H|wc -l>wcount.txt > perl bash2cwl.pl bash.sh ``` 「bash2cwl.pl」に「bash.sh」を渡すと、以下のファイルが作成される。 - bash.cwl (workflowのcwl) - bash.yml (入力パラメータのyml) - cwl/step1.cwl (echoのcwl) - cwl/step2.cwl (catのcwl) - cwl/step3.cwl (grepのcwl) - cwl/step4.cwl (wcのcwl) ``` > cwltool bash.cwl bash.yml ``` cwltoolで実行すると「wcount.txt」が作成される。 ``` > cat wcount.txt 1 ``` ユーザーガイド＃１〜９が完了したので、もう半分＃１０〜２２に取り掛かる。＃１０の配列にかなり苦戦しています。「live coding」での解説助かります。 ## 後藤 - CentOS 8の検討：もうすぐ納入されるサーバーをCentOS8にしたいので調査 - CentOS 7 からの変化は yum -> dnf, iptables -> nftables, ntp -> chrony など - Azureの管理方法の検討 - NIIの学認クラウドオンデマンド構築サービスに使いたい - サブスクリプションを買ってもらったが複数人管理をしたい - Azure ADの利用が必須で、Azure ADにユーザーを追加して必要な権限を割り当てればよいことがわかった。 - 参考：https://qiita.com/Brokenumbrella/items/25f33c41116d52e3e441 - 公式ドキュメント： https://docs.microsoft.com/ja-jp/azure/billing/billing-add-change-azure-subscription-administrator ただしAzure ADに当該ユーザーが既に存在する前提で書かれている ## 新田 - Software Carpentryとその翻訳プロジェクトを紹介しました。 - Workflow meetupがどんな集まりか分かりました。 - uDockerを（docker禁止の）クラサターで動かすことができました！もしかしてこれですごいスッキリするかも？ - インストール: ``` curl https://raw.githubusercontent.com/indigo-dc/udocker/master/udocker.py > udocker chmod u+rx ./udocker ./udocker install ```` - イメージをプール `./udocker pull joelnitta/hybpiper` - コンテナを叩く `./udocker create --name=hybpiper_test joelnitta/hybpiper` - コンテナを走らせる　`./udocker run hybpiper_test` - (コンテナの中で)　テストを走らせる　 ``` cd /apps/HybPiper python reads_first.py --check-depend ``` - live codingでCWL（とzatsu-cwl-generator）の凄さが分かりました。 ## 山本 - 異世界分子生物学会本配り - 坊農さんの道場本ステッカーいただきました!（実は２枚目） - 自分の勉強していた（#RNAseqRecipe）。著者が対面にいました。 - Software Carpentryというプロジェクトを初めて知った。R初心者なのでこういう取り組み助かります。 - Workflow meetupがどんな集まりか知った（初参加） - HackMDすらも今日初めて知った。とても良い。 - live codingすごい ## 芳村 - NextflowのWFリファクタリングでボトルネックだった複数リポジトリとテストについて相談できてよかった - 大野さんにやっていただくCytoscapeハンズオンについて打ち合わせした (1月神戸理研) - live codingすごい - zatsu-cwl-generatorがとてもうらやましい ## 尾崎 - zatsu-cwl-generatorすごい - [CWLで書かれたワークフローをNextflowから呼び出す](https://github.com/yuifu/nextflow_cwl_example)というworkflow advent calender2019用の記事を書きました ## 八谷 - ヒトゲノムデータ解析ワークフローのベンチマーク評価をどのように行うか？ - [Genome in a bottle](https://jimb.stanford.edu/giab): HG001/NA12878など、数名を対象に様々な技術を駆使して、'Gold Standard'ゲノム配列を作成 - [GA4GH Benchmarking Team](https://github.com/ga4gh/benchmarking-tools): ベンチマーク評価のベストプラクティスを作成 - [hap.py](https://github.com/Illumina/hap.py): 'Gold Standard'ゲノム配列と、自分のバリアントコール結果を比較するためのツール。VCF indelの複雑な比較に対応している ![](https://i.imgur.com/8DqGDby.png) ## 鈴木 - [k-mer組成からプラスミドの宿主域を予測する](https://link.springer.com/referenceworkentry/10.1007/978-1-4614-6436-5_574-1)プロジェクトをすすめました。 - [Rのseqinrパッケージのrho()関数でk-mer組成を計算する例](https://github.com/haruosuz/DS4GD/blob/master/2019giga/CaseStudy.md#over-represented-and-under-represented-dna-words)