# 38th Workflow Meetup (2021-03-01 Mon)
================================

[20210301 · workflow\-meetup\-jp/workflow\-meetup Wiki](https://github.com/workflow-meetup-jp/workflow-meetup/wiki/20210301)

2021-03-01(Mon)
13:00 - 19:00 まで。

完全リモートのため、全世界どこからでも参加可能。

# 事前計画

## 全体

## 石井

- 次回日程を決める
- 4月12日を希望したいです。
- Snakemakeでファイルが空のときにfailするジョブを作る方法を紹介する
- [Frequently Asked Questions — Snakemake 5\.32\.1 documentation](https://snakemake.readthedocs.io/en/stable/project_info/faq.html#how-do-i-make-my-rule-fail-if-an-output-file-is-empty)
- > shell: "somecommand {input} {output} && [[ -s {output} ]]"
-

## 西田

- https://workflow-meetup-jp.github.io/ の改善

## 丹生
- ep3 の ep (Extremely Pluggable) 成分を作成中
- まずは [CWL-metrics](https://inutano.github.io/cwl-metrics/) 相当の機能を実装したい

# こうなりました

## 全体

## 石井

- 次回の次の日程を、ざっくりお伺いしたい。
- いまのところ、５月３日月曜日が休みなので、５月１０日月曜日にしたい
- SAPPORO web をproxyを通して使うときに、FirefoxだとCORSまわりのエラーではまることがわかった
- Firefoxが悪いのではないと思う。
- Chromeを使うとできることがわかった
- lubuntuにchromeをインストールして、

## 西田

- https://workflow-meetup-jp.github.io/ ちょいトップページ更新しました。何か意見いただけますと幸いです。
- snakemakeのtutorial和訳をちょっとだけ更新した https://github.com/workflow-meetup-jp/snakemake-tutorial-jp
- NEED HELP: CWLのベストプラクティス情報
- TODO: 更新リクエストを(organization外の人が)送るためのリンクを作る

## 丹生
- [ep3](https://github.com/tom-tan/ep3) のバックエンドのワークフローエンジン [medal](https://github.com/tom-tan/medal) 用のペトリネットにフックをかける [medal-hook](https://github.com/tom-tan/medal-hook) の実装が大体終わった (はず)
- ep3 に `hook` サブコマンドを追加して v1.2.1 としてリリースしようとしている (CI が通るとリリースされる)
- master に CWL-metrics 用の [hook ファイル](https://github.com/tom-tan/ep3/blob/master/lib/ep3/extensions/cwl-metrics/extension.yml)を置いた
- `ep3-runner --extension=cwl-metrics target/workflow.cwl input.yml` で、フックをかけたネットワークを生成して、外部コマンドがないので失敗するのが確認できる
- コマンド類はこれから実装

## 池田
- cwlの作成(お仕事関連)
- 今後のCent OSへの対応について検討
- Cent OS8 Streamでは実運用Serverに適用は難しい
- Cent OS7なら2024年まではそのまま利用できるが、おそらく年限はあっという間に来てしまう
- RHEL は運用開始後に費用問題を検討する必要がある
- しかし、導入先がRichなら説明は容易と思う...

## 大田

- 年度末で色々燃えかかっている
- 便利ツールを探していたら Stian が昔作ったツールが見つかったので openjdk ベースでコンテナを作ったりしていた
- https://github.com/stain/owl2jsonld
- なんとか動いたけど求めていた感じのツールではなかった
- とりあえず試せるのでコンテナは偉大、普通なら8年前に書かれたJava(clojure)のコードをビルドしようなんて考えないので……………
- まなぶさんの multisample human-reseq
- scatter 経由して master までマージした
- ディレクトリ構成はちょっと整理したほうがよさそう。
- テストデータで dogfooding してドキュメント書こう

## 末竹

- sapporo の改良
- https://github.com/ddbj/SAPPORO-service/releases/tag/1.0.9
- output file などを file 配信できるようにした
- s3 upload などをしなくても、そのまま output を download できるようになる
- 強い
- sapporo-web もあと少し
- なんかもうそろそろ beta version を抜け出せた気がする
- python 3.6 の support をやめたい

# 前回のミートアップから今回のミートアップまでにSlackなどにあったリンクメモ

- CWL mini conf で発表される動画
- [Latest CWLcon 2021 topics \- Common Workflow Language Discourse](https://cwl.discourse.group/c/cwlcon-2021/9)
- Nextflowのcacheとhistoryはここにできあがる
- カレントディレクトリ
- `.nextflow/cache`
- `.nextflow/history`
- ホームディレクトリ
- `assets cache capsule framework history tmp`
- `cache`, `history` カレントディレクトリにあるものと同じ
- [wdpressplus\-bigdata/wdpressplus\-bigdata](https://github.com/wdpressplus-bigdata/wdpressplus-bigdata)
- [How to run CWL with Nextflow](https://www.biostars.org/p/422848/)
- NextflowからCWL(cwltool)を使う
- [H3ABioNet \- H3ABioNet was live\.](https://www.facebook.com/H3ABioNet/videos/410374310233580/)
- [Massively scalable FAIR workflows with Nextflow and Tower \- Dr Evan Floden \- YouTube](https://www.youtube.com/watch?v=XOmcXYUzkoM)
- 上の動画と同じものがyoutubeでも。
- 遺伝研tips
- singularityのbuildができないとき、メモリが足りない可能性があるので、以下を試して一旦ビルドして、その後は普通のメモリサイズで実行というのでうまくいくこともある。
- ビルド時にだけメモリが必要というケースがあるようなので。ビルド時だけ増やすという手段が有効なときもある。
- `qlogin -l mem_req=24G,s_vmem=24G`
- [Five reasons why researchers should learn to love the command line](https://www.nature.com/articles/d41586-021-00263-0)
- [Snakefiles and Rules — Snakemake 5\.32\.0 documentation](https://snakemake.readthedocs.io/en/stable/snakefiles/rules.html#parameter-space-exploration)
- Snakemakeで、スプレッドシートを使ってパラメータを振る方法
- [GitHub Actionsを使ったDDoSに巻き込まれた \- 私が歌川です](https://blog.utgw.net/entry/2021/02/05/133642)
- [jupyterhub/repo2docker: Turn repositories into Jupyter\-enabled Docker images](https://github.com/jupyterhub/repo2docker)
- > repo2docker fetches a git repository and builds a container image based on the configuration files found in the repository.
- [giannisdoukas/ipython2cwl: IPython2CWL is a tool for converting IPython Jupyter Notebooks to CWL Command Line Tools by simply providing typing annotation\.](https://github.com/giannisdoukas/ipython2cwl)
- IPython2CWL is a tool for converting IPython Jupyter Notebooks to CWL (Common Workflow Language) Command Line Tools by simply providing typing annotation.
- [2021 CWL Mini Conference · common\-workflow\-language/common\-workflow\-language Wiki](https://github.com/common-workflow-language/common-workflow-language/wiki/2021-CWL-Mini-Conference)
- 2021 CWL Mini Conference 発表の順番など
- [Pipeline sharing — Nextflow 20\.10\.0 documentation](https://www.nextflow.io/docs/latest/sharing.html)
- [Stephen TurnerさんはTwitterを使っています 「RepeatFS: a file system providing reproducibility through provenance and automation https://t\.co/HaGnC3zEgM https://t\.co/pNF3PLGFlx https://t\.co/r1AZfj6zde」 / Twitter](https://twitter.com/strnr/status/1361684360873865224)
- [2021年2月17日　Linux 5\.11がリリース，Intel SGXやAMDのハードウェア群を新たにサポート：Linux Daily Topics｜gihyo\.jp … 技術評論社](https://gihyo.jp/admin/clip/01/linux_dt/202102/17)
- [Network Dependents · otiai10/lookpath](https://github.com/otiai10/lookpath/network/dependents)
- [Get started with free cloud credits  \- Terra\.Bio](https://terra.bio/get-started-with-free-cloud-credits/)
- アカデミアで、まずGCP試すのはここが楽かもしれない
- [biocondastats/top100\.tsv at main · truwl/biocondastats](https://github.com/truwl/biocondastats/blob/main/top100.tsv)
- biocondaのなにかのtop100
- 石井がこのtop100みたときは、１位がsamtoolsでした
- [Installing on your own server — The Littlest JupyterHub v0\.1 documentation](https://tljh.jupyter.org/en/latest/install/custom-server.html)
- JupyterHubのインストール方法
- [The Littlest JupyterHub — The Littlest JupyterHub v0\.1 documentation](https://tljh.jupyter.org/en/latest/)
- > The Littlest JupyterHub は A simple JupyterHub distribution for a small (0-100) number of users on a single server. なものです。
- [Using DockerSpawner with The Littlest JupyterHub – Ideonate – Tools for Data Scientists](https://ideonate.com/DockerSpawner-in-TLJH/)
- [biocontainers/r\-velocyto\.r · Quay](https://quay.io/repository/biocontainers/r-velocyto.r?tab=tags)
- これのDockerfileはどこにあるのか？
- biocontainersのビルドシステムの関係をしらべた話というのがこのあとに書く予定
- > git 操作をミスして、一週間の努力全部消しちゃったと思ったんですけど、よく考えたら docker image に残っていたという怖い話。
- そもそものミスが起こらない方が良いがおこったときにどうするかという知見
- [GitHub、2021年8月13日以降パスワードでのGit操作を禁止へ \| TECH\+](https://news.mynavi.jp/article/20201222-1604003/)
- [Token authentication requirements for Git operations \- The GitHub Blog](https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/)
- [GalaxyTrakr: a distributed analysis tool for public health whole genome sequence data accessible to non\-bioinformaticians \- PubMed](https://pubmed.ncbi.nlm.nih.gov/33568057/)
- git のマージに対する戦略
- 良いマージツールを使う戦略の方が結局手戻りはすくないか？
- [Visual Studio Codeをgitのmergetoolとして使うと捗る \- tmegos blog](https://tmegos.hatenablog.jp/entry/visual-studio-code-git-mergetool)
- 良いマージツールを使う例
- [毎回go\.sumのconflictを解消するのがつらすぎるので、\.gitattributesでunion merge driverを使うよう指定する \- 理系学生日記](https://kiririmode.hatenablog.jp/entry/20210214/1613271099)
- マージドライバーを変更して、ほぼ自動でマージ。
- [QuObjects \| NAS上でのS3互換オブジェクトサービス \| QNAP](https://www.qnap.com/ja-jp/software/quobjects)
- QNAPにS3互換ストレージ、QNAP公式っぽいです
- [Kenji FukushimaさんはTwitterを使っています 「生データや解析環境をセットで置いておけるCode Oceanとパートナーシップを結んでそこでのデータ共有を推奨/義務化する雑誌が増えてきていて、Genome Biologyもその流れに乗るとのアナウンス。 https://t\.co/8QLRQEBhby」 / Twitter](https://twitter.com/kfuku0502/status/1363794631696252928)
- [Fumiya UchikoshiさんはTwitterを使っています 「うちだと一年目の統計の授業の最終課題として、自分で選んだ論文と同じデータを使って分析結果を再現するというものがあります。教育効果は高いですし、再現できなかったら雑誌にコメンタリーが書けるので業績にもなります。もっと広がればいいなと思う。」 / Twitter](https://twitter.com/home)
- [plasmabio/tljh\-repo2docker: Plugin for The Littlest JupyterHub to build multiple user environments with repo2docker](https://github.com/plasmabio/tljh-repo2docker)
- これはセットアップしやすい
- [M1搭載Macで「SSDの寿命が縮むほど異常な量のデータ読み書きを確認した」という報告 \- GIGAZINE](https://gigazine.net/news/20210224-m1-mac-excessive-ssd-wear/)
- [QuObjects \| NAS上でのS3互換オブジェクトサービス \| QNAP](https://www.qnap.com/ja-jp/software/quobjects)
- S3互換のもの、QNAPで動く。minioとは違うようだ。
- > Amazon S3にサービスをデプロイする前に、まずQNAP NAS上でQuObjectsを使用してテストしました。これにより作業効率が2倍になり、コストを削減し、クラウドサービスの 2 倍のパフォーマンスを実現しました。
> - Funliday
- [S3互換のオブジェクトストレージminioを試す \| DevelopersIO](https://dev.classmethod.jp/articles/s3-compatible-storage-minio/)
- [Snakemake 6\.0](https://slides.com/johanneskoester/snakemake-6)
- [Michael EisenさんはTwitterを使っています 「Offend a computational “biologist” with one tweet」 / Twitter](https://twitter.com/mbeisen/status/1365539377061847044)

## 新海
- こんにちは
- 年度末的な対応のこの頃です
- 真面目に技術的な事もぼちぼちやりたい