# 35th Workflow Meetup (12月4日)
================================

[20201204 · workflow\-meetup\-jp/workflow\-meetup Wiki](https://github.com/workflow-meetup-jp/workflow-meetup/wiki/20201204)

2020-12-04(Fri)
13:00 - 19:00 まで。

完全リモートのため、全世界どこからでも参加可能。

# 事前計画

## 全体

## 石井

## 西田

# こうなりました

## 全体

- 次回の日程を2021年1月18日月曜日です！

2021-01-18(Mon)
13:00 - 19:00 まで。

## 石井

- 次回の日程を2021年1月18日月曜日に決めた :bangbang:
- Pitagora Meetup と Workflow Meetup を紹介記事を一部書いた :pencil:
- 何らかの手続きをした :e-mail:
- ほんとうに欲しい仕組みは、コンテナのではなくこんなのだ？について、丹生さんはじめみなさんと議論した :microphone:
- ほんとうにやりたいのは、ツールを動かしたいだけ
- dockerほど分離しなくて良い
- aptしたいのではなく、debがほしいという感覚
- aptシステム全体がほしいのではなく、debパッケージを１つだけ持ってくる感覚で利用したい
- dockerのいいところ
- window, mac, linux, クラウドで動く
- ファイルシステムは、そのままみせるでよい
- overlayでfuseマウントすればよいのでは？
- これらについてアドベントカレンダーに記事を書こうとしている
- 別件で、sapporoのたてかたについて、おおたさんと合意をとれたので、それですすめる :+1:
- おおたさんに、リリースをしたほうがよいということをプッシュした :v:
- [Common Workflow Language \(CWL\) Advent Calendar 2020 \- Adventar](https://adventar.org/calendars/5340)の4日目の記事を書いた :christmas_tree:
- [cwltoolをインストールする2020](https://manabuishii.github.io/CWL-howtoinstall/)

## 西田

- jsbiへのワークフローミートアップ紹介記事をだいたい書きおえた(つもり)
- workflow-meetup-jp.github.io も記事出版までに作る
- joさんのsnakemake tutorialの翻訳が古いのでナウくしている
- [joさんの和訳](https://github.com/joemphilips/Translate_Snakemake_Tutorial)
- [西田の現状](https://gist.github.com/kozo2/0f506d378d4dd5ad23607cf4f61a50d4)
- [Workflow Advent Calendar 2020](https://adventar.org/calendars/5339) に複数回に分けて投稿する予定

## 丹生
- 再構成関係の発注仕様書を書いていた
- 書けた
- Next generation packaging system 的なものについて議論
- package management system ではない！！！
- apt の話ではなく deb の話をしたい
- 別に共通パッケージの共有とかする必要はない
- パッケージの共有が話をややこしくしている
- ストレージサイズは無限！！
- 欲しいのは単独でダウンロードしてそのまま実行できるパッケージ配布形式
- OCI 形式は全部入りなので目的に合致している
- Docker for * のおかげで、見かけ上は OS 非依存になっている
- golang などのワンバイナリも理想に近い
- 残念ながら各バイナリは対応した OS でしか動かない
- 実行環境の isolation がしたいわけではない
- 欲しいのはパッケージの isolation のみ
- volume mount (e.g., `-v foo:bar`) が邪魔
- [snap](https://snapcraft.io/) も理想に近いが、デーモンが必要
- ユーザー権限でデーモンレスで、手動での volume mount なしで動くコンテナランタイムが欲しい
- 一般ユーザーで動かすのと同等の安全性(危険度)ならそれでいいじゃない
- 別に内部で VM が動いてもいい
- Docker for * は内部で VM が動くから(以下検閲)とか言ってる人を見たことがない
- ウェブアプリならともかく、オフラインの解析ツールを動かすには現状の技術は安全性に寄せすぎ
- ユーザビリティが犠牲になっている
- WSL 的なパスの見せ方(ホストのパスを`/mnt/c/host/foo/bar` のように見せる)が達成できればいいのでは？
- [bind mount](https://www.netassist.ne.jp/blog/?p=11945) を試してみたが、root 権限が必要なので要件に合わなかった
- CWL AC の記事として、各種 requirement の解説を書き始めた
- v1.2 だと14種類もある
- 仕様書倒したので ep3 の reconf 対応と cwl-metrics を年末にやりたい

## 尾崎

- [ramdaq](https://github.com/rikenbit/ramdaq) という自作の Nextflow パイプラインを遺伝研で動かすテストをした。
- Acknowledgements: 石井さん、谷澤さん、丹生さん
- qlogin して実行する方法と、Univa Grid Engine でジョブを投げる方法、両方でできることを確認した。
- https://github.com/rikenbit/ramdaq/blob/master/docs/nig_supercomputer_system.md
- ramdaq First release を出しました！ https://github.com/rikenbit/ramdaq/releases/tag/1.0

## 芳村
- [ramdaq](https://github.com/rikenbit/ramdaq) のチケット対応をしていました
- ラボ内で使ってもらえたことで、色々フィードバックを得られました
- GitHub ActionsでCIが実現しました
- 苦労したこと
- [nf-core schema](https://nf-co.re/tools#working-with-pipeline-schema)
- nf-coreのイメージにnextflowを入れようとする → javaが入らない(Debian8)
- nextflowのイメージにnf-coreを入れようとする → condaが入らない(alpineというlinux)
- 結局→Dockerは諦め

## おおた

- [CWL-metrics](https://github.com/inutano/cwl-metrics) v2 をリリース :tada:
- リリースしたけどテストが不十分、お里が知れる
- 経緯
- EMBL の人がせっかく使ってくれたのにバグが見つかった
- cwltool のバージョンの問題かと思いきや依存しているpythonのLoggerのバージョン違いの問題っぽかった
- バグ修正をしているうちにこれはもうpendingだったv2のリリースした方が早いのではと
- した
- 変わったこと
- Perl デーモン廃止
- `cwl-metrics run <workflow.cwl> <job.yaml>` という新UI
- cwltool のプロセスを監視するデーモンを動かすやり方だったが実行オプションの縛りがあり実質的に利便性が低かったので
- 別システムに組み込みやすくなった (Sapporoとか)
- 心理学分野？のreproducible scienceのコミュニティを発見したので乗り込んでいる
- adcal https://adventar.org/calendars/5106
- slack https://docs.google.com/forms/d/e/1FAIpQLSdMO_HI9Ib9VVZePuVwrd5Bk_uQJylvMzymrh9j2w1MAou-Qw/viewform?vc=0&c=0&w=1&fbzx=4374269086590528783
- みなさんもぜひ