# 41th Workflow Meetup (2021-06-02 Wed)
================================

[20210602 · workflow\-meetup\-jp/workflow\-meetup Wiki](https://github.com/workflow-meetup-jp/workflow-meetup/wiki/20210602)

2021-06-02(Wed)
13:00 - 19:00 まで。

完全リモートのため、全世界どこからでも参加可能。

# 事前計画

## 全体

- [Jupyterlabのコラボのハンズオン](https://github.com/workflow-meetup-jp/handson/tree/main/20210602)
- Snakemakeを動かす
- グラフの書き換えがみんなにわかるとよいだろう
- y=2xのグラフをy=3xにしたら、全員の画面がかわればそれはそれで便利そう。
- [workflow\-meetup\-jp/bioinformatics\-coffee\-hour: Short lessons from FAS Informatics coffee hour](https://github.com/workflow-meetup-jp/bioinformatics-coffee-hour)
- これも実行してみる

## 石井

- 次回日程を決める
- 7月7日水曜日を希望したいです。
- 2021年度は、月の第一週の水曜日13時スタートの方向。ただし、月曜日など他の日になるかもしれないです。
-

## 西田

- https://github.com/workflow-meetup-jp/bioinformatics-coffee-hour/blob/master/snakemake/index.ipynb の日本語訳の作成

## 丹生
- ep3 いじり
- 詳細を確認するため、CWL の奥地([Schema Salad](https://www.commonwl.org/v1.2/SchemaSalad.html))に進んでいる

## 末竹

- gh-trs の brush up
- BOSC poster session になっていた

# こうなりました

## 全体

- Jupyter Lab Real Time Collabを体験
- 感想
- すごい
- 使うとわかるかんじのすごさ
- こんなとき便利そう
- リモートで、画面がみれないときに、Zoomとかで画面共有するよりも、直感的、自分でみたいところが見れる
- こんな機能がほしい
- VSCode Live Shareのように、誰かをトラックできる機能がほしい

- 次回日程2021-07-07(水曜日)、13時から19時に決めさせてもらいました。
- 次回は、Jupyter Lab Real Time Collab で、CWL User Guide をやる予定
- GitHub でレポジトリを作るところからやる予定

## 石井

- 次回日程をきめた(7/7)
- Jupyter Lab Real Time Collabを体験
- 事務書類
- [AWS Perspective \| 実装 \| AWS ソリューション](https://aws.amazon.com/jp/solutions/implementations/aws-perspective/) の紹介をした
- Goofysの話をきいた。
- S3はもとより、Cephとかいろいろいけること
-

## 西田

- https://github.com/workflow-meetup-jp/snakemake-jupyter-rtc/blob/main/snakemake.ipynb

## 丹生
- 崩壊していた自宅 PC 環境がようやく整い始めた
- PC は仮想化が使えなかったので返品、別のを買い直した
- Docker が動く！Pragli もちゃんと動く！
- モニターは返品できなかった (動作確認するのが遅すぎた)
- が、買い直した Windows PC では(癖は強いが)認識してくれたので九死に一生を得た感がある
- 結局、mac でも動く別のモニターも買い直した (動いた)
- 教訓: 返品期限までに動作確認はしておくべき
- Jupyter Lab Real Time Collab
- デスクトップ画面ではなく、ちゃんとした notebook が共有できる
- CWL などでコンテナ使う例は難しいかもしれない
- くり返し現れる container-in-container が辛い問題
- （石井追記：素のマシンをたてて、Jupyter Lab RTCはあり。binderでも今後はできると期待したい）
- [Schema Salad](https://www.commonwl.org/v1.2/SchemaSalad.html) の[独自実装](https://github.com/tom-tan/schema-salad-d)を作っている
- schema-salad-tool は resolution rule を真面目に実装してないんじゃないか疑惑
- [Identifier resolution](https://www.commonwl.org/v1.2/SchemaSalad.html#Identifier_resolution) の実装には「今どの型のオブジェクトを読んでいるのか」という情報が必要に見える
- schema-salad-tool はフィールド名しか見てないっぽい
- [Preprocess](https://www.commonwl.org/v1.2/SchemaSalad.html#Document_preprocessing) の例がテストされて！ない！！！
- 実行例の schema が invalid のものがある (おそらく意図的なものも含む)
- かっこの対応関係くらいは確認してほしい…
- 一部は [PR](https://github.com/common-workflow-language/schema_salad/pull/394) 送った
- 火曜日から振られた不穏な匂いの話をしていた
- Elasticsearch の index をオフにしてから bulk-insert -> index オン、の方が早そう
- という技術的な話まで落ちられれば多分すでに勝ちな気がする
- 再現できたらバグ修正は8割終わり、という話に似ている
- TES もどきを独自実装する必要がありそう
- ep3 のクラウド対応に必要
- こんな感じ？というのを手元で API のイメージを書き始めている
- 今度叩いてほしい
- TES 仕様と TES サーバーはもっとちゃんとしてほしい

## 大田

- 所内で作っている某プロジェクトの sneak peak
- basic認証つきで限定公開
- フロントエンドは素のjs
- CLIあったらいいんじゃない？
- javascript書いてばっかりだった
- SPARQList: https://github.com/dbcls/sparqlist
- markdown で API を定義できる謎サーバ
- js と sparql のエンジンが積んである
- Biosample のつらい話に帰還兵としてコメント
- SAXでやればできる、切れば死ぬ
- (石井追記：StAXもありなはず)
- Sapporo-web の UI の微修正をする: Vue/Nuxt をいじっている
- ddbj header/footer 動かねえなという感じになっている

## 那須野
- 最近の Fluentd 事情に明るい方はいらっしゃいませんか？
- できれば Ruby に依存したくないので Fluent Bit を使いたいが、Filter や Parser プラグインが Fluent Bit にまだ無い場合があったりする。
- 公式コンテナで実行するなら Fluentd の Ruby 依存はあまり気にならないかな。。
- RPMなどのパッケージだと td-agent を install すればよい（この辺りは現在も変わらないっぽい）
- しばらく使ってないと Configuration の書き方をすぐ忘れる…。
- (そういえば tagomoris さんが先日 Treasure Data を退職していた)
- とりあえずやりたかったことは、安直には Logstash 使えば (parse / filter) できそうなことがわかった

## 新海

- お久しぶりです
- もうすぐ学会発表だったりしましてその準備とかやってます
- jupyterLabの話聞きたかった…
- (石井追記：別環境でも試してみたら、問題の切り分けができるのでは？？？)

## 池田

- toil-cwl-runnerをいろいろ試している
- Univa Grid Engine Docker環境は無し
- クラスターノードがマウントしている領域にwork dirを置かなければならないので、TMPDIR= の設定が必須

`--disableCaching true`の指定が必要で、
このため、作業後のクリーンナップをしてくれないのでごみがたくさん残ってしまう。

toil-cwl-runner --batchSystem=grid_engine --disableCaching true hello.cwl

`grid_engine`利用時は必須のオプション

> RuntimeError(f'{config.batchSystem} currently does not support shared caching, because it '
RuntimeError: grid_engine currently does not support shared caching, because it does not support cleaning up a worker after the last job finishes. Set the --disableCaching flag if you want to use this batch system.

## 末竹

- gh-trs の test をゴリゴリ書いてた

# 前回のミートアップから今回のミートアップまでにSlackなどにあったリンクメモ

- ここから書く
- [Stephen PiccoloさんはTwitterを使っています 「I'm proud of this preprint that we released over the weekend\! It provides a tutorial and detailed examples of Common Workflow Language documents and introduces ToolJig, a web app for building such documents\. Please share\! https://t\.co/1lF23tZZpU」 / Twitter](https://twitter.com/stevepiccolo/status/1389275600838291458)
- StephenさんのCWLcon2021でのプレゼンテーション
- [CWL as a Medium for Reproducible Analyses; and a Web\-based CWL Authoring Tool \- CWLcon 2021 \- Common Workflow Language Discourse](https://cwl.discourse.group/t/cwl-as-a-medium-for-reproducible-analyses-and-a-web-based-cwl-authoring-tool/265)
- 組み合わせお姉さん（JSTがつくっている）
- [『フカシギの数え方』 おねえさんといっしょ！ みんなで数えてみよう！ \- YouTube](https://www.youtube.com/watch?v=Q4gTV4r0zRs)
- JSTがおねえさんにおしえてあげたかった、python module graphillionの話
- [Graphillion: 数え上げおねえさんを救え / Don't count naively \- YouTube](https://www.youtube.com/watch?v=R3Hp9k876Kk)
- [Jupyter Lab：基本的な使い方 \| kiseno\-log](https://kiseno-log.com/2020/05/10/jupyter-lab%EF%BC%9A%E5%9F%BA%E6%9C%AC%E7%9A%84%E3%81%AA%E4%BD%BF%E3%81%84%E6%96%B9/#toc8)
- Jupyterで画面分割ができる
- ハンズオンで使えそう
- [受講者ガイド \- nii\-rcos\-ap \- meatwiki](https://meatwiki.nii.ac.jp/confluence/pages/viewpage.action?pageId=67614937)
- NIIにあるオンライン分析システムの使い方
- binderは自分でもたてれる?
- [kahing/goofys: a high\-performance, POSIX\-ish Amazon S3 file system written in Go](https://github.com/kahing/goofys)
- S3FSよりパフォーマンスよいらしい
- QNAPのQObjectだと、コロンがキーにふくまれる