# 52th Workflow Meetup (2022-05-11 Wed, 12 Thu)
================================

[20220511-12 · workflow\-meetup\-jp/workflow\-meetup Wiki](https://github.com/workflow-meetup-jp/workflow-meetup/wiki/20220511-12)

2022-02-02(Wed)
13:00 - 19:00 まで。

完全リモートのため、全世界どこからでも参加可能。

# 事前計画

## 全体

## 石井

- 次回6月2日水曜日を予定
- 2021年度は、月の第一週の水曜日13時スタートの方向。ただし、月曜日など他の日になるかもしれないです。
- 2月3日木曜日は、pitagora meetup あり
- その次は3月2日を予定、４月６日
- その次は５月１１日はどうでしょう？

# こうなりました

## 全体

## 石井

- 次回の告知を行う設定をした。6/1,2
- sapporo-web, sapporo-serviceともう１つをインストールして起動するスクリプトのテスト。
- テストデータが動いたので、１歩目としてはよしとすることにした。
- 別件の作業をしていた。CWLがらみだが、今回やったことは、TSVのパース。
- そのほか、python のprofileを取るツールの調査など
- memory_profiler
- line_profiler
- cProfile
- pyinstrument
- 明日は、ワークフローっぽいことができるかもしれない。

## 西田

## 丹生
- Pesto が来月から[有償プランを導入するらしい](https://pesto.app/blog/pricing-update)
- 気になる
- 無償プラン枠は 25000分/月: 10人くらいだと41.7時間くらい使える計算
- workflow meetup & pitagora meetup それぞれ月一開催であれば無償プランでも十分そう
- [shaft](https://github.com/tom-tan/shaft) のシングルバイナリの動きがおかしい件
- 動的リンクだとちゃんと動く
- コンパイラのバグでは？ -> 別コンパイラでも再現 -> コンパイラを自分でビルドすると再現しなくなる
- 症状としては、シングルバイナリだと例外がキャッチできなくなる
- shaft 内ではユニオン型の実装とリターンコード制御に利用
- Alpine Linux に含まれるコンパイラのビルドオプションが問題らしいところまでは絞り込んだ
- パッケージが管理されているのは以下: https://gitlab.alpinelinux.org/alpine/aports
- [ep3](https://github.com/tom-tan/ep3) が輝く応用例がほしい
- エンジンの制御をいじる必要があって
- エンジン本家に入れられない(e.g., 特定環境特化)ような拡張はないか？
- 複数スパコン連携
- データは s3 (一箇所)
- ジョブごとに投入先を変えたい
- 1ワークフロー内で投げ先を変えるエンジンはないかもしれない？
- それぞれシステムが異なるのでジョブ投入方法が異なる
- Grid Engine の利用方法の調査
- ジョブに特定コアを専有して欲しい
- `-binding linear:50 -l m_core=50` でいい感じにできそう
- https://hpckp.org/wp-content/uploads/2020/05/HPCKP11-GridEngine-Training.pdf の p.53
- アップロード・ダウンロードをいい感じにしたい (s3, gs など)
- ETL の最初と最後にアップロード・ダウンロードができればよい
- 入力・出力時のバケットは異なるかも
- 同じ入力オブジェクト中で複数の s3 のバケットを指定されるかも
- 初手は `file`, `http`, `https`, `s3` (+ `ssh`) くらいがあればよい？
- 解決時のインパクトが大きそうなので近いうちに着手したい
- 電力会社の切り替えタイミングに帰省していたためびくびくしていた

# 前回のミートアップから今回のミートアップまでにSlackなどにあったリンクメモ

- ここから書く