第9回、ワークフローミートアップ
==========================

(敬称略)

# やったこと

## 全体

### Azure Batch ハンズオン (西田)

- ドキュメント通りで、だいたいうまくいく
- 一部、GUIの方が操作が簡単そうなので、そちらで作業を行った
- BatchExplorer
- 日本語と、英語でページのレイアウトがちがう。
- `apt` だけのコマンドだと、標準出力に結果がでてくるが、exit コードは、 `1` なので注意すること。
- Azure Batch だと、exit code が `1` だと、 ジョブが失敗したという扱いになる。

### IIBMP 報告(丹生)

- BoFの参加者は、30人くらい
- Galaxyを使ったことがある人は、すくなめだった
- Docker を知っている、使ったことがある人も、ちらほら
- BoFの内容は、技術より方面の話だった。
-
- Rabix Composer が、ちゃんと使えると
- Rabix Composer だけで、ツール定義をかけるので、Galaxy より入りやすいかもしれない
- Planemoがあるとはいえ、Galaxy それなりにしんどいこともある
- 山形には、空港が２つあるので、注意すること
- 山形空港から、鶴岡は大変遠い
- 庄内空港におりることを確認するべき
- 関西から、鶴岡にいくのは大変

# まとめ

## 石井

- handsonで Azure Batch いろいろ試した
- 次回以降の計画
- 国内の、アカデミックなスパコンのリストをあるか探していたところ
- 池田さんより、[Top500 のうち、日本でフィルタしたもの](https://docs.google.com/spreadsheets/d/1xQ5fj8Td_f2Ffl96bd9CF0Zmqf0qFOvJBcWIoqAvvzo/edit#gid=1265964952)をおそわった

## 西田

- azure batch に対する他の人たちの考えがわかった
- 複数のcontainerを用いたtaskの実行がしたい、できるか？ > たぶんできそう
- 単純なETL実行系に比べると、たしかに面倒なところがあるのかもしれない。今後papermillとの比較とか考えてみたい。
- batch explorerは「状態の確認」に便利と思う。がコマンドももう少し調べようと思う。

## 丹生
- Azure Batch ハンズオン参加
- ワークフローエンジンのバックエンドとして使えそう？
- IIBMP 2018 での BoF の報告をした
- 以下の条件をすべて満たすと、庄内空港に行くつもりで山形空港に降り立つことができる
- JAL だと庄内空港行きがない
- 山形に空港が2つあることを知らない
- 「東京(羽田) -> 山形」を「東京(羽田) -> 山形(庄内)」に脳内補完できる
- ワークフローエンジンいじり (あまりできず)
- 出力オブジェクトやステージング周りのコードをリファクタリング
- Expression が含まれるテストが失敗する件の調査
- 6, 25, 29, 30, 57, 58, 106, 113
- 最初 YAML パーサのバグを疑ったけどそんなことはなかった
- Expression を含むフィールド末尾の改行の扱いに問題があるっぽい
- JS パーサがメンテ不能(でかすぎ)なのをなんとかしたい
- 現状はほぼフルのパーサを実装して使っている
- cwltool と同様の、カッコの対応関係を確認するのみの実装に変更したい (間に合わず)
- 現状 (Expression 関係の試行錯誤前)

      99 tests passed, 11 failures, 23 unsupported features

- required タグが付いたテストに限った場合

          38 tests passed,  1 failures,  0 unsupported features

- 残り
- JSExpression じゃなくても `$(null)` は解釈できるべき？ (required)
- 61
- 落ちろ！([cwl/cwl#761](https://github.com/common-workflow-language/common-workflow-language/issues/761))

- Javascript Expression のパーサのバグ
- 55, 100, 101, 102, 117, 118
- Expression 末尾改行問題
- 57 (修正しようとすると現状 fail が増える)
- Record type 対応 (仕様の理解不足)
- 3, 73
- InitialWorkDirRequirement が input object を書き換える？
- 112
- 現状未サポート扱いの Requirement 対応 (23 unsupported features)
- ScatterFeatureRequirement (18)
- StepInputExpressionRequirement (11)
- SoftwareRequirement (0)
- 挙動に関する仕様がない
- 対応する conformance test がない
- とりあえずスルー
- エンジンは年末 or 年始に一般公開できそう (したい)

## 落合

- hotsubのドキュメント拡充

## 池田
- OS X Mojave のセキュリテーが厳しくなっていて、理研のネットワークに接続する際のPop upによるログインを許可しなくなっていた。
- Azureのハンズオンが大変参考になりました => 西田さんありがとう
- Azureの無料サブスクリプションはSafariではスムーズに実行できた
- ブラウザーベースのターミナルが割と不安定
- Batch Explorerを操作して戻ると、シェルが無反応になり、何度か再起動する必要があった
- 途中で操作についていけなくなった
- Poolの追加のアイコンを見失った...
- ツールの位置に慣れておかないといけないようだ...

- javascript で Python のDictのupdateみたいな事ができことがわかった
- selectDictの内容でmainDisplayComponentsをアップデートした内容を返すと

const mainDisplayComponents = {
    "#status_response": "none",
    "#waiting": "none",
    "#analysis_button": "none",
    "#result_sheet": "none",
};

let displayManager = selectDict => {
    const newStateDict = {...mainDisplayComponents, ...selectDict};
};

## 新海
- ハンズオンに参加。ありがとうございます。
- 丹生さんのBoF報告にプラスする形でいくつか補足報告
- TCGAのパイプライン調べたりその他雑用をしたりしてました
- TCGAのパイプライン
- https://docs.gdc.cancer.gov/Data/Bioinformatics_Pipelines/DNA_Seq_Variant_Calling_Pipeline/#data-processing-steps
- BAMで受託
- BAM→FASTQに変換
- Biobambamというツールは初耳
- FASTQ→BAMにBWAでマッピング
- picardでsort＆merge
- samtoolsじゃない？
- picardでmark duplicate
- GATKとかで後段処理
- ところで、fusion geneのデータベースってみんなどこを使うとかありますかね？
- TCGAとかcosmicとか引っかかりましたが…。

## 樋口

- Azureの無料サブスクリプションを作成した
- Azureのドキュメンテーションにたどり着けなかった
- 西田さんのスクリーンを見て、作業のトレースを行っていたが途中で見失ってしまった
- あとは、ずっとスクリーンのデモを眺めていた

## 後藤

- Azureの無料サブスクリプション作成していたら、カード番号などを入力後の最終段階で謎のエラー"Bad Request - Request Too Long"が出た
- チャット（英語画面）で質問したら、サポートリクエストが作成された
- しばらくしたら海外(番号通知有りで+91なのでインドと思われる)から電話がかかってきた
- 私の英語力の無さに加えて回線品質も悪いため、会話がほとんど成立しなかった
- メールで返事が来た
- どうやらGoogle Chromeだと必ず"Bad Request - Request Too Long"が出る。
- 同じアカウントでFireFoxでサインインしたら、無料サブスクリプション自体は上手く作成できていた模様。
- これをサポートに英語で説明しないといけないのか。面倒。
- Chromeでは3rd party cookie受け入れを有効に変更しないといけないかも？との指摘あり

## 大田

- ChIP-Atlas (https://chip-atlas.org) のメンテとかをしていた
- 一部環境で繋がるのが非常に遅いという問題がありどうもDNSの問題っぽいのでDNSとロードバランサの設定をしてもらったAWS代理店さんに問い合わせしたりしていた
- CWLのMichaelが12月の第一週に東京に来るのでそのアレンジをしようとおもいます
- CWL-metrics論文最後の詰めが…