26th Workflow Meetup まとめ(3/4)
================================

[20200304 · manabuishii/workflow\-meetup Wiki](https://github.com/manabuishii/workflow-meetup/wiki/20200304)

2020-03-04(Wed)
10:00 - 19:00 まで。
大阪、東京同時開催

大阪：理化学研究所、A棟 3階 303会議室
東京：理化学研究所、東京連絡事務所（日本橋）、第１会議室

# 次回

基本完全リモートを予定

# 全体

- VSCodeのLive Shareにつき
- 使っている VSCode と LiveShare のバージョンが最新かを確認する
- CWLでどこまで実行したらよいかの、勘所
- WES/TES/DRSの考えがわかるなら、その単位でわけるのがよい
- [雑に始めるCWL!](https://qiita.com/tm_tn/items/4956f5ca523f7f49f386)
- この方法で、ツール定義(CommandLineTool)をかけないときは、普通に誰がどうかいても、どのワークフロー言語でかいてもつらいケースとおもわれるので、まわりにきいたほうがよいです。
- == ツールにコマンドラインに現れない暗黙知が存在する！
- [雑に始める CWLワークフロー](https://github.com/manabuishii/kallisto-tutorial#%E9%9B%91%E3%81%AB%E5%A7%8B%E3%82%81%E3%82%8Bcwl%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC)
- Live Share で、COVID-19のGalaxyの workflowをCWLに移植しようとした
- 多くの時間を、fastq-dumpのデバッグについやした。
- 最終的には、ファイル指定でなく、stringでSRA IDを指定するようにしたら、動いた
- ー＞pfastq-dumpを使うという手もある
- どこが問題か(CWL or ツール？)の切り分けが大事
- 書き方は、伝わったのではないか？
- ツールを探す
- githubでは、 `実行したいコマンド + cwlVersion` など
- 期待通りに動くのかを、確認しておいたほうがよいことがわかった。
- ツールを書く
- 雑にはじめるでいけるとおもう
- もしくは zatsu-cwl-generator に投げ込む
- または、指先一つでいけるとおもう
- ワークフローを書く
- 基本的には、stepにツールをならべていって、inとoutを埋めていけばよい
- Rabix Composer と、Arvados Composer

# 各自

## 石井

- SGE対応、githubにはおいてないが、マシンをあげさげするスクリプトをおいた

# まっているジョブの数を調べる
WAITJOB=$(qstat -u 'manabu' |tail -n +3 | awk '{print $5}' | grep qw |wc -l)

if [ ${WAITJOB} -gt 0 ];
then
  echo  "SOME JOBs wait"
  echo "CREATE NEW MACHINE"
  # マシンを作る
  python as_python_cli.py
  # Slack にマシンをつくったことを投げる
  echo "NEW MACHINE CREATING NOW"
else
  echo "NO JOB wait"
  RUNNINGJOB=$(qstat -u 'manabu' |tail -n +3 | awk '{print $5}' | grep r |wc -l)
  if [ ${RUNNINGJOB} -gt 0 ];
  then
    echo "SOME JOBs running"
  else
    echo "NO JOB running"
    # TODO: 起動中のマシンがあれば、落とすという処理にする
    # Slackにマシンを消す旨アナウンスする
    # マシンを消す
    python cleanup_python_cli.py
  fi
fi

## 西田

- (コロナウイルスのワークフローは自分には難しすぎ，そうと思ったので)galaxy trainingの情報を基にprokka.cwlを書こうとした。(全く動くものではなく適当に書きちらかしただけ) https://gist.github.com/kozo2/54dad091463646b634d67ba43e2d02a4
- https://galaxyproject.github.io/training-material/topics/genome-annotation/
- https://github.com/pgcbioinfo/containers/blob/master/prokka/prokka.cwl
- https://github.com/EBI-Metagenomics/genomes-pipeline/tree/master/tools/prokka
- 正直cwlで書く必要は無いがこのmeetupだといろいろ相談できてお特そうだから。
- galaxy trainingに文句。 例として用意してくれてる Input dataset に適したワークフローのパラメータの例もほしい。パラメータに何を設定していいのかわからない。(自分で勉強しろ!というスタンス?)
- githubのissueで文句を言うとよい! (石井さん)
- バイオ画像解析ワークフローのベンチマークプラットフォーム BIAflows https://biaflows.neubias.org で遊んでました。いつかワークフローミートアップで紹介したいと思います。

## 坊農
- 東京会場で参加
- CWLのlive codingに参加
- 日常的、CWL利用中
- `salmon`1.x系をインストールしたら`Trinity`が動かなくなった→CWLでsalmonを。以下のようにlib_typeを最初に指定する必要があった。そのうちgithubにアップします。

inputs:
  lib_type:
    label: "Format string describing the library type"
    doc: "Format string describing the library type"
    type: string
    default: A
    inputBinding:
      position: 1
      prefix: --libType

## 丹生
- 自宅からリモート参加
- デスクトップの Windows PC (VSCode, slack) + macbook (Zoom, slack) というカオス環境で参加
- 画面は家の Windows PC の方が大きいが、マイクがないので mac も併用
- Windows <-> mac 間でクリップボード共有したい…
- キーボード・マウス共有に [Synergy](https://symless.com/synergy) を使っているが、キーボード共有がほとんど動かない…
- 去年は動いていたのに…
- どこでも普通に動く VSCode の Remove Development と Live Share は神
- 自宅で作業をする環境が現状中途半端
- VSCode があれば macbook はなくてもいい？(解析などをしない場合)
- 足りないのはヘッドセットくらい
- 再構成用の論文を少し書いていた
- Remote Container の恩恵をしっかり受けている
- ライブコーディング

## 谷沢
- DFAST拡張開発について顔合わせ＆打ち合わせ
- DFAST API 洗い出し
- ライブコーディング
　　 - ExpressionToolの例を初めて見た https://raw.githubusercontent.com/pitagora-network/DAT2-cwl/develop/tool/unwrap/unwrap.cwl
- file sourceがzonodo にあるなら、cwltool 限定で良ければ入力に URI 直接指定すれば動くはず
- toolのcwlファイルはURI指定でも動く

## 菅原
- 東京会場に参加
- 事前予習していたCWLの確認ができた
- liveshare良き。

## 細井
- 東京会場に参加
- DFAST拡張開発について顔合わせ＆打ち合わせ
- CWLについて少し理解が進んだ。
- ライブコーディング便利。お互いの知識の共有が進むので、CWLだけでなく他のシーンでも利用したいと思った。
- まだドライ解析に関する知識が不足しているので、自宅でも試してみたい。

## 末竹
- 東京で参加
- VSCode Share の環境を作成した
- Live Coding を少し書いた
- 某病院のデータ管理用の Web システムを書いていた

## 藤澤
- 東京会場から参加
- DFAST拡張/DDBJ開発について顔合わせ＆打ち合わせ
- 指宿以降CWLに触れていなかったので、改めて石井さんのレクチャーしていただいた
- Visual Studio Live ShareとCWL (Rabix/Benten)の拡張をインストールした
- Data Repository Service (DRS) を読み始めた https://ga4gh.github.io/data-repository-service-schemas/docs/
- JSON-LD/RDF形式変換とデータストア投入で試してみたい

## 津村
- 東京会場から参加
- DFAST拡張/DDBJ開発について顔合わせ＆打ち合わせ
- VSCodeにLive Shareプラグインを入れるのに苦戦した
- CWLの概要は掴んだが、担当案件でどのように適応するか検討が必要と感じた
- 自分は基本的にWebの仕事が多い気がする

## 大田

- 来週末までずっとWFH予定です、家から出ずに進捗生めるかチャレンジ
- スタンディングデスクが欲しくなってきたので [これ](https://www.ikea.com/jp/ja/p/knotten-standing-desk-white-birch-10361138/) を買おうか悩み中
- あとでかいディスプレイも欲しい
- Elixir Cloud WG Call で Sapporo の話をすることになっていたのでそのスライドを作っていた
- 使う予定のスライドは slackの #sapporo に上げてます
- 5min で話せと言われたので無理〜と思いながらスリムにしました
- 19:00からのZoomのコールにjoinしたのに誰も来ないのでおかしいなと思って別の参加者にDMしたら、延期したの連絡してなかったごめんと謝られた
- リスケされて（たぶん）2週間後です :innocent: