# SAPPORO README Ja

SAPPORO はワークフロー・タスク実行システムです。ワークフローの継続的なテストを行うことが出来ます。


## 「バッチジョブを常に再現する」とは？

[Batch Computing - Wikipedia](https://en.wikipedia.org/wiki/Batch_processing)

> the scripted running of one or more programs, as directed by Job Control Language, with no human interaction other than,

バッチコンピューティングは、次のような様々な分野で使用されています。

- 機械学習
- ゲノム解析
- アニメーションレンダリング
- ソフトウェアのテスト
- 様々なシミュレーション

これらのバッチジョブは、コンテナ技術(e.g. Docker, Kubernetes, etc.)、ワークフロー実行エンジン(e.g. Airflow, Luigi, etc.)やワークフロー記述言語(e.g. CWL, WDL, etc.)などを用いることにより可搬性や再現性を保証することが出来ます。


## 「ワークフローの継続的なテスト」とは？

しかし、これらの技術を用いたとしても、プログラムが物理的なコンピュータ上で実行されるため、下記のような現実的な様々な問題が生じます。

- サーバの電源が入っていない
- ネットワークが遮断される
- CPU リソース、メモリ、ストレージなどが他のプロセスに専有されている
- ホスティングされている Docker Image が改変される

これらの問題を対処するために、SAPPORO では、バッチジョブの管理に CI/CD の概念を導入します。つまり、SAPPORO は、「バッチジョブが常に実行可能であるか」や「バッチジョブによる出力が常に再現されているか」をテストすることを目的としています。SAPPORO は、これらの概念をシステムに導入することにより、常にバッチジョブが再現することを目指しています。

## 特徴

- ワークフローの再現性の検証
- バッチジョブの実行結果の収集と管理
- 様々なワークフロー実行エンジン、およびワークフロー記述言語への対応
- 様々なジョブスケジューラとの連携
- ローカル環境、クラウド環境、クラスタ環境などの様々な環境へのデプロイ
- 容易なデプロイ・管理

## システム構成

SAPPORO は SAPPORO-web と SAPORO-service に分けられます。

- SAPPORO-web
- ユーザ情報とバッチジョブの管理
- Web フロントエンドを提供
- SAPPORO-service
- バッチジョブの実行
- REST API を提供


複数の SAPPORO-service を一つの SAPPORO-web に登録したり、一つの SAPPORO-service を複数の SAPPORO-web に登録することが出来ます。

詳細については、それぞれの README を参照してください。

- [SAPPORO-web - README Ja](https://hackmd.io/s/r1_mSHn8V)
- [SAPPORO-service - README Ja](https://hackmd.io/s/Skp49g2IN)
- [SAPPORO-fileserver - README Ja](https://hackmd.io/s/rJHpJwkdE)

## ライセンス

SAPPORO は [MIT license](https://github.com/suecharo/SAPPORO/blob/master/LICENSE) で提供されています。