---
# System prepended metadata

title: airflow 情報共有

---

# airflow 情報共有

## 技術課題


+ エラーハンドリングの方法。エラーになったらどうやって通知する？
+ logging。ファイルとDBの両方ある。ファイルは各サーバーごとにあるのであとで1つにまとめたほうがいい。
  + ファイルについてはAWSを使うならたぶんS3でまとめる方法があった。オンプレならFluentdを使うことになるかも。
    + （補足）[S3ならこれ？公式DOC](https://airflow.apache.org/docs/stable/howto/write-logs.html#writing-logs-to-amazon-s3)
  + （補足）ファイルのログがタスクインスタンス単位の標準出力で、DBの方はairflow全体のイベント？の概要みたいなもの
+ log。dagのlog保存期間の設定。実行履歴の削除など。
+ 複数台数で動かしたときの動作検証。DBは1つだがDAGは複数台で同じものが動くとマズいと思う。制御はどうなるか。
  + GCPのサービスなら考えなくてよさそう。でもカスタムDBどうするか問題はある。
+ そもそも、AWSとかGCPとか使えるのかどうか？MOCSや2テクと繋ぐのにオンプレになる可能性もある。
+ ~~誰がDAGを実行したかをログに出す方法。あとでそのログを検索できるかも。~~
  + owner で検索できる 
+ airflowの管理画面をユーザーに見せるか。そうじゃない場合は別途管理画面を作るか。
+ ~~starttimeがよくわからない。実際には何を設定することになるか？~~
  + DAGが実行できる期間のスタート
+ ~~pause からの非同期での外部API呼び出し、戻りの API 呼び出しからの unpause~~
  + DAG単位でのポーズ・アンポーズなので使用しない
+ ~~自前DB（テーブル）へのアクセス検証。~~
  + MySqlで確認済
+ ~~認証用のユーザー作成方法。~~
  + Basic認証
+ ~~ログはlog配下にDAG毎にディレクトリが作製されて、その配下にタスク毎にディレクトリが作製され、その配下に実行日時毎にディレクトリが作製され、その配下にログファイルが作製される。タスクドリブンで調査するならこのログに実行者は出せば良い？~~
  + owner(DAGの引数)


## 設計課題

+ ~~MOCS等からorderナンバーをもらってrunidと紐付ける方法~~
  + A) システム番号（顧客） + 保守番号（拠点） + DAG_ID
  （検証はOK。細かい設計は後で考える）
+ 2テクから帰ってきた値を、MOCSがとる方法（呼び出し方法）どうするか。
  + API を用意?
+ リリース方法。GitHubでDAGソースの管理をして、サーバーの `dags` ディレクトリにリリースする方法を考える。
+ インフラ。スケールアウトできるようにする？
+ 期日が迫った未完了タスクの扱い
+ 何個DAGを作らないといけないか。工数的な見積を正確にするため。


## 20191209

- ブレークダウンしたい


