---
# System prepended metadata

title: スキル定義委員会-074
tags: [' データ蓄積', スキル定義委員会, ' 予測', ' アプローチ設計']

---

---
tags: スキル定義委員会, データ蓄積, 予測, アプローチ設計
---

# スキル定義委員会-074

## DE-74 データ蓄積 - リアルタイム処理 ⭐️⭐️⭐️

### Q.適切なライブラリや実行環境を選択して、ストリーム処理やイベント駆動アプリケーションを実装できる

1. **Apache Kafka**: スケーラブルなストリーム処理のためのオープンソースプラットフォームで、分散ストリーム処理のアーキテクチャを提供します。
2. **Apache Storm**: 分散ストリーム処理のためのオープンソースフレームワークで、リアルタイムデータ処理を行うために使用されます。
3. **Apache Flink**: オープンソースのストリーム処理エンジンで、高スケーラビリティを備えており、高い実行効率を提供します。
4. **Apache Spark**: オープンソースの大規模データ処理フレームワークで、スケーラブルなストリーム処理とバッチ処理を実行できます。
5. **Apache Samza**: Apache Kafkaに基づいた、スケーラブルなストリーム処理フレームワークで、リアルタイムデータ処理を行うために使用されます。
6. **Node.js + Socket.io**: イベント駆動アプリケーションを実装するために使用できるJavaScriptのフレームワークで、WebSocketを使用してリアルタイムな通信を実現します。
7. **Spring Boot + WebSocket**: Javaでイベント駆動アプリケーションを実装するために使用できるフレームワークで、WebSocketを使用してリアルタイムな通信を実現します。



------------------------------------------------------------------------

## DS-74 予測 - 評価⭐️⭐️⭐️

## 目的（予測・真のモデル推定など）に応じて、適切な損失関数とモデル選択基準（AIC：赤池情報量規準、BIC：ベイズ情報量規準、MDL：最小記述長など）を選択し、モデル評価ができる

1. 分類タスクの場合: 損失関数として交差エントロピー損失、ロジスティック損失などが使用され、モデル選択基準として交差バリデーションを使用します。
2. 回帰タスクの場合: 損失関数として平均二乗誤差、平均絶対誤差などが使用され、モデル選択基準として交差バリデーション、AIC、BIC、MDLなどを使用します。
3. 推定タスクの場合: 損失関数として対数尤度損失が使用され、モデル選択基準としてAIC、BIC、MDLなどを使用します。
4. モデル評価: 交差バリデーション、ホールドアウト法、K-foldなどを使用して、汎化性能を評価します。また、ROC曲線、AUC、Precision、Recallなどの指標を使用して、分類タスクの評価を行います。

------------------------------------------------------------------------

## BZ-74 アプローチ設計 - アプローチ設計 ⭐️⭐️⭐️🔥必須🔥

### Q.データサイエンスを駆使して解くべき課題か否かを判断できる

1. 膨大なデータに基づく理解し、予測することを必要とする。
2. 統計学モデル・機械学習モデルにフレームワークさせることができる。
3. データのパターンを特定したり、意思決定プロセスを自動することを必要とする。
4. 透明性があり、定量的な目的がある。
5. 複雑でこれまでの手法やルールベースのシステムでは解決させることができない。
6. データから得た知識や見解をの手助けをする。
7. ビジネス戦略や重要な意思決定に役立つ洞察や知識をデータから見つけ出すことができる。
8. データサイエンス技術を使って大きなROIを生み出すことができる。


------------------------------------------------------------------------

# Quote
- [スキル定義委員会 from データサイエンティスト協会](https://twitter.com/jdss_skill)