--- tags: スキル定義委員会, データ蓄積, 予測, アプローチ設計 --- # スキル定義委員会-074 ## DE-74 データ蓄積 - リアルタイム処理 ⭐️⭐️⭐️ ### Q.適切なライブラリや実行環境を選択して、ストリーム処理やイベント駆動アプリケーションを実装できる 1. **Apache Kafka**: スケーラブルなストリーム処理のためのオープンソースプラットフォームで、分散ストリーム処理のアーキテクチャを提供します。 2. **Apache Storm**: 分散ストリーム処理のためのオープンソースフレームワークで、リアルタイムデータ処理を行うために使用されます。 3. **Apache Flink**: オープンソースのストリーム処理エンジンで、高スケーラビリティを備えており、高い実行効率を提供します。 4. **Apache Spark**: オープンソースの大規模データ処理フレームワークで、スケーラブルなストリーム処理とバッチ処理を実行できます。 5. **Apache Samza**: Apache Kafkaに基づいた、スケーラブルなストリーム処理フレームワークで、リアルタイムデータ処理を行うために使用されます。 6. **Node.js + Socket.io**: イベント駆動アプリケーションを実装するために使用できるJavaScriptのフレームワークで、WebSocketを使用してリアルタイムな通信を実現します。 7. **Spring Boot + WebSocket**: Javaでイベント駆動アプリケーションを実装するために使用できるフレームワークで、WebSocketを使用してリアルタイムな通信を実現します。 ------------------------------------------------------------------------ ## DS-74 予測 - 評価⭐️⭐️⭐️ ## 目的（予測・真のモデル推定など）に応じて、適切な損失関数とモデル選択基準（AIC：赤池情報量規準、BIC：ベイズ情報量規準、MDL：最小記述長など）を選択し、モデル評価ができる 1. 分類タスクの場合: 損失関数として交差エントロピー損失、ロジスティック損失などが使用され、モデル選択基準として交差バリデーションを使用します。 2. 回帰タスクの場合: 損失関数として平均二乗誤差、平均絶対誤差などが使用され、モデル選択基準として交差バリデーション、AIC、BIC、MDLなどを使用します。 3. 推定タスクの場合: 損失関数として対数尤度損失が使用され、モデル選択基準としてAIC、BIC、MDLなどを使用します。 4. モデル評価: 交差バリデーション、ホールドアウト法、K-foldなどを使用して、汎化性能を評価します。また、ROC曲線、AUC、Precision、Recallなどの指標を使用して、分類タスクの評価を行います。 ------------------------------------------------------------------------ ## BZ-74 アプローチ設計 - アプローチ設計 ⭐️⭐️⭐️🔥必須🔥 ### Q.データサイエンスを駆使して解くべき課題か否かを判断できる 1. 膨大なデータに基づく理解し、予測することを必要とする。 2. 統計学モデル・機械学習モデルにフレームワークさせることができる。 3. データのパターンを特定したり、意思決定プロセスを自動することを必要とする。 4. 透明性があり、定量的な目的がある。 5. 複雑でこれまでの手法やルールベースのシステムでは解決させることができない。 6. データから得た知識や見解をの手助けをする。 7. ビジネス戦略や重要な意思決定に役立つ洞察や知識をデータから見つけ出すことができる。 8. データサイエンス技術を使って大きなROIを生み出すことができる。 ------------------------------------------------------------------------ # Quote - [スキル定義委員会 from データサイエンティスト協会](https://twitter.com/jdss_skill)