---
tags: スキル定義委員会, データ蓄積, アプローチ設計, 予測
---

# スキル定義委員会-075

## DE-75 データ蓄積 - キャッシュ技術 ⭐️⭐️⭐️

### Q.基盤設計において、どこのシステム要素にCache Serviceやmemcachedなどのキャッシュ機能を採用すると処理が高速化されるか判断できる

memcachedは、key-value形式でメモリ上に本するキャッシュサーバー

* キャッシュの概念と戦略に関する知識
* キャッシュの恩恵を受けることができるデータの種類と、それぞれの種類に適したキャッシュ戦略に関する知識
* ネットワークインフラとデータの流れ方に関するプロトコルについての知識
* データアクセスパターンと使用パターンに関する知識
* スケーラビリティとキャパシティプランニングに関する理解
* システム固有の要件と使用パターンに関する理解
* スケーラビリティ、信頼性要件とキャッシングがそれに与える影響についての理解
* システムアーキテクチャと設計に関する理解
* さまざまなキャッシュ技術とその機能に精通している（例：Cache Service、memcachedなど）
* データストレージと検索技術に精通している
* キャッシュソリューションの設計と実装の経験
* キャッシュ実装がパフォーマンスと信頼性の要件を満たしていることを確認するための監視とテストの経験
* システムパフォーマンスを分析し、ボトルネックを特定する能力
* パフォーマンステストと最適化の経験
* 将来のシステム使用量の増加や変化を予測し、計画する能力

------------------------------------------------------------------------

## DS-75 予測 - 評価 ⭐️⭐️⭐️

### Q.MSE、AUC、F値などは評価データ全体に対する平均的評価であることを理解し、必要に応じて予測値・誤差の可視化、データの部分集合に対する評価などを実施できる

* データのサブセットに対する残差（予測誤差）のヒストグラムを作成する
* 混同行列を使用して，データの特定のサブセットに対する真陽性，真陰性，偽陽性，偽陰性の予測数を可視化する
* データのサブセットについて
受信者動作特性（ROC）曲線をプロットし，真陽性率と偽陽性率の間のトレードオフを可視化する．
精度と想起の間のトレードオフを可視化するために、精度-想起曲線を使用する。
* データのサブセットに対する相関行列を使用して、特徴と予測の間の関係を評価する。
* データのサブセットの結果を全体の結果と比較して、誤差のパターンや傾向を特定します。
* データのサブセットに対するモデルのパフォーマンスを、データセット全体に対するパフォーマンスと比較する。
* データのサブセットに対して、R2スコア、F1スコア、精度、再現率、または精度を計算し、モデルのパフォーマンスを評価する。
* 散布図やボックスプロットを使用して、データのサブセットに関する予測値、実際の値、および誤差の分布を可視化する
* データのサブセットについて、リフト・チャートを使用して、異なるしきい値に対するモデルのパフォーマンスや特徴重要度チャートで得超量とモデルのパフォーマンスの駆動を可視化します。

---
* 回帰指標（平均二乗誤差、二乗平均平方根誤差など）を使用して、データのサブセットに対するモデルのパフォーマンスを評価する。
* 各カテゴリに対するモデルの性能を示すために、混同行列の色による視覚化を使用する。
* 真陽性、真陰性、偽陽性、偽陰性の数を示すために、データのサブセットの混同行列を作成する。
* データのサブセットに対する受信者動作特性(ROC)曲線の作成
* データのサブセットに対する精度-再現性曲線の作成
* クロスバリデーション技術を使用して、データの異なるサブセットに対するモデルのパフォーマンスを評価する。

------------------------------------------------------------------------

## BZ-75 アプローチ設計 - 分析アプローチ設計 ⭐️

### Q.スコープ、検討範囲・内容が明確に設定されていれば、必要な分析プロセスが理解できる（データ、分析手法、可視化の方法など）

* **データ収集とクリーニング**：分析に必要なデータの収集と準備
欠損値、外れ値、無関係な情報を削除し、データをクリーニングします。データが正確で、完全で、分析可能な形式であることを確認するために、必要なデータクリーニングと準備を行う。
* **データの探索と可視化**：
記述統計と可視化技術を使ってデータを理解し、パターンや外れ値を特定する
* **統計的モデリング**：
適切な分析手法（回帰、分類、クラスタリングなど）を使用して、データをモデル化し、分析する。
* **モデルの評価**
精度、精度、再現性、F1スコアなどの指標を用いてモデルのパフォーマンスを評価する。
* **結果の可視化**
適切な可視化技術（グラフ、チャート、マップなど）を使用して、結果や知見をわかりやすく提示する。
* **結論とレポート**
調査結果と結論を明確かつ簡潔なレポートにまとめ、今後の調査やアクションに関する推奨事項を記載します。
* **データの検証**
他のデータソースと比較することにより、研究結果を検証する。
* **データの前処理**
カテゴリ変数のエンコード、欠損データの補填、データの標準化・正規化など、分析に必要なデータの準備を行う。
* **特徴の選択**
データセットから最も関連性の高い特徴を選択し、分析に含めます。
相関分析、主成分分析、特徴の重要度などの手法を用いて、分析に最も関連性の高い特徴を選択する。
---
* **ハイパーパラメータのチューニング**
モデルのパラメータを調整し、パフォーマンスを最適化します。
* **モデリング**
予測やデータの関係性を理解するためにモデルを構築し、評価します。
* **モデルの選択**
研究課題および分析対象データの種類に基づいて、適切な分析手法やモデルを選択する。
* **モデルの構築**
選択した分析手法と選択した機能を用いてモデルを構築する。
* **モデルの比較**
異なるモデルの性能を比較し、分析に最適なモデルを選択します。
* **モデルの評価**
クロスバリデーション、精度評価、可視化などの手法により、モデルの性能を評価する。
* **モデルのチューニング**
モデルのパラメータやハイパーパラメータをチューニングし、モデルの性能を向上させます。
* **モデルのデプロイメント**
モデルを本番環境に導入し、そのパフォーマンスを監視します。
---

* **データの可視化**
適切な可視化技術（散布図、ヒストグラム、ヒートマップなど）を使用してデータを調査し、パターンや外れ値を特定します。
* **統計分析**
データを分析し、仮説を検証するために適切な統計手法を選択し、適用する。
* **結果の伝達**
ステークホルダーが結果を理解しやすいように、適切な形式と言語でステークホルダーと結果を共有する。報告書やプレゼンテーションを通じて、関係者に結果を伝達する。
* **結果の解釈**
分析結果を解釈し、結論を導き出す。
* **結果の可視化**
適切な可視化手法を用いて、結果をわかりやすく提示する。
* **報告書の作成**
分析結果や結論を明確に伝える報告書を作成する。
* データのアーカイブ化
データと分析結果を安全でアクセス可能な場所に保存する。
---

* 可能であれば、他のデータソースで結果を検証すること
* 研究分野・内容の要件に応じて、機械学習や人工知能の技術を利用する。
* 分析プロセスを実施する際に、倫理基準やガイドラインを理解し、適用する。
* 要件に従って、プロセスを継続的に監視し、更新する。
* フォローアップとモニタリング 結果をフォローアップし、時間の経過とともにモデルのパフォーマンスを監視する。

------------------------------------------------------------------------

# Quote
- [スキル定義委員会 from データサイエンティスト協会](https://twitter.com/jdss_skill)

<style>
.att0 {color: #eb4034;}
.att1 {color: #3465eb;}
</style>