---
tags: スキル定義委員会, データ加工, グルーピング, データ理解
---

# スキル定義委員会-083

## DE-83 データ加工 - 前処理 ⭐️⭐️

#### Q.フラットファイルやバイナリファイルに対するデータロードの前処理（クレンジング操作、禁則処理やバイナリ処理）ができる

### クレンジング処理（データクリーニング）

破損したデータ、不正確なデータ、無関係のデータを特定して解決する手法

### 禁則処理（Binning）

1. **Overwriting**
ファイル内の既存のデータを上書きすると、データの損失や破損を引き起こす可能性があります。新しいデータをファイルの末尾に追加するか、既存のデータを変更せずに特定のレコードを適切に更新することが重要です。
1. **Unaligned Writes**
不整列な方法でデータを書き込むと、不正なデータやデータ破損の原因となることがあります。データの書き込みは、ファイル形式と整合性があり、かつ基礎となるデータ構造と適切に整合された方法で行われることが重要です。
1. **Buffer Overflows**
バッファオーバーフローは、データがバッファの境界を超えて書き込まれたときに発生し、データの破損やセキュリティの脆弱性の原因となることがあります。ファイルに書き込まれるデータのサイズを適切に検証し、制限することが重要です。
1. **File System Limitations**
ファイルシステムの中には、ファイルサイズの制限など、フラットファイルやバイナリファイルにデータを読み込む際に考慮しなければならない制限があるものがあります。
1. **Not validating the input data before loading**
無効なデータをファイルに読み込むと、データの不整合が発生し、処理中にエラーが発生する可能性があります。
1. **Not handling exceptions and error conditions properly**
例外やエラー状態を適切に処理しない例外やエラーを適切に処理しないと、データの破損や消失の原因となることがあります。

これらの禁止された処理方法を避け、ロード操作時にデータを適切に処理することで、フラットファイルやバイナリファイルに保存されているデータの正確性と整合性を確保することができます。

データの信頼性と一貫性を確保するために、フラットファイルやバイナリファイルにデータをロードする際には、ベストプラクティスと標準的な手順に従うことが重要です。

------------------------------------------------------------------------

## DS-83 グルーピング - グルーピング ⭐️

#### Q.教師なし学習のグループ化（クラスター分析）と教師あり学習の分類（判別）モデルの違いを説明できる

### 教師なし学習のグループ化（クラスター分析）

対象となるクラスやラベルの事前知識を持たずに，類似したデータ点をその類似性に基づいてクラスターにグループ化する手法である。
クラスター分析では、ラベル付けされたデータは一切使用せず、予測も行わない。

#### 目的

データの構造を見つけることであり、類似のデータポイントは一緒にグループ化され、非類似のデータポイントは異なるクラスタに分離し、識別すること。

### 教師あり学習の分類（判別）

分類では、データを訓練セットとテストセットに分け、訓練セットを用いてモデルを学習させ、特徴とクラスラベルの関係を学習する。

#### 目的
入力特徴とターゲットクラスとの関係を学習し、この知識を用いて新しいデータポイントのクラスを予測することである。

まとめると、クラスター分析と分類の主な違いは、クラスター分析はデータ中のパターンを見つける教師なし手法であり、分類は入力特徴量に基づいて新しいデータ点のクラスまたはラベルを予測する教師あり手法であることです。

------------------------------------------------------------------------

## BZ-83 データ理解 - 意味合いの抽出、洞察 ⭐️

#### Q.分析結果を元に、起きている事象の背景や意味合い（真実）を見抜くことができる

1. **Context**
分析が行われた背景と分析された事象を理解するために必要な背景情報を提供する
1. **Interpretation**
背景情報の文脈で結果を解釈し、取り組んでいる問題に対する事象の含意を記述する
1. **Evidence**
統計的有意差検定、信頼区間、視覚化など、結果の解釈を裏付ける根拠を示す
1. **Limitations**
分析の限界や制約があれば、それが結果の解釈にどのような影響を与えるかを論じる
1. **Recommendations**
推奨事項分析結果や示唆に基づき、次のステップやさらなるアクションのための推奨事項を提示する。これには、将来の研究やデータ分析の追加、意思決定者への実践的な提言などが含まれる

分析結果の説明にこれら上位5つのポイントを含めることで、分析対象の事象の背景、結果、影響の全体像を把握することができます。

------------------------------------------------------------------------

# Quote
- [スキル定義委員会 from データサイエンティスト協会](https://twitter.com/jdss_skill)

<style>
.att0 {color: #eb4034;}
.att1 {color: #3465eb;}
</style>