---
tags: スキル定義委員会, データ加工, 推定・検定, データ理解
---

# スキル定義委員会-080

## DE-80 データ加工 - ソート処理 ⭐️ 🔥必須🔥

### Q.数十万レコードのデータに対して、目的の並び替えになるように複数キーのソート条件を設定できる

1. **並び替えの条件を決定**
主キーと副キーを含む並び替え条件を定義する。データの大きさや複雑さを考慮し、キーを選択する。
2. **データの準備**
データがきれいで整理されており、キーの値が正確で一貫性があることを確認する。データのクリーニング、正規化、集計などのデータ準備のテクニックを使用することを検討する。
3. **アルゴリズムを選択**
データサイズ、複雑さ、必要なソート速度に基づいて、適切なソートアルゴリズムを選択する。
一般的なソートアルゴリズムには、クイックソート、マージソート、ヒープソートなどがある。
4. **アルゴリズムを実装**
Python、Java、C++などのプログラミング言語で、選択したソートアルゴリズムを実装する。大規模なデータセットの場合、並列処理や分散システムによる性能向上も検討する。
5. **並べ替えをテスト**
データの一部を用いてソートの実装をテストし、望ましいソート結果が得られることを確認する。必要であれば、ソートアルゴリズムを修正し、再度テストする。
6. **データを並び替え**
その実装を用いてデータセット全体をソートし、その結果を確認する。ソートされたデータをデータベースやファイルシステムに保存し、後で利用する。

パフォーマンスを最適化ソートの実装を、キャッシュやインデックスの使用も含めて、パフォーマンスのために最適化する。性能のボトルネックを特定するために、プロファイリングやベンチマークなどのツールの利用を検討する。

以下は、pandasのDataFrameを複数のカラムでソートする例です。

import pandas as pd

# Load the data into a DataFrame
df = pd.read_csv('data.csv')

# Sort the DataFrame by columns 'A' and 'B' in ascending order
df.sort_values(by=['A', 'B'], ascending=[True, True], inplace=True)

# Output the sorted DataFrame
print(df)

------------------------------------------------------------------------

## DS-80 推定・検定 - 推定・検定 ⭐️

### Q.検定する対象となるデータの対応の有無を考慮した上で適切な検定手法（t検定, z検定など）を選択し、適用できる

### 検定の手法
- t検定
- ANOVA
- カイ二乗検定
- ウィルコクソン順位和検定
- クラスカル・ワリス検定

1. **研究課題を定義する**
研究課題を明確に定義し、データの種類（連続、カテゴリーなど）を決定する。テストの種類を決定するときに役立つ。
1. **検定の種類を決定**
研究課題とデータの種類に基づいて、適切なテストの種類を決定する。また、その検定によってどの程度効果が検出できるかを考える必要がある。
- 研究課題が2群間に差を判断するものであれば、2標本のt検定
- 変数が連続であれば、t-検定またはANOVA
- 変数がカテゴリーであれば、カイ2乗検定
1. **データの分布**
パラメトリック検定とノンパラメトリック検定の決定するのに役立つ。
パラメトリック検定は、データが正規分布していることを仮定するが、ノンパラメトリック検定は、この仮定をしない。
3. **サンプルサイズを検討**
データのサンプルサイズは、検定方法の選択に影響を与えることがあります。
サンプルサイズが小さい場合は、ノンパラメトリック検定
1. **仮定を確認**
検定方法を選択する前に、その検定の仮定が満たされていることを確認する。例えば、t検定の場合、データは正規分布でなければならない。
1. **複数の検定を検討**
研究課題を解決するために、複数の検定を行うことが適切な場合があります。複数の検定を実施し、その結果を比較することを検討する。
1. **参考文献を参照**
統計的検定方法は数多くあり、適切な検定方法を決定するために、統計学の教科書やオンラインリソースなどの参考文献を参照することが有用な場合があります。
1. **統計専門家の助言**
適切な検定方法がわからない場合は、統計専門家に助言を求めるとよいでしょう。彼らは、研究課題とデータに基づいて、適切なテスト方法を決定する手助けをしてくれます。

------------------------------------------------------------------------

## BZ-80 データ理解 - データ理解 ⭐️ 🔥必須🔥

### Q.ビジネス観点で仮説を持ってデータをみることの重要性と、仮に仮説と異なる結果となった場合にも、それが重大な知見である可能性を理解している

* **意思決定**
仮説から始めることで、分析の焦点を絞り、データをより深く理解することができます。
* **理解度の向上**
仮説を持ってデータを見ることで、すぐにはわからないパターンや関係性を発見することができます。これにより、ビジネスの根本的な推進力をより深く理解し、将来の意思決定に役立てることができます。
* **正確性の向上**
仮説を立ててデータにアプローチすることで、偏りやエラーの原因となり得るものを解決する方法で分析を設計することができ、より正確な結果を導くことができます。
* **創造的な問題解決**
仮説検証のプロセスは、様々な角度から可能性を検討することで、創造的な問題解決や革新的なソリューションにつながる可能性があります。
* **<span class="att0">根拠に基づく意思決定</span>**
仮説を検証し、データを調べることで、直感や思い込みではなく、データに基づいた意思決定ができるようになります。
* **分析の焦点化**
仮説を持つことは、分析の出発点となり、正しい方向に努力を集中させるのに役立ちます。これにより、時間とリソースを節約し、有意義な洞察を得る可能性を高めることができます。
* **探索を奨励する**
仮説を立てることは、たとえ結果が当初の仮説と一致しない場合でも、データの探索を促すことになります。これにより、予想外の貴重な発見が得られる可能性があります。
* **意思決定の支援**
データ分析は、ビジネス上の意思決定や成果を促進することができます。仮説を立ててデータにアプローチすることで、仮説が裏付けられているかどうかを評価し、その結果に基づいた意思決定を行うことができます。
* **客観性を高める**
結果が当初の仮説と一致しているかどうかに関わらず、データを客観的に評価することで、分析の信憑性と信頼性が高まります。これにより、調査結果に対する信頼が高まり、洞察が行動に移される可能性が高まります。

仮説があることで、仮説を検証することができ、調査結果の精度を高めることができます。これにより、データから誤った結論を導き出すリスクを低減することができる。

------------------------------------------------------------------------

# Quote
- [スキル定義委員会 from データサイエンティスト協会](https://twitter.com/jdss_skill)

<style>
.att0 {color: #eb4034;}
.att1 {color: #3465eb;}
</style>

<!-- <span class="att0"></span> -->