# アウトプット会ネタ ## データ分析しようぜ！ Stageeeのデータを分析したい！ 読んだ本：ビッグデータを支える技術  --- ## はじめに 突然ですが... ### 👨‍💼 会社のデータを分析してください ### あなたならどうしますか？ --- ## Excelで分析 - データが重い - excel固まる - データの前処理が面倒 - JSON - CSV - 画像 etc... ## 辛い😭 --- ## Excelで分析 - データが変わるたびに集める - コピペ地獄 ## 超辛い😭 --- ## クラウドで自動化しよう ### どんなステップがある? - データを集める - データの前処理 - データの表示 - 結論を得る --- ## awsのデータプロダクト - kinesis - grue - athena --- ## kinesis - データを集める処理を自動化 　　- イベントを収集(Web上でのユーザの動きなど) - 高スループット - データレイク(S3など)に自動保存 --- ## grue - データの収集・加工を自動化 - データレイクから定期的にクローリング - JSONなどのスキーマレスデータをSQLで読み取れる形に加工 --- ## athena - データの分析（対話型クエリエンジン） - SQL likeにデータを分析できる --- ## その他 - redshift - 巨大データに対応できる列指向データベース - Tableau(AWSとは別) - データの可視化ツール - 変数同士の相関をみる --- ## 今後のステップ より良い結論を得るためには... - どのデータに注目するか考える - ビジネスにおけるKPI設定と関連させる - 継続的にモニタリングする - 決めた指標はどう変化したか？ --- ## もっと勉強したい人向けのキーワード - Apacheシリーズ - Apache MapReduce - Apache Hive - Apache Spark - データマイニング - Jupyter Notebook --- ## まとめ - データ分析サービスで自動化しよう - データは道具 - どれだけ良い意思決定が出来るかが大事 - データが小さいうちはエクセルでも別に良い