# 第二回報告会用(4/26~5/10)
# 要検討項目(4/26発表)
- 全部取ってくるか問題
1GBまでのCSVを取得する予定
- player_idの説明
追加したよ

# 進捗まとめ(5/10発表分)
## 全体の達成目標とその見積もりの工数
- 人狼BBSについての情報収集
- Webページ上のclassの特定
- CSVの仕様の考案(4/26までの目標)
- スクレイピングについての情報収集
- role以外のスクレイピングの実装
- role以外のスクレイピングの稼働テスト(5/3までの目標)
- roleを取得するスクレイピングの実装(5/10までの目標)
- 上記二つの結合
- 稼働テスト(5/17までの目標)
- 納品(5/24までの目標)

## 今回の達成目標とその見積もりの工数

- スクレイピングについての情報収集
- role以外のスクレイピングの実装
- role以外のスクレイピングの稼働テスト
- roleを取得するスクレイピングの実装

２週間あったのでちょっと多めにしました。

## 進捗状況の説明
### スクレイピングについての情報収集
webスクレピングとは
htmlの要素からデータを一括でを取得することをいいます(今回だとCSV)。

スクレイピングを行うには、html上にある特定の要素のみを抽出する必要がある。
そのためにHTMLの要素に特徴を持たせるclassの特定が必要になる。

### role以外のスクレイピングの実装
前回特定したwebページのクラスを元に、スクレイピングを実行。
ページ上にある各日付の発言を取得。しかし、これだけでは各キャラクターの
役職まで取得することができないため、別の方法で、役職を取得する必要がある。

### role以外のスクレイピングの稼働テスト
role以外の情報は取得することができた。

### roleを取得するスクレイピングの実装、稼働テスト
ページ上にあるエンドロールの部分から
各ユーザ名、ユーザIDとその役職を取得
ユーザIDを用いて結合を行う

## 進捗状況に対する評価
目標に対して、かなり早く進んでいる。
現在はroleとの結合が終了しており、稼働テスト中

## 達成目標と作ったものの違い(前回の質問に対する答え)
- 全部取ってくるかという質問に対する答え
質問する
今のところ、1GBまでのCSVを取得する予定
(ここは口頭で質問の方がいいのかな)

- 仕様変更player_idの追加
roleを取得する側のスクレイピングに新たに追加。

|id | player_id|name | content | mes_type | day | time | role |
|-|-|-|-|-|-|-|-|
|increment|string| string | string | string | int| timestamp |string|

## メンバーごとの仕事の内訳
筒井:スクレイピングの実装(role取得部分との結合)
加藤:プレゼン資料作成、進捗状況報告
石元:スクレイピングの実装(role部分の取得)
荒井: 進捗管理、プレゼン資料整理

要相談

## 残っている課題、解決策、今後の予定
結合後のスクレイピングの稼働テスト
処理速度の向上、例外処理の追加

## 質問項目
CSVの容量はいくらくらい必要なのか？(何GB?)