# Outline for Online MTG10
- [第１回オンラインミーティング](https://hackmd.io/zIUjG3M2QsOjzwtQYcQx4w)
- [第２回オンラインミーティング](https://hackmd.io/rA8WAd7wSLG3Xnz8lLomNw)
- [第３回オンラインミーティング](https://hackmd.io/eJIII3crSMCQRp8DXnPQ_w)
- [第４回オンラインミーティング](https://hackmd.io/aDe5ZzHSSxO2VR2JlHHuWw)
- [第５回オンラインミーティング](https://hackmd.io/nzYon4gXShOabCJkp5-OqA)
- [第６回ミーティング](https://hackmd.io/ltk7OenhSKmRV2U5lN20Sg)
- [第7回オンラインミーティング](https://hackmd.io/qdf9dQ1EQjKxknpvNyP4LQ)
- [第8回オンラインミーティング](https://hackmd.io/o9YHOUqBTLKAPtC0y53wow)
- [第9回オンラインミーティング](https://hackmd.io/KvasieOPR2exnD_7f-_dvQ)
---
- [タスクのチートシート](https://hackmd.io/4cWle4mzRe6b_Ak4botXEA)
- [タスクのリポジトリ](https://github.com/kusumotolab/h-azuma_experiment-tasks)
- [実験結果のリポジトリ](https://github.com/h-azuma/EEG-analysis)
---
- [実験ツール](https://sdl.ist.osaka-u.ac.jp/~h-azuma/_redirect.html?uid=0&next=-2)

## 今回のミーティングの目的
- 分析の結果報告
- 論文の方針の相談

## 検定をやり直した結果
### 検定手法(再掲)
- 今回の実験ではサンプル数が少なく，それぞれ同じタスクをリーディングしたわけではなかったため，対応のないデータと考えた
- そのため，ノンパラメトリック検定かつ，対応のないデータに使用できる[ウィルコクソンの順位和検定](https://data-science.gr.jp/theory/tst_wilcoxon_rank_sum_test.html)を実施した
- 今回は(~~同一被験者の~~)各被験者の同一環境で行ったタスク間で，それぞれの環境とベースラインである予約語ハイライト/等幅フォントのβ波/α波の単位時間当たりのパワーと比較を行った
- データ数はそれぞれの環境において一人当たり4つのデータを持っているため，10人分×4で40:40でベースライン(`予約語ハイライト/等幅フォント`)と各環境間で検定を実施した

### 前回の検定の問題点
- 前回は被験者一人ずつに対して有意差があるかを見ており，検定対象のデータが4:4で，少なすぎたことが問題

### 結果
- 有意水準を0.05としたとき，帰無仮説を棄却できるp値がでているもののみ掲載
- 検定は表の1列目に書いてある環境と，`予約語ハイライト等幅フォント`とを対象にした．
- 指標はβ/α

#### F4
- 全時間

|検定対象|p値|
|---|---|
|ランダムハイライトKawaiiフォント|0.097|
|予約語ハイライトKawaiiフォント|0.109|
|ランダムハイライト等幅フォント|**0.004**|
|IDE並み等幅フォント|0.069|
|ハイライトなし等幅フォント|0.251|
|予約語ハイライト非等幅フォント|0.109|

- 箱ひげ図

#### FPz
- 全時間
aaa

|検定対象|p値|
|---|---|
|ランダムハイライトKawaiiフォント(RanKaw)|0.074|
|予約語ハイライトKawaiiフォント(ResKaw)|**0.001**|
|ランダムハイライト等幅フォント(RanNon)|**0.010**|
|IDE並み等幅フォント(IDENon)|**0.0005**|
|ハイライトなし等幅フォント(GraNon)|0.055|
|予約語ハイライト非等幅フォント(ResPro)|0.079|

- 箱ひげ図

---
- FPzで有意差があった`予約語ハイライト等幅フォント/IDE並み等幅フォント`は箱ひげ図を見る限り`IDE並み`のほうが中央値が低く，β/αが低かったのではないかと予測されるため，妥当そう
- しかし，その他に関しては想定では低い方は`予約語ハイライト等幅フォント`であるが，どれも予想に反して`予約語ハイライト等幅フォント`のβ/αの方が他の環境よりも比較的高い値を持っていることが推測されるため，良い結果であるとは言えなさそう

## グラフの色について
- 色に関係性がなくグラフをぱっと見た時にどれがよく，どれが悪いかすぐ判別しにくかった
- **フォントがコード向きな環境ほど赤色**が強く，**ハイライトがコード向きな環境ほど青色**が強くなるようにした．


### RQ1(脳波に効果があるか)

### RQ2(ハイライト)

### RQ3(フォント)

## 時間を切り分けた結果
- 最後の30秒の内最後の数秒はタスクが分かったという落ち着きや安堵からα波が増える傾向にある．
- そのため，今回は脳波のグラフから各被験者の脳波の特徴を鑑みて，最後の5秒を切り捨てた
### 結果
- 最後の30秒(最後の5秒を切り捨てる前)の結果と比べると，F4,FPz,Pzでは最後の5秒を切り捨てたデータはデータのばらつきが減り，中央値がほぼすべての環境でほとんど一緒になった
- 環境間の差が少なくなったことで，最後の5秒を切り捨てると，p値の値は大きくなった
- **F3では他のポイントと逆で帰無仮説が棄却できるp値が得られたものがあった**
- グラフなどの結果はすべてF3のもの

#### β/αのグラフ
- RQ1(脳波に影響がでるか)

- RQ2(ハイライト)

- RQ3(フォント)

#### 箱ひげ図

#### p値
|検定対象|p値|
|---|---|
|ランダムハイライトKawaiiフォント|0.874|
|予約語ハイライトKawaiiフォント|0.511|
|ランダムハイライト等幅フォント|**0.044**|
|IDE並み等幅フォント|0.807|
|ハイライトなし等幅フォント|0.097|
|予約語ハイライト非等幅フォント|0.380|

---
- この表の中で帰無仮説を棄却できるp値をもった検定である，`予約語ハイライト等幅フォント`と`ランダムハイライト等幅フォント`との検定の対象となっている二つの環境のデータの箱ひげ図を見る限り，想定通り`予約語ハイライト等幅フォント`のβ/αの方が低いため，結果としては先程あげたものより良さそう
- しかし，それ以外の結果があまり芳しくない

## 指標の変更(β/全体)
- どの時間の区切り方をしてもデータのバラつきが大きく，すべての測定点において帰無仮説を棄却できる程のp値は得られなかった．
### 参考のグラフ
- FPz,RQ1,最後の30秒の内その後ろから5秒を切ったもの

## 時系列データのplot
- 脳波全体をFFTにかけ，出力したパワースペクトルのα波及び，β波の成分のみを逆フーリエ変換してみたが，うまくいかなかった

## subsetでの分析
### javaの経験歴が3年以上のsubsetで分析
- p値だけ見ると一番良い結果が出ていた
- しかし箱ひげ図を確認すると，想定とは逆の結果が出ていた
- p値，グラフは全時間の脳波，FPzのもの

#### p値
|検定対象|p値|
|---|---|
|ランダムハイライトKawaiiフォント|0.206|
|予約語ハイライトKawaiiフォント|**0.043**|
|ランダムハイライト等幅フォント|**0.021**|
|IDE並み等幅フォント|**0.018**|
|ハイライトなし等幅フォント|0.055|
|予約語ハイライト非等幅フォント|**0.009**|

#### 箱ひげ図

## 論文の方針
- NRで書く

### 章構成の案
#### 1章 はじめに
- 背景
- 近年プログラム理解の研究が盛んになってきている．
- また，最近では，開発者の感情に着目した研究も増えてきた．
- プログラムは人間が書いたり利用したりするということから，プログラムの読み手の心理的作業負荷を減らすことが重要となっている．
- 論文のアイディア
- 従来のプログラム理解の研究と言えば，コードの可読性やコードのスタイルに注目したものが多かった．
- 一方で，コードを読む環境について言及している論文は少ない．
- そこで，本論文ではコードを読む環境に着目する．
- IDEやテキストエディタはコードを読むのに適しているプログラミング特化の環境であるが，コードを読む機会はそのようなプログラミング特化環境には限られない．
- 例えば，論文上や本などでコードを見かけることがある．
- これらの環境はもちろんプログラミングに特化した環境ではないため，IDEのようなプログラミングに特化した環境では起こり得ない，フォントやハイライトがコードに適していない状態になっているなどの問題が発生する．
- そのため，IDEのようなプログラミング特化環境に慣れている開発者にとって非プログラミング特化環境におけるコードリードは時には不快感すら感じさせてしまう可能性もある．
- 提案
- そこで，本論文では，コードの読み手がコードリーディング時にどのように感じているかを明らかにするため脳波計測をする．
- まず脳波によってコードの環境に起因するコードの読み手の情動反応が読み取れることを確認するため，ハイライトやフォントを非現実的なレベルで読みにくくしたコードと，論文などでよく見られる，予約語のみハイライトされており，等幅フォントで記述されたコード間での比較を行う
- その後，ハイライトとフォントをそれぞれ変化させ，予約語のみハイライトされており，等幅フォントで記述されたコードと比較を行い，ハイライトとフォントによる影響を明らかにするための実験を行った．
- また，今回の実験では脳波によるコードの読み手の不快感のみならず，コード理解の速度や正しさも計測した．
- 私たちの仮定では，ハイライトやフォントがコードに適していないものになればなるほど脳波が不快感を示すものであると考えていた．
- しかし，今回の実験ではこの仮定に矛盾する結果が出たため，それをNegative Resultsとして報告し，今回の結果について考察する．
#### 2章 準備
// 既知の事実，前提知識, preliminaries
- 開発者のコード理解
- 理解の研究多いよ[][][]．
- いろんな観点で調べられてる
- 理解と脳波
- しかも最近は生体計測使うケース[]も
- MRIなど
#### 3章 非プログラミング特化環境でのコードリード
// 新たな話，論文の手法とか，論文のタイトルになるような
// 調査のアイデア，コンセプト，調査手法howではなく何を知りたいかwhat
- プログラミング特化ではない状況（e.g., 紙/pdf）での理解/コードリードについて
- フォントが等幅の場合がある
- ハイライトが予約語のみであり十分でない場合もある
- さらにはハイライトがされていない場合もある
- RQをまとめた図

#### 4章 実験
- 手法・手順
- 被験者
- 脳波測定と実験環境
- タスクについて
- アンケート
#### ５章 結果と考察
- RQ1,2,3に関する結果
- 理解の正しさと時間にかんする結果
- なぜ結果が出なかったのかの考察
- タスクが高次すぎたせいで問題による脳波への負荷がハイライトやフォントなどのコードの記述環境による影響を分からなくしてしまった
- タスク間の難易度の差が大きかったせいでタスク自体の難易度によって脳波が左右されすぎてしまった
- そもそもハイライトやフォントは脳波に影響を与えない，もしくは測ることが難しい程の微細な変化しか示さないのかもしれない
#### 6章 おわりに
- まとめ
- 仮説が実証できなかった
#### 謝辞
---
## MEMO
- 問題間のプロットをしてみる
- 主観的な難易度の調節が出来ていなかった
---
- 捨てた5秒の方に特徴が残っている可能性がある
- 最後の5秒はイラつきからの解放
- イラつきは蓄積されていく可能性があるが，解放のほうはドラスティックに出る可能性がある
---
- 1タスクの難易度が高すぎた可能性がある
- もっと単純なタスク(for文1個くらいのもの)のほうが良かったかも
- ハイライトの良さが際立つ題材ではなかった
- タスクに夢中になるとタスクの環境による影響が薄れてしまうかもしれない
- 実験題材にあれば書ける
---
[アンケート](https://docs.google.com/forms/d/e/1FAIpQLSeeJVqaN0iW-_eK2VargJqSTtBTyUfq378x1O_Vde9KRCVOig/viewform?usp=sf_link)

[結果](https://docs.google.com/spreadsheets/d/1t4yivg7kw0XJJ8tXTjtYfPmg9Mou77ahDG7IaDJCv-0/edit?usp=sharing)

---
- 個人を見る
- 問題の難しさがダイレクトにでてしまう
- 被験者の内IDEに強いこだわりがある人のsubsetを作ってみる
- 個人でみると影響があるとかだと論文に書きやすい
- 全体傾向がない
---
- 同じような実験をしている関連研究と比べる

- [The impact of syntax colouring on program comprehension](https://pdfs.semanticscholar.org/d14b/edf3f58080ecf7a92f60746371b894a7bc08.pdf)

---
- FPzの外れ値がどういう人かを見てみる
- 一人ずつのboxplotを書いてみて期待通りかを確かめる
- pcp(parallel coordinate plot)

---
- 環境の名前を付けておく
- 個人のプロットをしてみる