# 卒業研究：教師なし学習による単一電極EEGのCSPフィルタ特徴終つ性能の向上

## 背景
- 機械学習の進歩に伴い脳波の解析は進歩している
- ゲーム、ロボット制御、カーソル操作、筋電の代用を全て脳波で行うことができる
- 脳波を測定する際には測定する脳の箇所にそれぞれ電極を設置する(図1参照)
- 電極数が多いと生体ノイズと目的の信号の分離がしやすい(後述するICAやCSPが適用しやすいため)
- 髪の抵抗で髪が生えている箇所では計測が困難になる
- 適切な量のゲルを電極設置個所につけることで抵抗の影響を減らすことができる
- 電極設置個所の髪を剃ったり、ゲルをつけたりすると電気抵抗の影響を少なくすることができ、電極数を多くすると目的の信号をノイズから分離しやすくなる。しかし、その分費用や手間がかかってしまう。

[図1．電極設置個所](https://pubmed.ncbi.nlm.nih.gov/31091853/)

## 目的
単一のドライな電極（ゲルなどを使用しない）で脳波を解析できるようにしたい。

## 概要
- EEG
- 脳細胞が情報を伝達する際に電位が発生 → 多くの脳細胞が近くで情報を伝達すると局所集合電位が発生 → 体積伝導によって頭皮に伝わる(これをBCIで測定) → 計測されるものがEEGというタイプの脳波
- EEGには様々な周波数の信号が含まれており、周波数によって担っている情報が異なる
- 一般的なEEG解析の流れ
- EEGの解析は、脳波計(BCI)による測定、前処理、特徴抽出、分類器による分類という流れで行われる(図2参照)
- 一般的な前処理：ウェーブレット解析、フーリエ解析、soft-threasholding、hard-threasholding、バンドパスフィルタ、ICA(Independent Component Analysis)、LDA(Linear Discrimination ANalysis)
- 一般的な特徴抽出手法：ウェーブレット解析、フーリエ解析、バンドパスフィルタ、ICA、スペクトログラム、因子分析
- 一般的な分類手法：SVM(Support Vector Machine)、DNN(Deep Neural Network)、CNN(Convolutional Neural Network)、LDA
- EEGは測定した電極の数 $C$ と時点数 $T$ の $X \in \mathbb{R} ^{𝐶 \times 𝑇}$ の形状をしている
- タスクごとに $X \in \mathbb{R} ^{𝐶 \times 𝑇}$ の形状の脳波が得られ、これを用いて分類器を学習させ、分類する
- 卒論研究では $X \in \mathbb{R} ^{1 \times T}$の形状のEEG(電極数 $C = 1$ )を用いる(以降、単一電極EEGと呼ぶ)

図2．一般的なEEG解析の流れ

- 問題設定
- 電極設置個所は図1のFp1、Fpz、Fp2の額に該当する箇所とした(髪が生えていないため)
- 2種類の実験を計6回(2×3回ずつ)実施し、単一電極EEGの分類性能を機械学習の使用で向上させる(図3参照)
- 1種類目の実験(以降、type1と呼ぶ)ではMotor Imagery(MI)タスクを行った
- MIは運動連想タスク
- 画面にグーかパーの図が出力されるので、出力された方の図を頭の中で思い浮かべる
- 2種類目の実験(以降、type2と呼ぶ)では実際に手を動すタスクを行った
- 画面にグーかパーの図が出力されるので、出力された方の図を右手で再現する

図3．卒業研究のの分類タスク

## 先行研究1
### 1. [Benjamin Blankertz, 2007, Optimizing Spatial filters for Robust EEG Single-Trial Analysis](https://ieeexplore.ieee.org/document/4408441)
- 人が何らかの行動を連想するとき、ある個所では信号の分散が大きくなったり、ある個所では小さくなったりする
- 図4のスペクトル密度を参照すると、ある周波数帯域では特定のタスク中に密度があがったり下がったりしていることが確認できる
- CSPは片方のクラスの信号の分散を大きく、もう片方を小さくするような空間フィルタ𝑊を構築する
- 59電極のBCIでCSPとSVMを用いた結果、分類精度は91.60%であった
- CSPとは：

長さ $T$ の $N$ チャネルの帯域制限信号からなる行列を $X \in \mathbb{R}^{N \times T}$ で表す。多チャネル信号 $X$ は $2$ つの状態のいずれかに対応しているとし、状態を表すクラスラベルを $c \in \{1, 2\}$ とする。CSP では片方の状態の信号の分散を大きくする一方で，他方の状態の信号の分散を小さくするような空間フィルタ $W$ が構成される。フィルタリングは次式で行われる。

\begin{equation}
X_{CSP} = W^T X
\end{equation}

ここで、$X_{CSP}$ は空間フィルタ後の多チャネル信号である。状態 $c$ の信号の分散共分散行列 $C_c$ は以下の式で計算される。

\begin{equation}
C_c = \frac{1}{|L_c|} \sum_{i \in L_c} \frac{X_i X_i^T}{\text{tr}(X_iX_i^T)}
\end{equation}

ここで、$L_c$ はクラス $c$ に属する信号のインデックスの集合を表す。空間フィルタ行列 $W$ の各列ベクトルは、次の一般化固有値問題の解として得られる。

\begin{equation}
C_1w = \lambda(C_1 + C_2)w
\end{equation}

ここで、$\lambda$ は一般化固有値で、状態 $1$（$c = 1$）のフィルタ後の信号の分散に対応している。フィルタ後の状態 $1$ の分散と状態 $2$（$c = 2$）の分散の和は常に $1$ となる性質（$I=C_1+C_2$）があり、状態 $1$ の分散が最大の時、状態 $2$ の分散は最小になり，状態 $1$ の分散が最小の時、状態 $2$ の分散は最大となる．

空間フィルタ行列 $W$ の逆行列の転置行列 $(W^{-1})^T$ は空間パターンと呼ばれる。この行列の列ベクトル、対応するフィルタで抽出された信号を元の空間に戻した時の信号の強度分布を表す。

図4．EEGのスペクトル密度例

### 2. [Sheng Ge, 2014, Classification of Four-Class Motor Imagery Employing Single-Channel Electroencephalography](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0098019)
- CSPの使用には複数電極が必要
- Short Time Frequency Transformation(STFT)を $X \in \mathbb{R} ^{1 \times T}$ に実施し、時間周波数領域に変換することでCSPを使用できるようにした論文

\begin{equation}
X_{STFT} (f,m) = \Sigma ^ {T-1} _ {t=0} X(t) \cdot w(t-m) \cdot \exp (-ift)
\end{equation}

- 単一電極のみでSVMによる分類精度を88.1%まで引き上げた

## 追試実験
### 実験目的
単一電極EEGを用いたタスク分類の性能を向上させること

### 実験設定
- 先行研究を参考に構築した実験
- 単一電極のBCIで計測
- 前処理はバンドパスフィルタとsoft-threasholding
- 特徴抽出手法はSTFT+CSP
- 分類器はSVM

### 実験内容
- 図3のようにFixation Cross → タスク → 休憩 → タスク → 休憩... と画面に繰り返し表示されていき、タスク中は画面に表示された図の指示に従ってタスクを行う
- type1ではMIを行う
- type2では実際に右手を動かす
- type1の実験はタスク120個(120トライアル)のデータセットを3つ測定した(type1_1、type1_2、type1_3と呼ぶ)
- type2の実験はタスク120個(120トライアル)のデータセットを3つ測定した(type2_1、type2_2、type2_3と呼ぶ)
- 測定したデータセットは図4の通りに処理し、分類を行った
- EEG測定では8[Hz]以上のEEGを測定した(電源ノイズを取り除くため)
- 前処理1ではSoft-Threasholdingという処理を行い、閾値は500とし、瞬きによる値が大きい信号を小さくした(図5参照)
- 前処理2ではSTFTを行い、EEG信号を時間周波数領域に変換し、8~30[Hz]の信号のみを取り出した(先行研究を参考に)
- 特徴抽出ではCSPを用い、それぞれのタスクで分散が大きくなるようなフィルタを作成し、適用させた
- 分類器はSVMを用い、CSPを行ったEEGを分類した
- SVMは線形SVMを用い、データセットの9割を学習用データ、1割をテストデータとした

図4．卒業研究の処理の流れ


図5．Soft-threasholding

### 実験結果
SVMによるFp1_EEG、Fpz_EEG、Fp2_EEG分類結果は表1~3の通りになった。ただし、Raw EEGとは8Hz以上の測定された未処理のEEG、Refiend EEGとは8Hz以上の測定されたEEGにSoft-Threasholding、CSP、STFTを実施したものとする。SVMの学習にはデータセットの9割を用い、予測には残り1割を用いた。

表1．Fp1_EEGのSVMによる分類結果
| データセット名 | Raw EEGの分類精度 | Refined EEGの分類精度 |
| -------- | -------- | -------- |
| type1_1 | 0.50 | 0.63 |
| type1_2 | 0.63 | 0.60 |
| type1_3 | 0.40 | 0.67 |
| type2_1 | 0.46 | 0.63 |
| type2_2 | 0.40 | 0.87 |
| type2_3 | 0.50 | 0.70 |

表2．Fpz_EEGのSVMによる分類結果
| データセット名 | Raw EEGの分類精度 | Refined EEGの分類精度 |
| -------- | -------- | -------- |
| type1_1 | 0.50 | 0.83 |
| type1_2 | 0.63 | 0.67 |
| type1_3 | 0.43 | 0.73 |
| type2_1 | 0.47 | 0.67 |
| type2_2 | 0.43 | 0.83 |
| type2_3 | 0.57 | 0.67 |

表3．Fp2_EEGのSVMによる分類結果
| データセット名 | Raw EEGの分類精度 | Refined EEGの分類精度 |
| -------- | -------- | -------- |
| type1_1 | 0.50 | 0.67 |
| type1_2 | 0.63 | 0.53 |
| type1_3 | 0.40 | 0.73 |
| type2_1 | 0.47 | 0.70 |
| type2_2 | 0.50 | 0.77 |
| type2_3 | 0.50 | 0.63 |

以上の表の通り、Refined EEGはRaw EEGよりも線形SVMにおける分類精度がほとんどの場合において向上していることがわかる。たとえば、type1_1の各EEGをt-SNEプロットしてみると図6と図7の通りになる。図6のように無秩序だったEEGは前処理と特徴抽出により図7のようにより分離されている形に変換されている。

図6．type1_1 Raw EEG t-SNEプロット

図7．type1_1 Refined EEG t-SNEプロット

一方で精度が向上したとしても0.67~0.70程度の低い分類精度であったり、そもそも予測精度の低下が見られたりする場合もあり、精度が安定していないことが目立つ。例えば、type1_2では図8の通りFp1とFp2における精度が低下している。

図8．type1_2の分類精度

### 実験考察

実験結果の原因として、以下の二つが考えられます。
1. 脳波は測定する時の体調などによって波形が変化し、CSPがタスク以外の特徴を抽出してしまっている可能性がある。
2. Soft-ThreasholdによってEEGの重要な情報を歪めてしまったり、ノイズの影響を完全に除去しきれていなかったりしている可能性がある。

そのため、Soft-Threasholdの代わりにEEGを成分分解し、適切な特徴量を抽出する前処理を追加することで、分類精度を向上させることができると考察します。

### 今後の方針

Soft-Threasholdの代わりにICAを前処理に導入し、EEGを独立成分に分解してみる。そして、その際の分類精度を比較してみる。

ただし、ICAは測定信号の数かそれ以下の数の独立成分にしか分解することができない。しかし、単一電極EEGは$1\times T$次元のため、ICAを適用することはできない。そのため、ICAを適用する前に単一電極EEGに何らかの処理を施す必要がある。

そこで、「[Separation of Sources From Single-Channel EEG Signals Using Independent Component Analysis](https://ieeexplore.ieee.org/document/8187744)」を参考にして、SSA+ICAを実施しようと考えています(図9参照)。

図9.[SSA+ICA](https://ieeexplore.ieee.org/document/8187744)