# Rút gọn đám mây điểm

Rút gọn từ đám mây rất nhiều điểm về tập đám mây điểm có số lượng ít hơn, nhưng các điểm được giữ lại có khả năng cao thuộc về vật thể mô hình quan tâm. Mô hình giảm số lượng điểm qua từng lớp Set Abstraction. Đám mây điểm đầu ra của lớp trước sẽ là đầu vào của lớp sau. Những lớp Set Abstraction phía sau sử dụng phương pháp Semantic Sampling giúp giữ lại các điểm thuộc vật thể quan tâm và lượt bỏ bớt đi những điểm không thuộc đối tượng nào từ đám mây điểm đầu ra của lớp Set Abstraction.

## Set Abtraction

Lớp Set Abstraction nhận một đám mây điểm, chọn một số lượng điểm ít hơn làm điểm đại diện cho đám mây, mỗi điểm được chọn gom các điểm đám mây xung quanh nó và tạo đặc trưng cho điểm đại diện.

Các lớp Set Abstraction xếp liên tiếp nhau, lớp thứ $l$ có:

* Input: Đám mây điểm $V_{in}^l=\{p_i(x_i, y_i, z_i)\}$ và $F_{in}^l=\{f_i\in\mathbb{R}^{C_{in}}\}$ là đặc trưng tương ứng của điểm $p_i$
* Output: $V_{out}^l=\{\hat{p}_i(\hat{x}_i, \hat{y}_i, \hat{z}_i)\}$ có số lượng được xác định trước, và $F_{out}^l=\{\hat f_i\}$ là đặc trưng tương ứng của $\hat p_i$.
* Lớp Set Abstraction thứ nhất, $V_{in}^1$ chính là tập đám mây điểm đầu vào và $F_{in}^1$ là hệ số phản xạ tương ứng.
* Lớp Set Abstraction tiếp theo thì $V_{in}^{l+1} = V_{out}^l$, $F_{in}^{l+1}=F_{out}^l$.

### Xác định tập điểm đầu ra

* Nếu lớp phía trước là lớp Semantic Sampling thì $V_{out}^l$ là tập điểm đầu ra của lớp Semantic Sampling.
* Ngược lại, từ tập $V_{in}^l$, chọn ra đám mây điểm $V_{out}^l=\{\hat{p}_i(\hat{x}_i, \hat{y}_i, \hat{z}_i)\}$ bằng phương pháp Farthest Point Sampling.

Các bươc tiếp theo thực hiện cho mỗi điểm $\hat p_i\in V_{out}^l$

### Gom nhóm

Mỗi điểm $\hat{p}_i(\hat{x}_i, \hat{y}_i, \hat{z}_i)\in V_{out}$, tìm tập các điểm $Q_i=\{p_j(x_j, y_j, z_j)|p_j\in V_{in}^l\land |p_j - \hat{p}_i| < r_l\}$.

### Trích xuất đặc trưng cục bộ

* Thêm vị trí tương đối giữa các điểm $p_j\in Q_{i}$ so với $\hat p_i$
* Đặc trưng $\hat f_i$ được tính theo công thức sau:

$$
\hat{f}_i = maxpool_{p_j\in Q_i}(\{F_l([\Delta_p, f_j])\})
$$

Với $F_l$ là mạng MLPs

## Lớp Semantic Sampling

Lớp này được đặt sau các lớp Set Abstraction có thứ tự cao, khi mối điểm đầu ra của lớp Set Abstraction có đặc trưng đủ sâu.
Input: đám mây điểm đầu ra của lớp Set Abstraction $V_{out}=\{\hat p_i\}$, và $F_{out}=\{\hat f_i\}$ là đặc trưng tương ứng của $\hat p_i$.
Output: $K$ điểm có khả năng thuộc đối tượng quan tâm nhất.

Đặc trưng $\hat f_i$ của điểm $\hat p_i\in V_{out}^l$ được thông qua một mạng MLPs và tạo ra vector $\hat s_i$ có số chiều bằng số lớp đối tượng quan tâm, mỗi chiều là xác suất điểm $\hat p_i$ nằm trong đối tượng có lớp tương ứng.

Giá trị xác suất dự đoán cao nhất trong tất cả lớp được dùng làm độ tin cậy cho biết điểm $\hat p_i$ có nằm trong vật thể quan tâm không.
Mô hình sẽ chọn ra $K$ điểm có độ tin cậy cao nhất.

**Quá trình học**
Điểm $\hat p_i$ được gắn nhãn $s_i$, được khởi tạo là vector $0$ với số chiều bằng số lớp. Nếu $\hat p_i$ nằm trong các hộp ground-truth có lớp $c$ thì $s_i^c = 1$.