# Đặc trưng cục bộ - Local feature

Bài viết này cung cấp góc nhìn tổng quan về *đặc trưng cục bộ* (*Local feature*), một trong những hướng tiếp cận quan trọng của lĩnh vực thị giác máy tính cổ điển. Các bước chính được đề cập của một đặc trưng cục bộ bao gồm: phát hiện đặc trưng, mô tả đặc trưng và so khớp đặc trưng.

## 1. Giới thiệu
Nhận diện đối tượng là một trong những bài toán quan trọng của lĩnh vực thị giác máy tính. Ta thử tiếp cận bài toán này theo cách tự nhiên nhất là so sánh sự giống nhau giữa hai thành viên trong cùng một gia đình.


Đây là tình huống ta gặp rất nhiều trong cuộc sống mà nhiều khi không để ý. Có những lúc các bạn cảm nhận được các cặp mẹ-con, ba-con có những *nét hao hao giống nhau* nhưng không biết giải thích thế nào đúng không. Bức ảnh minh họa là E.Hurley và con trai của cô. Nhìn qua có vẻ giống nhau ở một số phần như:
- Mắt: đều cùng có màu xanh
- Mũi: đều cùng cao và nhọn
- Tóc: đều cùng có màu vàng ánh kim

Các đặc điểm trên đều dễ dàng nhận ra được bằng mắt thường. Do đó, trong lĩnh vực thị giác máy tính, các thuật toán đều có gắng mô phỏng theo phản xạ nhận diện của mắt người theo các cách như sau:
- **Phát hiện các vị trí quan trọng để so sánh**. Cụ thể là: mắt, mũi, miệng, tóc,...
- **Mô tả đặc điểm tại các vị trí quan trọng** để có thể so sánh giữa các đối tượng với nhau. Ví dụ: màu sắc, hình dáng,...
- **So sánh các cặp đặc điểm trên hai đối tượng**. Ví dụ: so màu tóc của người A với màu tóc của người B.

Đây chính là ý tưởng chính của ***đặc trưng cục bộ*** trong thị giác máy tính. Thay vì so sánh hai đối tượng ở mức độ toàn bộ tấm ảnh (rất khó), ta tiếp cận bằng cách chia nhỏ thành các vùng nổi bật và so sánh với nhau. Vùng nổi bật này có thể là: một điểm, một cạnh hoặc một vùng nhỏ trong ảnh.

## 1. Đặc trưng cục bộ

<center><img src="https://i.imgur.com/PRgAL68.png" width="500" height="300" /> </center>

<br/>

**Đặc trưng cục bộ** (ĐTCB) là *một vùng hình ảnh nhỏ nổi bật trong ảnh được mô tả bằng một vector đại diện*. Việc so sánh hai đối tượng trên hai ảnh sẽ được đưa về so sánh giữa hai tập đặc trưng cục bộ. *Việc so sánh hai đặc trưng cục bộ được đưa về so sánh bằng hai vector đại diện*.

*Lợi ích của đặc trưng cục bộ:*
* Giảm sự ảnh hưởng bởi việc che khuất một phần đối tượng (Occlusion).
* Giảm sự ảnh hưởng bởi nhiễu do: ánh sáng (illumination), góc chụp (view point). ĐTCB cho phép tìm thấy *sự tương ứng về thị giác* bất kể tình trạng bị nhiễu, thay đổi trong điều kiện quan sát.

*Ứng dụng của đặc trưng cục bộ:*
* **Xác định các điểm tương đồng** giữa các ảnh để ghép ảnh panorama hoặc tái tạo cấu trúc 3D đối tượng.
* **Biểu diễn hình ảnh thành vector nhỏ gọn** để nhận diện (image recognition), phân loại (image classification) hoặc truy vấn ảnh (image retrieval).

## 3. Quy trình chung
<center><img src="https://i.imgur.com/vuKdS1l.png" width="500" height="300" ></center>
<br/>

ĐTCB có rất nhiều thuật toán khác nhau. Điểm chung của các thuật toán này cơ bản đều qua 3 bước như sau:

### **Bước 1: Phát hiện các điểm đặc trưng**

Bước này tương tự như ta xác định vị trí quan trọng trên gương mặt (đề cập ở phần giới thiệu) như mắt, mũi, miệng. Việc phát hiện các điểm đặc trưng này cần phải tính toán và trả về:
- Thông tin vị trí (tọa độ) nổi bật trong ảnh.
- Thông tin phạm vi, kích thước của vùng nổi bật (nếu như đặc trưng ở dạng vùng chứ không phải dạng điểm).

Các thuật toán xác định điểm đặc trưng phải:
- *Bất biến với phép tỉ lệ*: nghĩa là cho dù ta chụp ảnh ở xa hay gần thì các điểm đặc trưng này cũng không được thay đổi vị trí.
- *Bất biến với điều kiện ánh sáng*: nghĩa là cho dù chụp trong điều kiện thiếu hoặc dư sáng thì các điểm đặc trưng này cũng không thay đổi vị trí.

Hình ảnh sau minh họa các điểm đặc trưng phát hiện được trên hai ảnh của cùng một đối tượng. Ta nhận thấy mặc dù chụp ở hai vị trí khác nhau nhưng các điểm nổi bật tìm được cũng không khác nhau nhiều về vị trí.

### **Bước 2: Mô tả các điểm đặc trưng**

Bước này tương tự như việc mô tả màu mắt, tóc và hình dạng của mũi của hai đối tượng quan tâm (đề cập ở phần giới thiệu). Việc mô tả này phải đảm bảo:
- Có thể biểu diễn diễn được dưới dạng vector có số chiều cố định.
- Bất biến với điều kiện ánh sáng. Nghĩa là trong điều kiện thiếu hoặc dư sáng thì vector biểu diễn cũng không có sự khác biệt nhiều.
- Bất biến với góc quay. Nghĩa là nếu ảnh được quay tại ở những góc khác nhau (ví dụ 0 độ, 30 độ hay 90 độ) thì vector biểu diễn cũng không có sự khác biệt nhiều.

Hình sau minh họa việc mỗi điểm đặc trưng được biểu diễn bằng một vector số học.

### **Bước 3: So sánh các điểm đặc trưng**

Sau khi các đặc trưng của hai hình được xác định vị trí và mô tả. Ta sẽ tiến hành so sánh chúng với nhau giữa hai hình. Việc so sánh giữa các hình sẽ tương đương với việc so sánh các vector số học. Chúng ta có thể sử dụng 2 loại độ đo:
- Độ đo khoảng cách: hai vector có khoảng cách càng nhỏ (tiến về 0) càng giống nhau.
- Độ đo tương đồng: hai vector có sự tương đồng (càng tiến về 1 - đối với độ tương đồng chuẩn hóa) càng giống nhau.

Hình ảnh sau minh họa các điểm đặc trưng giữa hai ảnh được kết luận là **khớp với nhau**, nghĩa là khoảng cách giữa hai vector biểu diễn nhỏ.

## 4. Đặc trưng SIFT - Scale Invariant Feature Transform

**Đặc trưng SIFT (Scale-Invariant Feature Transform)** là một thuật toán để phát hiện và mô tả các đặc trưng cục bộ trong ảnh. SIFT giúp xác định vị trí các điểm đặc trưng của hình ảnh một cách *bền vững trước phép biến đổi về tỉ lệ, góc quay của ảnh, nhiễu hoặc sự thay ánh sáng của môi trường khi chụp*.

**Ứng dụng của SIFT:** thuật toán này có rất nhiều ứng dụng trong việc nhận dạng, so khớp hình ảnh, phát hiện đối tượng, phát hiện cảnh vật, v.v.

Hình sau minh họa việc tìm một đối tượng lá bài (ảnh trái) trong một ảnh hỗn độn gồm nhiều đối tượng khác nhau (ảnh phải). Ta thấy rằng, ngay cả khi tỉ lệ (ảnh mẫu to hơn), góc quay (chênh nhau khoảng 45 độ) và điều kiện ánh sáng (ảnh mẫu tối hơn) giữa hai hình khác nhau nhưng đặc trưng cục bộ cũng có thể so khớp được một cách hiệu quả.


Để tìm hiểu rõ hơn về thuật toán này có thể tham khảo bài viết Phát hiện đối tượng với đặc trưng cục bộ (Object detection with local feature).

## Tổng kết
Bài viết này đã giới thiệu đến các bạn nguồn gốc ý tưởng của ĐTCB, giới thiệu các bước chính của một thuật toán tìm ĐTCB. Đồng thời, ta cũng được biết về thuật toán nổi tiếng là SIFT, một số tính chất và ứng dụng của thuật toán này. Mời bạn đọc thêm về bài viết **Phát hiện đối tượng với đặc trưng cục bộ (Object detection with local feature)** để tìm hiểu sâu hơn về SIFT- *giải thuật hiệu quả trong nhận diện đặc trưng cục bộ.*

<!--- ### 4.2 Đặc trưng HOG - Histogram of Oriented Gradient

==**HOG** - **Histogram of Oriented Gradient**== - một loại “Bộ mô tả đặc trưng”.
Mục đích của “Bộ mô tả đặc trưng” là trừu tượng hóa đối tượng bằng cách trích xuất ra những đặc trưng của đối tượng đó và bỏ đi những thông tin không hữu ích.
Vì vậy, HOG được sử dụng chủ yếu để mô tả hình dạng và sự xuất hiện của một đối tượng trong ảnh.

<center><img src="https://i.imgur.com/EmB65bh.png" width="500" height="300" ></center>

:frame_with_picture: Thuật toán HOG mô tả hình dạng và sự xuất hiện của một đối tượng trong ảnh.

**Một số tác vụ áp dụng thuật toán HOG mang lại độ chuẩn xác cao như:**
* **Nhận diện khuôn mặt (face detection):** HOG có khả năng biểu diễn các đường nét chính của khuôn mặt dựa trên phương và độ lớn gradient thông qua các véc tơ trên mỗi cell.

<center><img src="https://i.imgur.com/wTcWqUt.png" width="500" height="300" ></center>

* **Nhận diện người (human detection):** HOG có thể phát hiện được một hoặc nhiều người trên cùng một hình ảnh.
<center><img src="https://i.imgur.com/0dqtISI.png" width="500" height="300" ></center>

* **Nhận diện các vật thể khác:** Ngoài ra còn rất nhiều các trường hợp nhận diện vật thể trên ảnh tĩnh như phương tiện, tín hiệu giao thông, động vật hoặc thậm chí là ảnh động từ video.
* **Tạo feature cho các bài toán phân loại ảnh:**
Nhiều bài toán phân loại ảnh được xây dựng trên một bộ dữ liệu kích thước nhỏ thì sử dụng các mạng học sâu chưa chắc đã mang lại hiệu quả và dễ dẫn tới overfiting. Khi đó sử dụng HOG để tạo đặc trưng sẽ mang lại kết quả tốt hơn.
:frame_with_picture: Ảnh minh họa thuật toán HOG trong nhận dạng gương mặt.
--->