---
# System prepended metadata

title: Quan sát đối tượng gõ bàn phím QWERTY để lấy những phím được gõ

---

# Quan sát đối tượng gõ bàn phím QWERTY để lấy những phím được gõ

## Tóm tắt

Bằng cách ngồi cạnh bên và quan sát mục tiêu gõ bàn phím, con người có thể biết được mục tiêu đã nhấn những phím nào. Do đó, nếu có video một người đang nhấn bàn phím, ta có thể dạy máy log ra những phím nào đã được nhấn.

Ý nghĩa đề tài:
- Giúp giám các máy tính mang bí mật (đề thi Tốt nghiệp THPT, máy tính mang bí mật quân sự, ...). Có thể sử dụng keylogger có thể được cài vào máy mục tiêu để ghi lại quá trình người dùng thao tác với máy tính đó, nhưng có thể bị tắt đi, hoặc máy mục tiêu không thuộc phạm vi quản lý của mình, nhưng cần được giám sát (máy của các giáo viên trong quá trình soạn đề thi Tốt nghiệp THPT chẳng hạn).
- Cảnh báo về nguy cơ ML/DL được sử dụng vào mục đích xấu.

## Ý tưởng

- Tọa độ hóa bàn phím và các ngón tay vào không gian 3 chiều.
- Khi nhấn phím, xác định xem vị trí đầu ngón tay là phím của ký tự nào

![press-key](https://hackmd.io/_uploads/r1c3GtHl0.png)

## Công trình liên quan

- Theo dõi chuyển động ngón tay: [research.google](https://research.google/blog/on-device-real-time-hand-tracking-with-mediapipe/)
### 5 bài báo liên quan:
- Towards a General Video-based Keystroke Inference Attack (https://people.cs.uchicago.edu/~ravenben/publications/pdf/keystroke-usenix23.pdf)
- VISIBLE: Video-Assisted Keystroke Inference from Tablet Backside Motion (https://www.eecis.udel.edu/~ruizhang/paper/sun-NDSS16.pdf)
- Typing on Any Surface: Real-Time Keystroke Detection in Augmented Reality (https://ieeexplore.ieee.org/abstract/document/10445579)
- HandKey: An Efficient Hand Typing Recognition using CNN for Virtual Keyboard (https://ieeexplore.ieee.org/abstract/document/9310783)
- Typing on Any Surface: A Deep Learning-based Method for Real-Time Keystroke Detection in Augmented Reality (https://arxiv.org/pdf/2309.00174.pdf)

## Dữ liệu train

- Tập hình ảnh gồm 5254 ảnh về bàn phím, phục vụ cho việc nhận dạng bàn phím và vị trí các phím: [Keyboard Key Detection Dataset](https://www.kaggle.com/datasets/farmermatzle/keyboard-key-detection)
- Video người gõ: youtube