---
# System prepended metadata

title: IT - Search Engine
tags: [over-engineering]

---

# IT - Search Engine

###### tags: `over-engineering`

## Kayac 
- Search Engine UI/UX
- Frontend 
- Web Crawler

## Chlin
- Search Engine
- Natural Language Procssing
- Machine Learning (optional, if needed)


## Day1 Introduction

- 動機
- 目標
- 模組
搜尋引擎
趨勢分析
- 我們從中學到了什麼
- 誰適合讀這個系列/你會學到什麼

## Day2 Brief Guide

- 搜尋引擎簡介
    - query and doc
    - information inbalance
        - query: auto fill, query expansion
        - doc: extraction and data preprocessing
    - relevance
    - filter
    - sorting
    - highlighting
    
- 常見問題
    - Database and Search Engine Difference

## Day3 搜尋引擎 延展跟前置作業

資料怎麼來
資料怎麼處理
怎麼獲取資料
用戶該怎麼用

## Day4 Project Structure

- 前台流程
- 後台流程
- 架構圖 簡化 最多一個關鍵字

## Day5 Outline

Outline 會補充每一天的細節綱要

==============================================

## Day6 爬蟲 1 
## Day7 爬蟲 2

==============================================

## Day8 Serverless Database 

==============================================

## Day9 Search Context
- 提供解答
- 不同情境 google case study
- 如何了解使用者到底想要什麼
- 直接解答
- 間接相關內容

## Day10  Whay Not Fulltext Search?
- 有什麼問題
    - 同義詞：nlp, 自然語言處理
    - doc內容沒有提到query一模一樣的句子，就沒有結果
    - ....

## Day11 資料處理
- 斷詞
- stop words removal
- 標點符號移除
- 同意詞
- query and doc 相同與不同 => 本質、資訊量、處理方法

## Day12 query processing
- query processing => keyword extaction
    - 權重、emphasis on keyword
- query expansion
    - 1 hop
    - knowledge graph

## Day13 doc processing
- doc processing
    - 抓重點

## Day14 Information Inbalance
- auto fill => keyword extaction
    - 幫助使用者下關鍵字
    - from doc get more info and help query
    - case study
    - keyword/hashtag? questions? doc title? other information



## Day15 Keyword Extraction

- KeyBERT
    - keyword extraction
    - 概念
    - 實作
    - 應用：auto fill、search

---- 防雷
- 理論
    - 詞性
    - N-Gram
    - TF-IDF
    - Embedding models
    - BERT

- 如和改進
    - PMI

## Day16 
## Day17
## Day18
## Day19

==============================================

## Day20 從使用者體驗開始
## Day21 Remix
## Day22 Typography / Color
## Day23 Search 與 Auto Complete
## Day24 Pagination vs Infinite Scroll
## Day25 Information Structure

==============================================
## Day26 數據統計
## Day27 
## Day28
## Day29
## Day30 結語
