# GDG DevFest Taichung 2024 心得筆記


## agenda

- 1.GOOGLE 現在有的模型及相關應用
- vertex ai
- gemini
- gemma
- code interpreter
- notebookLM
- ai studio
- parse

- 2.RAG技術相關
- agent
- embedding
- 向量與資料庫

{%hackmd 6lHb0EeBQRmDSt0Rs9knRg %}
{%hackmd 5fmoWm7vQ3SjglCrhk1-Og %}

{%hackmd KtXswNZgTaGydvwTsxfcrQ %}
{%hackmd Jyo9xVVwSBymMt1VL1WDoA %}
## Gemma 2：開源語言模型的實際應用與性能比較
:::info
Gemma 2是 Google 主打的「開源」語言模型，憑藉其強大的靈活性和可擴展性，在 lmsys 的評測中脫穎而出，特別是 Gemma 2 9B 和 27B 參數的優異表現。通過 Google AI Studio 的開發環境，開發者可以快速上手。但在實際任務上，Gemma 2 表現如何呢？我們將在特定任務上，探討 Gemma 2與其他同等級的模型(如 LLaMA、Mistral、QWen 類似規模的模型）的比較。
:::

### source
[簡報](https://www.canva.com/design/DAGXpaBa9vA/AfBZaytovAC4yei6XeE0Gw/view?utm_content=DAGXpaBa9vA&utm_campaign=designshare&utm_medium=link2&utm_source=uniquelinks&utlId=h01208ad3c3#1)
## 在 GCP 運用Parse 全家餐管理那堆 AI 應用的資料
:::info
每次新AI點子來，光弄個backend就夠麻煩，有更快方案？
作為一個後端資源中心，怎麼快速又有加購的提供API?
如何在GCP上快速上手Parse
:::
### source
[官網](https://parseplatform.org/)
[speaker demo](https://github.com/louis70109/my-parse-example)

## LLM Comparator Running Comparative Evaluations with Google Vertex AI

### 模型比較工具
- 介紹了一個可比較不同語言模型的工具平台
- 可同時對比兩個模型的回應結果
- 提供約900筆測試案例供評估使用
- 支援視覺化分析模型表現差異

### 評估面向的演進
- 傳統評估方法主要關注準確率指標
- 現代評估更重視多元面向:
- 理解能力與反知識性
- 邏輯推理能力
- 人道性與道德觀
- 長文本理解能力
- 回應速度與品質
- 對不同使用者的適應性

### 有趣的評估實驗案例

#### 情感分析實驗
- 透過正負面標註測試模型理解能力
- 例如:將正面句子標註為負面,測試模型是否真正理解語境
- 實驗發現並非所有模型都能完全理解標註的語境

#### 大海撈針實驗
- 在長文本中插入特定內容,測試模型理解範圍
- 在不同位置(前、中、後段)插入內容觀察模型表現
- 用於評估模型對長文本的理解深度與限制

#### 實用工具與資源
- 提供免費的模型評估平台
- 支援數據視覺化分析
- 提供相關教學資源與參考文獻
- 推薦了更多AI學習資源,如AI相關課程與影片

#### 重要觀點
- 評估語言模型不應僅限於單一面向
- 需要多元且創新的評估方法
- 理解模型的限制與能力邊界很重要
- 應考慮模型在實際應用場景中的表現

#### 安全性考量
- 提到了AI安全性的重要性
- 舉例說明需謹慎處理可能涉及危險的指令
- 強調在開發過程中需注意倫理問題

#### source
- [簡報](https://docs.google.com/presentation/d/15RVT1JBtq1nsEiyzzKXpf73T91HSy6l6KYbQ3xE0sr4/mobilepresent?slide=id.g31a7b370842_0_17)

- [官方文件](https://ai.google.dev/responsible/docs/evaluation/llm_comparator?hl=zh-tw)

## 向量搜尋與Embedding Model的進階應用
:::info
是否知道如何實作圖搜圖呢？

甚至是圖搜文, 文搜圖, 音搜圖......各式各樣的的型態搜尋方式!

讓我們一起揭開向量搜索的神秘面紗, 體會向量資料庫的威力吧！

在當今跨越文本、圖像甚至多模態資料的需求下，光靠傳統的資料庫已經無法滿足現代的應用需求。

在本演講中，我們將深入探討如何運用 vector 資料庫與 embedding 模型來解決複雜的問題，特別是針對圖文搜尋等多模態應用。

透過 google multimodal與PG Vector 作為範例，從基礎理論到實際操作，深入淺出地帶你了解如何建構更強大的資料檢索系統，並有效提升其應用層次。
:::

### source
[照片](https://docs.google.com/document/d/1EVYrEixNS4_Cr3fdnXd2SCMEBTRN_TTMJs2eHeGoLlM/edit?tab=t.0)

#### 知識點
##### PG Vector(PostgresQL的extension)
##### CLIP(圖文相似比對模型)
##### 暴力搜尋法
##### ANN近似最鄰近查找
##### IVF Flat
##### HNSW

## Firebase Data Connect - 打造基於 GraphQL 與 PostgreSQL 的資料驅動應用程式
### Firebase 開發平台概述
- Google 的應用程式開發平台
- 不限於行動應用程式開發
- 提供多種產品服務和便利功能
- 包含預先打包和封裝的商業功能
- 基礎建設無需重複建置

### 新功能: Firebase Data Connect
- 今年新增的功能
- 支援關聯式資料庫整合
- 目前採用 NoSQL 文件式資料庫
- 與 Google Cloud Platform (GCP) 整合
- 支援 PostgreSQL
- 可無縫擴展至其他 GCP 服務

### 開發工具與功能
- 提供 API 端點
- 自動生成 SDK
- 支援身份驗證政策
- 支援 GraphQL 語法
- 自動化資料表建立
- 提供本地開發者工具和模擬器
- 包含程式碼擴充功能

### 向量嵌入功能
- 支援向量運算和矩陣操作
- 內容可轉換為向量形式
- 可進行向量計算
- 支援多種模型整合
- 提供直接的向量計算語法
- 可用於查詢和問答系統

### 資料庫管理
- 支援離線操作
- 完善的權限管理
- 支援產品迭代
- 可新增欄位查詢
- 資料庫結構變更仍具有挑戰性