[toc] # 1. Send photo (done) ## Upscale image - **Keywords**: Image upscale, image super-resolution - **Use case**: tăng độ phân giải khi user muốn gửi ảnh SD với chất lượng HD. - **3rd API (trả phí)**: https://platform.stability.ai/rest-api#tag/v1generation/operation/imageToImage - **Deploy on server (free)**: https://github.com/xinntao/Real-ESRGAN - **Input**: input image, desired width/height - **Output**: upscaled image ![](https://platform.stability.ai/imageupscalersbs.png) # 2. Send video (done) ## Create short clips from long videos - **Keywords**: Video summarization, video shortening - **Use case**: thay thế chức năng trim video. - **3rd party, using web UI, no API (trả phí)**: - https://www.opus.pro/ - https://vidyo.ai/ - https://smart-ai-transformations.cloudinary.com - **Input**: 1 đoạn video dài (> 1p) - **Output**: 1 đoạn video ngắn (5-30s) ![](https://hackmd.io/_uploads/SJ4Tr43F3.png) # 3. Edit photo (done) ## Remove object - **Keywords**: Image inpainting - **Use case**: xoá các object chướng mắt trong photo. - **Deploy on server (free)**: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#inpainting - **3rd API (trả phí)**: https://platform.stability.ai/rest-api#tag/v1generation/operation/masking - **Input**: input image, remove object mask - **Output**: image with object removed ![](https://hackmd.io/_uploads/BygbpN3K3.png) ## Change background - **Keywords**: background removal - **Use case**: filter cho phép đổi background khi edit. - **3rd API (trả phí)**: https://www.remove.bg/api#remove-background - **Deploy on server (free)**: https://github.com/danielgatis/rembg - **Input**: input image - **Output**: removed background image ![](https://hackmd.io/_uploads/rydnuN2Y3.png) - **Usage**: lấy background mới đè lên ảnh đã được xoá background. # 4. Media store (done) ## Search photo in media store - **Keywords**: text embeddings, image embeddings, feature extraction - **Use case**: tìm photo trong media store theo từ khoá thay vì lướt tìm từng hình. - **3rd API (trả phí)**: https://replicate.com/andreasjansson/clip-features - **Deploy on server (free)**: https://github.com/openai/CLIP - **Input**: Text/image - **Output**: Vector - **Usage**: ![](https://hackmd.io/_uploads/BJ_BXrhF2.png) # 5. Sticker (done) ## Search sticker - **Keywords**: text embeddings, feature extraction - **Use case**: thay thế việc match keyword 100% khi search sticker - **3rd API (trả phí)**: https://replicate.com/andreasjansson/clip-features - **Deploy on server (free)**: https://github.com/openai/CLIP - **Deploy on mobile (free)**: https://developers.google.com/mediapipe/solutions/text/text_embedder - **Input**: Text - **Output**: Vector - **Usage**: ![](https://hackmd.io/_uploads/Bk99HH2K2.png) # 6. Send doodle (done) ## Generate image from doodle - **Keywords**: Scribble to image, stable diffusion - **Use case**: giúp tăng sự thú vị khi dùng doodle - **3rd API (trả phí)**: https://replicate.com/jagilley/controlnet-scribble - **Input**: Prompt: "a photo of a brightly colored turtle" Image: <img src="https://replicate.delivery/pbxt/IJE6zP4jtdwxe7SffC7te9DPHWHW99dMXED5AWamlBNcvxn0/user_1.png" width=300> - **Output**: Image: <img src="https://hackmd.io/_uploads/r1vMLBhF2.png" width=300> # 7. QR code (done) ## Generate aesthetic QR code - **Keywords**: Stable diffusion - **Use case**: Giúp tăng sự thú vị khi gửi QR code - **Deploy on server (free):** https://github.com/AUTOMATIC1111/stable-diffusion-webui - **Input**: Prompt: "a cubism painting of a town with a lot of houses in the snow with a sky background, Andreas Rocha, matte painting concept art, a detailed matte painting" Image: <img src="https://hackmd.io/_uploads/S10-dHnt2.png" width=200> - **Output**: Image: <img src="https://hackmd.io/_uploads/Syj5uBntn.png" width=300> # 8. Voice record (done) ## Remove background noise in record - **Keywords**: Audio enhancement, audio denoise, noise cancellation - **Use case**: Loại bỏ tạp âm khi user record ở môi trường công cộng - **3rd API (trả phí)**: - https://docs.dolby.io/media-apis/docs/enhance-api-guide - https://www.lalal.ai/tools-and-api/ - **Deploy on server (free, non-AI)**: https://pypi.org/project/noisereduce/ - **Input**: Noisy record - **Output**: Cleaned record ![](https://hackmd.io/_uploads/SyrLABhKh.png) # 9. Call (done) ## Call summary - **Keywords**: Meeting notes, audio summerization, meeting summerization - **Use case**: Note những ý quan trọng của cuộc call để xem lại sau này. - **3rd API (trả phí)**: https://www.assemblyai.com/docs/Guides/summarizing_virtual_meetings (**Không support tiếng Việt**) - **Input**: File audio, summarize mode (gist, bullets, headline) - **Output**: 1 vài từ khoá (gist), các ý chính (bullets), câu tóm tắt (headline) của file audio ![](https://hackmd.io/_uploads/By7c5DhYh.png) # 10. Message chat (done) ## Unread message summarization - **Keywords**: Conversation summerization, text summerization - **Use case**: quá nhiều unread message có thể khiến user bị quá tải, cần summary lại. - **3rd API (trả phí)**: https://chat.openai.com - **Input**: Unread messages - **Output**: The summary # 11. Auto reply ## Reply matching context - **Keywords**: Text embeddings - **Use case**: Cho phép user sử dụng nhiều auto reply, dùng auto reply nào sẽ do AI quyết định dựa theo ngữ cảnh. - **3rd API (trả phí)**: https://chat.openai.com (nhờ ChatGPT chọn giùm) - Input: Text gồm msg mới nhất và các option auto reply - Output: Auto reply được chọn - **Deploy on server (free)**: https://github.com/openai/CLIP - Input: Text - Output: Vector - Usage: ![](https://hackmd.io/_uploads/B14NkKnth.png) # 12. OA (done) ## Chatbot CSKH - **Keywords**: Chatbot, ChatGPT, Q&A - **Use case**: Dùng AI trong CSKH, giúp feedback cho user nhanh hơn. - **3rd API (trả phí)**: https://chat.openai.com - **Input**: User's questions - **Output**: Answer - **Usage**: ChatGPT có thể nhớ nội dụng cuộc trò chuyện nên có thể cho nó học qua các rule cơ bản. # 13. User safety (done) ## NSFW image detection - **Keywords**: image classification - **Use-case**: detect những account sử dụng hình ảnh đồi truỵ để ban. - **Deploy on server (free)**: https://github.com/infinitered/nsfwjs - **Input**: Image/GIF - **Output**: phần trăm neutral/sexy/porn của input <img src="https://hackmd.io/_uploads/S15WKInFh.png" width=400> # Bonus (done) ## Translate vi-en - **Use case**: một số model liên quan đến text chỉ hoạt động trên tiếng Anh -> cần dịch từ Anh-Việt - **Deploy on server (free)**: https://github.com/vietai/mTet - **Usage**: - Dịch từ Việt -> Anh - Dịch từ Anh -> Việt # IOS team idea - Text classification: đánh giá feedback - Summarize text - Market feature: - Image/video - Text: midjourney - File: ChatGPT - Voice # PO idea - Productivity: - Suggest reply emaiil - Team meeting notes - Search: - Chatbot analyize video (Tiktok) - Search media - Analyze image - Text: - Translate - To speech - Quality: - Enhance photo quality - Noise remove - Remove background - Auto content generate: - Script to video - Sticker: - Objective: - Thể hiện cảm xúc - Dễ hiểu - Thể hiện cá tích - Option: - sticker.cool (thể hiện cảm xúc tốt) - ko bắt kịp trend - thể hiện cảm xúc tốt - tương tác không tốt - text generate hơi ko phù hợp - background + character generate tốt - DALL-E 2: - ko bắt kịp trend - thể hiện cảm xúc tốt - tương tác không tốt - text generate tốt - background + character generate tốt - From tone: - Quillbot # Brainstorm