---
# System prepended metadata

title: LLM_data_for_research

---



# LLM_data_for_research


---

# LLM模型

* 課程筆記- 為何要微調(Why finetune)
    * https://hackmd.io/@YungHuiHsu/HJ6AT8XG6
### 官方github:
**https://github.com/meta-llama/llama3**
* Llama中文社区 
    * https://github.com/LlamaFamily/Llama-Chinese
    * [中文llama alpaca](<https://reurl.cc/QRorD9>)
* Hugging face :
    * [Huggingface](<https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct>)
* Llama3-Finetuning:
    * https://github.com/taishan1994/Llama3-Finetuning
    * https://anakin.ai/blog/how-to-fine-tune-llama-3/
* TW-llm
    * https://github.com/MiuLab/Taiwan-LLM?tab=readme-ov-file
    * https://hackmd.io/@ai-in-a-box/SJjaC20ST

* 微調成特殊模型需要： PEFT、LORA、bitssandbytes、transformer、Hagging face
* Dataset 需要多少問答資料、格式、硬體需求(GPU、RAM)、訓練約多久，貌似是一個jsonl文件
* 使用模型 meta、google、qwen 決定，params數量
* 微調方式：問答 or 丟資料 方式微調
* AI server的模型負荷能力
* 訓練套件：pytorch or tensorflow or keras

---

# 術語(Terminlogy)
						
| 術語		| 解釋				|
| -------- 		| -------- 				|
| vllm     		| vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架	         |
| prompt        |   問llm模型的話         |
| history       |   對話的歷史紀綠         |
| Quant         | https://zhuanlan.zhihu.com/p/690739797         |
| checkpoint    | 训练过程中保存的模型状态和参数的快照	        |
| GGML          | 用于优化和加速大型语言模型（LLM）的库，引入量化技术和其他优化策略，使得在资源受限的环境能够高效地运行模型 |
| RAG           | AG是一種結合了檢索（Retrieval）和生成（Generation）的模型架構。它首先從大量數據中檢索相關資訊，然後基於這些資訊生成回應。|
|GGUF           |   ollama部屬自定義模型用格式 |
|llama.cpp      |   模型轉檔套件       |
|QLoRA/LoRA/PEFT|   微調套件       |
|acclerate		|   微調套件       |
|bitsandbytes	|   微調套件       |
|transformers   |   微調套件       |
|w64devkit      |   模型量化套件套件       |								

---

# 模型微調(llama_factory)
* LLaMA-Factory参数的解答：
    * https://blog.csdn.net/m0_69655483/article/details/138229566
* GPU試算
    * https://www.techbang.com/posts/110553-can-your-gpu-run-big-models-like-llama-2-get-tested-with-this
* 使用LLaMa-Factory简单高效微调大模型
    * [各種訓練指令](<https://zhuanlan.zhihu.com/p/689333581>)
* How to Fine-Tune LLaMA 3: An Easy Guide
    * https://anakin.ai/blog/how-to-fine-tune-llama-3/
* Llama3-8B-Instruct + LLaMA-Factory 中文微调  => 至關重要
    * [Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程](<https://caovan.com/llama3-8b-instruct-llama-factory-zhongwenweidiao-bendebushujiaocheng/.html>)
* hf to GGUF 再交給ollama推理
    * [Ollama教程——进阶篇：【自定义模型】如何将模型高效导入到ollama框架](<https://blog.csdn.net/TianYa707722173/article/details/138160326>)
    * [大模型训练入门必备技术，llama.cpp助力模型转换及量化，小白也能学会？](<https://www.bilibili.com/read/cv34152234/>)
    * [How to convert HuggingFace model to GGUF format](<https://github.com/ggerganov/llama.cpp/discussions/2948>)
    * [Llama3-8B-Chinese-Chat  Hugging face](<https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat>)
    * [抓別人的 GGUF 模型，用 Ollama 在本機執行！](<https://ywctech.net/ml-ai/ollama-import-custom-gguf/>)
    * [Ollama on Windows：本地运行大型语言模型（LLM）的新利器](<https://www.sysgeek.cn/ollama-on-windows/#0-%E4%BB%80%E4%B9%88%E6%98%AF-ollama%EF%BC%9F>)
    * [將 HuggingFace 模型轉換為 GGUF 及使用 llama.cpp 進行量化 ](<https://medium.com/@NeroHin/%E5%B0%87-huggingface-%E6%A0%BC%E5%BC%8F%E6%A8%A1%E5%BC%8F%E8%BD%89%E6%8F%9B%E7%82%BA-gguf-%E4%BB%A5inx-text-bailong-instruct-7b-%E7%82%BA%E4%BE%8B-a2cfdd892cbc>)
    * [如何用hugging face hub一键下载模型并将模型转换为gguf格式（支持自定义量化）](<https://blog.csdn.net/2301_78453609/article/details/136989524>)
    * [模型量化和gguf转换](<https://blog.csdn.net/lengyoumo/article/details/138867085>)
    * [llama.cpp](<https://github.com/ggerganov/llama.cpp>)
    * [使用 llama.cpp 將 LLaMa 模型轉換為 GGUF 格式](<https://reurl.cc/LWoyq7>)
    * [Huggingface 模型轉成 GGUF, 以讓 Ollama 使用](<https://moon-half.info/p/5781>)
    * [使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署](<https://blog.csdn.net/qq_38628046/article/details/139006498#_143>)
* 多卡微調
    * https://blog.csdn.net/qq_43128256/article/details/136738734

---

# 多卡推理訓練
https://blog.csdn.net/qq_34243930/article/details/106695877

---

# 資料集格式
* LLM Dataset 
    * https://github.com/mlabonne/llm-datasets
* 大模型在自定义数据集 lora 训练与部署
    * https://blog.csdn.net/sjxgghg/article/details/137656248
* 自建数据集，利用LLama-Factory微调大模型
    * https://zhuanlan.zhihu.com/p/696478678
* llama3-06 基于llama-factory和自定义数据集进行模型微调(video)
    * https://www.zhihu.com/zvideo/1767997876238860289
* llama factory 
    * https://github.com/hiyouga/LLaMA-Factory/tree/main/data
    * https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md
    * https://reurl.cc/Rqoj4Z
* 多模態數據集
    * https://tianchi.aliyun.com/dataset/145784
* 資料集種類
    * Alpaca ，instruction和input可以都填充进内容，如把问题作为input，把“回答问题这一要求”作为instruction。据说这种指令微调数据集的格式效果比较好。
    * KTO
    * multimodel
    * Sharegpt
    * OpenAI

---

# ollama佈屬
* [ollama github](<https://github.com/ollama/ollama>)

---

# RAG 框架 && Langchain 
* [基于llama3和langchain使用RAG搭建你的私有知识库！](<https://segmentfault.com/a/1190000044836695>)
* [LangChain RAG實作教學，結合Llama3讓LLM可以讀取PDF和DOC文件，並產生回應](<https://reurl.cc/z1k3DN>)
* [LangChain 分包](<https://blog.csdn.net/lovechris00/article/details/137470483>)
* [LangChain 怎麼玩？用 Document Loaders / Text Splitter 處理多種類型的資料](<https://myapollo.com.tw/blog/langchain-document-loaders-text-splitters/>)
* [RAG實作教學，LangChain + Llama2 |創造你的個人LLM](<https://medium.com/@cch.chichieh/rag%E5%AF%A6%E4%BD%9C%E6%95%99%E5%AD%B8-langchain-llama2-%E5%89%B5%E9%80%A0%E4%BD%A0%E7%9A%84%E5%80%8B%E4%BA%BAllm-d6838febf8c4>)
* [Langchain ollama 搭配](<http://docs.autoinfra.cn/docs/integrations/llms/ollama#%E8%AE%BE%E7%BD%AE-setup>)
* [Langchain tutorial](<https://www.bing.com/search?q=tutorial&qs=OS&pq=turitor&sk=UT1OS1&sc=10-7&cvid=1BB340C49A174C1D81A218EA4A127988&FORM=QBRE&sp=3&lq=0>)
* [Langsmith](<https://developer.volcengine.com/articles/7370375414524411931>)
* [langchain 文件加载器使用教程](<https://blog.csdn.net/HRG520JN/article/details/136934005>)
* [使用LangChain框架加载与解析txt,markdown,pdf,jpg格式文档](<https://blog.csdn.net/qq_45257495/article/details/135357123>)
* [RAG 優化技巧| 7 大挑戰與解決方式 | 增進你的 LLM](<https://medium.com/@cch.chichieh/rag-%E5%84%AA%E5%8C%96%E6%8A%80%E5%B7%A7-7-%E5%A4%A7%E6%8C%91%E6%88%B0%E8%88%87%E8%A7%A3%E6%B1%BA%E6%96%B9%E5%BC%8F-%E5%A2%9E%E9%80%B2%E4%BD%A0%E7%9A%84-llm-0e4ac8adc6df>)
* [LangChain系列使用指南：LangChain快速入门](<https://blog.csdn.net/wjjc1017/article/details/136770349>)
* [Chroma 自查询](<https://python.langchain.com.cn/docs/modules/data_connection/retrievers/how_to/self_query/chroma_self_query>)
* [Retrievers](<https://python.langchain.com/v0.1/docs/modules/data_connection/retrievers/>)

---

# 多模態LLM模型
* Chinese-LLaVA
    * https://github.com/LinkSoul-AI/Chinese-LLaVA
* llava & openvino 
    * https://docs.openvino.ai/2024/notebooks/llava-multimodal-chatbot-with-output.html
* How to Fine-Tune LLaVA on Your Custom Dataset
    * https://medium.com/ubiai-nlp/how-to-fine-tune-llava-on-your-custom-dataset-aca118a90bc3
* clip-vit-large-patch14 多模態模型

---

# 架設LLM_CIM
**1. 使用 openvino 去部屬LLM模型
2. windows訓練，ubuntu做系統
3. CUDA的 多卡訓練推理
4. LLM模型的選擇 => 多模態?l、lama?、llava?、other?
5. Dataset的架構
6. 多模態如何微調
7. llama-factory 套件的理解
8. torch模型轉換成openvino格式**






## ubuntu安裝llama-factory  https://blog.csdn.net/python12345678_/article/details/140346926