# GaiaNetのLlama 3ノードの利用

Orginial English は、[こちらのページ](https://hackmd.io/@wasmedge/H1fonBXGA)をご覧ください。

> ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://llama3.gaianet.network
> Chat応答が遅い場合は、自分でGaiaNetノードを実行してAPIのテストしてみてください。
> https://github.com/GaiaNet-AI/gaianet-node/blob/main/README-ja.md
>
*[GaiaNet](https://gaianet.ai/)は、OpenAIのAPIに直接代わるものとして、Llama 3 8B（高速）とLlama 3 70B（高能）のノードを提供しています。OpenAIとは異なり、これらは完全に無料で、APIキーは必要ありません。お楽しみください！*

## Llama 3 8B
あなたのアプリでOpenAIの設定を以下に置き換えてください。
| 設定オプション | 値 |
|-----|--------|
| モデル名（LLM用） | Meta-Llama-3-8B-Instruct.Q5_K_M |
| モデル名（テキスト埋め込み用） | all-MiniLM-L6-v2-ggml-model-f16 |
| APIエンドポイントURL | https://llama3.gaianet.network/v1 |
| APIキー | 空または任意の値 |

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。
そのモデルを選択すると、Difyでチャットできます。
ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://llama3.gaianet.network/

## Llama 3 70B
あなたのアプリでOpenAIの設定を以下に置き換えてください。
| 設定オプション | 値 |
|-----|--------|
| モデル名（LLM用） | Meta-Llama-3-70B-Instruct-Q5_K_M |
| モデル名（テキスト埋め込み用） | all-MiniLM-L6-v2-ggml-model-f16 |
| APIエンドポイントURL | https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/v1 |
| APIキー | 空または任意の値 |

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。
そのモデルを選択すると、Difyでチャットできます。
ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/

## 自分のGaiaNetノードを実行
[GaiaNet](https://gaianet.ai/)を使用すると、10,000以上のオープンソースLLMをHuggingfaceで自分のラップトップにデプロイし、自分のアプリのAPIバックエンドとして利用することができます。また、LLMが質問に答える前にコンテキスト検索を行うように、自分の知識ベースを追加することもできます。OpenAIアシスタントAPIが動作するようにです。
始めるには、この5分間のクイックガイドに従ってください：https://github.com/GaiaNet-AI/gaianet-node?tab=readme-ov-file#run-your-own-gaianet-node
完了したら、ノードをオフにできます。

gaianet stop

チャットモデルをLlama 3 8Bに変更する場合、次のコマンドを使用します：

gaianet config \
  --chat-url https://huggingface.co/second-state/Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
  --chat-ctx-size 8190 \
  --prompt-template llama-3-chat \
  --snapshot https://huggingface.co/datasets/gaianet/none/resolve/main/none.snapshot.tar.gz
 Comment

これで、自分のGaiaNetノードを管理し、必要に応じてカスタマイズする準備が整いました。

ノードを再び初期化します。このステップでLLMファイルをダウンロードします。LLMファイルは5GB以上で、ダウンロードには時間がかかる場合があります。

gaianet init

ノードを開始します。

gaianet start

成功すると、ノードのダッシュボードへのURLが表示されます。ダッシュボードでは、チャットAPIおよび埋め込みAPIのAPIエンドポイントURLとモデル名を確認できます。

### 自分のGaiaNetノードで試すことができる他のモデル

以下のコマンドを実行してください。

gaianet config \
  --chat-url ${chat-url} \
  --chat-ctx-size ${chat-ctx-size} \
  --prompt-template ${prompt-template}

その後、

gaianet init
gaianet start

| 説明 | chat-url | chat-ctx-size | prompt-template |
| ---- | -------- | ------------- | --------------- |
| 中国語のLlama 3 8B | https://huggingface.co/second-state/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat-Q5_K_M.gguf | 8192 | llama-3-chat |
| 100万コンテキストサイズのLlama 3 8B | https://huggingface.co/second-state/Llama-3-8B-Instruct-Gradient-1048k-GGUF/resolve/main/Llama-3-8B-Instruct-Gradient-1048k-Q5_K_M.gguf | 1000000 | llama-3-chat |
| Llama 3 70B | https://huggingface.co/second-state/Meta-Llama-3-70B-Instruct-GGUF/resolve/main/Meta-Llama-3-70B-Instruct-Q5_K_M.gguf | 8192 | llama-3-chat |
| Phi-3 3.8B | https://huggingface.co/second-state/Phi-3-mini-4k-instruct-GGUF/resolve/main/Phi-3-mini-4k-instruct-Q5_K_M.gguf | 4096 | phi-3-chat |
| Mixtral 8x7B | https://huggingface.co/second-state/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/Mixtral-8x7B-Instruct-v0.1-Q5_K_M.gguf | 4096 | mistral-instruct |
| Qwen 72B uncensored | https://huggingface.co/second-state/Liberated-Qwen1.5-72B-GGUF/resolve/main/Liberated-Qwen1.5-72B-Q4_K_M.gguf | 8192 | chatml |

Also try run CALM LLM by CyberAgent on your Mac or across devices using simple commands！⬇️
https://www.secondstate.io/articles/calm2-7b-chat/