GaiaNetのLlama 3ノードの利用

Orginial English は、こちらのページをご覧ください。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://llama3.gaianet.network
Chat応答が遅い場合は、自分でGaiaNetノードを実行してAPIのテストしてみてください。
https://github.com/GaiaNet-AI/gaianet-node/blob/main/README-ja.md

GaiaNetは、OpenAIのAPIに直接代わるものとして、Llama 3 8B（高速）とLlama 3 70B（高能）のノードを提供しています。OpenAIとは異なり、これらは完全に無料で、APIキーは必要ありません。お楽しみください！

Llama 3 8B

あなたのアプリでOpenAIの設定を以下に置き換えてください。

設定オプション	値
モデル名（LLM用）	Meta-Llama-3-8B-Instruct.Q5_K_M
モデル名（テキスト埋め込み用）	all-MiniLM-L6-v2-ggml-model-f16
APIエンドポイントURL	https://llama3.gaianet.network/v1
APIキー	空または任意の値

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。

そのモデルを選択すると、Difyでチャットできます。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://llama3.gaianet.network/

Llama 3 70B

あなたのアプリでOpenAIの設定を以下に置き換えてください。

設定オプション	値
モデル名（LLM用）	Meta-Llama-3-70B-Instruct-Q5_K_M
モデル名（テキスト埋め込み用）	all-MiniLM-L6-v2-ggml-model-f16
APIエンドポイントURL	https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/v1
APIキー	空または任意の値

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。

そのモデルを選択すると、Difyでチャットできます。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細：https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/

自分のGaiaNetノードを実行

GaiaNetを使用すると、10,000以上のオープンソースLLMをHuggingfaceで自分のラップトップにデプロイし、自分のアプリのAPIバックエンドとして利用することができます。また、LLMが質問に答える前にコンテキスト検索を行うように、自分の知識ベースを追加することもできます。OpenAIアシスタントAPIが動作するようにです。
始めるには、この5分間のクイックガイドに従ってください：https://github.com/GaiaNet-AI/gaianet-node?tab=readme-ov-file#run-your-own-gaianet-node
完了したら、ノードをオフにできます。

gaianet stop

チャットモデルをLlama 3 8Bに変更する場合、次のコマンドを使用します：

gaianet config \
  --chat-url https://huggingface.co/second-state/Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
  --chat-ctx-size 8190 \
  --prompt-template llama-3-chat \
  --snapshot https://huggingface.co/datasets/gaianet/none/resolve/main/none.snapshot.tar.gz
 Comment

これで、自分のGaiaNetノードを管理し、必要に応じてカスタマイズする準備が整いました。

ノードを再び初期化します。このステップでLLMファイルをダウンロードします。LLMファイルは5GB以上で、ダウンロードには時間がかかる場合があります。

gaianet init

ノードを開始します。

gaianet start

成功すると、ノードのダッシュボードへのURLが表示されます。ダッシュボードでは、チャットAPIおよび埋め込みAPIのAPIエンドポイントURLとモデル名を確認できます。

自分のGaiaNetノードで試すことができる他のモデル

以下のコマンドを実行してください。

gaianet config \
  --chat-url ${chat-url} \
  --chat-ctx-size ${chat-ctx-size} \
  --prompt-template ${prompt-template}

その後、

gaianet init
gaianet start

説明	chat-url	chat-ctx-size	prompt-template
中国語のLlama 3 8B	https://huggingface.co/second-state/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat-Q5_K_M.gguf	8192	llama-3-chat
100万コンテキストサイズのLlama 3 8B	https://huggingface.co/second-state/Llama-3-8B-Instruct-Gradient-1048k-GGUF/resolve/main/Llama-3-8B-Instruct-Gradient-1048k-Q5_K_M.gguf	1000000	llama-3-chat
Llama 3 70B	https://huggingface.co/second-state/Meta-Llama-3-70B-Instruct-GGUF/resolve/main/Meta-Llama-3-70B-Instruct-Q5_K_M.gguf	8192	llama-3-chat
Phi-3 3.8B	https://huggingface.co/second-state/Phi-3-mini-4k-instruct-GGUF/resolve/main/Phi-3-mini-4k-instruct-Q5_K_M.gguf	4096	phi-3-chat
Mixtral 8x7B	https://huggingface.co/second-state/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/Mixtral-8x7B-Instruct-v0.1-Q5_K_M.gguf	4096	mistral-instruct
Qwen 72B uncensored	https://huggingface.co/second-state/Liberated-Qwen1.5-72B-GGUF/resolve/main/Liberated-Qwen1.5-72B-Q4_K_M.gguf	8192	chatml

Also try run CALM LLM by CyberAgent on your Mac or across devices using simple commands！⬇️
https://www.secondstate.io/articles/calm2-7b-chat/