Orginial English は、こちらのページをご覧ください。
ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://llama3.gaianet.network
Chat応答が遅い場合は、自分でGaiaNetノードを実行してAPIのテストしてみてください。
https://github.com/GaiaNet-AI/gaianet-node/blob/main/README-ja.md
GaiaNetは、OpenAIのAPIに直接代わるものとして、Llama 3 8B(高速)とLlama 3 70B(高能)のノードを提供しています。OpenAIとは異なり、これらは完全に無料で、APIキーは必要ありません。お楽しみください!
あなたのアプリでOpenAIの設定を以下に置き換えてください。
設定オプション | 値 |
---|---|
モデル名(LLM用) | Meta-Llama-3-8B-Instruct.Q5_K_M |
モデル名(テキスト埋め込み用) | all-MiniLM-L6-v2-ggml-model-f16 |
APIエンドポイントURL | https://llama3.gaianet.network/v1 |
APIキー | 空または任意の値 |
例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。
そのモデルを選択すると、Difyでチャットできます。
ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://llama3.gaianet.network/
あなたのアプリでOpenAIの設定を以下に置き換えてください。
設定オプション | 値 |
---|---|
モデル名(LLM用) | Meta-Llama-3-70B-Instruct-Q5_K_M |
モデル名(テキスト埋め込み用) | all-MiniLM-L6-v2-ggml-model-f16 |
APIエンドポイントURL | https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/v1 |
APIキー | 空または任意の値 |
例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。
そのモデルを選択すると、Difyでチャットできます。
ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/
GaiaNetを使用すると、10,000以上のオープンソースLLMをHuggingfaceで自分のラップトップにデプロイし、自分のアプリのAPIバックエンドとして利用することができます。また、LLMが質問に答える前にコンテキスト検索を行うように、自分の知識ベースを追加することもできます。OpenAIアシスタントAPIが動作するようにです。
始めるには、この5分間のクイックガイドに従ってください:https://github.com/GaiaNet-AI/gaianet-node?tab=readme-ov-file#run-your-own-gaianet-node
完了したら、ノードをオフにできます。
チャットモデルをLlama 3 8Bに変更する場合、次のコマンドを使用します:
これで、自分のGaiaNetノードを管理し、必要に応じてカスタマイズする準備が整いました。
ノードを再び初期化します。このステップでLLMファイルをダウンロードします。LLMファイルは5GB以上で、ダウンロードには時間がかかる場合があります。
ノードを開始します。
成功すると、ノードのダッシュボードへのURLが表示されます。ダッシュボードでは、チャットAPIおよび埋め込みAPIのAPIエンドポイントURLとモデル名を確認できます。
以下のコマンドを実行してください。
その後、
説明 | chat-url | chat-ctx-size | prompt-template |
---|---|---|---|
中国語のLlama 3 8B | https://huggingface.co/second-state/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat-Q5_K_M.gguf | 8192 | llama-3-chat |
100万コンテキストサイズのLlama 3 8B | https://huggingface.co/second-state/Llama-3-8B-Instruct-Gradient-1048k-GGUF/resolve/main/Llama-3-8B-Instruct-Gradient-1048k-Q5_K_M.gguf | 1000000 | llama-3-chat |
Llama 3 70B | https://huggingface.co/second-state/Meta-Llama-3-70B-Instruct-GGUF/resolve/main/Meta-Llama-3-70B-Instruct-Q5_K_M.gguf | 8192 | llama-3-chat |
Phi-3 3.8B | https://huggingface.co/second-state/Phi-3-mini-4k-instruct-GGUF/resolve/main/Phi-3-mini-4k-instruct-Q5_K_M.gguf | 4096 | phi-3-chat |
Mixtral 8x7B | https://huggingface.co/second-state/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/Mixtral-8x7B-Instruct-v0.1-Q5_K_M.gguf | 4096 | mistral-instruct |
Qwen 72B uncensored | https://huggingface.co/second-state/Liberated-Qwen1.5-72B-GGUF/resolve/main/Liberated-Qwen1.5-72B-Q4_K_M.gguf | 8192 | chatml |
Also try run CALM LLM by CyberAgent on your Mac or across devices using simple commands!⬇️
https://www.secondstate.io/articles/calm2-7b-chat/