Try   HackMD

GaiaNetのLlama 3ノードの利用

Orginial English は、こちらのページをご覧ください。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://llama3.gaianet.network
Chat応答が遅い場合は、自分でGaiaNetノードを実行してAPIのテストしてみてください。
https://github.com/GaiaNet-AI/gaianet-node/blob/main/README-ja.md

GaiaNetは、OpenAIのAPIに直接代わるものとして、Llama 3 8B(高速)とLlama 3 70B(高能)のノードを提供しています。OpenAIとは異なり、これらは完全に無料で、APIキーは必要ありません。お楽しみください!

Llama 3 8B

あなたのアプリでOpenAIの設定を以下に置き換えてください。

設定オプション
モデル名(LLM用) Meta-Llama-3-8B-Instruct.Q5_K_M
モデル名(テキスト埋め込み用) all-MiniLM-L6-v2-ggml-model-f16
APIエンドポイントURL https://llama3.gaianet.network/v1
APIキー 空または任意の値

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。



そのモデルを選択すると、Difyでチャットできます。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://llama3.gaianet.network/

Llama 3 70B

あなたのアプリでOpenAIの設定を以下に置き換えてください。

設定オプション
モデル名(LLM用) Meta-Llama-3-70B-Instruct-Q5_K_M
モデル名(テキスト埋め込み用) all-MiniLM-L6-v2-ggml-model-f16
APIエンドポイントURL https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/v1
APIキー 空または任意の値

例えば、Difyでモデルプロバイダを設定する方法は以下の通りです。



そのモデルを選択すると、Difyでチャットできます。

ノードにアクセスするためのweb UIやAPIの使用方法の詳細:https://0xf8bf989ce672acd284309bbbbf4debe95975ea77.gaianet.network/

自分のGaiaNetノードを実行

GaiaNetを使用すると、10,000以上のオープンソースLLMをHuggingfaceで自分のラップトップにデプロイし、自分のアプリのAPIバックエンドとして利用することができます。また、LLMが質問に答える前にコンテキスト検索を行うように、自分の知識ベースを追加することもできます。OpenAIアシスタントAPIが動作するようにです。
始めるには、この5分間のクイックガイドに従ってください:https://github.com/GaiaNet-AI/gaianet-node?tab=readme-ov-file#run-your-own-gaianet-node
完了したら、ノードをオフにできます。

gaianet stop

チャットモデルをLlama 3 8Bに変更する場合、次のコマンドを使用します:

gaianet config \
  --chat-url https://huggingface.co/second-state/Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
  --chat-ctx-size 8190 \
  --prompt-template llama-3-chat \
  --snapshot https://huggingface.co/datasets/gaianet/none/resolve/main/none.snapshot.tar.gz
 Comment

これで、自分のGaiaNetノードを管理し、必要に応じてカスタマイズする準備が整いました。

ノードを再び初期化します。このステップでLLMファイルをダウンロードします。LLMファイルは5GB以上で、ダウンロードには時間がかかる場合があります。

gaianet init

ノードを開始します。

gaianet start

成功すると、ノードのダッシュボードへのURLが表示されます。ダッシュボードでは、チャットAPIおよび埋め込みAPIのAPIエンドポイントURLとモデル名を確認できます。

自分のGaiaNetノードで試すことができる他のモデル

以下のコマンドを実行してください。

gaianet config \
  --chat-url ${chat-url} \
  --chat-ctx-size ${chat-ctx-size} \
  --prompt-template ${prompt-template}

その後、

gaianet init
gaianet start
説明 chat-url chat-ctx-size prompt-template
中国語のLlama 3 8B https://huggingface.co/second-state/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat-Q5_K_M.gguf 8192 llama-3-chat
100万コンテキストサイズのLlama 3 8B https://huggingface.co/second-state/Llama-3-8B-Instruct-Gradient-1048k-GGUF/resolve/main/Llama-3-8B-Instruct-Gradient-1048k-Q5_K_M.gguf 1000000 llama-3-chat
Llama 3 70B https://huggingface.co/second-state/Meta-Llama-3-70B-Instruct-GGUF/resolve/main/Meta-Llama-3-70B-Instruct-Q5_K_M.gguf 8192 llama-3-chat
Phi-3 3.8B https://huggingface.co/second-state/Phi-3-mini-4k-instruct-GGUF/resolve/main/Phi-3-mini-4k-instruct-Q5_K_M.gguf 4096 phi-3-chat
Mixtral 8x7B https://huggingface.co/second-state/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/Mixtral-8x7B-Instruct-v0.1-Q5_K_M.gguf 4096 mistral-instruct
Qwen 72B uncensored https://huggingface.co/second-state/Liberated-Qwen1.5-72B-GGUF/resolve/main/Liberated-Qwen1.5-72B-Q4_K_M.gguf 8192 chatml

Also try run CALM LLM by CyberAgent on your Mac or across devices using simple commands!⬇️
https://www.secondstate.io/articles/calm2-7b-chat/