如何將 Chatbox 連接到遠端 Ollama 服務 - TAN-studio 香港網頁設計 - 香港HK WordPress, OpenCart, Shopify...

安装 Ollama

Ollama 是一個開源的本地模型運行工具，可以輕鬆下載和運行各種開源模型，例如 Llama、Qwen、DeepSeek 等。這個工具支援 Windows、MacOS、Linux 等作業系統。

我們可以訪問⌈ Ollama 官網 ⌋下載 Ollama。

下載並運行本地模型

下載並安裝 Ollama 後，請開啟命令列終端，輸入命令下載並執行本機模型。你可以在這裡查看到所有 ollama 支援的模型清單：Ollama 模型清單。

範例1：下載並執行 llama3.2 模型

ollama run llama3.2

範例2：下載並執行 deepseek-r1:8b 模型（注意：Ollama 上的 DeepSeek R1 模型實際上是蒸餾模型）

ollama run deepseek-r1:8b

在 Chatbox 連接本地 Ollama 服務

在 Chatbox 中開啟設置，在模型提供者中選擇 Ollama，即可在模型下拉框中看見你正在執行的本機模型。

點選儲存，即可正常聊天使用。

在 Chatbox 中連接遠端 Ollama 服務

除了可以輕鬆連接本地 Ollama 服務，Chatbox 還支援連接到運行在其他機器上的遠端 Ollama 服務。

例如，你可以在家中的電腦上執行 Ollama 服務，並在手機或其他電腦上使用 Chatbox 用戶端連接到這個服務。

你需要確保遠端 Ollama 服務正確配置並暴露在目前網路中，以便 Chatbox 可以存取。預設情況下，需要對遠端 Ollama 服務進行簡單的配置。

如何配置遠端 Ollama 服務？

預設情況下，Ollama 服務僅在本地運行，不對外提供服務。要讓 Ollama 服務能夠對外提供服務，你需要設定以下兩個環境變數：

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

在 MacOS 上設定

1. 打開命令列終端，輸入以下命令：

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   launchctl setenv OLLAMA_ORIGINS "*"
   

2. 重新啟動 Ollama 應用，使配置生效。

在 Windows 上配置

在 Windows 上，Ollama 會繼承你的使用者和系統環境變數。

1. 透過工作列退出 Ollama。
2. 開啟設定（Windows 11）或控制台（Windows 10），並蒐索「環境變數」。
3. 點選編輯你帳戶的環境變數。為你的使用者帳號編輯或建立新的變數 OLLAMA_HOST，值為 0.0.0.0；為你的使用者帳號編輯或建立新的變數 OLLAMA_ORIGINS，值為 *。
4. 點擊確定/應用以儲存設定。
5. 從 Windows 開始功能表啟動 Ollama 應用程式。

在 Linux 上配置

如果 Ollama 作為 systemd 服務運行，則應使用 systemctl 設定環境變數：

1. 调用 systemctl edit ollama.service 編輯 systemd 服務配置。這將打開一個編輯器。
2. 在 [Service] 部分下為每個環境變數新增一行 Environment：

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   Environment="OLLAMA_ORIGINS=*"
   

3. 儲存並退出。
4. 重新載入 systemd 並重啟 Ollama：

   systemctl daemon-reload
   systemctl restart ollama
   

服務 IP 位址

配置後，Ollama 服務將能在目前網路（如家庭 Wifi）中提供服務。你可以使用其他裝置上的 Chatbox 用戶端連線到此服務。

Ollama 服務的 IP 位址是你電腦在目前網路中的位址，通常形式如下：

192.168.XX.XX

在 Chatbox 中，將 API Host 設定為：

http://192.168.XX.XX:11434

注意事項

• 可能需要在防火牆中允許 Ollama 服務的連接埠（預設為 11434），具體取決於你的作業系統和網路環境。
• 為避免安全風險，請不要將 Ollama 服務暴露在公共網路中。家庭 Wifi 網路是一個相對安全的環境。