步驟 1:啟動 API 腳本
在你的PC主機上,打開終端機並執行腳本:
python local_llm_api.py
步驟 2:設定 Cloudflare Tunnel 穿透
開啟新終端機,執行以下指令獲取 Domain Name (網址):
cloudflared tunnel --url http://127.0.0.1:8001
(或使用 run 指令綁定 local-llm-api.hiruynk.com)
步驟 3:填寫設定參數
-
API 網址:
貼上剛才獲取的 HTTPS 網址。
(e.g. https://xxx.abc.com)
-
模型名稱:
填寫PC上已存在的模型。
(e.g. gemma4:12b / qwen2:7b)