优化文档与测试脚本
This commit is contained in:
@@ -8,6 +8,8 @@ cd "$(dirname "$0")"
|
||||
|
||||
# llama-server 所在目录(可在该目录下启动模型)
|
||||
LLAMA_BIN_DIR="${LLAMA_BIN_DIR:-$HOME/llama.cpp/build/bin}"
|
||||
# 强制关闭 thinking(传递给 Python 侧 LLM 客户端)
|
||||
export ENABLE_THINKING=false
|
||||
|
||||
cleanup() {
|
||||
echo ""
|
||||
@@ -18,8 +20,9 @@ cleanup() {
|
||||
trap cleanup SIGINT SIGTERM
|
||||
|
||||
# 启动 Chat 模型 (8081)
|
||||
# --reasoning-budget 0:强制关闭 Qwen3 思考模式,否则会生成大量 <think> 导致首层 Router 极慢(数分钟)
|
||||
echo "=== 启动 LLM Chat 服务 (端口 8081) ==="
|
||||
(cd "$LLAMA_BIN_DIR" && ./llama-server -m ~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf --port 8081 --gpu_layers 36 --host 0.0.0.0) &
|
||||
(cd "$LLAMA_BIN_DIR" && ./llama-server -m ~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf --port 8081 --gpu_layers 36 --host 0.0.0.0 --ctx_size 16384 --reasoning-budget 0) &
|
||||
LLAMA_CHAT_PID=$!
|
||||
|
||||
# 启动 Embedding 模型 (8090)
|
||||
@@ -33,4 +36,4 @@ sleep 8
|
||||
|
||||
# 启动 DronePlanning API (8000)
|
||||
echo "=== 启动 DronePlanning API (端口 8000) ==="
|
||||
python -m uvicorn main:app --reload --host 0.0.0.0 --port 8000
|
||||
PYTHONPATH="$(pwd)/src:$PYTHONPATH" python -m uvicorn main:app --reload --host 0.0.0.0 --port 8000
|
||||
|
||||
Reference in New Issue
Block a user