新增vl模式

2026-01-29 17:58:28 +08:00
parent e164148c5c
commit 3c03749edf
4 changed files with 91 additions and 20 deletions
--- a/backend_service/requirements.txt
+++ b/backend_service/requirements.txt
@@ -23,6 +23,7 @@ unstructured[all]>=0.11.0

 # HTTP Requests
 requests>=2.31.0
+PyYAML>=6.0

 # Progress Bars and UI
 rich>=13.7.0
--- a/backend_service/src/prompts/partials/common_rules.txt
+++ b/backend_service/src/prompts/partials/common_rules.txt
@@ -10,6 +10,11 @@
 7. **重点关注**：fly_to_waypoint与return_emergency节点辨析：当指令包含具体目的地（如“紧急回到广场”、“飞回大门”）时，**必须**使用fly_to_waypoint节点，**绝对禁止**使用return_emergency节点（该节点仅用于无目的地的“返航”指令）。
 8. 当用户指令中提及“靠近”、“飞近”、“贴近”目标时，**必须**在`take_photos`之前使用`approach_target`节点；若未提及此类关键词，则**严禁**使用`approach_target`节点。
 9. **方向移动优先原则**：当指令为“快速去往东边100米”，直接使用 `move_direction` 节点+距离参数，严禁使用fly_to_waypoint
+10. **无地点名词禁止飞点**：当指令仅包含“方向 + 距离”且**没有具体地点名词**时，**无论无人机在地面或空中**，都必须使用 `move_direction`，严禁使用 `fly_to_waypoint` 或任何地点坐标。
+
+示例（必须遵守）：
+- “无人机当前在地面，快速去往东边60米，有身穿白色衣服，头戴帽子的男子在挟持他人，对其进行拍照。” → 必须使用 `move_direction`（east, 60），不得生成 `fly_to_waypoint` 或引用任何地点坐标。
+- “无人机当前在空中，快速去往东边60米，有身穿白色衣服，头戴帽子的男子在挟持他人，对其进行拍照。” → 同样必须使用 `move_direction`（east, 60），不得生成 `fly_to_waypoint` 或引用任何地点坐标。

 ## 七、坐标计算规则（东南天坐标系 ENU）
 本系统统一使用东南天（ENU）坐标系：
--- a/backend_service/src/prompts/scene_classifier_prompt.txt
+++ b/backend_service/src/prompts/scene_classifier_prompt.txt
@@ -10,16 +10,20 @@
 3. 仅允许以上三种取值，禁止输出其他字段或文本。

 —— 场景定义 ——
-scene1（大楼外围巡查类）：
+scene1（方位态势感知巡查类）：
 - 关键词特征：面前大楼/这栋楼、外围/沿着外围/绕着外围、12米高处、逆时针等；
 - 任务类型：绕楼外围巡查、搜索窗户/杂物堆积/人员等并拍照；
 - 包含上下/下降移动（上升3米/下降3米）后绕楼侦察的也属于 scene1。

-scene4（广场相关复合任务类）：
- 关键词特征：广场、广场边上、广场南边、施工区域、紧急回到广场、回到广场；
+scene4（序列感知复合任务类）：
+- 关键词特征：广场边上、广场南边、施工区域、紧急回到广场、回到广场；
 - 任务类型：在广场搜索/拍照/监控/返航/降落/靠近拍照等；
 - 可能包含“确认后拍照/返航”、“持续监控5分钟”、“挟持”等描述。

+simple（单步执行简单指令）：
+- 任务类型：只需要单一节点即可完成任务（无人机在空中时，飞到某地或者往某个方位飞行，这应该是简单节点）
+- 举例：“无人机当前在地面，起飞”“无人机当前在空中，飞到广场”
+
 —— 场景指令样例 ——
 scene1 示例：
 - 无人机当前在地面，去面前大楼的12米高处，绕着外围看有没有打开的窗户，发现则进行拍照。
--- a/start_all.sh
+++ b/start_all.sh
@@ -19,8 +19,11 @@ NC='\033[0m' # No Color
 # 默认配置（可通过环境变量覆盖）
 PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
 LLAMA_SERVER_DIR="${LLAMA_SERVER_DIR:-~/llama.cpp/build/bin}"
-INFERENCE_MODEL="${INFERENCE_MODEL:-~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf}"
+INFERENCE_MODEL_DEFAULT="${INFERENCE_MODEL_DEFAULT:-~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf}"
 EMBEDDING_MODEL="${EMBEDDING_MODEL:-~/models/gguf/Qwen3/Qwen3-Embedding-4B/Qwen3-Embedding-4B-Q5_K_M.gguf}"
+VL_INFERENCE_MODEL_DEFAULT="${VL_INFERENCE_MODEL_DEFAULT:-~/models/gguf/Qwen3/qwen3_vl_4b_instruct/Qwen3VL-4B-Instruct-Q4_K_M.gguf}"
+VL_VISION_ENCODER_MODEL_DEFAULT="${VL_VISION_ENCODER_MODEL_DEFAULT:-~/models/gguf/Qwen3/qwen3_vl_4b_instruct/mmproj-Qwen3VL-4B-Instruct-Q8_0.gguf}"
+ENABLE_VL="${ENABLE_VL:-0}"
 VENV_PATH="${VENV_PATH:-${PROJECT_ROOT}/backend_service/venv}"
 LOG_DIR="${PROJECT_ROOT}/logs"
 PID_FILE="${LOG_DIR}/services.pid"
@@ -136,6 +139,10 @@ trap cleanup EXIT
 # ==============================================================================

 start_services() {
+    local enable_vl="${ENABLE_VL}"
+    if [ "${1:-}" = "vl" ]; then
+        enable_vl=1
+    fi
    print_info "=========================================="
    print_info "  无人机自然语言控制项目 - 服务启动"
    print_info "=========================================="
@@ -176,16 +183,39 @@ start_services() {
    echo ""
    
    # 检查模型文件
-    local inference_model_expanded=$(eval echo "${INFERENCE_MODEL}")
+    local inference_model=""
+    local vision_encoder_model_expanded=""
+    if [ "${enable_vl}" = "1" ]; then
+        inference_model="${VL_INFERENCE_MODEL:-${VL_INFERENCE_MODEL_DEFAULT}}"
+        local vision_encoder_model="${VISION_ENCODER_MODEL:-${VL_VISION_ENCODER_MODEL_DEFAULT}}"
+        vision_encoder_model_expanded=$(eval echo "${vision_encoder_model}")
+        print_info "VL模式已启用，将使用VL模型与视觉编码器"
+    else
+        inference_model="${INFERENCE_MODEL:-${INFERENCE_MODEL_DEFAULT}}"
+    fi
+    local inference_model_expanded=$(eval echo "${inference_model}")
    local embedding_model_expanded=$(eval echo "${EMBEDDING_MODEL}")
    
    if [ ! -f "${inference_model_expanded}" ]; then
        print_error "推理模型文件未找到: ${inference_model_expanded}"
+        if [ "${enable_vl}" = "1" ]; then
+            print_info "请设置 VL_INFERENCE_MODEL 环境变量指向正确的模型路径"
+        else
            print_info "请设置 INFERENCE_MODEL 环境变量指向正确的模型路径"
+        fi
        exit 1
    fi
    print_success "找到推理模型: ${inference_model_expanded}"

+    if [ "${enable_vl}" = "1" ]; then
+        if [ ! -f "${vision_encoder_model_expanded}" ]; then
+            print_error "视觉编码器模型文件未找到: ${vision_encoder_model_expanded}"
+            print_info "请设置 VISION_ENCODER_MODEL 环境变量指向正确的模型路径"
+            exit 1
+        fi
+        print_success "找到视觉编码器模型: ${vision_encoder_model_expanded}"
+    fi
+    
    if [ ! -f "${embedding_model_expanded}" ]; then
        print_error "Embedding模型文件未找到: ${embedding_model_expanded}"
        print_info "请设置 EMBEDDING_MODEL 环境变量指向正确的模型路径"
@@ -229,6 +259,21 @@ start_services() {
    # ==========================================================================
    print_info "启动推理模型服务 (端口 ${INFERENCE_PORT})..."
    cd "${llama_server_dir_expanded}"
+    if [ "${enable_vl}" = "1" ]; then
+        nohup ./llama-server \
+            -m "${inference_model_expanded}" \
+            --mmproj "${vision_encoder_model_expanded}" \
+            --port ${INFERENCE_PORT} \
+            --gpu-layers 36 \
+            --host 0.0.0.0 \
+            -c 16384 \
+            --jinja \
+            --temp 0 \
+            --top-k 1 \
+            --top-p 1.0 \
+            --min-p 0 \
+            > "${LOG_DIR}/inference_model.log" 2>&1 &
+    else
        nohup ./llama-server \
            -m "${inference_model_expanded}" \
            --port ${INFERENCE_PORT} \
@@ -241,6 +286,7 @@ start_services() {
            --top-p 1.0 \
            --min-p 0 \
            > "${LOG_DIR}/inference_model.log" 2>&1 &
+    fi
    local inference_pid=$!
    echo $inference_pid >> "${PID_FILE}"
    print_success "推理模型服务已启动 (PID: $inference_pid)"
@@ -378,6 +424,9 @@ case "${1:-start}" in
    start)
        start_services
        ;;
+    vl)
+        ENABLE_VL=1 start_services vl
+        ;;
    stop)
        stop_services
        ;;
@@ -386,6 +435,11 @@ case "${1:-start}" in
        sleep 2
        start_services
        ;;
+    restart-vl)
+        stop_services
+        sleep 2
+        ENABLE_VL=1 start_services vl
+        ;;
    status)
        print_info "检查服务状态..."
        if [ -f "${PID_FILE}" ]; then
@@ -412,17 +466,24 @@ case "${1:-start}" in
        done
        ;;
    *)
-        echo "用法: $0 {start|stop|restart|status}"
+        echo "用法: $0 {start|vl|stop|restart|restart-vl|status}"
        echo ""
        echo "命令说明:"
        echo "  start   - 启动所有服务（默认）"
+        echo "  vl      - 启动所有服务（VL模式）"
        echo "  stop    - 停止所有服务"
        echo "  restart - 重启所有服务"
+        echo "  restart-vl - 重启所有服务（VL模式）"
        echo "  status  - 查看服务状态"
        echo ""
        echo "环境变量配置:"
        echo "  LLAMA_SERVER_DIR  - llama-server所在目录 (默认: ~/llama.cpp/build/bin)"
-        echo "  INFERENCE_MODEL   - 推理模型路径 (默认: ~/models/gguf/Qwen/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf)"
+        echo "  INFERENCE_MODEL   - 推理模型路径 (默认: \${INFERENCE_MODEL_DEFAULT})"
+        echo "  INFERENCE_MODEL_DEFAULT - 默认推理模型路径"
+        echo "  VL_INFERENCE_MODEL - VL推理模型路径 (默认: \${VL_INFERENCE_MODEL_DEFAULT})"
+        echo "  VL_INFERENCE_MODEL_DEFAULT - VL推理模型路径"
+        echo "  VISION_ENCODER_MODEL - 视觉编码器模型路径 (默认: \${VL_VISION_ENCODER_MODEL_DEFAULT})"
+        echo "  VL_VISION_ENCODER_MODEL_DEFAULT - VL视觉编码器默认路径"
        echo "  EMBEDDING_MODEL   - Embedding模型路径 (默认: ~/models/gguf/Qwen/Qwen3-Embedding-4B/Qwen3-Embedding-4B-Q4_K_M.gguf)"
        echo "  VENV_PATH         - venv虚拟环境路径 (默认: \${PROJECT_ROOT}/backend_service/venv)"
        exit 1