diff --git a/backend_service/requirements.txt b/backend_service/requirements.txt index 7648ed2f..1f1c51a7 100644 --- a/backend_service/requirements.txt +++ b/backend_service/requirements.txt @@ -23,6 +23,7 @@ unstructured[all]>=0.11.0 # HTTP Requests requests>=2.31.0 +PyYAML>=6.0 # Progress Bars and UI rich>=13.7.0 diff --git a/backend_service/src/prompts/partials/common_rules.txt b/backend_service/src/prompts/partials/common_rules.txt index 9e01b452..d2b4e678 100644 --- a/backend_service/src/prompts/partials/common_rules.txt +++ b/backend_service/src/prompts/partials/common_rules.txt @@ -10,6 +10,11 @@ 7. **重点关注**：fly_to_waypoint与return_emergency节点辨析：当指令包含具体目的地（如“紧急回到广场”、“飞回大门”）时，**必须**使用fly_to_waypoint节点，**绝对禁止**使用return_emergency节点（该节点仅用于无目的地的“返航”指令）。 8. 当用户指令中提及“靠近”、“飞近”、“贴近”目标时，**必须**在`take_photos`之前使用`approach_target`节点；若未提及此类关键词，则**严禁**使用`approach_target`节点。 9. **方向移动优先原则**：当指令为“快速去往东边100米”，直接使用 `move_direction` 节点+距离参数，严禁使用fly_to_waypoint +10. **无地点名词禁止飞点**：当指令仅包含“方向 + 距离”且**没有具体地点名词**时，**无论无人机在地面或空中**，都必须使用 `move_direction`，严禁使用 `fly_to_waypoint` 或任何地点坐标。 + +示例（必须遵守）： +- “无人机当前在地面，快速去往东边60米，有身穿白色衣服，头戴帽子的男子在挟持他人，对其进行拍照。” → 必须使用 `move_direction`（east, 60），不得生成 `fly_to_waypoint` 或引用任何地点坐标。 +- “无人机当前在空中，快速去往东边60米，有身穿白色衣服，头戴帽子的男子在挟持他人，对其进行拍照。” → 同样必须使用 `move_direction`（east, 60），不得生成 `fly_to_waypoint` 或引用任何地点坐标。 ## 七、坐标计算规则（东南天坐标系 ENU） 本系统统一使用东南天（ENU）坐标系： diff --git a/backend_service/src/prompts/scene_classifier_prompt.txt b/backend_service/src/prompts/scene_classifier_prompt.txt index f989a754..37d28400 100644 --- a/backend_service/src/prompts/scene_classifier_prompt.txt +++ b/backend_service/src/prompts/scene_classifier_prompt.txt @@ -10,16 +10,20 @@ 3. 仅允许以上三种取值，禁止输出其他字段或文本。 —— 场景定义 —— -scene1（大楼外围巡查类）： +scene1（方位态势感知巡查类）： - 关键词特征：面前大楼/这栋楼、外围/沿着外围/绕着外围、12米高处、逆时针等； - 任务类型：绕楼外围巡查、搜索窗户/杂物堆积/人员等并拍照； - 包含上下/下降移动（上升3米/下降3米）后绕楼侦察的也属于 scene1。 -scene4（广场相关复合任务类）： -- 关键词特征：广场、广场边上、广场南边、施工区域、紧急回到广场、回到广场； +scene4（序列感知复合任务类）： +- 关键词特征：广场边上、广场南边、施工区域、紧急回到广场、回到广场； - 任务类型：在广场搜索/拍照/监控/返航/降落/靠近拍照等； - 可能包含“确认后拍照/返航”、“持续监控5分钟”、“挟持”等描述。 +simple（单步执行简单指令）： +- 任务类型：只需要单一节点即可完成任务（无人机在空中时，飞到某地或者往某个方位飞行，这应该是简单节点） +- 举例：“无人机当前在地面，起飞”“无人机当前在空中，飞到广场” + —— 场景指令样例 —— scene1 示例： - 无人机当前在地面，去面前大楼的12米高处，绕着外围看有没有打开的窗户，发现则进行拍照。 diff --git a/start_all.sh b/start_all.sh index cf79f1cf..ce5d19c9 100755 --- a/start_all.sh +++ b/start_all.sh @@ -19,8 +19,11 @@ NC='\033[0m' # No Color # 默认配置（可通过环境变量覆盖） PROJECT_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" LLAMA_SERVER_DIR="${LLAMA_SERVER_DIR:-~/llama.cpp/build/bin}" -INFERENCE_MODEL="${INFERENCE_MODEL:-~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf}" +INFERENCE_MODEL_DEFAULT="${INFERENCE_MODEL_DEFAULT:-~/models/gguf/Qwen3/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf}" EMBEDDING_MODEL="${EMBEDDING_MODEL:-~/models/gguf/Qwen3/Qwen3-Embedding-4B/Qwen3-Embedding-4B-Q5_K_M.gguf}" +VL_INFERENCE_MODEL_DEFAULT="${VL_INFERENCE_MODEL_DEFAULT:-~/models/gguf/Qwen3/qwen3_vl_4b_instruct/Qwen3VL-4B-Instruct-Q4_K_M.gguf}" +VL_VISION_ENCODER_MODEL_DEFAULT="${VL_VISION_ENCODER_MODEL_DEFAULT:-~/models/gguf/Qwen3/qwen3_vl_4b_instruct/mmproj-Qwen3VL-4B-Instruct-Q8_0.gguf}" +ENABLE_VL="${ENABLE_VL:-0}" VENV_PATH="${VENV_PATH:-${PROJECT_ROOT}/backend_service/venv}" LOG_DIR="${PROJECT_ROOT}/logs" PID_FILE="${LOG_DIR}/services.pid" @@ -136,6 +139,10 @@ trap cleanup EXIT # ============================================================================== start_services() { + local enable_vl="${ENABLE_VL}" + if [ "${1:-}" = "vl" ]; then + enable_vl=1 + fi print_info "==========================================" print_info " 无人机自然语言控制项目 - 服务启动" print_info "==========================================" @@ -176,15 +183,38 @@ start_services() { echo "" # 检查模型文件 - local inference_model_expanded=$(eval echo "${INFERENCE_MODEL}") + local inference_model="" + local vision_encoder_model_expanded="" + if [ "${enable_vl}" = "1" ]; then + inference_model="${VL_INFERENCE_MODEL:-${VL_INFERENCE_MODEL_DEFAULT}}" + local vision_encoder_model="${VISION_ENCODER_MODEL:-${VL_VISION_ENCODER_MODEL_DEFAULT}}" + vision_encoder_model_expanded=$(eval echo "${vision_encoder_model}") + print_info "VL模式已启用，将使用VL模型与视觉编码器" + else + inference_model="${INFERENCE_MODEL:-${INFERENCE_MODEL_DEFAULT}}" + fi + local inference_model_expanded=$(eval echo "${inference_model}") local embedding_model_expanded=$(eval echo "${EMBEDDING_MODEL}") if [ ! -f "${inference_model_expanded}" ]; then print_error "推理模型文件未找到: ${inference_model_expanded}" - print_info "请设置 INFERENCE_MODEL 环境变量指向正确的模型路径" + if [ "${enable_vl}" = "1" ]; then + print_info "请设置 VL_INFERENCE_MODEL 环境变量指向正确的模型路径" + else + print_info "请设置 INFERENCE_MODEL 环境变量指向正确的模型路径" + fi exit 1 fi print_success "找到推理模型: ${inference_model_expanded}" + + if [ "${enable_vl}" = "1" ]; then + if [ ! -f "${vision_encoder_model_expanded}" ]; then + print_error "视觉编码器模型文件未找到: ${vision_encoder_model_expanded}" + print_info "请设置 VISION_ENCODER_MODEL 环境变量指向正确的模型路径" + exit 1 + fi + print_success "找到视觉编码器模型: ${vision_encoder_model_expanded}" + fi if [ ! -f "${embedding_model_expanded}" ]; then print_error "Embedding模型文件未找到: ${embedding_model_expanded}" @@ -229,18 +259,34 @@ start_services() { # ========================================================================== print_info "启动推理模型服务 (端口 ${INFERENCE_PORT})..." cd "${llama_server_dir_expanded}" - nohup ./llama-server \ - -m "${inference_model_expanded}" \ - --port ${INFERENCE_PORT} \ - --gpu-layers 36 \ - --host 0.0.0.0 \ - -c 16384 \ - --jinja \ - --temp 0 \ - --top-k 1 \ - --top-p 1.0 \ - --min-p 0 \ - > "${LOG_DIR}/inference_model.log" 2>&1 & + if [ "${enable_vl}" = "1" ]; then + nohup ./llama-server \ + -m "${inference_model_expanded}" \ + --mmproj "${vision_encoder_model_expanded}" \ + --port ${INFERENCE_PORT} \ + --gpu-layers 36 \ + --host 0.0.0.0 \ + -c 16384 \ + --jinja \ + --temp 0 \ + --top-k 1 \ + --top-p 1.0 \ + --min-p 0 \ + > "${LOG_DIR}/inference_model.log" 2>&1 & + else + nohup ./llama-server \ + -m "${inference_model_expanded}" \ + --port ${INFERENCE_PORT} \ + --gpu-layers 36 \ + --host 0.0.0.0 \ + -c 16384 \ + --jinja \ + --temp 0 \ + --top-k 1 \ + --top-p 1.0 \ + --min-p 0 \ + > "${LOG_DIR}/inference_model.log" 2>&1 & + fi local inference_pid=$! echo $inference_pid >> "${PID_FILE}" print_success "推理模型服务已启动 (PID: $inference_pid)" @@ -378,6 +424,9 @@ case "${1:-start}" in start) start_services ;; + vl) + ENABLE_VL=1 start_services vl + ;; stop) stop_services ;; @@ -386,6 +435,11 @@ case "${1:-start}" in sleep 2 start_services ;; + restart-vl) + stop_services + sleep 2 + ENABLE_VL=1 start_services vl + ;; status) print_info "检查服务状态..." if [ -f "${PID_FILE}" ]; then @@ -412,17 +466,24 @@ case "${1:-start}" in done ;; *) - echo "用法: $0 {start|stop|restart|status}" + echo "用法: $0 {start|vl|stop|restart|restart-vl|status}" echo "" echo "命令说明:" echo " start - 启动所有服务（默认）" + echo " vl - 启动所有服务（VL模式）" echo " stop - 停止所有服务" echo " restart - 重启所有服务" + echo " restart-vl - 重启所有服务（VL模式）" echo " status - 查看服务状态" echo "" echo "环境变量配置:" echo " LLAMA_SERVER_DIR - llama-server所在目录 (默认: ~/llama.cpp/build/bin)" - echo " INFERENCE_MODEL - 推理模型路径 (默认: ~/models/gguf/Qwen/Qwen3-4B/Qwen3-4B-Q5_K_M.gguf)" + echo " INFERENCE_MODEL - 推理模型路径 (默认: \${INFERENCE_MODEL_DEFAULT})" + echo " INFERENCE_MODEL_DEFAULT - 默认推理模型路径" + echo " VL_INFERENCE_MODEL - VL推理模型路径 (默认: \${VL_INFERENCE_MODEL_DEFAULT})" + echo " VL_INFERENCE_MODEL_DEFAULT - VL推理模型路径" + echo " VISION_ENCODER_MODEL - 视觉编码器模型路径 (默认: \${VL_VISION_ENCODER_MODEL_DEFAULT})" + echo " VL_VISION_ENCODER_MODEL_DEFAULT - VL视觉编码器默认路径" echo " EMBEDDING_MODEL - Embedding模型路径 (默认: ~/models/gguf/Qwen/Qwen3-Embedding-4B/Qwen3-Embedding-4B-Q4_K_M.gguf)" echo " VENV_PATH - venv虚拟环境路径 (默认: \${PROJECT_ROOT}/backend_service/venv)" exit 1