进一步优化指令适配,指定温度采样参数

start_all.sh

@@ -236,6 +236,10 @@ start_services() {
         --host 0.0.0.0 \
         -c 8192 \
         --jinja \
+        --temp 0 \
+        --top-k 1 \
+        --top-p 1.0 \
+        --min-p 0 \
         > "${LOG_DIR}/inference_model.log" 2>&1 &
     local inference_pid=$!
     echo $inference_pid >> "${PID_FILE}"