From 59aa1d59d7f02ce81e85842d56dbc62b3164e9f7 Mon Sep 17 00:00:00 2001 From: huangfu <3045324663@qq.com> Date: Tue, 25 Nov 2025 18:49:05 +0800 Subject: [PATCH] first commit --- README.md | 64 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 64 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..b97cb2b --- /dev/null +++ b/README.md @@ -0,0 +1,64 @@ +# 作战体系数据清洗与标准化系统 + +## 项目简介 +本项目用于处理异质作战体系节点的原始JSON数据。系统能够自动识别并修复数据中的噪声、缺失值、异常值,并将关键效能指标标准化至 [0, 1] 区间,最终输出符合建模要求的高质量数据集。 + +## 目录结构 +``` +project/ +├── data/ +│ ├── raw_data.json # 原始输入数据(包含噪声和错误) +│ └── cleaned_data.json # 清洗后的输出数据 +├── src/ +│ └── cleaner.py # 清洗运行程序 +├── report/ +│ └── cleaning_report.json # 详细清洗报告 +└── README.md # 项目说明文档 +``` + +## 功能特性 +* **去噪处理**:使用卡尔曼滤波算法平滑连续数值(如通信范围),消除测量噪声。 +* **异常检测与修复**: + * 自动修正负数、极端值。 + * 强制将效能指标(如打击精度、机动性)限制在 [0, 1] 范围内。 + * 修复无效的地理坐标。 +* **缺失值填充**:基于同类型(Role)单位的统计均值进行智能插值。 +* **标准化**:统一文本格式、时间格式及数值精度。 + +## 快速开始 + +### 1. 环境依赖 +本项目仅依赖 Python 标准库及 NumPy/Pandas: + +```bash +pip install numpy pandas +``` + + +### 2. 运行清洗 +直接运行主程序即可: + +```bash +python src/main.py +``` + +程序默认读取 `data/raw_data.json`,处理后生成 `data/cleaned_data.json` 和 `report/cleaning_report.json`。 + +## 输出结果示例 +**清洗前 (Raw):** +```json +{ +"MOBILITY": -0.5, +"STRIKE_ACCURACY": 1.5, +"COMMUNICATION_RANGE": 102.8116 // 含噪声 +} +``` + +**清洗后 (Cleaned):** +```json +{ +"MOBILITY": 0.5, +"STRIKE_ACCURACY": 1.0, +"COMMUNICATION_RANGE": 102.81 // 平滑后 +} +``` \ No newline at end of file