64 lines
1.7 KiB
Markdown
64 lines
1.7 KiB
Markdown
# 作战体系数据清洗与标准化系统
|
||
|
||
## 项目简介
|
||
本项目用于处理异质作战体系节点的原始JSON数据。系统能够自动识别并修复数据中的噪声、缺失值、异常值，并将关键效能指标标准化至 [0, 1] 区间，最终输出符合建模要求的高质量数据集。
|
||
|
||
## 目录结构
|
||
```
|
||
project/
|
||
├── data/
|
||
│ ├── raw_data.json # 原始输入数据（包含噪声和错误）
|
||
│ └── cleaned_data.json # 清洗后的输出数据
|
||
├── src/
|
||
│ └── cleaner.py # 清洗运行程序
|
||
├── report/
|
||
│ └── cleaning_report.json # 详细清洗报告
|
||
└── README.md # 项目说明文档
|
||
```
|
||
|
||
## 功能特性
|
||
* **去噪处理**：使用卡尔曼滤波算法平滑连续数值（如通信范围），消除测量噪声。
|
||
* **异常检测与修复**：
|
||
* 自动修正负数、极端值。
|
||
* 强制将效能指标（如打击精度、机动性）限制在 [0, 1] 范围内。
|
||
* 修复无效的地理坐标。
|
||
* **缺失值填充**：基于同类型（Role）单位的统计均值进行智能插值。
|
||
* **标准化**：统一文本格式、时间格式及数值精度。
|
||
|
||
## 快速开始
|
||
|
||
### 1. 环境依赖
|
||
本项目仅依赖 Python 标准库及 NumPy/Pandas：
|
||
|
||
```bash
|
||
pip install numpy pandas
|
||
```
|
||
|
||
|
||
### 2. 运行清洗
|
||
直接运行主程序即可：
|
||
|
||
```bash
|
||
python src/main.py
|
||
```
|
||
|
||
程序默认读取 `data/raw_data.json`，处理后生成 `data/cleaned_data.json` 和 `report/cleaning_report.json`。
|
||
|
||
## 输出结果示例
|
||
**清洗前 (Raw):**
|
||
```json
|
||
{
|
||
"MOBILITY": -0.5,
|
||
"STRIKE_ACCURACY": 1.5,
|
||
"COMMUNICATION_RANGE": 102.8116 // 含噪声
|
||
}
|
||
```
|
||
|
||
**清洗后 (Cleaned):**
|
||
```json
|
||
{
|
||
"MOBILITY": 0.5,
|
||
"STRIKE_ACCURACY": 1.0,
|
||
"COMMUNICATION_RANGE": 102.81 // 平滑后
|
||
}
|
||
``` |