作战体系数据清洗与标准化系统

项目简介

本项目用于处理异质作战体系节点的原始JSON数据。系统能够自动识别并修复数据中的噪声、缺失值、异常值，并将关键效能指标标准化至 [0, 1] 区间，最终输出符合建模要求的高质量数据集。

目录结构

project/
├── data/
│ ├── raw_data.json # 原始输入数据（包含噪声和错误）
│ └── cleaned_data.json # 清洗后的输出数据
├── src/
│ └── cleaner.py # 清洗运行程序
├── report/
│ └── cleaning_report.json # 详细清洗报告
└── README.md # 项目说明文档

功能特性

• 去噪处理：使用卡尔曼滤波算法平滑连续数值（如通信范围），消除测量噪声。
• 异常检测与修复：
  • 自动修正负数、极端值。
  • 强制将效能指标（如打击精度、机动性）限制在 [0, 1] 范围内。
  • 修复无效的地理坐标。
• 缺失值填充：基于同类型（Role）单位的统计均值进行智能插值。
• 标准化：统一文本格式、时间格式及数值精度。

快速开始

1. 环境依赖

本项目仅依赖 Python 标准库及 NumPy/Pandas：

pip install numpy pandas

2. 运行清洗

直接运行主程序即可：

python src/main.py

程序默认读取 data/raw_data.json，处理后生成 data/cleaned_data.json 和 report/cleaning_report.json。

输出结果示例

清洗前 (Raw):

{
"MOBILITY": -0.5,
"STRIKE_ACCURACY": 1.5,
"COMMUNICATION_RANGE": 102.8116 // 含噪声
}

清洗后 (Cleaned):

{
"MOBILITY": 0.5,
"STRIKE_ACCURACY": 1.0,
"COMMUNICATION_RANGE": 102.81 // 平滑后
}