first commit
This commit is contained in:
64
README.md
Normal file
64
README.md
Normal file
@@ -0,0 +1,64 @@
|
||||
# 作战体系数据清洗与标准化系统
|
||||
|
||||
## 项目简介
|
||||
本项目用于处理异质作战体系节点的原始JSON数据。系统能够自动识别并修复数据中的噪声、缺失值、异常值,并将关键效能指标标准化至 [0, 1] 区间,最终输出符合建模要求的高质量数据集。
|
||||
|
||||
## 目录结构
|
||||
```
|
||||
project/
|
||||
├── data/
|
||||
│ ├── raw_data.json # 原始输入数据(包含噪声和错误)
|
||||
│ └── cleaned_data.json # 清洗后的输出数据
|
||||
├── src/
|
||||
│ └── cleaner.py # 清洗运行程序
|
||||
├── report/
|
||||
│ └── cleaning_report.json # 详细清洗报告
|
||||
└── README.md # 项目说明文档
|
||||
```
|
||||
|
||||
## 功能特性
|
||||
* **去噪处理**:使用卡尔曼滤波算法平滑连续数值(如通信范围),消除测量噪声。
|
||||
* **异常检测与修复**:
|
||||
* 自动修正负数、极端值。
|
||||
* 强制将效能指标(如打击精度、机动性)限制在 [0, 1] 范围内。
|
||||
* 修复无效的地理坐标。
|
||||
* **缺失值填充**:基于同类型(Role)单位的统计均值进行智能插值。
|
||||
* **标准化**:统一文本格式、时间格式及数值精度。
|
||||
|
||||
## 快速开始
|
||||
|
||||
### 1. 环境依赖
|
||||
本项目仅依赖 Python 标准库及 NumPy/Pandas:
|
||||
|
||||
```bash
|
||||
pip install numpy pandas
|
||||
```
|
||||
|
||||
|
||||
### 2. 运行清洗
|
||||
直接运行主程序即可:
|
||||
|
||||
```bash
|
||||
python src/main.py
|
||||
```
|
||||
|
||||
程序默认读取 `data/raw_data.json`,处理后生成 `data/cleaned_data.json` 和 `report/cleaning_report.json`。
|
||||
|
||||
## 输出结果示例
|
||||
**清洗前 (Raw):**
|
||||
```json
|
||||
{
|
||||
"MOBILITY": -0.5,
|
||||
"STRIKE_ACCURACY": 1.5,
|
||||
"COMMUNICATION_RANGE": 102.8116 // 含噪声
|
||||
}
|
||||
```
|
||||
|
||||
**清洗后 (Cleaned):**
|
||||
```json
|
||||
{
|
||||
"MOBILITY": 0.5,
|
||||
"STRIKE_ACCURACY": 1.0,
|
||||
"COMMUNICATION_RANGE": 102.81 // 平滑后
|
||||
}
|
||||
```
|
||||
Reference in New Issue
Block a user