# 作战体系数据清洗与网络效能评估系统

## 项目简介

本系统包含两大功能模块：

1. **数据清洗**：从 JSON 文件或达梦数据库读取实体属性表、三元组，进行去重、缺失值填充、异常值修正、噪声平滑等清洗；并按 **1125 属性需求** 做 **内容与格式的双重对齐**（格式校验 + 内容校验 + 原始字段→规范 schema 转换），**输出仅含 xlsx 定义字段**的 `nodes.json`，不保留原始其他字段。
2. **网络关系与效能评估**：基于节点与三元组数据，计算关系强度、过滤低置信边，评估任务网络效能，生成评价报告。

---

## 目录结构

```
final/
├── config/
│   ├── config.yaml       # 主配置文件（推荐）
│   └── config.json       # 备选配置
├── data/
│   ├── raw_data_sample.json    # 原始实体数据（JSON 模式）
│   ├── nodes.json              # 清洗后实体（关系/网络计算用）
│   └── triples.json            # 清洗后三元组（来自 run_all）
├── report/
│   ├── detailed_cleaning_report.json    # 实体清洗报告
│   └── triplet_cleaning_report.json     # 三元组清洗报告
├── results/
│   ├── filtered_triples.json   # 过滤后三元组
│   ├── triples.csv             # 三元组表格
│   └── evaluation_report.txt   # 效能评价报告
├── src/
│   ├── main_227.py             # 主程序（清洗 + 关系 + 网络评估）
│   ├── cleaner.py              # 实体清洗
│   ├── attribute_schema.py     # 1125 属性规范：格式/内容校验 + 原始→规范转换
│   ├── data_loader.py          # 数据加载（JSON/达梦）
│   └── triplet_cleaner.py      # 三元组清洗
├── scripts/
│   ├── run_all.py              # 一键运行（仅清洗）
│   ├── export_triplets.py      # 单独导出三元组
│   ├── inspect_dm_tables.py    # 达梦表结构查看
│   ├── f_relation1125.py       # 关系强度计算
│   └── f_net1125.py            # 任务网络评估
├── .env.example
└── README.md
```

---

## 快速开始

### 1. 环境依赖

```bash
pip install -r requirements.txt
# 达梦模式需额外：pip install dmPython
```

### 2. 运行方式

| 命令 | 功能 |
|------|------|
| `python src/main_227.py` | **完整流程**：实体清洗 → 关系强度计算 → 网络效能评估 |
| `python scripts/run_all.py` | **仅清洗**：实体 + 三元组 读取、清洗、导出 |

### 3. 开发模式（无达梦数据库）

在 `config/config.yaml` 或 `config/config.json` 中设置：

```yaml
source: json
```

然后运行：

```bash
python src/main_227.py
```

程序会从 `data/raw_data_sample.json` 读取实体数据并清洗；关系/网络计算则从 `data/nodes.json` 和 `data/triples.json` 读取。

---

## 配置说明

### 必须修改的配置

根据你的环境，在 `config/config.yaml` 或 `config/config.json` 中修改以下项：

| 配置项 | 说明 | 示例 |
|--------|------|------|
| `source` | 数据源：`json`（开发）或 `db`（达梦） | `json` |
| `db.host` | 达梦库地址（source=db 时） | `127.0.0.1` |
| `db.port` | 达梦端口 | `5080` |
| `db.user` | 达梦用户 | `SYSDBA` |
| `db.table` | 实体表名 | `OBJECTIVE_INSTANCE` |
| `db.triplet_table` | 三元组表名 | `RELATION_INSTANCE` |

### 达梦密码（切勿写入配置）

达梦模式需设置环境变量：

```bash
export DM_PASSWORD=你的密码
```

或在 PyCharm：Run → Edit Configurations → Environment variables → 添加 `DM_PASSWORD=你的密码`。

### 可选配置

| 配置项 | 说明 | 默认 |
|--------|------|------|
| `json.input_file` | 实体 JSON 路径 | `data/raw_data_sample.json` |
| `json.output_file` | 清洗后实体输出 | `data/nodes.json` |
| `triplet.enabled` | 是否处理三元组 | `true` |
| `triplet.input_file` | JSON 模式下三元组路径 | `null` |
| `triplet.output_file` | 三元组输出 | `data/triples.json` |
| `triplet.clean.deduplicate` | 三元组去重 | `true` |
| `triplet.clean.filter_orphans` | 过滤悬空引用 | `false` |
| `eval.nodes_file` | main_227 读取的节点文件 | `data/nodes.json` |
| `eval.triples_file` | main_227 读取的三元组文件 | `data/triples.json`（与 triplet.output_file 一致） |

### 配置优先级

`config.json` 优先于 `config.yaml`；修改其一即可。

---

## 数据流程

### main_227.py 流程

```
1. 实体清洗
   - 从 JSON 或达梦读 raw_data_sample / OBJECTIVE_INSTANCE
   - 去重、缺失值填充、异常值修正、噪声平滑
   - 输出 nodes.json
2. 关系与网络评估
   - 按配置读取 nodes（eval.nodes_file / json.output_file）、triples（eval.triples_file = triplet.output_file）
   - 计算 5 类关系强度（情报保障、指挥控制、状态反馈、平台部署、协同作战）
   - 按阈值过滤关系
   - 评估 5 类任务网络效能
   - 输出 results/ 下报告与表格
```

### run_all.py 流程

```
1. 实体清洗 → data/nodes.json
2. 三元组清洗 → data/triples.json（格式：head, head_type, relation, tail, tail_type）
```

---

## 输出文件说明

| 文件 | 来源 | 说明 |
|------|------|------|
| `data/nodes.json` | 清洗 | 清洗后实体（`{nodes: {id: obj}, global_params: {mtbf_max}}`，见下文） |
| `data/triples.json` | run_all | 清洗后三元组（head/head_type/relation/tail/tail_type） |
| `report/detailed_cleaning_report.json` | 清洗 | 实体清洗统计（含 attribute_alignment：格式/内容对齐情况） |
| `report/triplet_cleaning_report.json` | run_all | 三元组清洗统计 |
| `results/filtered_triples.json` | main_227 | 过滤后三元组（含强度） |
| `results/triples.csv` | main_227 | 三元组表格 |
| `results/evaluation_report.txt` | main_227 | 效能评价报告 |

---

## 常见问题

**Q: 运行报错「找不到文件 raw_data_sample.json」？**  
A: 将 `source` 改为 `json`，并确保 `data/raw_data_sample.json` 存在；或检查 `json.input_file` 路径。

**Q: 达梦模式连接失败？**  
A: 检查 `DM_PASSWORD` 环境变量、`db.host`/`db.port`，以及 dmPython 与达梦客户端是否正确安装。

**Q: main_227 中 nodes.json、triples.json 从哪来？**  
A: `nodes.json`、`triples.json` 均由清洗步骤生成（run_all 或 main_227 前半段），格式需包含 `head`、`relation`、`tail` 等字段。

**Q: 如何查看达梦表结构？**  
A: 运行 `python scripts/inspect_dm_tables.py`（需设置 `DM_PASSWORD`）。

**Q: nodes.json 为何没有 X、Y、ROLE_ID 等原始字段？**  
A: 输出完全对齐 1125 xlsx 规范，仅保留 schema 定义的 12 个字段；原始字段在转换阶段已映射为 `spatial`、`org_unit` 等规范结构。

---

## 数据清洗详细逻辑

### 清洗流程概览

```
原始数据 → 去重 → 缺失值填充 → 异常值修正 → 噪声平滑 → 1125 Schema 转换 → 关系计算前净化 → nodes.json
```

| 步骤 | 说明 |
|------|------|
| **去重** | 按 `TARGET_ID` 去重，优先保留 `CREATED_TIME` 最新的记录 |
| **缺失值填充** | 数值型字段按 `ROLE_ID` 分组均值填充，兜底用全局均值 |
| **异常值修正** | 对 `TARGET_RECOGNITION_CAPABILITY`、`STRIKE_ACCURACY`、`ANTI_JAMMING_CAPABILITY`、`ENVIRONMENT_ADAPTABILITY`、`MOBILITY` 等 [0,1] 字段：负值取绝对值、>1 截断为 1 |
| **噪声平滑** | 对 `COMMUNICATION_RANGE` 做 3 点移动平均 |
| **1125 Schema 转换** | 见下文字段映射，输出仅含规范字段 |
| **关系计算前净化** | 见下文「关系计算前净化」 |

### 关系计算前净化（sanitize_node_for_relation_calc）

下游 `f_relation1125` 及 `utils.py` 会对节点属性做数值运算（如欧氏距离、安全等级差、历史成功率平均），若字段为 `None` 会触发 `NoneType` 运算错误。因此在写入 `nodes.json` 前，对每条节点做最终净化，确保参与运算的字段**永不为 `None`**：

| 净化项 | 处理方式 |
|--------|----------|
| `spatial.position` | 必须为 `[float, float]`，含 `None`/`NaN` 的元素替换为 `0.0` |
| `spatial.effective_radius` | 若为 `None`，设为 `1.0` |
| `temporal.*` | `time_window` 缺省 `24.0`，其余缺省 `1.0` |
| `security_level` | 若为 `None` 或越界，设为 `3`（1–5 范围） |
| `history_success` | 若为 `None`，设为 `0.8`（0–1 范围） |

该步骤在 `attribute_schema.sanitize_node_for_relation_calc()` 中实现，由 `cleaner` 在写入前对每个节点调用。

### 输出字段说明

**nodes.json 完全对齐 xlsx 规范**，不保留原始其他字段。每条记录仅包含：

| 字段 | 类型 | 说明 |
|------|------|------|
| `TARGET_ID` | 字符串 | 节点唯一标识（三元组 head/tail 引用所需） |
| `function_vector` | 字典 | 7 维功能能力 [0,1] |
| `spatial` | 字典 | 空间位置与有效半径 |
| `temporal` | 字典 | 时间相关属性 |
| `performance` | 字典 | 核心性能、生存能力、MTBF |
| `protocol_list` | 列表 | 支持协议（字符串列表） |
| `format_list` | 列表 | 支持格式（字符串列表） |
| `interface_list` | 列表 | 支持接口（字符串列表） |
| `security_level` | 整数 | 安全等级 [1,5]，缺省 3（关系计算用） |
| `org_unit` | 字符串/null | 组织隶属 |
| `nation` | 字符串/null | 国家代码 |
| `history_success` | 浮点数 | 历史成功率 [0,1]，缺省 0.8（关系计算用） |

**nodes.json 整体结构**：`{ "nodes": { "TARGET_ID": {...}, ... }, "global_params": { "mtbf_max": number } }`，兼容 main_227 / f_relation1125 关系计算。

**单条节点记录示例：**

```json
{
  "TARGET_ID": "FS-俄-情报侦-132",
  "function_vector": {
    "f_IC": 0.9273, "f_IA": 0.7896, "f_CS": 0.2584, "f_IT": 0.5187,
    "f_DP": 0.9148, "f_CPS": 0.5619, "f_CC": 0.7822
  },
  "spatial": { "position": [79.36, 52.11], "effective_radius": 94.96 },
  "temporal": { "response_time": 23.3891, "cycle_time": 3.7, "data_age": 1.48, "time_window": 3.7 },
  "performance": { "core_performance": 0.9831, "survivability": 0.4094, "mtbf": 0.7202 },
  "protocol_list": [], "format_list": [], "interface_list": [],
  "security_level": 3, "org_unit": "师级", "nation": "俄", "history_success": 0.8
}
```

---

## 属性对齐与字段转换（1125 规范）

依据 `1125暂时属性需求(1).xlsx`，对每条记录做 **内容与格式的双重对齐**：

- **格式校验**：各字段类型与结构（dict/list/scalar）
- **内容校验**：取值范围（如 [0,1]、[1,5]）
- **转换**：原始扁平字段 → 规范 schema

清洗报告中 `details.attribute_alignment` 记录格式/内容错误统计及示例。

### 原始字段 → 目标 Schema 映射

#### function_vector（功能向量）

每个维度取 [0,1] 浮点数，从原始能力字段推导：

| 目标维度 | 原始字段（按优先级） | 转换方式 |
|----------|----------------------|----------|
| f_IC 情报收集 | DETECTION_ACCURACY, TARGET_RECOGNITION_CAPABILITY | 取第一个有效值，clamp 到 [0,1] |
| f_IA 信息分析 | INFORMATION_FUSION_CAPABILITY, DETECTION_ACCURACY | 同上 |
| f_CS 协同作战 | MOBILITY, ENVIRONMENT_ADAPTABILITY | 同上 |
| f_IT 信息传输 | ANTI_JAMMING_CAPABILITY | 同上 |
| f_DP 数据处理 | PROCESSING_CAPACITY, INFORMATION_FUSION_CAPABILITY | **固定参考值**：见下表 |
| f_CPS 指挥控制 | DECISION_RESPONSE_TIME | **固定参考值**：见下表 |
| f_CC 综合保障 | SUPPORT_CAPACITY, LOAD_CAPACITY | **固定参考值**：见下表 |

**固定参考值转换公式**（原始值不在 [0,1] 时使用）：

| 维度 | 公式 | 参数说明 |
|------|------|----------|
| **f_CPS** | `1 / (1 + t/30)` | t = 响应时间（秒），响应越快能力越高 |
| **f_DP** | `log10(1+PC) / log10(10001)` | PC = PROCESSING_CAPACITY；无则用 INFORMATION_FUSION_CAPABILITY clamp [0,1] |
| **f_CC** | `0.6×support_norm + 0.4×load_norm` | support_norm = log10(1+SUPPORT)/log10(10001)，load_norm = LOAD/100；仅一个有时取该值 |

#### spatial（空间属性）

| 目标字段 | 原始字段（按优先级） | 转换 |
|----------|----------------------|------|
| position | `position`（列表 [x,y]）、`X`/`x`+`Y`/`y`、`POSITION_X`/`POSITION_Y`、`LONGITUDE`/`LATITUDE` | `[round(x,2), round(y,2)]`，`None`/`NaN` 替为 `0.0`，兼容达梦多种列名 |
| effective_radius | COMMUNICATION_RANGE | 原值保留 4 位小数，缺省 `1.0` |

#### temporal（时间属性）

| 目标字段 | 原始字段 | 转换 |
|----------|----------|------|
| response_time | DECISION_RESPONSE_TIME | 原值 |
| cycle_time | REFRESH_RATE | 原值 |
| data_age | TRANSMISSION_DELAY | 原值（近似数据新鲜度） |
| time_window | REFRESH_RATE | 原值 |

#### performance（性能属性）

| 目标字段 | 原始字段（按优先级） | 转换 |
|----------|----------------------|------|
| core_performance | STRIKE_ACCURACY, DETECTION_ACCURACY, MOBILITY | 取第一个有效值，clamp [0,1] |
| survivability | ENVIRONMENT_ADAPTABILITY, ANTI_JAMMING_CAPABILITY | 同上 |
| mtbf | RELIABILITY, SYSTEM_RELIABILITY | 取第一个有效值 |

#### 其他标量字段

| 目标字段 | 原始字段 | 转换 |
|----------|----------|------|
| protocol_list | PROTOCOL | 字符串→列表，空则 `[]` |
| format_list | FORMAT | 同上 |
| interface_list | INTERFACE | 同上 |
| security_level | security_level, SECURITY_LEVEL | 整数 [1,5]，缺省 `3`（避免关系计算时 `None` 运算错误） |
| org_unit | LEVEL, ROLE_ID | 取第一个非空字符串 |
| nation | COUNTRY_REGION | 原值 |
| history_success | history_success, HISTORY_SUCCESS | clamp [0,1]，缺省 `0.8`（同上） |

### 缺失与空值

- 无可映射原始值时，多数目标字段为 `null`（列表型为 `[]`）
- `security_level`、`history_success`、`spatial.position` 等参与关系运算的字段**永不为 `null`**：缺省分别为 `3`、`0.8`、`[0,0]`，并在「关系计算前净化」阶段再次保证
- 可选字段（如 `org_unit`、`nation`）缺失不影响记录通过校验