# data-training

**Repository Path**: Uni-Create-Link/data-training

## Basic Information

- **Project Name**: data-training
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-22
- **Last Updated**: 2026-05-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# SynSight 融合训练说明

## 1. 边界定义

### 训练代码

当前目录 `D:\360MoveData\Users\23793\Desktop\ican\SHU_JU_BIAO_ZHU\` 下的以下内容都属于训练侧：

- `train_fusion.py`
- `replay_fusion.py`
- `training/`
- `training_datasets/`
- `QUAN_LIANG_CUN/`
- `artifacts/fusion/`

这些代码只面向：

- 标注数据
- 清洗后的训练集
- 缓存特征
- 离线评估
- 实验产物

### 离线回放

`replay_fusion.py` 是**离线预测回放脚本**：

- 输入来自 `training_datasets/fusion/*.json`
- 依赖已缓存的 feature cache
- 用于在评估集样本上回放模型输出
- 可拼出前端风格 JSON 供观察结果

它**不是**新视频生产推理脚本。

### 生产推理

`D:\360MoveData\Users\23793\Desktop\ican\开发\backend\` 仍然是生产推理引擎工程。

当前这套训练代码：

- **没有接入** `task_runner.py`
- **没有完成**真实生产新视频推理链路
- **没有声明**可直接用于在线任务调度

`training/inference_formatter.py` 也只是训练侧回放/评估辅助，不代表 backend 生产结果组装层已完成。

## 2. 8GB VRAM 内的推荐方案

- **视频编码器**：`openai/clip-vit-base-patch32`，全冻结，离线抽取窗口特征。
- **音频编码器**：`openai/whisper-small` encoder，冻结后供融合训练使用。
- **文本编码器**：`BAAI/bge-small-zh-v1.5`，冻结。
- **融合主干**：3 路投影层 + 轻量 Transformer encoder + 任务门控头。
- **训练显存目标**：默认 `batch_size=8`；若 RTX 4060 Laptop 8GB OOM，可降到 `4`。

## 3. 训练入口

### 3.1 先抽缓存

```powershell
python train_fusion.py --prepare-cache-only --amp
```

### 3.2 训练

```powershell
python train_fusion.py --prepare-cache --amp --batch-size 8 --grad-accum-steps 4
```

默认训练产物目录：

`D:\360MoveData\Users\23793\Desktop\ican\SHU_JU_BIAO_ZHU\artifacts\fusion\`

主要产物：

- `feature_cache/`
- `runs/baseline/best_model.pt`
- `runs/baseline/history.json`
- `runs/baseline/test_metrics.json`

## 4. 离线回放入口

```powershell
python replay_fusion.py `
  --checkpoint D:\360MoveData\Users\23793\Desktop\ican\SHU_JU_BIAO_ZHU\artifacts\fusion\runs\baseline\best_model.pt `
  --cache-dir D:\360MoveData\Users\23793\Desktop\ican\SHU_JU_BIAO_ZHU\artifacts\fusion\feature_cache `
  --video-id vid-0431
```

该脚本输出的是**离线回放结果 JSON**，用于查看：

- `identity / topic / opinionRisk / action`
- `timelineData`
- `windowPredictions`
- `modalityFusion`

不代表 backend 生产推理链路已完成。