# 多模态学习

**Repository Path**: pulind/multimodal-learning

## Basic Information

- **Project Name**: 多模态学习
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-08-07
- **Last Updated**: 2026-08-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Multimodal Learning

视觉 + 大模型（多模态）落地工程师 6 个月学习计划的代码仓库。

配套计划：`知识库/2-areas/AI/多模态大模型学习路径.md`

## 环境

- Python 3.11（uv 管理）
- PyTorch CUDA 版（本机 RTX 2060 6GB）

```bash
# 首次：uv 已自动根据 pyproject.toml 装好依赖
# 加新包：uv add <package>
```

## 目录

- `week1-foundations/` — PyTorch 基础
  - `01-mnist-mlp.py` 从零写 MLP 分类 MNIST（DataLoader/Module/autograd/训练循环）
  - `02-mnist-cnn.py` 换成 CNN，对比准确率（卷积/池化/感受野）

## 运行

```bash
uv run python week1-foundations/01-mnist-mlp.py
uv run python week1-foundations/02-mnist-cnn.py

# 多训几轮
uv run python week1-foundations/01-mnist-mlp.py --epochs 5
```

结果图存到 `week1-foundations/outputs/`，MNIST 数据自动下载到 `week1-foundations/data/`。

## 学习要点对照

| Week 1 概念 | 在代码里的位置 | 后续在哪里出现 |
|------------|--------------|--------------|
| `nn.Module` / `forward` | `class MLP` / `class CNN` | 所有模型，包括 nanoGPT、VLM |
| 训练三连 `zero_grad/backward/step` | `train_one_epoch` | 每个训练循环 |
| `DataLoader` / `Dataset` | `get_dataloaders` | 微调时加载自己的多模态数据 |
| `.to(device)` | 多处 | GPU 训练基础 |
| `@torch.no_grad()` | `evaluate` | 推理/验证时都要加 |
| `CrossEntropyLoss` | `criterion` | 分类任务通用 |