first commit

presentation_script.md

@@ -0,0 +1,593 @@
+# CIFAR-10图像分类模型横向测评 - 演讲稿
+
+**演讲者**: 李博睿 (55230422)
+**时长**: 约15-20分钟
+**场合**: 计算智能课程技术报告
+
+---
+
+## 【第1页 - 封面】
+
+大家好！我是李博睿，学号55230422。
+
+今天我要向大家汇报的题目是《CIFAR-10图像分类模型横向测评》。
+
+在这次研究中，我对比了四种不同的深度学习模型在图像分类任务上的表现，包括经典的CNN、现代的ResNet-18，以及两种加入了注意力机制的ResNet变体。
+
+那么，让我们开始今天的汇报。
+
+---
+
+## 【第2页 - 目录】
+
+今天的汇报主要分为五个部分：
+
+首先，我会介绍**研究背景与动机**，说明为什么要做这个对比实验；
+
+第二部分，我会详细讲解**四个模型的架构**，包括它们的设计原理和关键特点；
+
+第三部分，我会**展示实验结果**，这是我们最关心的部分；
+
+第四部分，我会**深入分析这些结果**，解释为什么会出现这样的现象；
+
+最后，我会进行**反思**，指出实验中存在的问题，并提出改进方向。
+
+---
+
+## 【第3页 - 研究背景】
+
+### CIFAR-10数据集
+
+首先来看研究背景。
+
+我选择的数据集是**CIFAR-10**，这是计算机视觉领域一个非常经典的基准数据集。
+
+它包含**6万张32×32的彩色图像**，分为10个类别：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。
+
+其中5万张用于训练，1万张用于测试。
+
+虽然图像分辨率不高，只有32×32像素，但正是因为这个"小"，CIFAR-10成为了快速验证和对比不同模型架构的理想选择。
+
+### 研究意义
+
+那么，做这个对比研究有什么意义呢？
+
+**第一**，我想系统地评估不同深度学习架构的性能差异；
+
+**第二**，我特别关注注意力机制在图像分类中的作用——理论上它应该能提升性能，但实际效果如何？
+
+**第三**，这个研究可以为实际应用中的模型选择提供参考依据。
+
+---
+
+## 【第4页 - 研究动机与目标】
+
+### 核心研究问题
+
+具体来说，我想回答四个核心问题：
+
+**第一个问题**：经典的CNN和现代的ResNet，它们的性能差异到底有多大？这个差距值得我们花10倍的参数量吗？
+
+**第二个问题**：ResNet的核心创新——残差连接，它对训练深度网络的帮助是否真的如论文所说那么显著？
+
+**第三个问题**：注意力机制近年来非常火热，CBAM和SE这两种注意力模块能否真正提升ResNet的性能？
+
+**第四个问题**：性能提升和参数增加之间的权衡如何把握？我们是否应该一味追求更复杂的模型？
+
+### 实验模型
+
+为了回答这些问题，我选择了四个模型：
+
+**CNN**：一个3层的卷积神经网络，参数量约1.2M，代表经典的浅层架构；
+
+**ResNet-18**：18层的残差网络，参数量约11M，代表现代深度架构；
+
+**ResNet-18+CBAM**：在ResNet-18基础上加入了通道和空间双重注意力机制；
+
+**ResNet-18+SE**：在ResNet-18基础上加入了轻量级的通道注意力机制。
+
+---
+
+## 【第5页 - 模型1: CNN架构】
+
+现在进入第二部分，模型架构讲解。
+
+### CNN架构
+
+首先看最简单的CNN模型。
+
+它的结构非常直观：输入是3×32×32的RGB图像，经过三个卷积块，最后接两个全连接层，输出10个类别的概率。
+
+**卷积层设计**：三层卷积分别将通道数从3增加到64、128、256。每层后面都接BatchNorm做归一化、ReLU做激活、MaxPool做降维。
+
+**全连接层**：最后将特征图展平成4096维向量，通过一个512维的隐藏层，加了50%的Dropout防止过拟合，最终输出10维。
+
+**特点**：这个模型的优点是**结构简单、参数少、训练快**。但缺点也很明显：**深度受限，表达能力有限**。如果我们简单地增加卷积层的数量，不仅难以训练，性能反而会下降，这就是所谓的"退化问题"。
+
+---
+
+## 【第6页 - 模型2: ResNet-18架构】
+
+### 残差连接原理
+
+ResNet正是为了解决这个"退化问题"而提出的。
+
+它的核心思想是**残差学习**。看这个公式：y = F(x) + x
+
+传统网络学习的是从输入x到输出y的直接映射，而ResNet学习的是**残差**——也就是输入和输出的差值F(x)。
+
+为什么这样设计？因为学习一个**"微小的变化"**，比学习一个**"完整的映射"**要容易得多。
+
+### BasicBlock结构
+
+ResNet-18由多个这样的BasicBlock堆叠而成。每个Block包含两个3×3卷积，关键是这条**红色的shortcut连接**——它直接把输入加到输出上。
+
+整个网络分为4个Layer，每个Layer包含2个BasicBlock，总共18层。
+
+### 核心优势
+
+ResNet的核心优势就是**解决了梯度消失问题**。
+
+因为有shortcut的存在，梯度可以直接从输出反向传播到输入，不会在深层网络中"消失"。这使得训练几百层的深度网络成为可能。
+
+---
+
+## 【第7页 - 模型3: ResNet-18+CBAM】
+
+### CBAM注意力机制
+
+第三个模型在ResNet-18基础上加入了CBAM——Convolutional Block Attention Module。
+
+CBAM的核心理念是让模型学会两件事：**"关注什么"**和**"关注哪里"**。
+
+### 通道注意力
+
+**通道注意力**回答"关注什么"。
+
+它通过全局平均池化和最大池化，把每个通道压缩成一个数值，然后用一个共享的MLP学习每个通道的重要性权重。
+
+比如，对于识别"猫"这个任务，纹理特征的通道可能更重要，而对于识别"飞机"，形状特征的通道更重要。
+
+### 空间注意力
+
+**空间注意力**回答"关注哪里"。
+
+它在特征图的每个空间位置生成一个权重，告诉模型应该关注图像的哪个区域。
+
+比如识别猫的时候，应该更关注脸部和耳朵，而不是背景。
+
+### 参数代价
+
+CBAM的一个优点是**非常轻量**。它只增加了约0.2M参数，相对于ResNet-18的11M，仅增加了1.8%。
+
+理论上，这么小的代价应该能带来可观的性能提升。但实际效果如何呢？我们等会看结果。
+
+---
+
+## 【第8页 - 模型4: ResNet-18+SE】
+
+### SE注意力机制
+
+第四个模型加入的是SE模块——Squeeze-and-Excitation。
+
+SE比CBAM更简单，它只做通道注意力，不做空间注意力。
+
+### 三步操作
+
+SE的工作流程分为三步：
+
+**第一步，Squeeze（压缩）**：用全局平均池化把每个通道压缩成一个标量。这个操作捕获了整个通道的全局信息。
+
+**第二步，Excitation（激励）**：通过两层全连接网络学习通道间的依赖关系。第一层降维，第二层升维，最后用Sigmoid激活得到0到1之间的权重。
+
+**第三步，Scale（缩放）**：把学到的权重乘回原来的特征图，实现通道级的重标定。
+
+### 效率优势
+
+SE的参数更少，只增加约0.1M，相对ResNet-18仅增加0.9%。
+
+所以，从参数效率角度看，SE比CBAM更轻量。
+
+---
+
+## 【第9页 - 实验结果展示】
+
+好，现在我们进入最关键的部分——实验结果。
+
+### 图表说明
+
+大家看这张图，它包含三个子图：
+
+**左图**是**训练准确率曲线**。横轴是训练轮数（epoch），纵轴是准确率。我们可以看到四条不同颜色的曲线代表四个模型。
+
+橙色的ResNet-18上升最快，最终达到约85%；绿色和红色的CBAM和SE在75-78%左右；蓝色的CNN最慢，只有约68%。
+
+**中图**是**训练损失曲线**。同样是四条曲线，但这次是越低越好。ResNet-18（橙色）下降到约0.5，表现最好；其他模型在0.7-0.95之间。
+
+**右图**是**测试准确率的柱状图**。这是最终的性能指标，也是我们最关心的。
+
+ResNet-18最高，达到80.68%；ResNet-18+SE是74.06%；ResNet-18+CBAM是73.56%；CNN最低，71.95%。
+
+红色虚线是平均值75.06%。
+
+### 初步观察
+
+从这张图，我们可以得出几个初步观察：
+
+**第一**，ResNet-18在所有指标上都表现最好；
+
+**第二**，令人意外的是，加了注意力机制的模型反而不如基础的ResNet-18；
+
+**第三**，所有模型的准确率都不算太高，最好的也只有80%多一点。
+
+为什么会这样？我们接下来详细分析。
+
+---
+
+## 【第10页 - 测试准确率对比分析】
+
+### 数据对比
+
+首先看这个详细的对比表格。
+
+**CNN**：1.2M参数，测试准确率71.95%，作为基线；
+
+**ResNet-18**：11M参数，80.68%，相比CNN提升了8.73个百分点；
+
+**ResNet-18+CBAM**：11.2M参数，73.56%，只比CNN高1.61个百分点；
+
+**ResNet-18+SE**：11.1M参数，74.06%，提升2.11个百分点。
+
+平均准确率是75.06%。
+
+### 关键发现
+
+这里有三个关键发现：
+
+**第一个发现**：ResNet-18显著优于CNN。8.73个百分点的提升非常可观，证明了残差连接和深度网络的价值。
+
+**第二个发现**，也是最意外的：**注意力机制的提升远不如预期**。
+
+理论上，CBAM和SE应该进一步提升ResNet的性能，但实际上它们不仅没有提升，反而表现更差。CBAM甚至比基础的CNN都低！
+
+**第三个发现**：所有模型的绝对准确率都不高。即使是最好的ResNet-18，也只有80.68%，离CIFAR-10的sota（95%+）还有很大差距。
+
+### 原因分析
+
+为什么会这样？我分析有几个可能的原因：
+
+**第一**，训练不充分。我只训练了50个epoch，从曲线看，准确率还在上升，损失还在下降，说明没有收敛。
+
+**第二**，学习率可能设置不当。注意力机制可能需要不同的学习率策略。
+
+**第三**，数据增强不足。标准的RandomCrop和RandomFlip可能不够。
+
+**第四**，对于CIFAR-10这种32×32的小图像，空间注意力可能难以发挥作用。
+
+---
+
+## 【第11页 - 训练过程分析】
+
+让我们更细致地分析训练过程。
+
+### 训练准确率特征
+
+左边这个block看训练准确率的特征：
+
+**CNN**收敛最慢，50个epoch后才到68%左右；
+
+**ResNet-18**收敛最快，而且最稳定，达到了85%；
+
+**加了注意力的两个模型**介于两者之间，75-78%。
+
+但这里有个**异常现象**需要注意：ResNet-18的训练准确率是85%，但测试准确率只有80.68%，差了4个多百分点。这个gap比其他模型都大，说明**ResNet-18可能存在过拟合**。
+
+### 训练损失特征
+
+右边看训练损失：
+
+所有模型在初期都快速下降，这是正常的；
+
+ResNet-18下降到约0.5就稳定了；
+
+其他模型在0.7-0.95之间波动。
+
+损失曲线都比较平滑，说明训练过程是稳定的。
+
+### 收敛性分析
+
+总体来说，**ResNet架构的梯度流动确实更好**，这从它更快的收敛速度就能看出来。
+
+但是，快速收敛不等于最终性能一定最好，还要看是否过拟合。
+
+---
+
+## 【第12页 - 性能-复杂度权衡】
+
+接下来我们从另一个角度看问题：性能和复杂度的权衡。
+
+### 参数效率
+
+我定义了一个简单的指标：**参数效率 = 准确率 / 参数量**。
+
+这个指标越高，说明每个参数的"性价比"越高。
+
+### 数据对比
+
+看这个表格：
+
+CNN的效率是59.96，最高，因为它参数最少；
+
+ResNet-18是7.33；
+
+加了注意力的两个模型是6.57和6.67。
+
+虽然CNN的效率最高，但它的绝对准确率太低了，只有72%，实用价值有限。
+
+### 权衡建议
+
+如果让我给出建议：
+
+**如果资源充足，追求最高准确率**，选ResNet-18。虽然它有11M参数，但80.68%的准确率在这四个模型中是最高的。
+
+**如果资源非常受限**，比如要部署到嵌入式设备，那可能不得不选CNN，虽然准确率低一些。
+
+**如果想要平衡**，ResNet-18+SE可能是个折中选择——它比基础ResNet只多了0.1M参数，准确率虽然低了一些，但参数效率还不错。
+
+但说实话，在当前的训练设置下，这些结论都是初步的，需要更充分的训练来验证。
+
+---
+
+## 【第13页 - 实验中的问题】
+
+现在进入第五部分：反思与改进。
+
+作为一个严谨的研究，我必须承认，这次实验存在一些问题。
+
+### 训练不充分
+
+**最大的问题就是训练不充分**。
+
+我只训练了50个epoch，这对于CIFAR-10来说远远不够。标准做法是训练200个epoch甚至更多。
+
+从曲线可以看出，准确率还在稳步上升，损失还在下降，说明模型还有学习空间。
+
+如果继续训练，我相信准确率还能进一步提升，可能会达到90%甚至更高。
+
+### 注意力机制未发挥作用
+
+**第二个问题是注意力机制没有发挥预期作用**。
+
+CBAM和SE不仅没有提升性能，反而比基础ResNet表现更差。这绝对不正常。
+
+我分析有几个可能的原因：
+
+**原因一**：训练不充分。注意力模块的参数需要更多的迭代才能学到有效的权重；
+
+**原因二**：学习率设置可能不合适。注意力模块可能需要不同的学习率或者warmup策略；
+
+**原因三**：初始化方法可能有问题。注意力权重的初始化很关键；
+
+**原因四**：CIFAR-10的图像太小了，只有32×32像素。对于这么小的图像，空间注意力可能没有太多发挥空间。如果换成ImageNet那种224×224的图像，效果可能会好很多。
+
+### 测试准确率偏低
+
+**第三个问题是整体准确率偏低**。
+
+即使是最好的ResNet-18，80.68%的准确率也远低于文献中报告的95%+。
+
+这再次说明我的训练策略需要大幅优化。
+
+---
+
+## 【第14页 - 改进方向】
+
+既然发现了这些问题，那么改进方向就很明确了。
+
+### 1. 训练策略优化
+
+**第一组改进是关于训练策略的**：
+
+最重要的是**把epochs增加到200**，这是标准做法；
+
+使用**学习率调度**，比如MultiStepLR，在第60、120、160个epoch降低学习率；
+
+添加**学习率预热**，在前5个epoch让学习率逐步增加到设定值；
+
+使用**更强的数据增强**，比如RandomCrop、CutMix、MixUp等。这些技术已经被证明能显著提升性能。
+
+### 2. 超参数调整
+
+**第二组改进是超参数调整**：
+
+当前的初始学习率是0.1，可能偏大了，我会尝试降低到0.05；
+
+Batch Size 128是合理的，可以保持；
+
+但我会增加Weight Decay来加强正则化，防止过拟合。
+
+### 3. 模型架构改进
+
+**第三组改进是模型架构方面**：
+
+可以尝试更深的ResNet，比如ResNet-34或ResNet-50；
+
+调整CBAM的位置——也许不应该在每个Block后都加，而是只在关键位置加；
+
+尝试其他注意力机制，比如最近很火的ECA-Net；
+
+增加Dropout或者DropBlock来防止过拟合。
+
+---
+
+## 【第15页 - 未来工作展望】
+
+### 短期改进
+
+在**1-2周内**，我计划：
+
+**首先**，重新训练所有模型，把epochs增加到200；
+
+**其次**，优化学习率调度和数据增强策略；
+
+**第三**，详细记录训练过程中的每一个指标，包括训练loss、验证loss、学习率变化等；
+
+**最后**，绘制更完整的可视化，包括训练曲线、混淆矩阵、每个类别的准确率等。
+
+### 中期探索
+
+在**1个月的时间范围内**，我会：
+
+**第一**，实现更多注意力机制的变体，做更系统的对比；
+
+**第二**，尝试Transformer架构，比如Vision Transformer，看看它在CIFAR-10上的表现；
+
+**第三**，做详细的消融实验，分析每个组件的贡献；
+
+**第四**，把实验扩展到CIFAR-100或者其他数据集，验证结论的普适性。
+
+### 长期目标
+
+从长期来看，我对一些前沿方向很感兴趣：
+
+比如**神经架构搜索**，让算法自动找最优的网络结构；
+
+比如**知识蒸馏**，把大模型的知识迁移到小模型；
+
+比如**半监督学习**，利用未标注的数据提升性能。
+
+---
+
+## 【第16页 - 核心结论】
+
+现在让我总结一下本次研究的核心结论。
+
+### 主要发现
+
+**第一个发现**：ResNet-18在测试集上表现最优，达到80.68%，显著优于CNN的71.95%。这验证了残差连接和深度网络的价值。
+
+**第二个发现**：残差连接确实至关重要。它不仅让深层网络能够训练，而且收敛速度更快，性能更好。
+
+**第三个发现**：在当前的训练设置下，注意力机制没有充分发挥作用。CBAM和SE的表现甚至不如基础ResNet。但这不代表注意力机制无效，更可能是训练策略需要优化。
+
+**第四个发现**：50个epoch的训练远远不够。从曲线可以看出，模型还有很大的提升空间。
+
+### 经验总结
+
+从这次实验中，我总结了几条重要经验：
+
+**第一**，深度学习需要**充分的训练时间**。50个epoch可能在某些任务上够了，但对于从零开始训练的CIFAR-10，200个epoch才是起点。
+
+**第二**，**超参数调优和数据增强至关重要**。同样的模型，不同的训练策略可能差距很大。
+
+**第三**，注意力机制不是万能的，它需要**合适的训练策略**才能发挥作用。盲目加上去不一定有效。
+
+**第四**，**实验设计要系统化、可重复**。要详细记录每个细节，这样才能从失败中学到东西。
+
+### 下一步
+
+基于这些发现，我的下一步计划是：**增加训练轮数到200，优化超参数，然后重新评估各模型的性能**。
+
+我相信，经过这些改进，注意力机制应该能展现出它应有的价值。
+
+---
+
+## 【第17页 - 致谢页】
+
+好，我的汇报到这里就结束了。
+
+最后这一页列出了我的项目代码和相关文档：
+
+所有代码都在**run_all.py**这个脚本里，可以一键运行所有实验；
+
+实验结果就是刚才展示的**100.png**；
+
+详细的分析和讨论写在了**REPORT.md**这个报告文件里。
+
+现在，
+
+# 谢谢大家的聆听！
+
+# 欢迎提问！
+
+---
+
+## 【Q&A环节 - 可能的问题及回答】
+
+### Q1: 为什么只训练50个epoch？
+
+**A**: 这其实是我这次实验的一个失误。一开始我以为50个epoch足够了，但实际运行后发现，曲线还在上升，显然没有收敛。正常的CIFAR-10实验应该训练200个epoch以上。这也是为什么我在"反思与改进"部分专门指出了这个问题。下一步我会重新训练更多轮次。
+
+### Q2: 为什么ResNet-18比加了注意力的模型还要好？
+
+**A**: 这确实是个意外的结果。我分析有几个原因：首先，训练不充分，注意力模块的参数还没有学到有效的权重；其次，可能学习率或初始化设置不适合注意力机制；第三，CIFAR-10图像太小（32×32），空间注意力可能没有足够的发挥空间。在更大的图像上，比如ImageNet，CBAM通常能带来1-2%的提升。
+
+### Q3: 你觉得哪个模型最实用？
+
+**A**: 这要看应用场景。如果是在服务器端，GPU资源充足，我会选ResNet-18，因为它准确率最高。如果是在移动端或嵌入式设备上，资源受限，可能不得不选CNN或者更轻量的MobileNet。ResNet-18+SE是个折中选择——只增加0.1M参数，在优化训练后应该能有不错的性能。
+
+### Q4: 下一步打算做什么改进？
+
+**A**: 最紧迫的是重新训练，把epochs增加到200，并优化学习率调度和数据增强。我还想尝试更多的注意力机制变体，比如ECA-Net、Coordinate Attention等。长远来看，我对Transformer架构很感兴趣，想看看ViT在CIFAR-10上能达到什么水平。
+
+### Q5: 为什么用SGD而不是Adam？
+
+**A**: 这是个很好的问题。在图像分类任务中，SGD+Momentum通常比Adam有更好的泛化性能。虽然Adam收敛更快，但往往会陷入"尖锐的局部最优"，导致测试集表现不如训练集。SGD虽然慢，但能找到"平坦的局部最优"，泛化性更好。很多SOTA的图像分类工作都用SGD。当然，也有人尝试用AdamW（Adam的改进版），效果介于两者之间。
+
+### Q6: 数据增强用了哪些方法？
+
+**A**: 目前只用了最基础的RandomCrop和RandomHorizontalFlip。这显然不够。下一步我打算加入更强的增强方法，比如：
+- CutMix: 把两张图像裁剪后混合
+- MixUp: 把两张图像按比例混合
+- AutoAugment: 自动搜索最优的增强策略
+- RandomErasing: 随机遮挡一部分区域
+
+这些方法已经被证明能显著提升CIFAR-10的性能。
+
+### Q7: 能达到95%以上的准确率吗？
+
+**A**: 理论上可以。CIFAR-10的SOTA（State-of-the-art）准确率已经超过99%了。但要达到95%，需要：
+1. 充分的训练（200+ epochs）
+2. 更深的网络（ResNet-50/101）或更先进的架构（EfficientNet, Transformer）
+3. 强大的数据增强
+4. 精心调优的超参数
+5. 可能还需要一些技巧，比如模型集成、知识蒸馏等
+
+我目前的设置比较基础，所以80%是合理的。通过系统优化，90-95%是可以达到的目标。
+
+### Q8: 这个项目花了多长时间？
+
+**A**: 从代码实现到实验运行，大概花了一周时间。其中：
+- 模型实现：2天
+- 训练脚本和可视化：2天
+- 运行实验：1天（50 epochs还是很快的）
+- 分析结果和准备汇报：2天
+
+如果重新训练200 epochs，可能还需要2-3天。
+
+### Q9: 有遇到什么技术难点吗？
+
+**A**: 主要有两个：
+1. **CBAM的实现**：通道注意力和空间注意力怎么正确地集成到ResNet的BasicBlock中，我参考了原论文和一些开源实现才搞清楚。
+2. **可视化**：怎么把训练过程中的数据保存下来，然后生成漂亮的对比图，这花了不少时间调matplotlib的参数。
+
+整体来说，得益于PyTorch强大的生态，大部分实现都比较顺利。
+
+### Q10: 有什么想对后来者说的？
+
+**A**: 几点建议：
+1. **从小实验开始**：先在小数据集（如CIFAR-10）上验证想法，不要一上来就跑ImageNet。
+2. **重视基础**：把经典模型（CNN、ResNet）吃透，再去追新方法。
+3. **做好记录**：每次实验都要详细记录超参数、结果、遇到的问题。
+4. **勇于试错**：我的注意力机制实验"失败"了，但这本身就是一个重要发现。
+5. **多看论文**：理解为什么这样设计，而不只是调参。
+
+最重要的是：**享受学习的过程**！深度学习既是科学也是艺术。
+
+---
+
+**【演讲结束】**
+
+再次感谢大家的聆听！如果还有问题，欢迎随时交流。
+
+**谢谢！**