第241章 专业能力是一点没落下(1/2)
“你小子。”
林远桥一眼就看到了安澜,挑了挑眉,用口形说了一句,显然认出了这位“不速之客”。
安澜冲他笑了笑,还做了个开枪的手势,两人心照不宣。
在前年一起备战icpc竞赛的时候,林远桥就总是调侃安澜“纨绔脸,学霸心”,如今看来是一点没变。
林远桥走上讲台,伸手敲了敲白板,用一口流利的华夏腔英语说道:“各位,今天我们讲卷积神经网络的基础架构,相应的知识很关键,别走神啊。”
他故意瞥了一眼安澜的方向,嘴角带着一丝笑意。
安澜靠在椅背上,掏出手机,随手翻了翻消息,看似漫不经心,实则讲台上的内容一个字都没放过。
林远桥对着ppt讲解一阵,又拿起马克笔,转身在白板上画出一个残缺的卷积核矩阵:“刚才讲到残差连接时,有同学注意到googl的inception模块里——”
他突然用笔帽敲了敲黑板边缘,随后看向安澜:“oi,玩手机那个,知道为什么他们要用1x1卷积核做瓶颈层降维吗?”
“帅哥,林助教问你呢……”不少人回过头来,安澜旁边的白人姑娘也轻轻戳了戳安澜的胳膊肘。
她也和其他同学一样,有些好奇为什么助教今天突然问起问题来了。
“啧啧。”安澜慢悠悠抬起头,指尖还停留在手机屏幕的tiktok界面,嘴上却毫不犹豫地开口回答:“因为要压缩通道数的同时保留空间特征。”
他晃了晃手机:“比如原始输入是256通道的3x3特征图,先用1x1卷积核降到64通道,计算量从256x3x3x256骤降到256x1x1x64,再通过64通道的3x3卷积处理,整体flops能减少大概80%。”
他顿了顿,目光扫过林远桥故意写在黑板角落的公式:“不过你这个例子里的分组卷积参数设置有点问题,最后一层的relu激活函数放在了拼接操作之后,会导致梯度消失的风险。”
“啥?”教室里响起几声倒吸冷气的声音,前排几个学生慌忙掏出笔记本。
林远桥挑眉,粉笔在黑板上敲出哒哒轻响:“哟,那你说说怎么改?”
安澜把手机倒扣在桌上,伸手指了指白板:“应该把relu放在每个分支的卷积层之后、拼接之前。”
他站起身,走到白板前拿起马克笔:“就像这样——”
笔尖流畅地画出三个并行的卷积支路,每个支路都在卷积核后标注了relu激活函数:“这样每个分支的特征图在融合前都经过非线性变换,能提升模型的表达能力。”
他退后两步,指尖点着黑板:“而且你这个inception模块的通道分配比例不对,3x3和5x5卷积的通道数应该遵循1:1.5:2的黄金分割比,否则会出现特征图维度失衡。”
林远桥盯着黑板看了几秒,接着笑出声来:“行啊,那我问你,如果要在边缘设备上部署这个改进版inception模块,怎么平衡计算效率和精度损失?”
安澜扫了眼教室中目不转睛的学生,嘴角微扬:“用深度可分离卷积替换标准卷积,把3x3卷积分解成3x1和1x3的逐通道卷积,再通过通道混洗操作恢复特征关联。”
他拿起马克笔在白板右侧画出新架构图:“同时采用量化感知训练,把权重从fp32压缩到int8,配合动态剪枝策略,能在保持92%以上top-1准确率的前提下,把单次推理的延迟控制在5毫秒以内。”
画完这一切,安澜放下笔,指尖轻轻敲了敲白板上的架构图:“当然了,这是用英伟达h200的情况。如果你们用的是昇腾npu,还可以开启张量分解加速指令集,进一步降低能耗比。”
教室里瞬间安静了一秒,紧接着爆发出一阵惊叹声。
几个学生忍不住交头接耳,有人小声嘀咕:“这也太厉害了吧!”
“他怎么什么都知道。”
本章未完,点击下一页继续阅读。