南科大讲堂 | 周孟初教授分享推动知识蒸馏技术发展的多学科方法
2025年3月19日下午,应南方科技大学电子与电气工程系讲席教授、系主任孟庆虎院士邀请,美国新泽西理工学院杰出教授周孟初做客第396期南科大讲堂,为广大师生带来了题为“推动知识蒸馏技术发展的多学科方法”的学术报告。
在报告中,周孟初教授深入浅出地剖析了知识蒸馏技术在人工智能领域的关键作用与面临的挑战。他表示,现有的知识蒸馏研究多集中于以教师网络为中心的方法,即先根据教师网络自身标准训练,再向学生网络传递知识。然而,由于教师网络和学生网络结构差异,前者所学知识可能不完全契合后者需求。基于此,周孟初团队受自动控制理论和模糊逻辑概念启发,提出一种以学生为中心的蒸馏(SCD)方法,使教师网络能依学生网络实际需求调整知识传递。为使学生网络更好地学习,周孟初团队引入并改进了控制系统领域的比例-积分-微分(PID)算法,能精准识别知识点,有效解决知识不足、困难样本学习和知识遗忘等问题。
在互动环节,现场师生与周孟初教授展开了热烈的讨论与交流,就多学科方法在知识蒸馏技术中的应用、相关技术和难点提出问题。展望未来,周孟初教授鼓励同学们永不止步,探索多学科交叉与现代工程技术结合的无限可能。