南湖新闻网讯(通讯员 李伟夫)近日,我校理学院人工智能与统计学习团队以“Gradient Learning With the Mode-Induced Loss: Consistency Analysis and Applications” 为题,在人工智能期刊IEEE Transactions on Neural Networks and Learning Systems(IEEE TNNLS)发表研究论文。文章结合梯度学习(GL)和众数回归提出了一类新的稳健梯度学习模型,建立了该模型的泛化性能分析和经验评价,为复杂噪声数据的稳健估计和变量选择提供了新方法。
由于计算可行性和结果可解释性的需求,与高维数据相关的变量选择问题受到统计学和机器学习领域学者的广泛关注。基于泰勒展开和再生核Hilbert空间性质的梯度学习作为一种表示灵活的学习范式,其往往拥有严格逼近理论基础,并在回归、分类和变量选择等任务中显示了良好的性能。 然而,当前梯度学习模型大多以学习条件均值为目标来构造优化算法,在处理非高斯噪声数据时会出现性能的退化。针对该问题,研究者在结构风险最小化框架下融合众数诱导的误差度量、数据依赖的假设空间和稀疏正则来设计新型梯度学习模型,以提升梯度学习应用的稳健性和适应性。
为了评估模型的合理性,该论文在理论上利用基于Rademacher复杂度的集中估计技术给出了模型泛化误差的上界刻画和保障变量选择一致性的充分条件,在应用上通过模拟和真实数据实验从可解释性、稳健性等多角度验证了建模的竞争性。
该研究是团队前期众数误差度量下机器学习理论与算法研究系列工作(X. Wang et al., NIPS, 2017;Y. Wang et al., NeurIPS, 2020; Y. Wang et al., IEEE TCYB, 2020; H. Chen et al., IEEE TNNLS, 2021; Y. Wang et al., ICLR 2022, Gong et al., AAAI, 2022)的进一步的拓展,得到了国家自然科学基金面上项目等的资助。
我校理学院陈洪教授为论文第一作者,李伟夫副教授为通讯作者,硕士生付友成、南方科技大学郑锋研究员、澳门大学周怡聪教授等参与了该研究工作。
论文链接:https://ieeexplore.ieee.org/document/10021308/
审核人:石峰