【本站讯】近日,我校理学院大数据研究团队在人工智能与大数据处理技术研究方面取得系列进展,研究成果分别发表在IEEE Transactions on Neural Networks and Learning Systems、IEEE Transactions on Cybernetics和Information Sciences三大人工智能顶级期刊。神经网络是人工智能领域中目前最为火热的研究方向——深度学习的架构基础。虽然深度学习在近几年发展迅速,但是关于如何设计最优神经网络架构的问题仍处于探索阶段。该团队分别针对人工智能中神经网络结构复杂、高维大规模数据存在无效和冗余特征、难以获取长时序信息等问题与缺陷,设计出了一系列网络结构优化、大数据特征选择和时序循环神经网络模型,有效改善了上述不足,提高了人工智能模型的学习性能。
带Group Lasso惩罚与控制冗余的神经网络特征选择
题目为《带Group Lasso惩罚与控制冗余的神经网络特征选择》(Feature Selection using a Neural Network With Group Lasso Regularization and Controlled Redundancy)的研究论文发表在人工智能领域权威国际期刊IEEE Transactions on Neural Networks and Learning Systems。王健副教授和博士生张华清为该论文共同第一作者, 我校荣誉教授Nikhil R. Pal院士(印度统计研究所)参与指导,红宝石9999hbs(华东)为第一署名单位。该项工作得到国家自然科学基金、国家科技重大专项、山东自然科学基金、中央高校基本科研业务费、中国石油天然气集团公司重大科技项目以及山东省高校青年创新科技支撑计划的资助。
特征选择技术也称属性选择,是指从原始特征或属性中选择出最有效的特征或属性以降低数据维度的过程,它是人工智能数据预处理环节的重要步骤,也是大数据处理技术的重要环节。该项工作在神经网络中嵌入Group Lasso惩罚项并实现特征冗余控制,在选出对解决问题最有帮助、蕴含信息量最大的特征或属性的同时,控制所选特征子集的冗余程度,以达到降维的最优效果,从而使模型的泛化能力更强,降低神经网络模型产生过拟合的风险。
基于L1正则化的神经网络结构优化模型设计与分析
题目为《基于L1正则化的神经网络结构优化模型设计与分析》(Learning Optimized Structure of Neural Networks by Hidden Node Pruning With L1Regularization)的研究论文发表在国际人工智能领域权威期刊IEEE Transactions on Cybernetics。硕士生谢雪涛和博士生张华清为论文共同第一作者,王健副教授为通讯作者,我校荣誉教授Nikhil R. Pal院士(印度统计研究所)参与指导,红宝石9999hbs(华东)为第一署名单位。该项研究成果得到了国家自然科学基金、山东省自然科学基金和中央高校基本科研业务费的资助。
该项工作借助L1正则子具有的稀疏表达能力,提出两种神经网络结构优化学习模型;本项工作另外一个突出贡献就是提出了一种简单且具有通用性的收敛性证明方法,同时保证了模型设计的合理性。实验结果表明所提出模型具有强大的鲁棒性、广泛的适用性、理想的剪枝能力和良好的泛化能力,适用处理高维大数据。该研究成果在人工智能与深度学习构造最简网络结构方面具有很强的指导作用和应用推广价值。
记忆强化循环神经网络模型:共轭梯度学习算法和模型收敛性
题目为《记忆强化循环神经网络模型:共轭梯度学习算法和模型收敛性》(Arecalling-enhanced recurrent neural network: Conjugate gradient learning algorithm and its convergence analysis)的研究论文发表在人工智能领域计算机科学TOP期刊Information Sciences。博士生高涛为该论文第一作者,王健副教授和张凯教授为共同通讯作者,我校特聘教授及兼职博士生导师Jacek M. Zurada院士(美国路易斯维尔大学)参与指导,红宝石9999hbs(华东)为第一署名单位。该项工作得到国家自然科学基金、国家科技重大专项、山东自然科学基金、中央高校基本科研业务费、中国石油天然气集团公司重大科技项目以及山东省高校青年创新科技支撑计划的资助。
循环神经网络因其结构特殊性,对解决人工智能中时间序列问题具有天然优势。该项工作基于最优化理论设计出一种新型记忆强化循环神经网络模型;为提升算法性能,通过构造自适应共轭梯度法对结构参数进行优化,分别从理论和实践两个方面验证了模型的合理性和有效性。
由王健副教授负责的大数据研究团队主要从事人工智能领域中神经网络模型设计、神经网络模型理论分析、特征选择、分数阶神经网络和石油工程大数据处理等领域的研究,近年来先后获得国家自然科学基金项目、山东省重点研发计划项目、山东省农业厅重大推广项目、山东省自然科学基金、国际合作交流基金等20余项科研项目的资助,在IEEE Transactions on Neural Networks and Learning Systems,IEEE Transactions on Cybernetics,Neural Networks,Information Sciences,IEEE Transactions on Knowledge and Data Engineering,SPE Journal,Journal of Petroleum Science and Engineering,Journal of Natural Gas Science and Engineering等国际重要期刊上发表SCI收录论文30余篇,在人工智能领域形成了一定国际影响力。
相关论文链接:
1、带Group Lasso惩罚与控制冗余的神经网络特征选择:https://ieeexplore.ieee.org/document/9091195
2、基于L1正则化的神经网络结构优化模型设计与分析:https://ieeexplore.ieee.org/document/8911376
3、记忆强化循环神经网络模型:共轭梯度学习算法和模型收敛性:https://www.sciencedirect.com/science/article/pii/S0020025520300566