2023年12月15日,由中科曙光联合国家先进计算产业创新中心、网易伏羲实验室、瑞莱智慧及众多知名校企机构,共同举办的第四届“先导杯”计算应用大奖赛在山西太原落下帷幕,由中国科学院大气物理研究所陶炜晨副研究员率领的“海气模型优化组”团队(王鹏飞正高工担任指导老师),依托于重大科技基础设施项目“地球系统数值模拟装置”,在全国高级赛“网易玉言大模型性能优化挑战赛”中顺利进入决赛,并最终获得三等奖。
2023年是AI大模型跨越式发展的一年,随着年初“ChatGPT3”和“文心一言”的发布,将语言大模型的研究推向了一个新的阶段。气象领域也出现了“盘古”、“伏羲”、“风乌”、“GraphCast”等十余种行业大模型,模型参数达到千万级别。本届比赛要将运行于GPU(如英伟达V100)的网易玉言大模型(百亿参数),移植到国产海光DCU平台。网易yuyan-11b模型基于Facebook的fairseq套件,集成了网易特有的EET(高效transformer)技术,以前仅支持国外GPU,需要优化和适配才能用于国产GPU(如:“地球系统数值模拟装置(寰)”等)系统。通过我们的改进和优化,适配后的模型,很好的支持了国产海光DCU平台,并且保证了推理的精度和速度。经过此次比赛,一方面积累大模型移植和优化的经验,为将来国产GPU平台下大模型移植和发展打下了基础,另一方面语言大模型的以赛代练,有益于开展科研行业中大模型的应用,如:发展海气大模型、进行AI大模型与数值模式的交叉科学研究等。
本届“先导杯”自开赛以来,共吸引来自国内外近千名选手和上百支战队参赛,其中不乏来自北京大学、清华大学、上海交通大学、中国石油大学、北京科技大学、厦门大学、中国科学院等知名学府和科研院所的队伍。赛程中全国高级赛角逐激烈,六大赛道共有20支战队成功突围,悉数决出最终胜者。自设立以来,“先导杯”始终秉持“以赛促学、以赛促研、以赛促用”的赛事理念,现已经成为国内计算领域的风向标赛事。
比赛概况:https://mp.weixin.qq.com/s/MMrASQSEJFodVtZvT6mFxg
本工作受到北京市科技计划项目“Z231100006623004”资助以及“地球系统数值模拟装置(寰)”的技术支持。