开源开放AI大模型背后:产业需要什么,浪潮就造什么

2021年是大模型层出不穷的一年。从去年OpenAI GPT-3发布开始,今年华为、谷歌、智源、快手、阿里、英伟达等厂商先后推出自己的大模型,人工智能产业开始了新一轮的激烈角逐,而且有愈演愈烈之势。

什么是大模型?

在2021人工智能计算大会(AICC 2021)上,中国工程院院士、浪潮首席科学家王恩东表示,“人工智能如何发展出像人类具备逻辑、意识和推理的认知能力,是人工智能研究一直在探索的方向。目前来看,通过大规模数据训练超大参数量的巨量模型,被认为是非常有希望实现通用人工智能的一个重要方向。”

开源开放AI大模型背后:产业需要什么,浪潮就造什么

中国工程院院士、浪潮首席科学家王恩东

大模型的核心特征之一就是模型参数多、训练数据量大,在理想情况下,人工智能从业者希望随着模型的巨量化,来提高人工智能的通用属性,以此来降低人工智能的应用门槛。

稍早前,浪潮也推出了自己的大模型“源1.0”,“源1.0”是浪潮人工智能研究院开发出的全球最大规模中文AI巨量模型,而在本次大会上,浪潮宣布“源1.0”正式开源开放,这背后潜藏着浪潮在人工智能产业的哪些布局?

大模型不是炫技

众所周知,人工智能存在落地难的窘境。尽管相比于早期人工智能厂商以刷榜为KPI,目前AI产业化和产业AI化方面都有了很大的突破,但是人工智能应用复杂的问题,依然没有得到很好地解决。

体现在算法模型层面,就是不同业务需要不同的算法,甚至细微的改动都需要一个新算法,一家企业往往在生产场景部署几百种模型,来支撑几百种产品,大大增加了工作的复杂度。

浪潮信息副总裁、浪潮信息AI&HPC产品线总经理刘军就指出,AI应用场景已经从碎片化,过渡到深度融合的一体化,在算法模型方面,巨量模型将会成为AI算法规模化创新的基础。

也即是说,大模型并不是新一轮的炫技,它更多源于人工智能产业的现实需求。

在一众推出大模型的厂商中,浪潮的出现也让人感觉到些许意外,普遍认为,浪潮是一家服务器厂商,更大一点是算力提供商,硬件属性相对浓厚,算法却是实实在在的软件。

对此,刘军解释道,巨量模型的开发是一个复杂的系统工程,浪潮非常擅长于把算力、算法、数据整合到一个系统工程里,进行协同创新。“当算法的发展进入到大模型时代,许多产业用户、研究者、合作伙伴等,仅靠本身已经没有办法完成一个大模型的研发、训练、交互的工作。”

浪潮并不是为了开发而开发,相反地,由于浪潮处于人工智能产业链的中间位置,向下对接芯片级的算力,向上对接应用厂商的需求,更能深切感受到业界对于人工智能,对于大模型的迫切需要。

“浪潮根本的产业是算力,为了让算力产业发展的更好,我一定要帮助我的用户,帮助产业界,帮助合作伙伴,帮助研发创新的人,让他们拥有巨量模型的强大能力。只有当他们获取到巨量模型能力的时候,才能使人工智能产业发展地更加迅速、更加健康。”刘军肯定地表示。

源1.0开源开放的现实路径

纵观市面上已有的大模型,走向开源开放几乎是必经之路,浪潮也不例外。

大模型是人工智能产业的明珠,源1.0有2457亿的参数,仅部署一个完整的模型副本就需要304块GPU,经过一系列创新之后,浪潮在2128块GPU上取得了业界领先的性能,与之相比,GPT-3完成训练需要1万块GPU。

开源开放AI大模型背后:产业需要什么,浪潮就造什么

巨量模型需要巨量算力,需要巨量数据的支撑。为了训练源1.0,浪潮研发了业界最大规模的中文高质量数据集(5TB),总共清洗了接近860TB的互联网数据,经过一系列的粗滤、精滤,专家评审等过程,最终得到了业界最大规模的中文高质量数据集。

浪潮研发源1.0的优先级不是商业化,而是填补人工智能产业的生态。从另一维度观测,大模型的普及能够给行业带来显而易见的促进作用,在行业的上升势头中,浪潮也会拿到属于自己的那份蛋糕。

浪潮人工智能研究院首席研究员吴韶华说道,浪潮研发源1.0有两个非常重要的目标:第一,探索前沿的方向,推动智能算法的创新。第二,落地应用,推动产业落地。

“当我们成功研发源1.0模型之后,我们体会到,为了实现这两个目标我们要做开源开放,不仅要做开源开放,而且还要做好开源开放。”

以GPT-3为例,虽然号称开源开放,但是其用户体验并不友好,申请等待时间长,产出效果不理想,并不符合开源开放的初衷和本质。

从浪潮的视角来看,浪潮前期主要面向三类合作对象,大学研究机构的人工智能研究团队,浪潮元脑生态合作伙伴,以及智能计算中心,浪潮将开放模型API和高质量中文数据集,同时将开源训练、推理以及应用代码,同时浪潮还将合作推动面向AI芯片的模型移植开发。

浪潮不是单向的开放,而是与业界合作伙伴的互动实践,这样的开放对浪潮及合作伙伴更具价值。

开源开放AI大模型背后:产业需要什么,浪潮就造什么

吴韶华介绍,源1.0完全是由浪潮自己研发,源2.0浪潮会和业界非常有经验的公司合作,产业合作伙伴对于应用场景有更深入的把握,这样的“源2.0”可以更贴近应用场景,能够更快速实现应用落地。同时,也将有助于前沿技术的探索。”

“我相信当更多的力量聚集在一起的时候,这并不是简单的一加一等于二,有可能发生一种聚合的效应,会带来更大的发热以及更多的创新成果。”吴韶华说。

浪潮的布局

“从芯片到真正的变成生产力,还有90%的路需要走,芯片只是这10%的路,浪潮在里面要扮演更重要的工作。因为浪潮非常熟悉后面的90%要怎么帮助企业去完成。”刘军强调。

这就是浪潮生态能力的显现。

如果顺着产业AI化的逻辑,不难发现浪潮在人工智能产业的图谋,正如王恩东所言,浪潮智算中心是算力基础设施,巨量模型是算法基础设施,两大基础设施协同工作,才能为产业AI提供强大的推动力。

浪潮一直在推动建设元脑生态,就起到了平台与桥梁的连接作用。AI科技公司(左手伙伴)有非常突出的能力、技术和产品,行业客户(右手伙伴)具有丰富的产业化场景,浪潮通过元脑生态把左手伙伴和右手伙伴联接,达到联合交付、创造价值的目标。

在这个生态中,人工智能产业缺少什么,浪潮就做什么。此前浪潮提供了算力平台、资源平台、算法平台做支撑,并且取得了很好的效果。据刘军透露,元脑生态伙伴数量发展非常快速,从去年的数百家合作伙伴,猛增至今年的几千家。

“产业厂商非常渴望、非常需求能有这样的生态,大家在里面能够共同发展,优势互补,能够去真正把人工智能的科技,融合到我们千行万业里面去。”刘军道出了AI产业生态的必要性。

大模型同样是浪潮生态很好的体现,大模型显然不是中小厂商的游戏,所以需要浪潮这样的平台级厂商,去补全产业的重要一环,进而开源开放给产业链。

刘军进一步解释道,大模型也能够纾解人工智能产业对于人才的瓶颈和缺口,企业也好,单位也好,甚至个人、科研机构,都可以直接在大模型的基础上面做研发,展望未来,以后AI产业人才可能只需要应用类学院的毕业生就可以,他只要学会怎么用模型的API,去生成一个新的任务,让AI更快普及。

“如果没有整个生态的繁荣,不可能有人工智能产业的繁荣。”站在人工智能产业的浪潮中央,浪潮开源开放大模型有着更具长远的价值与意义。

上一篇
下一篇