从算力中心走向算力网络,华为如何引领HPC创新?

超级计算机可以说是计算领域的“最强大脑”,是科技进步与创新发展的强力引擎,在气候模拟、生命科学、天体物理的研究中都发挥着重要的作用。如今,在人工智能、大数据等新技术的加持下,超级计算机正在发挥越来越重要的作用。

在数字经济的浪潮下,算力已经是衡量一个国家综合科技实力的体现之一。随着人工智能、深度学习等新技术与高性能计算(HPC)的融合和演进,超算已经成为解决科学研究中大型计算问题以及满足业务场景下海量计算需求的重要工具。

近日,作为与德国ISC、美国SC齐名的全球三大超算盛会之一的CCF HPC China 在珠海举办,华为凭借在计算、存储、网络等领域的架构创新,斩获CCF HPC China 2021 HPC融合架构创新奖。

为何华为能够在此次HPC评选中脱颖而出,获得越来越多产业界人士的认可呢?这与华为这些年在HPC领域的耕耘是分不开的。

数字时代 高性能计算迈入多样性时代

伴随5G、物联网、云计算、大数据等新一代信息通信技术加速创新突破,算力已经成为当今数字经济时代的新生产力。而性能更强、精度更高的高性能计算也成为各地方、各行业、各大科研机构或高校高科技研发的一大支撑。

据研究机构Intersect360报告显示,高性能计算(HPC)全球市场规模预计到2025年将达600亿美元。作为全球领先的高性能计算全栈方案供应商的华为,其实已经在高性能计算领域深耕多年,且凭借自身的卓越产品和先进技术赋能高性能计算的普及和应用。

华为集群计算业务发展总监谢海波

华为集群计算业务发展总监谢海波在21日大会主论坛发表“从算力中心到算力网络”的主题演讲,分享了华为高性能计算融合架构的进展及在算力中心建设中的应用。他表示,如今高性能计算产业进入了多样性时代,系统从单一算力到多样性算力,从单机部署到融合集群部署,从传统应用到融合智能应用,都给软件开发者带来了更加复杂的挑战,主要体现在以下几方面:

一、处理器多样性驱动算力多样化。如今,算力的多样化正成为高性能计算领域的发展趋势,尤其是随着AI在各行业领域的不断深化,AI应用的场景不断丰富,而不同的应用场景往往意味着需要不同的计算场景,这也就催生了计算芯片种类的越来越多,包括GPU、MIC、FPGA、xPU等各种芯片的应运而生,无疑也进一步增加了计算的复杂化。

二、异构多态复合归一推动架构融合化。面对多元化的应用需求,选择异构处理器、异构体系结构组成的异构系统成为高性能计算自然而然的选择。但从传统架构向异构系统的升级过程中,同样也需要通过推动架构的融合化,即构建一个统一的异构融合体系结构,由此才能更好的降低TCO,提升投资回报比。

三、传统高性能计算正加速向HPDA演化。随着数据量的不断爆炸,目前整个产业正从计算密集型高性能计算向数据密集型HPDA演进,其特征包括三个方面:数据量正从PB级跃升为EB级;负载类型正从单一负载向混合负载变化;应用类型更经历了从简单到复杂的演变,而这同样给整个高兴鞥你计算提出了更多的要求。

四、计算与网络融驱动网络全以太化。随着算力需求的不断增长,从P级向E级不断演进,计算集群规模不断扩大,对网络性能要求越来越高,因此计算和网络深度融合成为新的需求。架构、计算和存储的变革也正驱动数据中心网络从原来的多协议模式向全以太化演进。

由此可见,高性能计算应用的多元化、算力的多样化、架构的融合化,网络的以太化等变化在促进整个高性能计算产业发展的同时也给高性能计算带来了前所未有挑战,这就需要从架构创新等更高的维度对高性能计算进行优化乃至重构,才能最大化的化解高性能计算产业所面临的种种挑战。

华为让高性能计算不再“高不可攀”

伴随着高性能计算多样化时代的到来,在通往高性能计算应用的路上,也面临着新的挑战,开发者不仅要面对大规模并行应用开发的复杂性,还需要解决融合应用跨算力部署的难题。更为挑战的是,从单算力到多样算力,从单机到集群,应用的全栈性能优化变得极其复杂和困难。

开发者如何将自己的编程项目快速部署在不同架构的算力基础设施上,成为了一个令人头疼的问题。

具体可以归纳为以下三点:

第一,多样性算力的开发,往往需要使用多种编程语言和工具,开发生态碎片化;

第二,同一应用在不同架构的处理器上部署,代码难以重用,带来较高的开发成本;

第三,多种算力间缺乏协同优化手段,无法充分发挥系统的整体性能。

为了帮助开发者应对上述挑战,解决在多样算力面前出现的问题,华为发布了多样性计算融合架构“北冥”。作为华为高性能计算融合架构的根基,北冥架构是为多样性计算硬件及集群打造的完整软件栈。

  • 通过毕昇C++编程语言、毕昇编译器、北冥融合加速库,为多样性计算系统提供通用、高效、高性能的开发能力,助力开发者更好地应对开发生态碎片化、开发成本高、系统整体性能无法充分发挥的挑战;
  • 通过多瑙统一调度器、元戎分布式并行开发框架、昇思科学计算套件,帮助开发者实现分布式应用的极简开发、融合应用的高效部署以及多样性计算系统的全栈效能最优;
  • 通过北冥架构的MindStudio统一工具链,为开发者提供统一集成开发环境,实现开发全流程连贯无断点。

可以说,华为多样性计算打造的北冥架构,帮助开发者简化多样性计算环境下的开发和部署,实现与单机相同的应用开发和部署体验,充分释放算力性能,获得远超单一算力的应用性能。

多样算力的广泛部署正在激发跨领域应用融合,例如 AI 正在成为研究科学计算的新范式,为此,华为将昇思 MindSpore 拓展到科学计算领域,将昇思原有的 AI 计算引擎升级为 AI 与科学计算的统一引擎,并面向八大科学计算行业打造 MindScience 系列套件。这些行业套件包含业界领先的数据集、基础模型、预置高精度模型和前后处理工具,加速科学行业的应用开发。

总结来说,北冥架构、OceanStor Pacific存储和超融合数据中心网络组成了华为HPC技术创新的“黄金搭档”,给HPC更好的支撑,让一直以来高不可攀的HPC如今能够更好的落地到行业用户中去,也在大会上助华为斩获HPC China 2021融合架构创新奖。

坚持开放 持续创新  构建未来发展格局

随着计算能力的提升,超算不再只是科学研究的利器,而是已经开始深入到生活当中。从宇宙探索、气象预报到精准医疗、自动驾驶,超算的身影随处可见,影响力不断提升,新一轮的科技革命和产业变革正在到来。

众所周知,高性能计算的发展和应用从来不是单一领域的独立前行,需要基础技术的协同创新和发展,同时也需要与具体的应用场景来结合,才能真正解决实际项目中的问题。

华为高性能融合架构获得了认可也侧面证明了HPC领域需要这样的融合创新。未来,基于华为的融合架构创新,也将为打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑,为高性能计算用户提供更容易落地的产品和解决方案,也会把整个高性能计算行业带上一个全新的发展阶段。

高性能计算是一个需要不断创新的领域,长期以来,华为一直非常注重研发创新,华为坚持每年将10%以上的销售收入投入到研究与开发。2020年研发费用支出仍达到1,419亿元人民币,占全年收入的15.9%,近十年累计投入的研发费用超过7,200亿元人民币。沉下心来做研发才能让华为在HPC领域走的更远。

与此同时,华为主张开放、合作、共赢,与客户、伙伴合作创新、扩大产业价值,形成健康良性的产业生态系统。华为加入600多个标准组织、产业联盟和开源社区,积极参与和支持主流标准的制定,推动产业良性发展。

目前,华为高性能计算解决方案已经开始在政府、医疗、教育、制造等各个行业的高效运行,帮助客户在行业应用过程中能够有据可依,进而实现业务价值的提升,赋能实体经济,加速构建新发展格局。

总结:

伴随着数字经济对全行业的渗透,华为公司坚持以根深促叶茂,共同推动围绕根技术的多样性计算的生态发展。同时华为亦以自身高性能计算的实力,持续赋能高科技研发领域,为中国数字化转型奠定坚实基础。相信凭借着过硬的产品软硬件组合和出色的自主创新,华为将引领未来高性能计算领域的发展。

上一篇
下一篇