推理之巅 超云为先 | 全栈推理架构，助力AI时代的数据中心转型

在人工智能的浪潮中，数据中心作为智能世界的基石，正经历着前所未有的变革。随着技术的飞速发展，AI算力需求的激增，数据中心的架构、硬件配置以及运营模式都在不断地演进与创新。

超云产品运营中心总经理 田锋

近日，由益企研究院和CDCC主办，OCTC开放计算委员会协办的“2024中国智算中心全栈技术大会、第5届中国数据中心绿色能源大会”在上海闭幕！超云产品运营中心总经理田锋带来了主题为《智算中心全栈推理架构与GPU指导模型实践》的精彩分享，探讨在新趋势下，如何构建高效、节能、安全的智算中心，以及如何通过技术创新来应对当前和未来的挑战。

数据中心AI重构趋势

与AIDC算力建设面临的挑战

随着AI技术的广泛应用，算力需求快速增长。传统的通用算力、信创算力正在转向通用AI算力和自主AI算力，以适应更加多样的应用场景。算力空间的重构上，从分散的机房向枢纽节点的大规模投建转变，推动了AI推理业务从中心向边缘的拓展。物理空间上，向单机柜大功率集中算力与集中配电重构，这就需要更为先进的散热解决方案。数据中心形态亦在不断创新，如液冷与风液混合数据中心、浸没液冷数据中心等，为算力提升提供了更为高效、环保的解决方案。

AI新型算力正牵引服务器、机柜、数据中心全链条变化。推理阶段正逐渐实现充分解耦，而训练阶段则预示未来的数据中心会成为一部大型计算机。现在，随着业务需求和算力基础设施的差距成指数级增长，两者之间的矛盾进一步加剧，AIDC算力建设面临着业务不确定性高、电力指标不匹配集群能力、PUE限制带来的散热升级、测试调优缺少实践、管理运维技术迭代五大挑战，为解决这些问题，构建全栈AIDC算力基础设施成为关键。

超云展位

推理之巅，超云为先：

全栈推理架构与GPU指导模型

过去一年多以来，市场上AI领域的竞争焦点集中在训练能力，训练的芯片短缺是全球的共性问题。当前，国内市场对训练设备的需求已不如往日迫切，训练过程在成本回收等方面遭遇了挑战，高昂的投入成本使得许多项目难以为继。因此，我们判断市场趋势正逐渐从训练转向推理阶段。

今年，预计市场将更多地关注推理技术的发展。通过API开放接口，国内在推理阶段将会展现巨大的创新潜力，无论是在业务模式还是硬件技术革新上。超云已完成AI推理的全栈生态的搭建，形成全链路的推理架构。

当前市场上的服务器推理机主要分为两大类：一类搭载Switch芯片，以英特尔产品为主，适合处理大体量模型的推理任务；另一类是不使用Switch芯片的直通架构，更适合中小规模模型的推理。

超云构建了符合国内实际使用场景和需求的推理生态。从推理结构和算力产出两个维度出发，以超云的产品体系为基础，已形成覆盖中心大模型推理/训推、中心推理、私有/边缘推理、本地推理的全栈推理解决方案，能够满足不同规模、不同场景的推理需求。

超云全栈推理硬件产品

解决方案

•搭载Switch芯片的8卡训推一体机，适用于大型模型推理；

•16卡高密度推理机，强调性价比，适合中小模型推理；

•8卡直通推理机，易于使用且产业链供应良好；

•8卡全兼容推理机，使用图形卡进行推理，以更低的成本提供同等的算力；

•液冷4卡推理机，适用于需要本地推理的社区、工厂或办公室环境；

•边缘/传统推理机，适用于边缘节点和传统的计算机视觉推理任务。

这些构成了目前适合国内市场的AI推理全栈形态。

AI算力中心如何做？超云提出了“投-建运分离”的模式，从投建，转化为投-建运分离，效率优先，如有企业需要满足能源政策规定的指标，指标有要求在本年度内必须做完的算力投资，可以考虑集装箱式数据中心部署。AI算力中心建设还要考虑高性价比算力、国产算力、新型液冷算力的要求。站在“投-建运”公司的角度，推理除算力值比较外，还需考虑场景普适性，设备回收折损。总结一下就是要精打细算。

怎样做到精打细算？从AI推理全栈角度，超云分享了GPU推理指导模型和训推效比/训推价比参数。

GPU推理指导模型的三个作用：

•能效模型:训推AIDC级，每W算力模型

•算力模型:各推理框架推理算力匹配度衡量模型

•TCO模型:推理每GPU算力性价比TCO模型

训推效比和训推价比参数的三个视角：

•训推效比面向未来，数值越高，单位能源输出训练推理能力越高；

•训推价比面向全TCO分析，电价影响此参数，越高越好；

•如考虑集群训练连续性，训推效比高会有加成。

以此实现资源的最优配置，帮助用户更好地进行AI推理全栈的规划和优化。这些工具和模型的推出，有助于企业更精准地评估AI算力投资效益，为AI技术的广泛应用提供了有力支撑。

五大核心竞争力

目标推理增速行业第一

超云展位

超云数字技术集团有限公司是由CEC和云基地联合注资成立的国家高新技术企业、工信部专精特新“小巨人”企业，是一家专注于数据中心产品及服务的本土制造商。秉承“让数据中心更简单”的价值主张，坚持自主创新和数实融合的发展路线，与高校和科研机构合作，践行“生态共荣“和“AI IN ALL”战略，推动行业数字化和智能化转型。

超云目前位于IDC产业链第八名，是NVIDIA NPN最高级精英级伙伴、华为昇腾APN首批伙伴、英特尔/AMD CPU/GPU OEM伙伴、摩尔、算能等国产AI互认证战略伙伴，全面兼容天数、昆仑芯、寒武纪、太初、燧原等国产AI。

超云凭借绿色节能、安全自主、专业算力、市场先行、软硬一体的五大核心竞争力，向推理增速行业第一的目标大步迈进。

绿色节能：代表超云绿色，在东数西算、双碳领域，深耕液冷与多项节能产品力

安全自主：加速计算硬件、AI存储、网络方案、调度软件全链路自主化、国产化，避免后门

专业算力：垂直计算、特殊计算，为客户人工智能+战略增加选择，解决客户业务问题

市场先行：率先战略聚焦推理市场，产品与市场同时布局，多款差异化产品、自主AI推理衡量模型，指导客户选择，提升推理效能

软硬一体：软硬一体的交付能力、效率等，客户共同定制产品，差异化云迹AI管理平台，使软硬件成为客户增值增收引擎