哪里电便宜,算力就往哪里跑?没那么简单
候鸟迁徙,是为了追逐适宜生存的气候。一项AI计算任务的迁徙,则可能因为另一座数据中心拥有更充足、更便宜的电力,被送往数百甚至上千公里之外。过去,算力的运行位置大多随着机房选址而确定。如今,电力供给的变化,开始成为计算任务选择落脚点的新理由。“用电需求通常不能移动,但计算任务却可以迁移。”共绩科技创始人兼CEO付智说。只是,与候鸟不同,AI任务无法独自完成这场迁徙。它所依赖的模型、数据与运行环境,也需要在另一座集群中得到妥善安排。算电协同想让算力随电而动,但这场迁徙,远没有候鸟振翅那么轻盈。 01 算力不必搬家,任务却有迁移成本 据此前公开报道,一项跨区域算电协同实测在三天内累计调度28万余次A…
本文作者:
导语:从连接GPU到协调电力,分布式算力网络有了新用途。
候鸟迁徙,是为了追逐适宜生存的气候。
一项AI计算任务的迁徙,则可能因为另一座数据中心拥有更充足、更便宜的电力,被送往数百甚至上千公里之外。
过去,算力的运行位置大多随着机房选址而确定。如今,电力供给的变化,开始成为计算任务选择落脚点的新理由。
“ 用电需求通常不能移动,但计算任务却可以迁移。 ”共绩科技创始人兼CEO付智说。
只是,与候鸟不同,AI任务无法独自完成这场迁徙。它所依赖的模型、数据与运行环境,也需要在另一座集群中得到妥善安排。
算电协同想让算力随电而动,但这场迁徙,远没有候鸟振翅那么轻盈。
01
算力不必搬家,任务却有迁移成本
据此前公开报道,一项跨区域算电协同实测在三天内累计调度28万余次AI推理请求,单位Token的算力用电成本下降约31%。
类似的探索也出现在海外,Google、英伟达和Emerald AI共同发起AI能源管理联盟,尝试让数据中心根据电网状态灵活调整用电负荷。
当电力系统开始尝试调动计算任务,另一批企业则正在建设让任务跨集群流动的基础设施。
雷峰网在共绩科技办公室见到了创始人兼CEO付智,这位有着“00后创业者”标签的年轻创始人,谈起行业频繁提及的算力调度,措辞相当直接。
“调度这个词,已经被用烂了。” 付智说。
在他看来,行业里不少企业所说的算力调度,主要围绕单个集群展开,更偏向已有GPU资源的管理。而共绩关注的是不同集群之间的任务流转,两者虽然都属于算力调度的范畴,但侧重点并不相同。
计算任务的迁移,付智用了一个简单的比喻:“比如我需要调用你大脑的计算能力,我当然不可能把你的大脑借走,那我就把数学题给你,你算完再把计算答案给我。”
分散在不同地方的计算资源,也是如此—— 机器留在原地,任务和结果通过网络 传输 。
共绩科技创始人兼CEO 付智(共绩科技供图)
在过去,这种跨集群调度主要是为了撮合算力供需。一边有闲置资源,另一边有计算需求,任务可以被分配到其他集群执行。
而算电协同又给跨集群调度增加了一项用途:当不同地区、不同时段的电力供给、电价和电网负荷出现差异,任务的执行地点可以按需进行调整。
自2023年起,共绩科技开始探索分布式算力。付智当时判断,随着AI应用增加,未来的推理任务不会全部集中在大型集群,一部分需求可能由不同地区、不同主体建设的中小集群承担。 要把这些分散的资源组织起来,就需要让计算任务能够跨集群分配 。
付智提到,自己从2023年开始思考另一个问题:中国一些地区的风电、光伏存在消纳、传输和储存难题,如果电力不方便送到需要计算的地方,能不能反过来,把计算任务送到有电的地方?
他把这一思路概括为“用网线代替电线”。
在付智的设想里, 未来分布式算力网络可以进一步与分布式风光电结合 。哪里新能源供应充裕,就更多调用当地算力;电力紧张时,则减少安排在当地执行的任务。 (关于分布式算力的更多信息,欢迎添加作者微信 treelog10 交流)
随着算力用电占比继续提高,付智认为,随着AI算力用电需求增加,算力调度与能源系统之间的联系还会进一步加深。
不过,要让算力真正跟随电力流动,仅仅能够把任务发送到另一座集群,还远远不够。
02
任务迁得快,功夫却花在迁移之前
一道数学题,发给别人只需要一张写着题目的纸。那一项AI任务的迁移,需要调度系统提前做多少准备?
在付智看来,算电协同可以沿着两条路径展开:一是在不同地区之间迁移任务,利用各地电力供给和价格的差异;二是在单个数据中心内部调整计算负荷,使其适应电网的供电节奏。
雷峰网向付智提出一个假设问题:如果一座智算中心收到电网指令,需要在五分钟内降低10%的用电负荷,该怎么办?
付智给出了两种办法:如果有其他机房协同,可以将部分计算任务转移出去;如果只能依靠自身调节,则可以适当降低任务的吞吐速度,减少功率需求。他更倾向于前者,因为对用户体验的影响相对较小。
但要让其他机房在短时间内接手任务,首先需要把分散在不同地方的算力组织起来。
共绩科技CTO许钟子珩向雷峰网 (公众号:雷峰网) 介绍,不同集群的接入条件差异很大。不同集群可能运行在裸金属服务器、云平台或第三方企业的生产环境中,开放的接口、管理权限和硬件条件各不相同。
调度平台必须根据这些差异完成接入,并尽量避免干扰原有业务。“这件事其实决定了你到底能连接到多少GPU。”许钟子珩说。
共绩科技CTO 许钟子珩(共绩科技供图)
获得使用权限是第一步,任务能否迅速运行,则取决于模型和数据是否已经准备好。
“ 任务配套的数据,它可能不是能自由调度的数据,是有很强的引力的。 ”许钟子珩表示。
例如,一项AI业务可能需要几十GB的软件镜像。如果等到任务抵达另一座集群后才开始下载,就难以迅速启动。共绩采用镜像预热、模型分发和缓存等方式,提前在目标集群准备所需文件。
许钟子珩还提到,共绩接触的一家AI创作平台拥有超过10TB的模型仓库,包含成千上万个模型。要让业务在不同集群之间切换,需要提前完成模型分发,并让目标集群能够及时访问所需文件。
这些准备完成后,部分在线推理任务的迁移便可以主要通过切换后续请求流量实现,而不必每次重新传输大量模型文件。“这个网络带宽成本我们已经提前付过了。”许钟子珩说。
不同硬件之间的切换也依赖事先准备。共绩已针对英伟达、昇腾、海光等计算平台开展模型适配。许钟子珩认为, 异构调度最繁重的工作发生在适配阶段,完成之后,资源分配本身相对简单 。
对共绩而言,提前完成模型和硬件适配只是第一步。要让更多任务能够在不同集群之间流动,调度平台还需要持续扩大可连接的算力资源范围。
付智把今天的数字世界形容为“田园时代”。“今天我们现实世界已经是钢筋丛林,高楼大厦,非常现代化了。但虚拟世界还属于田园时代,它的高速公路,它的网络都还没修。”付智说。
在他看来, 建设分布式算力网络可能是一门持续几十年的生意,但行业早期的机会窗口或许只有两三年。
谁能率先连接足够多的算力资源、占据网络中的关键位置,谁就更有机会在未来的竞争中获得优势。
03
电价变了,调度平台未必感知
建设分布式算力网络是一场争取先机的竞争。但即使这张网络逐渐建成,能否让计算任务真正跟随电力供给变化,仍取决于参与者能从中获得多少商业收益。
对于算电协同的商业化困境,付智首先谈到了数据中心参与负荷调节的经济动力。他认为, 在国内,不少机房目前通过调节计算负荷获得的收益尚不明显 。
如果相关设备和调度投入超过节省的电费,运营商就缺乏主动参与的动力。在付智看来,这也是国内算电协同尚未形成大规模商业闭环的原因之一。
中美市场的差异,也让算电协同走向了不同的探索路径。
许钟子珩也向雷峰网谈到了这一差异,他介绍,国内不少数据中心目前采用协议电价。在他看来,美国市场当前更关注如何应对电力供应限制,国内则可能随着电力市场机制进一步完善,以及价格信号向算力运营环节传导,更加关注电价预测、负荷预测,以及如何降低算力运营的平均用电成本。
技术上,付智此前提出的“以算代储”,除了跨区域转移计算负荷,也包括调整任务的执行节奏,在时间维度上适应电力供给变化。但技术上能够实现负荷调节,并不意味着调度平台已经具备根据电价变化分配任务的能力。
许钟子珩介绍,目前共绩在分配任务时,主要考虑集群剩余资源和计算实例成本。如果某座集群有空闲算力,租用价格又比较低,平台就可能优先将任务安排到那里。
不过,这里的成本仍是算力使用价格,而非电网实时电价。 “目前还没有实现真正的,就是让卡时成本能感知电网的实时电价。”许钟子珩说。 即便某地电价下降,如果这一变化没有反映在算力实例报价中,调度平台也未必有动力将任务转移过去。 (关于算电协同中电价对企业的影响,欢迎添加作者微信 treelog10 交流)
随着国内电力现货市场等机制逐步发展,不同时段、不同地区的电价差异可能为算力调度提供新的成本优化空间。但要让这些差异真正影响任务去向,还需要电力价格变化进一步传导至算力运营和交易环节。
许钟子珩认为,未来算力运营商可能需要结合电价和负荷预测,决定何时增加计算、何时降低运行速度,或者将部分任务安排到电力成本更低的地区。
届时,算力调度能否进一步考虑能源成本,将取决于电价变化能在多大程度上传导至算力运营和交易环节。
秋风习习,候鸟已经踏上迁徙的旅途。
而算力要真正追随电力流动,还需要跨过技术之外的成本与市场门槛。
(关于算电协同的更多资讯,欢迎添加作者微信 treelog10 分享、交流。)
推荐阅读
华为已为KV Cache单独做存储,专用SSD规格却还没定下来
新云厂商发现,最赚钱的可能不是卖GPU
雷峰网原创文章,未经授权禁止转载。详情见 转载须知 。
0 人收藏
分享:
相关文章
算电协同
共绩科技
分布式算力
推理任务迁移
做能源与算力的"搭桥人" CPE 2026达卯科技以能源大脑 ...
算电协同能源运营操作系统核心企业,达卯科技近期完 ...
达卯科技算电协同2.0平台入选2026国际数字能源展重大 ...
达卯科技与福建智算方舟达成合作,全栈式算电协同服 ...
魏溶
发私信
当月热门文章
华为已为KV Cache单独做存储,专用SSD规格却还没定下来
算力不缺供给,缺的是「结算层」:九章云极的智算云答案
最新文章
算力不缺供给,缺的是「结算层」:九章云极的智算云答案
最高288核的至强6+,为了Agent高密度部署还下了哪些「云功夫」?
天数智芯天垓300实测对标H200,国产GPU接下来拼什么?
当超算走出实验室:一场从”算得快”到”算得值”的产业迁徙
超智深融 算力圳浓——第二十二届CCF全国高性能计算学术大会在深圳成功举办
喊出300万张订单,英伟达RTX PRO 5500为何遭到提前疯抢?
热门搜索
美团
Android应用
数据
工业互联网
智能眼镜
工信部
IoT
PC
扫地机器人
上汽
傅盛
为了您的账户安全,请 验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱 修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以 设置密码 以方便用邮箱登录
立即设置
以后再说
本文内容由 ai007 从公开渠道聚合,版权归原作者所有。若原文已删除或变更, 以原文站为准;本站存档仅为便于查阅而保留。