Netflix 通过工作负载认证将 AWS IAM 与内部身份系统连接了起来

作者：Leela Kumili

Netflix 实现了 Spark 作业在 Amazon EMR 上的跨系统身份映射：通过将 AWS IAM 执行角色与内部 Metatron PKI 短效 X.509 证书绑定，实现无需凭据注入的自动工作负载认证。该机制以 Data Project 为粒度，将数万个项目确定性地映射至多账户 IAM 角色池。

支持零凭据工作负载认证；实现 IAM 与私有 PKI 的可信链路；采用多账户角色池应对万级 Data Project 规模。

适合大数据平台工程师、云安全架构师、身份认证系统开发者阅读。

Netflix 开发了一种 工作负载认证机制 ，允许在 Amazon EMR 上运行的 Apache Spark 任务将其 AWS 执行身份替换为一个短效的内部工作负载身份。该方法将 AWS IAM 与 Netflix 内部的 Metatron PKI 相连接，使托管的计算工作负载无需手动注入凭据即可向内部服务进行身份验证。

在 LinkedIn 上的一篇博文 中，Netflix 大数据平台工程师 Dhruv Pratap 是这样描述该设计的：

在自行构建的基础设施上，你可以随心所欲地初始化自己的身份。

Netflix 运行着两个身份识别系统。AWS 为托管工作负载提供 IAM 执行角色，而内部服务则使用 Metatron——这是一个私有 PKI，用于为双向 TLS 签发短效 X.509 证书 。Netflix 还使用 Data Project 作为数据访问的所有权和身份边界。因此，在 EMR 上运行的 Spark 作业需要验证其 AWS 身份是否与 Data Project 关联的内部身份相对应。

该设计将每个 Data Project 映射到一个专用的 IAM 角色。由于 Netflix 预计 Data Project 的数量将达到数万个，所以这些角色会以确定性地方式分布在专用的 AWS 账户池中，而非集中于单个账户里。

当提交一个任务时，Netflix 的控制平面会验证该请求，解析 Data Project 的 IAM 角色，并创建一个已签名的工作负载元数据有效载荷，用于标识目标工作负载。控制平面是唯一有权创建这些声明的服务。

Spark 驱动程序使用与其执行角色关联的凭据，向 AWS 安全令牌服务 (STS) 的 GetCallerIdentity 端点发送一个预签名的请求。Netflix 身份服务从 AWS STS 检索该请求，以确定是哪个 IAM 角色对其进行了签名，从而提供一份可独立验证的工作负载 AWS 身份标识。

随后，Identity 服务会将 AWS 的响应与来自控制平面的签名元数据进行比对。AWS 响应证明持有预期的 IAM 角色，而签名元数据则标识了目标工作负载。通过两者的交叉验证，该服务便可以签发 Metatron 证书。

该架构还解决了 Spark 执行器的扇出问题。Netflix 没有对数千个执行器进行独立认证，而是让驱动程序进行一次认证，并通过经过身份验证和加密的 Spark RPC 分发凭据。这既避免了与执行器数量成正比的认证流量，又使驱动程序成为额外的凭据分发信任边界。

凭证续期与初始引导是分开处理的。在其短效证书过期前，驱动程序会定期进行重新认证，而执行器则不会单独进行凭证续期。Netflix 指出，对于长期运行的工作负载，可重复认证至关重要。该模式将内部工作负载的身份与托管计算提供商相分离，同时又保留提供商的身份作为加密证明。Netflix 表示，该方法也可以应用于其他托管环境——这些环境中，虽然工作负载获得了云身份，但仍然需要创建独立的组织身份。

原文链接： https://www.infoq.com/news/2026/10/netflix-workload-attestation-aws/

促进软件开发及相关领域知识与创新的传播

关于我们 我要投稿 合作伙伴 加入我们 关注我们

联系我们 内容投稿：editors@geekbang.com 业务合作：hezuo@geekbang.com 反馈投诉：feedback@geekbang.com 加入我们：zhaopin@geekbang.com 联系电话：010-64738142 地址：北京市朝阳区望京北路9号2幢7层A701

InfoQ 近期会议 上海 · QCon 全球软件开发大会 2026.10.22-24 北京 · AICon 全球人工智能开发与应用大会 2026.12.18-19

全球 InfoQ InfoQ En InfoQ Jp InfoQ Fr InfoQ Br

Copyright © 2026, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5 京公网安备 11010502039052号 | 产品资质