Netflix 采用开源 Flink Autoscaler,支撑超 3 万个流式作业
英文标题:Netflix 采用开源 Flink Autoscaler,支撑超 3 万个流式作业
点击查看原文>
打开原文相关 2 · 机会 0
3.4 KB
83.7 KB
1.1 MB
556.4 KB
237.9 KB
1.4 KB
1.9 KB
794 B
1.3 KB
2.0 MB
中文
Netflix 将 30,000+ 流式作业迁移至 Apache Flink Autoscaler,以替代原有集群级扩缩容系统,解决有状态管道中算子异构负载导致的资源低效问题。某团队实现年化计算成本降低 58%,节省约 110 万美元。
Flink Autoscaler 支持算子粒度扩缩容,适配分支/连接/大状态场景;原 Mantis 系统仅基于集群指标(CPU/网络/Kafka 延迟)做粗粒度调整;新方案在多 AWS 区域落地验证。
适合流处理平台工程师、Flink 架构师、云原生基础设施负责人阅读。
English / 原文
Netflix 将 30,000+ 流式作业迁移至 Apache Flink Autoscaler,以替代原有集群级扩缩容系统,解决有状态管道中算子异构负载导致的资源低效问题。某团队实现年化计算成本降低 58%,节省约 110 万美元。
Flink Autoscaler 支持算子粒度扩缩容,适配分支/连接/大状态场景;原 Mantis 系统仅基于集群指标(CPU/网络/Kafka 延迟)做粗粒度调整;新方案在多 AWS 区域落地验证。
适合流处理平台工程师、Flink 架构师、云原生基础设施负责人阅读。