腾讯云发布智能数据湖计算 AI DLC，打通数据处理到 Agent 应用全流程

从数据处理到 Agent 的链路正在被大幅压缩。

7月30日，记者获悉，腾讯云正式发布智能数据湖计算平台AI DLC，面向自动驾驶、具身智能、Agent等AI场景，提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以腾讯自研的 WorkBuddy 为例，接入 AI DLC 后，其处理同一批数据的端到端时间缩短80%，完成相同任务所需算力约为此前的五分之一。

（腾讯云智能湖计算AI DLC架构）

长期以来，企业开发 AI 应用通常需要先用 Spark 完成数据清洗和加工，再将结果写入存储，由 AI 团队通过 Ray 等框架完成训练和推理。不同环节运行在不同平台，数据需要反复搬运，权限、元数据和算力资源也要分别管理。

针对这一痛点，AI DLC 实现了 Spark 与 Ray 在同一平台运行。Spark 负责大规模数据处理和特征准备，Ray 承接多模态数据处理、模型训练、在线推理和 Agent 任务。两套框架共享数据、算力和权限体系，数据处理完成后即可直接进入训练和推理，无需跨平台搬运。

AI DLC 采用 Serverless 架构，算力可按任务秒级弹性伸缩、按使用时长计费，企业无需预留和运维固定集群。据介绍，它也是业内首个在同一平台提供生产级 Spark 与 Ray 全托管服务的计算平台。

在算力层面，AI DLC 将 CPU、GPU、TPU 等异构资源纳入统一资源池，根据数据处理、训练和推理任务动态调度。任务结束后，资源可自动释放并分配给其他作业，减少固定集群长期闲置。平台整体资源利用率可提升数倍，并已适配国产主流 GPU 芯片，帮助企业在自主可控的算力底座上运行 AI 负载。

为进一步提升计算效率，AI DLC 搭载腾讯云自研向量化计算引擎 Meson 和多模态计算引擎 Xpark。Meson 兼容 Spark API、SQL 语法及生态组件，在标准测试中查询性能提升3.6倍，部分复杂查询最高加速5倍，CPU使用率下降近一半；Xpark 面向文档、图片和音视频等多模态数据，提供50多种多模态和大模型算子，相比开源方案推理吞吐提升3倍，GPU利用率可长期接近100%。

除支撑数据处理和模型训练外，AI DLC 还面向 Agent 进行了升级。Agent 运行产生的轨迹、记忆和反馈可沉淀至数据湖，经过处理和后训练后持续反哺 Agent；平台同时通过 MCP、Skills 和 Open API 开放能力，让 WorkBuddy、CodeBuddy 等 Agent 直接调用数据处理、训练和分析能力。

这一模式已在腾讯内部得到验证。WorkBuddy 运行过程中持续产生对话、文档和用户反馈等数据，部分单字段达到 GB 级，数据量月增速超过100%。接入 AI DLC 后，这些数据可直接完成清洗、特征提取、模型后训练和评估回流，形成可复用的数据与训练流水线。

在自动驾驶场景中，博世测试车辆每天产生大量视频和传感器数据，抽帧和清洗主要消耗 CPU，数据脱敏，模型训练与推理则依赖 GPU。通过博世ARENA统一管控平台，博世将数据处理、推理和部分训练任务纳入统一调度。目前，其平台已沉淀200多个推理模板，每天处理上万个推理任务，持续提升自动驾驶数据闭环效率。

随着企业 AI 应用从模型走向 Agent，数据平台也正从支撑数据分析，升级为支撑 Agent 持续运行和迭代。在AI DLC之外，腾讯云已围绕 Agent-Ready 构建了覆盖基础引擎、统一控制面和上层 Data Agent 的完整数据平台能力，助力企业加快数据资产向智能应用转化。

雷峰网(公众号：雷峰网) 雷峰网

从数据处理到 Agent 的链路正在被大幅压缩。

7月30日，记者获悉，腾讯云正式发布智能数据湖计算平台AI DLC，面向自动驾驶、具身智能、Agent等AI场景，提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以腾讯自研的 WorkBuddy 为例，接入 AI DLC 后，其处理同一批数据的端到端时间缩短80%，完成相同任务所需算力约为此前的五分之一。

（腾讯云智能湖计算AI DLC架构）

长期以来，企业开发 AI 应用通常需要先用 Spark 完成数据清洗和加工，再将结果写入存储，由 AI 团队通过 Ray 等框架完成训练和推理。不同环节运行在不同平台，数据需要反复搬运，权限、元数据和算力资源也要分别管理。

针对这一痛点，AI DLC 实现了 Spark 与 Ray 在同一平台运行。Spark 负责大规模数据处理和特征准备，Ray 承接多模态数据处理、模型训练、在线推理和 Agent 任务。两套框架共享数据、算力和权限体系，数据处理完成后即可直接进入训练和推理，无需跨平台搬运。

AI DLC 采用 Serverless 架构，算力可按任务秒级弹性伸缩、按使用时长计费，企业无需预留和运维固定集群。据介绍，它也是业内首个在同一平台提供生产级 Spark 与 Ray 全托管服务的计算平台。

在算力层面，AI DLC 将 CPU、GPU、TPU 等异构资源纳入统一资源池，根据数据处理、训练和推理任务动态调度。任务结束后，资源可自动释放并分配给其他作业，减少固定集群长期闲置。平台整体资源利用率可提升数倍，并已适配国产主流 GPU 芯片，帮助企业在自主可控的算力底座上运行 AI 负载。

为进一步提升计算效率，AI DLC 搭载腾讯云自研向量化计算引擎 Meson 和多模态计算引擎 Xpark。Meson 兼容 Spark API、SQL 语法及生态组件，在标准测试中查询性能提升3.6倍，部分复杂查询最高加速5倍，CPU使用率下降近一半；Xpark 面向文档、图片和音视频等多模态数据，提供50多种多模态和大模型算子，相比开源方案推理吞吐提升3倍，GPU利用率可长期接近100%。

除支撑数据处理和模型训练外，AI DLC 还面向 Agent 进行了升级。Agent 运行产生的轨迹、记忆和反馈可沉淀至数据湖，经过处理和后训练后持续反哺 Agent；平台同时通过 MCP、Skills 和 Open API 开放能力，让 WorkBuddy、CodeBuddy 等 Agent 直接调用数据处理、训练和分析能力。

这一模式已在腾讯内部得到验证。WorkBuddy 运行过程中持续产生对话、文档和用户反馈等数据，部分单字段达到 GB 级，数据量月增速超过100%。接入 AI DLC 后，这些数据可直接完成清洗、特征提取、模型后训练和评估回流，形成可复用的数据与训练流水线。

在自动驾驶场景中，博世测试车辆每天产生大量视频和传感器数据，抽帧和清洗主要消耗 CPU，数据脱敏，模型训练与推理则依赖 GPU。通过博世ARENA统一管控平台，博世将数据处理、推理和部分训练任务纳入统一调度。目前，其平台已沉淀200多个推理模板，每天处理上万个推理任务，持续提升自动驾驶数据闭环效率。

随着企业 AI 应用从模型走向 Agent，数据平台也正从支撑数据分析，升级为支撑 Agent 持续运行和迭代。在AI DLC之外，腾讯云已围绕 Agent-Ready 构建了覆盖基础引擎、统一控制面和上层 Data Agent 的完整数据平台能力，助力企业加快数据资产向智能应用转化。

雷峰网(公众号：雷峰网) 雷峰网