主分类：数据工程与数据平台研发
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "千问事业部-大数据计算专家-杭州",
"job_level": "专家",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类-开发"AI生成
},
"company": {
"company_name": "夸克",
"company_industry": "互联网 / 人工智能应用",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "夸克提供AI搜索等人工智能应用服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈；\n2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了；\n3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性；\n4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。",
"requirements_text": "1、精通分布式系统原理，深入理解计算引擎（如 Spark、Flink、Ray、Daft等）的执行模型、任务调度、Shuffle 机制及容错设计；具备大规模数据处理系统的实战经验；\n2、熟悉 CPU/GPU 异构计算架构，具备在 GPU 加速数据处理（如视频解码、特征提取）、内存管理、向量化执行或算子融合等方向深度性能调优的实际项目经验；\n3、有构建开发者工具链或编程接口（SQL-like/Python SDK）的经验，关注用户体验，能够平衡系统能力与易用性，推动从本地调试到生产部署的端到端开发闭环；\n4、具备多租户资源隔离、内存/I/O 限流、优先级调度、反压控制等 QoS 保障机制的设计与落地经验，能有效应对流批一体场景下的稳定性挑战；\n5、熟悉数据湖技术栈（如 Paimon、Delta Lake、Iceberg、Hudi），了解对象存储、列式文件格式（Parquet、ORC 等）及新兴 AI 原生格式（如 Lance）、元数据管理及 ACID 事务机制；\n6、具备 AI/多模态数据处理（图像、音视频）Pipeline 构建经验；参与过开源大数据项目或在相关领域发表过技术论文者优先考虑。",
"skills": [AI生成
"Python",
"SQL",
"Spark",
"Flink",
"分布式系统",
"性能调优"
],
"preferred_qualifications": "4、具备多租户资源隔离、内存/I/O 限流、优先级调度、反压控制等 QoS 保障机制的设计与落地经验，能有效应对流批一体场景下的稳定性挑战；参与过开源大数据项目或在相关领域发表过技术论文者优先考虑",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent.quark.cn/off-campus/position-detail?positionId=100011560041"
}
]
},
"posting": {
"posting_id": "100011560041",
"post_date": "2026-09-16",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent.quark.cn/off-campus/position-detail?positionId=100011560041"
},
"fulltext": "千问事业部-大数据计算专家-杭州\n千问事业部-大数据计算专家-杭州\n\n基础信息\n职位类别：技术类-开发\n工作地点：杭州\n\n职位描述\n1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈；\n2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了；\n3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性；\n4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。\n\n职位要求\n1、精通分布式系统原理，深入理解计算引擎（如 Spark、Flink、Ray、Daft等）的执行模型、任务调度、Shuffle 机制及容错设计；具备大规模数据处理系统的实战经验；\n2、熟悉 CPU/GPU 异构计算架构，具备在 GPU 加速数据处理（如视频解码、特征提取）、内存管理、向量化执行或算子融合等方向深度性能调优的实际项目经验；\n3、有构建开发者工具链或编程接口（SQL-like/Python SDK）的经验，关注用户体验，能够平衡系统能力与易用性，推动从本地调试到生产部署的端到端开发闭环；\n4、具备多租户资源隔离、内存/I/O 限流、优先级调度、反压控制等 QoS 保障机制的设计与落地经验，能有效应对流批一体场景下的稳定性挑战；\n5、熟悉数据湖技术栈（如 Paimon、Delta Lake、Iceberg、Hudi），了解对象存储、列式文件格式（Parquet、ORC 等）及新兴 AI 原生格式（如 Lance）、元数据管理及 ACID 事务机制；\n6、具备 AI/多模态数据处理（图像、音视频）Pipeline 构建经验；参与过开源大数据项目或在相关领域发表过技术论文者优先考虑。\n1、负责大规模多模态数据计算引擎的核心架构设计与执行计划优化，构建面向异构计算（CPU/GPU）的高效任务调度机制与执行流水线，解决PB级多模态数据（图像、音频、视频等）处理过程中的关键性能瓶颈；\n2、应对PB级数据在Shuffle、Join、Aggregation等场景中面临的内存、I/O与存储资源挑战，攻克每日PB级流批一体数据处理过程中的系统稳定性难题了；\n3、提供SQL-like与Python双端编程接口，打造从本地开发调试到生产级分布式计算的一站式开发体验，持续提升开发效率与工程易用性；\n4、应对百PB级结构化数据及多模态数据入湖场景下的高效存储与高吞吐I/O挑战；实现多租户I/O与存储资源的有效隔离；构建完善的数据治理体系，保障数据质量，防范数据腐化风险。\n1、精通分布式系统原理，深入理解计算引擎（如 Spark、Flink、Ray、Daft等）的执行模型、任务调度、Shuffle 机制及容错设计；具备大规模数据处理系统的实战经验；\n2、熟悉 CPU/GPU 异构计算架构，具备在 GPU 加速数据处理（如视频解码、特征提取）、内存管理、向量化执行或算子融合等方向深度性能调优的实际项目经验；\n3、有构建开发者工具链或编程接口（SQL-like/Python SDK）的经验，关注用户体验，能够平衡系统能力与易用性，推动从本地调试到生产部署的端到端开发闭环；\n4、具备多租户资源隔离、内存/I/O 限流、优先级调度、反压控制等 QoS 保障机制的设计与落地经验，能有效应对流批一体场景下的稳定性挑战；\n5、熟悉数据湖技术栈（如 Paimon、Delta Lake、Iceberg、Hudi），了解对象存储、列式文件格式（Parquet、ORC 等）及新兴 AI 原生格式（如 Lance）、元数据管理及 ACID 事务机制；\n6、具备 AI/多模态数据处理（图像、音视频）Pipeline 构建经验；参与过开源大数据项目或在相关领域发表过技术论文者优先考虑。",
"standard_classification": {
"std_category_code": "T016",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}