主分类：数据工程与数据平台研发
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "大数据开发工程师-数据湖",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "未披露",
"location": "上海",
"work_mode": "未披露",AI生成
"job_category": "基础架构"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "未披露",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。\n\n1、为大规模推荐系统设计和实现合理的离线/实时数据架构；\n2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型；\n3、生产系统的Trouble-shooting，设计和实现必要的机制和工具保障生产系统整体运行的稳定性；\n4、打造业界领先的离在线存储、批式流式计算框架等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施。",
"requirements_text": "1、对常见大数据计算系统Spark/Flink有框架源码级别了解，有过二次开发经验者优先；\n2、对Hudi、Iceberg、DeltaLake等至少一项数据湖技术有源码级别了解，有实践落地/二次开发等经验；\n3、熟悉Java、C++、Scala等编程语言，有优秀的编码和Trouble-shooting能力；\n4、熟悉HDFS的原理和使用，对列式存储格式，Parquet/ORC的原理有了解加分；\n5、有其他大数据系统/框架经验加分，Hive、HBase、Kudu等；有数仓建模经验加分；\n6、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情，有PB级别数据处理经验加分。",
"skills": [AI生成
"Java",
"C++",
"Scala",
"Spark",
"Flink",
"建模"
],
"preferred_qualifications": "1、对常见大数据计算系统Spark/Flink有框架源码级别了解，有过二次开发经验者优先；4、熟悉HDFS的原理和使用，对列式存储格式，Parquet/ORC的原理有了解加分；5、有其他大数据系统/框架经验加分，Hive、HBase、Kudu等；有数仓建模经验加分；6、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情，有PB级别数据处理经验加分",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/experienced/position/7583914273361955125/detail"
}
]
},
"posting": {
"posting_id": "7583914273361955125",
"post_date": "2025-12-15",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/experienced/position/7583914273361955125/detail"
},
"fulltext": "大数据开发工程师-数据湖\n职位描述\n团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。\n\n1、为大规模推荐系统设计和实现合理的离线/实时数据架构；\n2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型；\n3、生产系统的Trouble-shooting，设计和实现必要的机制和工具保障生产系统整体运行的稳定性；\n4、打造业界领先的离在线存储、批式流式计算框架等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施。\n\n职位要求\n1、对常见大数据计算系统Spark/Flink有框架源码级别了解，有过二次开发经验者优先；\n2、对Hudi、Iceberg、DeltaLake等至少一项数据湖技术有源码级别了解，有实践落地/二次开发等经验；\n3、熟悉Java、C++、Scala等编程语言，有优秀的编码和Trouble-shooting能力；\n4、熟悉HDFS的原理和使用，对列式存储格式，Parquet/ORC的原理有了解加分；\n5、有其他大数据系统/框架经验加分，Hive、HBase、Kudu等；有数仓建模经验加分；\n6、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情，有PB级别数据处理经验加分。\n团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。\n\n1、为大规模推荐系统设计和实现合理的离线/实时数据架构；\n2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型；\n3、生产系统的Trouble-shooting，设计和实现必要的机制和工具保障生产系统整体运行的稳定性；\n4、打造业界领先的离在线存储、批式流式计算框架等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施。\n1、对常见大数据计算系统Spark/Flink有框架源码级别了解，有过二次开发经验者优先；\n2、对Hudi、Iceberg、DeltaLake等至少一项数据湖技术有源码级别了解，有实践落地/二次开发等经验；\n3、熟悉Java、C++、Scala等编程语言，有优秀的编码和Trouble-shooting能力；\n4、熟悉HDFS的原理和使用，对列式存储格式，Parquet/ORC的原理有了解加分；\n5、有其他大数据系统/框架经验加分，Hive、HBase、Kudu等；有数仓建模经验加分；\n6、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情，有PB级别数据处理经验加分。",
"standard_classification": {
"std_category_code": "T016",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}