职位详情

职位列表 链接有效 不适用(官网全量采集) official:bytedance:7342380348309686537

后端调度编排工程师 - Data AML

未披露 · 北京、杭州、上海 · 字节跳动

主分类:AI训练推理与计算优化
软件开发与 IT
辅助:云基础设施与系统软件研发(仅展示)
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "后端调度编排工程师 - Data AML",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "未披露",
        "location": "北京、杭州、上海",
        "work_mode": "未披露",AI生成
        "job_category": "后端"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品,旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "未披露",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。\n\n1、负责分布式编排调度中的资源效能优化,通过工程手段,提升单位算力上支持的业务、模型规模:\n1)使用/二次开发围绕Kubernetes/Godel生态的分布式调度框架,在不同的业务场景下合理选型,并依据不同场景的特点进行集群的利用率/均匀性的调度策略优化;\n2)对接/扩展各类模型、业务的AutoScaling以及自动并行的工作;通过对不同模型的负载建模分析的方法,为模型的资源请求进行自动优化,规模化的优化资源使用效率,达到全局最优;\n3)负责不同优先级服务的抢占/驱逐功能;负责不同集群不同类型资源间的拆借/混部对接工作;负责多机房、多地域、多云场景的调度/负载适配;\n2、负责建设面向下一代超大超深推荐模型的训练系统架构:\n1)围绕超大规模Embedding以及超大规模GPU同步训练建设弹性、鲁棒的分布式训练Runtime;\n2)设计、优化面向未来推荐广告模型调研范式(e.g.RL、Finetune、蒸馏)的分布式计算API以及Runtime;\n3)对接平台,优化分布式训练的可诊断性以及易用性;\n3、负责建设面向下一代推荐系统的在线编排架构:\n1)围绕超大规模Embedding的在线训练场景,构建健壮、稳定的分布式模型推理架构;\n2)结合业务的调研实验模式,优化推荐广告模型在线架构的易用性和MLops流程。",
        "requirements_text": "1、熟练掌握Linux环境下的Go/Python至少1种编程语言,有良好的编程习惯及编码能力;\n2、熟悉分布式系统原理,有机器学习系统相关实践和开发经验优先;\n3、熟悉开源的分布式调度框架,诸如Kubernetes(K8s),Yarn(Flink,MapReduce),Mesos,Celery,对其中至少一种有实践积累者优先;\n4、熟悉开源的分布式编排系统,例如veRL,vLLM,Ray,TFX,对其中至少一种有开发经验者优先;\n5、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动。",
        "skills": [AI生成
            "Python",
            "Linux",
            "Kubernetes",
            "Flink",
            "机器学习",
            "分布式系统",
            "沟通能力",
            "学习能力"
        ],
        "preferred_qualifications": "2、熟悉分布式系统原理,有机器学习系统相关实践和开发经验优先;3、熟悉开源的分布式调度框架,诸如Kubernetes(K8s),Yarn(Flink,MapReduce),Mesos,Celery,对其中至少一种有实践积累者优先;4、熟悉开源的分布式编排系统,例如veRL,vLLM,Ray,TFX,对其中至少一种有开发经验者优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/experienced/position/7342380348309686537/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7342380348309686537",
        "post_date": "2024-03-04",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/experienced/position/7342380348309686537/detail"
    },
    "fulltext": "后端调度编排工程师 - Data AML\n职位描述\n团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。\n\n1、负责分布式编排调度中的资源效能优化,通过工程手段,提升单位算力上支持的业务、模型规模:\n1)使用/二次开发围绕Kubernetes/Godel生态的分布式调度框架,在不同的业务场景下合理选型,并依据不同场景的特点进行集群的利用率/均匀性的调度策略优化;\n2)对接/扩展各类模型、业务的AutoScaling以及自动并行的工作;通过对不同模型的负载建模分析的方法,为模型的资源请求进行自动优化,规模化的优化资源使用效率,达到全局最优;\n3)负责不同优先级服务的抢占/驱逐功能;负责不同集群不同类型资源间的拆借/混部对接工作;负责多机房、多地域、多云场景的调度/负载适配;\n2、负责建设面向下一代超大超深推荐模型的训练系统架构:\n1)围绕超大规模Embedding以及超大规模GPU同步训练建设弹性、鲁棒的分布式训练Runtime;\n2)设计、优化面向未来推荐广告模型调研范式(e.g.RL、Finetune、蒸馏)的分布式计算API以及Runtime;\n3)对接平台,优化分布式训练的可诊断性以及易用性;\n3、负责建设面向下一代推荐系统的在线编排架构:\n1)围绕超大规模Embedding的在线训练场景,构建健壮、稳定的分布式模型推理架构;\n2)结合业务的调研实验模式,优化推荐广告模型在线架构的易用性和MLops流程。\n\n职位要求\n1、熟练掌握Linux环境下的Go/Python至少1种编程语言,有良好的编程习惯及编码能力;\n2、熟悉分布式系统原理,有机器学习系统相关实践和开发经验优先;\n3、熟悉开源的分布式调度框架,诸如Kubernetes(K8s),Yarn(Flink,MapReduce),Mesos,Celery,对其中至少一种有实践积累者优先;\n4、熟悉开源的分布式编排系统,例如veRL,vLLM,Ray,TFX,对其中至少一种有开发经验者优先;\n5、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动。\n团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。\n\n1、负责分布式编排调度中的资源效能优化,通过工程手段,提升单位算力上支持的业务、模型规模:\n1)使用/二次开发围绕Kubernetes/Godel生态的分布式调度框架,在不同的业务场景下合理选型,并依据不同场景的特点进行集群的利用率/均匀性的调度策略优化;\n2)对接/扩展各类模型、业务的AutoScaling以及自动并行的工作;通过对不同模型的负载建模分析的方法,为模型的资源请求进行自动优化,规模化的优化资源使用效率,达到全局最优;\n3)负责不同优先级服务的抢占/驱逐功能;负责不同集群不同类型资源间的拆借/混部对接工作;负责多机房、多地域、多云场景的调度/负载适配;\n2、负责建设面向下一代超大超深推荐模型的训练系统架构:\n1)围绕超大规模Embedding以及超大规模GPU同步训练建设弹性、鲁棒的分布式训练Runtime;\n2)设计、优化面向未来推荐广告模型调研范式(e.g.RL、Finetune、蒸馏)的分布式计算API以及Runtime;\n3)对接平台,优化分布式训练的可诊断性以及易用性;\n3、负责建设面向下一代推荐系统的在线编排架构:\n1)围绕超大规模Embedding的在线训练场景,构建健壮、稳定的分布式模型推理架构;\n2)结合业务的调研实验模式,优化推荐广告模型在线架构的易用性和MLops流程。\n1、熟练掌握Linux环境下的Go/Python至少1种编程语言,有良好的编程习惯及编码能力;\n2、熟悉分布式系统原理,有机器学习系统相关实践和开发经验优先;\n3、熟悉开源的分布式调度框架,诸如Kubernetes(K8s),Yarn(Flink,MapReduce),Mesos,Celery,对其中至少一种有实践积累者优先;\n4、熟悉开源的分布式编排系统,例如veRL,vLLM,Ray,TFX,对其中至少一种有开发经验者优先;\n5、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动。",
    "standard_classification": {
        "std_category_code": "T014",
        "std_aux_codes": [
            "T018"
        ],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}