职位详情

职位列表 链接有效 LLM 8621948fa359e67d

LLM 预训练主训研究员

500-1000元/天 · 北京·海淀区·中关村 · 上海阶跃星辰智能科技

JD数据
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "LLM 预训练主训研究员",
        "job_level": "专家",AI生成
        "work_category": "全职",AI生成
        "department": "",
        "location": "北京·海淀区·中关村",
        "work_mode": "现场办公",AI生成
        "job_category": "AI模型算法工程师"AI生成
    },
    "company": {
        "company_name": "上海阶跃星辰智能科技",
        "company_industry": "人工智能",
        "company_size": "500-999人",
        "company_website": "",
        "company_description": ""
    },
    "compensation": {
        "salary_range": {
            "min": 500,
            "max": 1000,
            "currency": "CNY",
            "cycle": "day"
        },
        "benefits": ""
    },
    "requirements": {
        "working_years": 0,
        "degree": "本科",
        "language": "中英双语",AI生成
        "visa_support": "",
        "responsibilities": "",
        "requirements_text": "岗位背景\n预训练是基础模型能力的根基。主训工程师负责在千卡甚至万卡 GPU 集群上稳定、高效地运⾏⼤规模预训练任务,保障训练吞吐、集群稳定性与 loss 收敛质量,同时参与 scaling law 实验设计,直接影响模型版本迭代节奏。\n\n核⼼职责\n训练稳定性与效率\n- 负责千卡以上规模预训练任务的日常运维与异常处理,保障训练零中断 / 快速恢复\n- 诊断并解决 loss spike、梯度爆炸、NaN、慢节点等训练异常,建立系统化的问题分类与处理机制\n- 优化训练吞吐(MFU),通过 kernel 融合、通信隐藏、梯度 checkpoint 等⼿段提升 GPU 利用率\n- 维护 checkpoint 管理体系,支持断点续训、模型版本对比与快速回滚\nInfra 框架与工程\n- 深度使用并优化 Megatron-LM / FSDP,参与训练框架的定制化改造\n- 负责 3D 并行策略(TP / PP / DP)的配置调优,针对不同模型规模找到最优并行方案\n- 与基础设施团队协作,推动 NCCL 通信拓扑优化、网络带宽利用率提升\nScaling 实验支持\n- 参与 scaling law 实验设计,高效运行小模型代理实验并推断大模型行为\n- 建立训练 metric 监控体系(loss 曲线、grad norm、吞吐、显存),支持研究员快速判断实验质量\n\n任职要求\n基础能力(必须)\n- 熟练掌握 PyTorch 分布式训练,深入理解 DDP / FSDP / Megatron-LM\n- 有 100 卡以上规模训练任务的实际运维经验,能独立排查训练异常\n- 理解 GPU 性能模型(compute bound / memory bound),能分析并优化训练瓶颈\n- 熟悉 NCCL、InfiniBand / RoCE 网络基础\n加分项\n- 有完整预训练项目经验(从数据准备到训练完成)\n- 参与过 vLLM / SGLang 等推理框架的开发或深度使用\n- 有 scaling law 实验设计或 MFU 系统性优化经验\n- 有开源大模型训练框架贡献(Megatron-LM / DeepSpeed 等)",
        "skills": [AI生成
            "模型训练与算法优化",
            "编程与代码实现",
            "技术可行性与系统架构",
            "数据分析与指标体系",
            "分布式/微服务系统设计"
        ],
        "preferred_qualifications": "",
        "job_highlights": ""
    },
    "contact": {
        "recruiter_name": "",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://www.zhipin.com/job_detail/e4e87509af79ca420nF72Nu9E1RR.html"
            }
        ]
    },
    "posting": {
        "posting_id": "e4e87509af79ca420nF72Nu9E1RR",
        "post_date": "",
        "hire_time": "",
        "update_date": "",
        "job_url": "https://www.zhipin.com/job_detail/e4e87509af79ca420nF72Nu9E1RR.html"
    },
    "fulltext": "岗位背景\n预训练是基础模型能力的根基。主训工程师负责在千卡甚至万卡 GPU 集群上稳定、高效地运⾏⼤规模预训练任务,保障训练吞吐、集群稳定性与 loss 收敛质量,同时参与 scaling law 实验设计,直接影响模型版本迭代节奏。\n\n核⼼职责\n训练稳定性与效率\n- 负责千卡以上规模预训练任务的日常运维与异常处理,保障训练零中断 / 快速恢复\n- 诊断并解决 loss spike、梯度爆炸、NaN、慢节点等训练异常,建立系统化的问题分类与处理机制\n- 优化训练吞吐(MFU),通过 kernel 融合、通信隐藏、梯度 checkpoint 等⼿段提升 GPU 利用率\n- 维护 checkpoint 管理体系,支持断点续训、模型版本对比与快速回滚\nInfra 框架与工程\n- 深度使用并优化 Megatron-LM / FSDP,参与训练框架的定制化改造\n- 负责 3D 并行策略(TP / PP / DP)的配置调优,针对不同模型规模找到最优并行方案\n- 与基础设施团队协作,推动 NCCL 通信拓扑优化、网络带宽利用率提升\nScaling 实验支持\n- 参与 scaling law 实验设计,高效运行小模型代理实验并推断大模型行为\n- 建立训练 metric 监控体系(loss 曲线、grad norm、吞吐、显存),支持研究员快速判断实验质量\n\n任职要求\n基础能力(必须)\n- 熟练掌握 PyTorch 分布式训练,深入理解 DDP / FSDP / Megatron-LM\n- 有 100 卡以上规模训练任务的实际运维经验,能独立排查训练异常\n- 理解 GPU 性能模型(compute bound / memory bound),能分析并优化训练瓶颈\n- 熟悉 NCCL、InfiniBand / RoCE 网络基础\n加分项\n- 有完整预训练项目经验(从数据准备到训练完成)\n- 参与过 vLLM / SGLang 等推理框架的开发或深度使用\n- 有 scaling law 实验设计或 MFU 系统性优化经验\n- 有开源大模型训练框架贡献(Megatron-LM / DeepSpeed 等)"
}