主分类：AI训练推理与计算优化
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "【基座大模型北斗实习】大模型预训练研究",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "未披露",
"location": "北京市 / 上海市",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "美团",
"company_industry": "科技零售 / 生活服务",
"company_size": "10000人以上",
"company_website": "meituan.com",
"company_description": "美团通过科技推动服务零售和商品零售的数字化，连接消费者与商户。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "未披露",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "简介：千亿参数、万亿Token、万卡集群——预训练的核心命题只有一个：在极限规模下，让每一张GPU都跑满，每一次迭代都不浪费。这是工程复杂度最高、也最能锻炼系统能力的地方。\n\n你可能会做以下方向研究：\n1、超大规模分布式训练\n①设计和优化ND并行（EP/CP/DP/TP/PP）+ MoE并行混合策略，支撑万亿参数模型训练。\n②深入 Megatron-LM 内核，针对美团模型架构做定制化设计、改造，性能优化。\n③解决流水线气泡、显存碎片、梯度累积等大规模训练特有的工程难题，细粒度控制平衡计算通行的精度和效率。\n2、计算 & 算子优化\n①基于 CUDA / Triton 开发高性能训练算子（FlashAttention变体、FusedMLP、RMSNorm等）。\n②推进 8bit、4bit 混合精度训练落地，在精度与速度之间找到最优平衡。\n③通过 profiling 定位热点，把MFU（模型算力利用率）推向理论上限。\n3、通信链路优化\n①深挖 NCCL / RDMA / InfiniBand 通信性能，优化 AllReduce/AllGather/MoE层Dispatch/Combine 等集合通信原语。\n②结合网络拓扑设计通信-计算重叠策略，让通信开销近乎透明。\n4、稳定性 & 大规模容错\n①构建万卡级自动故障检测、弹性容错、断点续训机制。\n②设计高效的异步checkpoint方案，千亿模型保存时间压到分钟级。\n③开发训练健康度监控系统：loss异常、梯度爆炸、卡间通信超时等实时告警。\n5、存储 & 数据IO\n①解决 PB级预训练语料的高并发高吞吐读取问题。\n②设计 tokenized 数据的分布式缓存与预取，IO不成为训练瓶颈。",
"requirements_text": "1、具备 CUDA kernel 开发和 Profile 能力，理解并行计算、存储层级架构，或具备国产AI算力开发经验；\n2、改过 Megatron-LM / DeepSpeed / FSDP 源码（不是只跑过）；\n3、了解 NCCL 原理 或有 RDMA / 网络协议栈经验；\n4、MLSys / OSDI / SOSP / ISCA 等系统顶会论文；\n5、PyTorch / Megatron 开源贡献记录。",
"skills": [AI生成
"PyTorch",
"CUDA"
],
"preferred_qualifications": "未披露",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://zhaopin.meituan.com/web/position/detail?jobUnionId=4346299240&jobShareType=1"
}
]
},
"posting": {
"posting_id": "4346299240",
"post_date": "",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://zhaopin.meituan.com/web/position/detail?jobUnionId=4346299240&jobShareType=1"
},
"fulltext": "【基座大模型北斗实习】大模型预训练研究\n【基座大模型北斗实习】大模型预训练研究\n\n基础信息\n工作地点：北京市 / 上海市\n职位类别：技术类\n职位族群：算法\n更新时间：2026-04-03\n\n岗位职责\n简介：千亿参数、万亿Token、万卡集群——预训练的核心命题只有一个：在极限规模下，让每一张GPU都跑满，每一次迭代都不浪费。这是工程复杂度最高、也最能锻炼系统能力的地方。\n\n你可能会做以下方向研究：\n1、超大规模分布式训练\n①设计和优化ND并行（EP/CP/DP/TP/PP）+ MoE并行混合策略，支撑万亿参数模型训练。\n②深入 Megatron-LM 内核，针对美团模型架构做定制化设计、改造，性能优化。\n③解决流水线气泡、显存碎片、梯度累积等大规模训练特有的工程难题，细粒度控制平衡计算通行的精度和效率。\n2、计算 & 算子优化\n①基于 CUDA / Triton 开发高性能训练算子（FlashAttention变体、FusedMLP、RMSNorm等）。\n②推进 8bit、4bit 混合精度训练落地，在精度与速度之间找到最优平衡。\n③通过 profiling 定位热点，把MFU（模型算力利用率）推向理论上限。\n3、通信链路优化\n①深挖 NCCL / RDMA / InfiniBand 通信性能，优化 AllReduce/AllGather/MoE层Dispatch/Combine 等集合通信原语。\n②结合网络拓扑设计通信-计算重叠策略，让通信开销近乎透明。\n4、稳定性 & 大规模容错\n①构建万卡级自动故障检测、弹性容错、断点续训机制。\n②设计高效的异步checkpoint方案，千亿模型保存时间压到分钟级。\n③开发训练健康度监控系统：loss异常、梯度爆炸、卡间通信超时等实时告警。\n5、存储 & 数据IO\n①解决 PB级预训练语料的高并发高吞吐读取问题。\n②设计 tokenized 数据的分布式缓存与预取，IO不成为训练瓶颈。\n\n岗位基本要求\n1、具备 CUDA kernel 开发和 Profile 能力，理解并行计算、存储层级架构，或具备国产AI算力开发经验；\n2、改过 Megatron-LM / DeepSpeed / FSDP 源码（不是只跑过）；\n3、了解 NCCL 原理 或有 RDMA / 网络协议栈经验；\n4、MLSys / OSDI / SOSP / ISCA 等系统顶会论文；\n5、PyTorch / Megatron 开源贡献记录。\n简介：千亿参数、万亿Token、万卡集群——预训练的核心命题只有一个：在极限规模下，让每一张GPU都跑满，每一次迭代都不浪费。这是工程复杂度最高、也最能锻炼系统能力的地方。\n\n你可能会做以下方向研究：\n1、超大规模分布式训练\n①设计和优化ND并行（EP/CP/DP/TP/PP）+ MoE并行混合策略，支撑万亿参数模型训练。\n②深入 Megatron-LM 内核，针对美团模型架构做定制化设计、改造，性能优化。\n③解决流水线气泡、显存碎片、梯度累积等大规模训练特有的工程难题，细粒度控制平衡计算通行的精度和效率。\n2、计算 & 算子优化\n①基于 CUDA / Triton 开发高性能训练算子（FlashAttention变体、FusedMLP、RMSNorm等）。\n②推进 8bit、4bit 混合精度训练落地，在精度与速度之间找到最优平衡。\n③通过 profiling 定位热点，把MFU（模型算力利用率）推向理论上限。\n3、通信链路优化\n①深挖 NCCL / RDMA / InfiniBand 通信性能，优化 AllReduce/AllGather/MoE层Dispatch/Combine 等集合通信原语。\n②结合网络拓扑设计通信-计算重叠策略，让通信开销近乎透明。\n4、稳定性 & 大规模容错\n①构建万卡级自动故障检测、弹性容错、断点续训机制。\n②设计高效的异步checkpoint方案，千亿模型保存时间压到分钟级。\n③开发训练健康度监控系统：loss异常、梯度爆炸、卡间通信超时等实时告警。\n5、存储 & 数据IO\n①解决 PB级预训练语料的高并发高吞吐读取问题。\n②设计 tokenized 数据的分布式缓存与预取，IO不成为训练瓶颈。\n1、具备 CUDA kernel 开发和 Profile 能力，理解并行计算、存储层级架构，或具备国产AI算力开发经验；\n2、改过 Megatron-LM / DeepSpeed / FSDP 源码（不是只跑过）；\n3、了解 NCCL 原理 或有 RDMA / 网络协议栈经验；\n4、MLSys / OSDI / SOSP / ISCA 等系统顶会论文；\n5、PyTorch / Megatron 开源贡献记录。",
"standard_classification": {
"std_category_code": "T014",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}