职位详情

职位列表 链接有效 不适用(官网全量采集) official:alibaba:199908400010

千问Qwen训练算法-系统协同前沿技术研究-阿里星

未披露 · 北京 / 杭州 / 上海 · 阿里巴巴集团

主分类:大模型与生成式算法研发
算法与数据
辅助:AI训练推理与计算优化(仅展示)
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "千问Qwen训练算法-系统协同前沿技术研究-阿里星",
        "job_level": "校招",AI生成
        "work_category": "全职",AI生成
        "department": "Token Foundry",
        "location": "北京 / 杭州 / 上海",
        "work_mode": "未披露",AI生成
        "job_category": "技术类"AI生成
    },
    "company": {
        "company_name": "阿里巴巴集团",
        "company_industry": "电子商务 / 云计算 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "alibaba.com",
        "company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "(1)全球Top高校计算机科学、人工智能等相关领域博士/顶尖硕士",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "加入我们,你将以算法-系统协同设计(Algorithm-System Codesign) 为核心方法论,深度参与千问Qwen系列大模型预训练的核心算法与架构设计。当前千问Qwen正加速向极度稀疏Fine-Grained MoE与超长上下文高效训练方向演进,你将参与训练/推理效率友好的模型结构设计,定义训练稳定性与量化友好方案,参与Self-Evolving训练闭环的Infra设计建设,与Infra团队协同落地,在万卡规模下推动Scaling Efficiency的持续突破。\n1. 万卡训练稳定性保障\n(1)训练任务稳定性:深度参与万卡集群训练的系统级稳定性保障,从算法与框架层面设计容错策略,包括Checkpoint一致性保障、故障恢复后的训练状态对齐、并行拓扑变更下的梯度一致性维护。\n(2)Loss稳定性:研究并干预训练过程中的Loss异常现象,包括Loss Spike归因与干预、梯度爆炸/消失的算法级预防、数值溢出检测与自动修复、高稀疏MoE下Activation Explosion的抑制方案。\n(3)量化友好设计:从模型架构与训练策略层面设计Quantization-Friendly的方案,包括量化感知训练(QAT)策略、激活值分布约束、FP8/低精度训练的数值稳定性设计,确保模型在训练阶段即考虑部署时的量化兼容性。\n(4)与Infra团队协同,建立训练异常的自动化检测、诊断与告警机制,实现Loss/梯度/激活的实时监控与根因分析。\n2. 效率友好的模型结构设计\n(1)从训练效率与推理成本视角深度参与模型结构设计,为架构决策提供量化依据:\n·极度稀疏Fine-Grained MoE:评估不同潜空间维度、Expert池规模、激活数、负载均衡策略对训练吞吐、通信开销、显存占用的综合影响,选型效率最优的稀疏MoE方案与全局均衡算法。\n·高效长上下文Attention:评估混合注意力架构、线性注意力变体、KV压缩方案在百万Token上下文下的训练FLOPs效率与推理KV Cache开销,选型对Context Parallel与Kernel效率最友好的方案。\n·与Infra团队协同,将效率评估结论转化为通信模式需求与Kernel需求,推动算法-系统联合设计。\n3. Self-Evolving训练闭环的Infra建设\n(1)评估Self-Evolving在Qwen场景下的Infra可行性与ROI,从数据规模、训练成本、迭代效率三个维度进行量化判断。\n(2)深度参与大模型Self-Evolving机制的训练基础设施建设,构建支持模型自我演进的规模化训练闭环:\n·设计自生成-评估-回灌的数据流水线,搭建支持Self-Play/自蒸馏/迭代式自训练的多阶段训练编排与调度,平衡Rollout/Training/Evaluation三阶段的资源分配与流水线Overlap,确保自演进过程可控可观测。\n4. 前沿技术追踪与选型判断\n(1)持续追踪SOTA预训练技术,从算法收益、系统开销、工程风险三个维度进行量化评估与选型决策。\n(2)推动前沿技术从论文复现到万卡规模验证的全流程落地。\n(3)鼓励在NeurIPS/ICLR/MLSys等顶会发表算法与系统交叉方向的研究成果。",
        "requirements_text": "1. 学历与理论基础\n(1)全球Top高校计算机科学、人工智能等相关领域博士/顶尖硕士。\n(2)扎实的深度学习理论基础,对Transformer架构有原理级理解。\n(3)在MoE(路由策略、负载均衡、Fine-Grained稀疏、Expert Collapse)和/或Attention(混合注意力、MLA、线性Attention、长上下文训练)方向有深入研究。\n2. 算法-系统协同能力(核心门槛)\n(1)精通PyTorch,熟悉Megatron-LM等训练框架的工作机制。\n(2)具备算法-系统联合思考能力:评估MoE路由策略时能建模通信开销与负载均衡效率;评估Attention变体时能判断对并行策略与Kernel效率的影响。\n(3)有向Megatron-LM/DeepSpeed/vLLM/PyTorch等开源框架贡献核心代码的经历者优先。\n3. 分布式训练经验\n(1)具备千卡/万卡级分布式训练的实际操作经验。\n(2)有MoE训练优化、长上下文预训练、或大规模模型稳定性保障中至少一项实战经验。\n4. 编程与工程素养\n(1)精通Python,具备CUDA/Triton Kernel开发能力或强烈意愿。\n(2)极强的代码功底与工程实践能力,ACM/ICPC等编程竞赛获奖者优先。\n(3)优秀的跨团队技术沟通能力,能在算法与Infra团队之间建立高效技术对话。\n5. 研究志向\n(1)持续关注大模型预训练前沿(新型架构、新型优化器、新型并行范式),不满足于\"跟随开源\",有志于定义下一代大模型预训练算法与架构。\n加分项\n1. 万卡级MoE/长文本预训练实操与稳定性保障经验。\n2. NeurIPS/ICLR/MLSys/ASPLOS等发表MoE架构优化、高效Attention、Self-Evolving相关论文。\n3. Megatron-LM/DeepSpeed/vLLM等框架的可追溯核心代码贡献。\n4. 极度稀疏MoE负载均衡、线性注意力长上下文训练、Self-Play/自蒸馏Infra建设等方向的研究背景。\n5. 算法-系统交叉研究。",
        "skills": [AI生成
            "Python",
            "PyTorch",
            "CUDA",
            "深度学习",
            "沟通能力",
            "建模",
            "大语言模型"
        ],
        "preferred_qualifications": "(3)有向Megatron-LM/DeepSpeed/vLLM/PyTorch等开源框架贡献核心代码的经历者优先;(2)极强的代码功底与工程实践能力,ACM/ICPC等编程竞赛获奖者优先;加分项",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://campus-talent.alibaba.com/campus/position/199908400010?deptCodes="
            }
        ]
    },
    "posting": {
        "posting_id": "199908400010",
        "post_date": "2026-08-05",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://campus-talent.alibaba.com/campus/position/199908400010?deptCodes="
    },
    "fulltext": "千问Qwen训练算法-系统协同前沿技术研究-阿里星\n千问Qwen训练算法-系统协同前沿技术研究-阿里星\n\n基础信息\n毕业起止时间要求:2026-11-01 - 2027-10-31\n职位类别:技术类\n招聘项目:阿里巴巴2027届应届生\n工作地点:北京 / 杭州 / 上海\n\n职位描述\n加入我们,你将以算法-系统协同设计(Algorithm-System Codesign) 为核心方法论,深度参与千问Qwen系列大模型预训练的核心算法与架构设计。当前千问Qwen正加速向极度稀疏Fine-Grained MoE与超长上下文高效训练方向演进,你将参与训练/推理效率友好的模型结构设计,定义训练稳定性与量化友好方案,参与Self-Evolving训练闭环的Infra设计建设,与Infra团队协同落地,在万卡规模下推动Scaling Efficiency的持续突破。\n1. 万卡训练稳定性保障\n(1)训练任务稳定性:深度参与万卡集群训练的系统级稳定性保障,从算法与框架层面设计容错策略,包括Checkpoint一致性保障、故障恢复后的训练状态对齐、并行拓扑变更下的梯度一致性维护。\n(2)Loss稳定性:研究并干预训练过程中的Loss异常现象,包括Loss Spike归因与干预、梯度爆炸/消失的算法级预防、数值溢出检测与自动修复、高稀疏MoE下Activation Explosion的抑制方案。\n(3)量化友好设计:从模型架构与训练策略层面设计Quantization-Friendly的方案,包括量化感知训练(QAT)策略、激活值分布约束、FP8/低精度训练的数值稳定性设计,确保模型在训练阶段即考虑部署时的量化兼容性。\n(4)与Infra团队协同,建立训练异常的自动化检测、诊断与告警机制,实现Loss/梯度/激活的实时监控与根因分析。\n2. 效率友好的模型结构设计\n(1)从训练效率与推理成本视角深度参与模型结构设计,为架构决策提供量化依据:\n·极度稀疏Fine-Grained MoE:评估不同潜空间维度、Expert池规模、激活数、负载均衡策略对训练吞吐、通信开销、显存占用的综合影响,选型效率最优的稀疏MoE方案与全局均衡算法。\n·高效长上下文Attention:评估混合注意力架构、线性注意力变体、KV压缩方案在百万Token上下文下的训练FLOPs效率与推理KV Cache开销,选型对Context Parallel与Kernel效率最友好的方案。\n·与Infra团队协同,将效率评估结论转化为通信模式需求与Kernel需求,推动算法-系统联合设计。\n3. Self-Evolving训练闭环的Infra建设\n(1)评估Self-Evolving在Qwen场景下的Infra可行性与ROI,从数据规模、训练成本、迭代效率三个维度进行量化判断。\n(2)深度参与大模型Self-Evolving机制的训练基础设施建设,构建支持模型自我演进的规模化训练闭环:\n·设计自生成-评估-回灌的数据流水线,搭建支持Self-Play/自蒸馏/迭代式自训练的多阶段训练编排与调度,平衡Rollout/Training/Evaluation三阶段的资源分配与流水线Overlap,确保自演进过程可控可观测。\n4. 前沿技术追踪与选型判断\n(1)持续追踪SOTA预训练技术,从算法收益、系统开销、工程风险三个维度进行量化评估与选型决策。\n(2)推动前沿技术从论文复现到万卡规模验证的全流程落地。\n(3)鼓励在NeurIPS/ICLR/MLSys等顶会发表算法与系统交叉方向的研究成果。\n\n职位要求\n1. 学历与理论基础\n(1)全球Top高校计算机科学、人工智能等相关领域博士/顶尖硕士。\n(2)扎实的深度学习理论基础,对Transformer架构有原理级理解。\n(3)在MoE(路由策略、负载均衡、Fine-Grained稀疏、Expert Collapse)和/或Attention(混合注意力、MLA、线性Attention、长上下文训练)方向有深入研究。\n2. 算法-系统协同能力(核心门槛)\n(1)精通PyTorch,熟悉Megatron-LM等训练框架的工作机制。\n(2)具备算法-系统联合思考能力:评估MoE路由策略时能建模通信开销与负载均衡效率;评估Attention变体时能判断对并行策略与Kernel效率的影响。\n(3)有向Megatron-LM/DeepSpeed/vLLM/PyTorch等开源框架贡献核心代码的经历者优先。\n3. 分布式训练经验\n(1)具备千卡/万卡级分布式训练的实际操作经验。\n(2)有MoE训练优化、长上下文预训练、或大规模模型稳定性保障中至少一项实战经验。\n4. 编程与工程素养\n(1)精通Python,具备CUDA/Triton Kernel开发能力或强烈意愿。\n(2)极强的代码功底与工程实践能力,ACM/ICPC等编程竞赛获奖者优先。\n(3)优秀的跨团队技术沟通能力,能在算法与Infra团队之间建立高效技术对话。\n5. 研究志向\n(1)持续关注大模型预训练前沿(新型架构、新型优化器、新型并行范式),不满足于\"跟随开源\",有志于定义下一代大模型预训练算法与架构。\n加分项\n1. 万卡级MoE/长文本预训练实操与稳定性保障经验。\n2. NeurIPS/ICLR/MLSys/ASPLOS等发表MoE架构优化、高效Attention、Self-Evolving相关论文。\n3. Megatron-LM/DeepSpeed/vLLM等框架的可追溯核心代码贡献。\n4. 极度稀疏MoE负载均衡、线性注意力长上下文训练、Self-Play/自蒸馏Infra建设等方向的研究背景。\n5. 算法-系统交叉研究。\n\n在招业务\nToken Foundry\n加入我们,你将以算法-系统协同设计(Algorithm-System Codesign) 为核心方法论,深度参与千问Qwen系列大模型预训练的核心算法与架构设计。当前千问Qwen正加速向极度稀疏Fine-Grained MoE与超长上下文高效训练方向演进,你将参与训练/推理效率友好的模型结构设计,定义训练稳定性与量化友好方案,参与Self-Evolving训练闭环的Infra设计建设,与Infra团队协同落地,在万卡规模下推动Scaling Efficiency的持续突破。\n1. 万卡训练稳定性保障\n(1)训练任务稳定性:深度参与万卡集群训练的系统级稳定性保障,从算法与框架层面设计容错策略,包括Checkpoint一致性保障、故障恢复后的训练状态对齐、并行拓扑变更下的梯度一致性维护。\n(2)Loss稳定性:研究并干预训练过程中的Loss异常现象,包括Loss Spike归因与干预、梯度爆炸/消失的算法级预防、数值溢出检测与自动修复、高稀疏MoE下Activation Explosion的抑制方案。\n(3)量化友好设计:从模型架构与训练策略层面设计Quantization-Friendly的方案,包括量化感知训练(QAT)策略、激活值分布约束、FP8/低精度训练的数值稳定性设计,确保模型在训练阶段即考虑部署时的量化兼容性。\n(4)与Infra团队协同,建立训练异常的自动化检测、诊断与告警机制,实现Loss/梯度/激活的实时监控与根因分析。\n2. 效率友好的模型结构设计\n(1)从训练效率与推理成本视角深度参与模型结构设计,为架构决策提供量化依据:\n·极度稀疏Fine-Grained MoE:评估不同潜空间维度、Expert池规模、激活数、负载均衡策略对训练吞吐、通信开销、显存占用的综合影响,选型效率最优的稀疏MoE方案与全局均衡算法。\n·高效长上下文Attention:评估混合注意力架构、线性注意力变体、KV压缩方案在百万Token上下文下的训练FLOPs效率与推理KV Cache开销,选型对Context Parallel与Kernel效率最友好的方案。\n·与Infra团队协同,将效率评估结论转化为通信模式需求与Kernel需求,推动算法-系统联合设计。\n3. Self-Evolving训练闭环的Infra建设\n(1)评估Self-Evolving在Qwen场景下的Infra可行性与ROI,从数据规模、训练成本、迭代效率三个维度进行量化判断。\n(2)深度参与大模型Self-Evolving机制的训练基础设施建设,构建支持模型自我演进的规模化训练闭环:\n·设计自生成-评估-回灌的数据流水线,搭建支持Self-Play/自蒸馏/迭代式自训练的多阶段训练编排与调度,平衡Rollout/Training/Evaluation三阶段的资源分配与流水线Overlap,确保自演进过程可控可观测。\n4. 前沿技术追踪与选型判断\n(1)持续追踪SOTA预训练技术,从算法收益、系统开销、工程风险三个维度进行量化评估与选型决策。\n(2)推动前沿技术从论文复现到万卡规模验证的全流程落地。\n(3)鼓励在NeurIPS/ICLR/MLSys等顶会发表算法与系统交叉方向的研究成果。\n1. 学历与理论基础\n(1)全球Top高校计算机科学、人工智能等相关领域博士/顶尖硕士。\n(2)扎实的深度学习理论基础,对Transformer架构有原理级理解。\n(3)在MoE(路由策略、负载均衡、Fine-Grained稀疏、Expert Collapse)和/或Attention(混合注意力、MLA、线性Attention、长上下文训练)方向有深入研究。\n2. 算法-系统协同能力(核心门槛)\n(1)精通PyTorch,熟悉Megatron-LM等训练框架的工作机制。\n(2)具备算法-系统联合思考能力:评估MoE路由策略时能建模通信开销与负载均衡效率;评估Attention变体时能判断对并行策略与Kernel效率的影响。\n(3)有向Megatron-LM/DeepSpeed/vLLM/PyTorch等开源框架贡献核心代码的经历者优先。\n3. 分布式训练经验\n(1)具备千卡/万卡级分布式训练的实际操作经验。\n(2)有MoE训练优化、长上下文预训练、或大规模模型稳定性保障中至少一项实战经验。\n4. 编程与工程素养\n(1)精通Python,具备CUDA/Triton Kernel开发能力或强烈意愿。\n(2)极强的代码功底与工程实践能力,ACM/ICPC等编程竞赛获奖者优先。\n(3)优秀的跨团队技术沟通能力,能在算法与Infra团队之间建立高效技术对话。\n5. 研究志向\n(1)持续关注大模型预训练前沿(新型架构、新型优化器、新型并行范式),不满足于\"跟随开源\",有志于定义下一代大模型预训练算法与架构。\n加分项\n1. 万卡级MoE/长文本预训练实操与稳定性保障经验。\n2. NeurIPS/ICLR/MLSys/ASPLOS等发表MoE架构优化、高效Attention、Self-Evolving相关论文。\n3. Megatron-LM/DeepSpeed/vLLM等框架的可追溯核心代码贡献。\n4. 极度稀疏MoE负载均衡、线性注意力长上下文训练、Self-Play/自蒸馏Infra建设等方向的研究背景。\n5. 算法-系统交叉研究。",
    "standard_classification": {
        "std_category_code": "T010",
        "std_aux_codes": [
            "T014"
        ],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}