职位详情

职位列表 链接有效 不适用(官网全量采集) official:tencent:2020723054623227904

微信-WeLM 大模型预训练框架研发工程师(深圳、上海)

未披露 · 北京 · 腾讯

主分类:AI训练推理与计算优化
软件开发与 IT
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "微信-WeLM 大模型预训练框架研发工程师(深圳、上海)",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "WXG",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "技术"AI生成
    },
    "company": {
        "company_name": "腾讯",
        "company_industry": "互联网 / 科技 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "tencent.com",
        "company_description": "腾讯是一家互联网和科技公司,业务覆盖通信与社交、数字内容、游戏、金融科技、企业服务、云计算与人工智能等方向。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": 2,
        "degree": "计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1.负责构建和优化大规模预训练框架,支持文本、语音、图像等多模态数据的联合学习与高效训练;\r\n2.深入优化长序列场景下的分布式训练与显存利用(如context parallel、2D/环形 Attention、混合并行、激活重计算等),在百万级 token 训练中提升吞吐与性价比;\r\n3.负责后训练(Post-training)阶段框架建设,包括强化学习(RL/RLHF)、偏好建模(Reward Model)及人类反馈优化(Alignment)等流程;\r\n4.深入优化分布式训练框架与推理效率,提升算力利用率与模型吞吐性能;\r\n5.跟踪前沿研究趋势,探索高效预训练策略(如Mixture of Experts、Continual Pretraining等);\r\n6.与算法、数据、平台团队协作,形成从数据处理到训练部署的全流程自动化解决方案。",
        "requirements_text": "1.计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历;\r\n2.精通一种或多种主流深度学习框架(PyTorch、JAX、TensorFlow),具备大规模分布式训练经验;\r\n3.熟悉Transformer系列架构,理解其在语言、语音、视觉等方向的模型原理与实现;\r\n4.了解 LLM 的训练流程,有 Megatron, DeepSpeed 等大规模训练框架使用经验者优先;\r\n5.对RL/RLHF、偏好学习、奖励建模有实践经验者优先;\r\n6.具备扎实的工程实现能力与代码规范意识,熟悉CUDA优化、参数并行、流水线并行等技术;\r\n7.具备良好的团队协作与沟通能力,热爱探索与创新。",
        "skills": [AI生成
            "PyTorch",
            "TensorFlow",
            "CUDA",
            "深度学习",
            "团队协作",
            "沟通能力",
            "建模",
            "大语言模型"
        ],
        "preferred_qualifications": "1.在 GitHub 等平台持续参与主流大模型 / 分布式训练 / RLHF 等项目的开发维护,有高质量 PR 被核心项目合并,或担任 maintainer / reviewer;\r\n2.主导或深度参与自研预训练 / 后训练框架、长上下文训练工具链等开源项目,具备清晰的技术文档与使用教程,拥有一定 Star / Fork 规模和社区用户;\r\n3.在 Hugging Face 社区、技术博客或开发者论坛上定期分享工程实践(如长上下文训练、MoE、大规模分布式调优等),具备良好的技术传播与社区影响力。",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://careers.tencent.com/jobdesc.html?postId=2020723054623227904"
            }
        ]
    },
    "posting": {
        "posting_id": "2020723054623227904",
        "post_date": "2026-09-16",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://careers.tencent.com/jobdesc.html?postId=2020723054623227904"
    },
    "fulltext": "微信-WeLM 大模型预训练框架研发工程师(深圳、上海)\n1.负责构建和优化大规模预训练框架,支持文本、语音、图像等多模态数据的联合学习与高效训练;\r\n2.深入优化长序列场景下的分布式训练与显存利用(如context parallel、2D/环形 Attention、混合并行、激活重计算等),在百万级 token 训练中提升吞吐与性价比;\r\n3.负责后训练(Post-training)阶段框架建设,包括强化学习(RL/RLHF)、偏好建模(Reward Model)及人类反馈优化(Alignment)等流程;\r\n4.深入优化分布式训练框架与推理效率,提升算力利用率与模型吞吐性能;\r\n5.跟踪前沿研究趋势,探索高效预训练策略(如Mixture of Experts、Continual Pretraining等);\r\n6.与算法、数据、平台团队协作,形成从数据处理到训练部署的全流程自动化解决方案。\n1.计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历;\r\n2.精通一种或多种主流深度学习框架(PyTorch、JAX、TensorFlow),具备大规模分布式训练经验;\r\n3.熟悉Transformer系列架构,理解其在语言、语音、视觉等方向的模型原理与实现;\r\n4.了解 LLM 的训练流程,有 Megatron, DeepSpeed 等大规模训练框架使用经验者优先;\r\n5.对RL/RLHF、偏好学习、奖励建模有实践经验者优先;\r\n6.具备扎实的工程实现能力与代码规范意识,熟悉CUDA优化、参数并行、流水线并行等技术;\r\n7.具备良好的团队协作与沟通能力,热爱探索与创新。\n1.在 GitHub 等平台持续参与主流大模型 / 分布式训练 / RLHF 等项目的开发维护,有高质量 PR 被核心项目合并,或担任 maintainer / reviewer;\r\n2.主导或深度参与自研预训练 / 后训练框架、长上下文训练工具链等开源项目,具备清晰的技术文档与使用教程,拥有一定 Star / Fork 规模和社区用户;\r\n3.在 Hugging Face 社区、技术博客或开发者论坛上定期分享工程实践(如长上下文训练、MoE、大规模分布式调优等),具备良好的技术传播与社区影响力。",
    "standard_classification": {
        "std_category_code": "T014",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}