职位详情

职位列表 链接有效 不适用(官网全量采集) official:alibaba:100025040005

数据技术及产品部-RL Data Rubric 算法设计专家-Work

未披露 · 北京 / 杭州 · 阿里巴巴控股集团

主分类:大模型与生成式算法研发
算法与数据
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "数据技术及产品部-RL Data Rubric 算法设计专家-Work",
        "job_level": "专家",AI生成
        "work_category": "全职",AI生成
        "department": "阿里集团",
        "location": "北京 / 杭州",
        "work_mode": "未披露",AI生成
        "job_category": "技术类-算法"AI生成
    },
    "company": {
        "company_name": "阿里巴巴控股集团",
        "company_industry": "电子商务 / 云计算 / 人工智能",
        "company_size": "未披露",
        "company_website": "alibaba.com",
        "company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "本科",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1. Reward / Rubric 设计:和领域专家一起把领域专业判断(漏洞是否成立、时序是否收敛、回答是否可用等)拆成可自动化验证的评分规则,覆盖硬验证(工具退出码 / 规则)+ 数值指标 + milestone + LLM judge 的多层组合;根据任务特性选择合适的奖励形态——dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权,设计可训练、抗 hacking 的奖励信号。\n2. RLVR / RLHF 训练落地与反查:用设计出的 reward / rubric 真实训练模型(SFT / GRPO / DPO / RLVR / RLHF),独立跑通训练闭环,从训练曲线与 benchmark 结果反查 reward 与数据的问题,形成\"设计 → 训练 → 反查\"迭代闭环。\n3. Reward Hacking 识别与改正:识别评分规则里可能被模型钻空子的路径,定位训练中出现的 hacking 现象并改正规则 / reward,对已上线 rubric 做持续 hacking 检测与规则加固。\n4. RL 数据筛选与领域标注转化:对海量候选数据做面向 RL 的精筛,识别\"表面合理但实际错误\"、难度合适、覆盖度合理的样本,设计筛选阈值与采样策略,平衡数据规模与质量;把领域标注标准与规范转成 reward 计算逻辑与训练样本,与专家共同定义黄金集与奖励信号。\n5. 效果验收:持续跟踪 rubric / reward 上线后对训练效果的实际提升,输出版本管理与效果对比报告,给出下一版迭代方向。",
        "requirements_text": "1. 具备较大规模模型训练经验:有 27B 或以上规模模型的实际训练经验,能跑通完整训练闭环(不要求分布式训练框架开发能力)。\n2. 深耕 RLVR / RLHF:深入理解并实践过 RLVR(可验证奖励强化学习)与 RLHF,理解 reward 设计、rubric 与训练效果之间的关系。\n3. SFT / GRPO / DPO 经验丰厚:熟练掌握 SFT、GRPO、DPO 等训练方法,能根据任务选择合适的算法并调优。\n4. 具备各类 reward 设计经验:有 dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权等实际设计经验,能针对任务选对奖励形态并调出稳定可训练的 reward。\n5. 具备 reward hacking 识别与改正能力:理解常见 hacking 模式与验证机制,能在训练过程中发现并修正。\n6. 具备 Rubric 设计能力:熟悉主流 rubric 设计范式,能大批量生成高质量 rubric,并把主观评价拆成可校验子问题;熟练 Python,能独立完成数据处理、批量调用 LLM、结果聚合,读得懂训练框架与训练日志。\n7. 具备评测集建设经验:有能力评测集 / benchmark 的设计与构建经验,能定义评测维度与判分协议、构造并维护评测样本(golden set),并用评测结果反查 reward、数据与模型能力短板,驱动评测体系持续迭代。\n8. 有数据处理经验(数据清洗、筛选、增广、质量校验、pipeline 搭建)、熟悉 SFT / RFT / RL 各阶段数据需求差异者优先;有与领域专家协作、把专业判断转成可执行评分规则的能力,对数据分布 / 异常 / 偏见风险有敏锐直觉者优先。",
        "skills": [AI生成
            "Python",
            "强化学习",
            "数据清洗",
            "模型训练",
            "大语言模型"
        ],
        "preferred_qualifications": "8. 有数据处理经验(数据清洗、筛选、增广、质量校验、pipeline 搭建)、熟悉 SFT / RFT / RL 各阶段数据需求差异者优先;有与领域专家协作、把专业判断转成可执行评分规则的能力,对数据分布 / 异常 / 偏见风险有敏锐直觉者优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100025040005"
            }
        ]
    },
    "posting": {
        "posting_id": "100025040005",
        "post_date": "2026-09-11",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100025040005"
    },
    "fulltext": "数据技术及产品部-RL Data Rubric 算法设计专家-Work\n数据技术及产品部-RL Data Rubric 算法设计专家-Work\n\n基础信息\n职位类别:技术类-算法\n工作地点:北京 / 杭州\n\n职位描述\n1. Reward / Rubric 设计:和领域专家一起把领域专业判断(漏洞是否成立、时序是否收敛、回答是否可用等)拆成可自动化验证的评分规则,覆盖硬验证(工具退出码 / 规则)+ 数值指标 + milestone + LLM judge 的多层组合;根据任务特性选择合适的奖励形态——dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权,设计可训练、抗 hacking 的奖励信号。\n2. RLVR / RLHF 训练落地与反查:用设计出的 reward / rubric 真实训练模型(SFT / GRPO / DPO / RLVR / RLHF),独立跑通训练闭环,从训练曲线与 benchmark 结果反查 reward 与数据的问题,形成\"设计 → 训练 → 反查\"迭代闭环。\n3. Reward Hacking 识别与改正:识别评分规则里可能被模型钻空子的路径,定位训练中出现的 hacking 现象并改正规则 / reward,对已上线 rubric 做持续 hacking 检测与规则加固。\n4. RL 数据筛选与领域标注转化:对海量候选数据做面向 RL 的精筛,识别\"表面合理但实际错误\"、难度合适、覆盖度合理的样本,设计筛选阈值与采样策略,平衡数据规模与质量;把领域标注标准与规范转成 reward 计算逻辑与训练样本,与专家共同定义黄金集与奖励信号。\n5. 效果验收:持续跟踪 rubric / reward 上线后对训练效果的实际提升,输出版本管理与效果对比报告,给出下一版迭代方向。\n\n职位要求\n1. 具备较大规模模型训练经验:有 27B 或以上规模模型的实际训练经验,能跑通完整训练闭环(不要求分布式训练框架开发能力)。\n2. 深耕 RLVR / RLHF:深入理解并实践过 RLVR(可验证奖励强化学习)与 RLHF,理解 reward 设计、rubric 与训练效果之间的关系。\n3. SFT / GRPO / DPO 经验丰厚:熟练掌握 SFT、GRPO、DPO 等训练方法,能根据任务选择合适的算法并调优。\n4. 具备各类 reward 设计经验:有 dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权等实际设计经验,能针对任务选对奖励形态并调出稳定可训练的 reward。\n5. 具备 reward hacking 识别与改正能力:理解常见 hacking 模式与验证机制,能在训练过程中发现并修正。\n6. 具备 Rubric 设计能力:熟悉主流 rubric 设计范式,能大批量生成高质量 rubric,并把主观评价拆成可校验子问题;熟练 Python,能独立完成数据处理、批量调用 LLM、结果聚合,读得懂训练框架与训练日志。\n7. 具备评测集建设经验:有能力评测集 / benchmark 的设计与构建经验,能定义评测维度与判分协议、构造并维护评测样本(golden set),并用评测结果反查 reward、数据与模型能力短板,驱动评测体系持续迭代。\n8. 有数据处理经验(数据清洗、筛选、增广、质量校验、pipeline 搭建)、熟悉 SFT / RFT / RL 各阶段数据需求差异者优先;有与领域专家协作、把专业判断转成可执行评分规则的能力,对数据分布 / 异常 / 偏见风险有敏锐直觉者优先。\n1. Reward / Rubric 设计:和领域专家一起把领域专业判断(漏洞是否成立、时序是否收敛、回答是否可用等)拆成可自动化验证的评分规则,覆盖硬验证(工具退出码 / 规则)+ 数值指标 + milestone + LLM judge 的多层组合;根据任务特性选择合适的奖励形态——dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权,设计可训练、抗 hacking 的奖励信号。\n2. RLVR / RLHF 训练落地与反查:用设计出的 reward / rubric 真实训练模型(SFT / GRPO / DPO / RLVR / RLHF),独立跑通训练闭环,从训练曲线与 benchmark 结果反查 reward 与数据的问题,形成\"设计 → 训练 → 反查\"迭代闭环。\n3. Reward Hacking 识别与改正:识别评分规则里可能被模型钻空子的路径,定位训练中出现的 hacking 现象并改正规则 / reward,对已上线 rubric 做持续 hacking 检测与规则加固。\n4. RL 数据筛选与领域标注转化:对海量候选数据做面向 RL 的精筛,识别\"表面合理但实际错误\"、难度合适、覆盖度合理的样本,设计筛选阈值与采样策略,平衡数据规模与质量;把领域标注标准与规范转成 reward 计算逻辑与训练样本,与专家共同定义黄金集与奖励信号。\n5. 效果验收:持续跟踪 rubric / reward 上线后对训练效果的实际提升,输出版本管理与效果对比报告,给出下一版迭代方向。\n1. 具备较大规模模型训练经验:有 27B 或以上规模模型的实际训练经验,能跑通完整训练闭环(不要求分布式训练框架开发能力)。\n2. 深耕 RLVR / RLHF:深入理解并实践过 RLVR(可验证奖励强化学习)与 RLHF,理解 reward 设计、rubric 与训练效果之间的关系。\n3. SFT / GRPO / DPO 经验丰厚:熟练掌握 SFT、GRPO、DPO 等训练方法,能根据任务选择合适的算法并调优。\n4. 具备各类 reward 设计经验:有 dense reward(过程 / 分步奖励)、sparse reward(结果奖励)、process / outcome reward、reward shaping 与多目标加权等实际设计经验,能针对任务选对奖励形态并调出稳定可训练的 reward。\n5. 具备 reward hacking 识别与改正能力:理解常见 hacking 模式与验证机制,能在训练过程中发现并修正。\n6. 具备 Rubric 设计能力:熟悉主流 rubric 设计范式,能大批量生成高质量 rubric,并把主观评价拆成可校验子问题;熟练 Python,能独立完成数据处理、批量调用 LLM、结果聚合,读得懂训练框架与训练日志。\n7. 具备评测集建设经验:有能力评测集 / benchmark 的设计与构建经验,能定义评测维度与判分协议、构造并维护评测样本(golden set),并用评测结果反查 reward、数据与模型能力短板,驱动评测体系持续迭代。\n8. 有数据处理经验(数据清洗、筛选、增广、质量校验、pipeline 搭建)、熟悉 SFT / RFT / RL 各阶段数据需求差异者优先;有与领域专家协作、把专业判断转成可执行评分规则的能力,对数据分布 / 异常 / 偏见风险有敏锐直觉者优先。",
    "standard_classification": {
        "std_category_code": "T010",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}