主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "研究型实习生 - 大模型 Rubrics 评测与奖励建模算法",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "Token Foundry",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "阿里巴巴集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "10000人以上",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "计算机、人工智能、统计等相关专业在读博士",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1. 面向开放式与 Agentic 任务，设计和迭代 Rubric 体系：原子化准则拆分、意图对齐、难度/区分度校准、必需项/加分项/惩罚项的分层评分：\n（1）把 Rubric 转化为奖励信号，训练 / 微调 Reward Model 与 Verifier，接入 SFT + RL 流程；分析并抑制 reward hacking 与奖励过度优化；\n（2）构建与优化 Rubric-based 评测流水线（LLM-as-Judge / rubric coverage / ensemble judge），持续提升与人类标注的一致性（相关系数、ICC、偏好一致率）；\n（3）搭建评测与训练的数据闭环：日志回流、合成 query、Rubric 自动/半自动生成、短板数据反馈；\n（4）复现前沿论文方法并做对比实验，沉淀可复用的评测基准与 baseline，产出实验报告。\n2. 探索 Rubrics 在 RL 训练中的动态演化，识别并缓解 reward hacking。\n3. 研究评分项权重分配与聚合策略，提升自动打分与人类偏好的排序一致性。\n4. 参与 Rubrics 自动生成方法研究，实现从任务描述与少量样本推导结构化评分标准的能力，解决条目覆盖度、正交性与可判定性问题。\n5. 优化 Judge 模型的判定稳定性，降低位置偏好、长度偏好与随机波动，并控制推理成本。\n6. 在评测打分、训练样本筛选、RL 奖励信号三个下游场景完成验证实验，参与基准数据集建设与论文撰写。",
"requirements_text": "1. 计算机、人工智能、统计等相关专业在读博士。\n2. 熟练 Python 与 PyTorch，能独立完成数据处理、训练脚本编写与实验分析。\n3. 扎实的机器学习与深度学习基础，熟悉 LLM 的 Post-Training 范式（SFT / RLHF / RLVR / DPO 至少了解其一）。\n4. 有模型评测、奖励模型训练相关经验，了解 RL 训练的常见方法和挑战，对高质量数据有极高的敏锐度，能通过实验快速验证数据配比对模型能力的影响并总结为方法论。\n5. 对\"如何定义好坏\"这类评价问题有兴趣与判断力，做事细致，能耐受大量对照实验。\n6. 有顶会论文（NeurIPS/ICLR/ICML/ACL 等）、高质量开源项目或知名比赛经历者优先。\n加分项\n1. 做过 Rubric-based / LLM-as-Judge 评测，或 Reward Model / Verifier 训练；了解 rubric 评分制的对齐研究（如 0–5 分制与人类标注一致性）。\n2. 熟悉 reward hacking / reward over-optimization 的成因与缓解（verifier failure、rubric-design 缺陷、KL 约束下高奖励区误差放大等），并有实操经验。\n3. 了解自适应 / 自动 Rubric 生成、置信度加权评估、rubric 蒸馏（免 judge 调用）等方向。\n4. 熟悉主流评测基准与方法论（如 HealthBench、ResearchQA、PaperBench 等 rubric-based benchmark）。\n5. 有 Agentic / Agentic Search 训练或评测经验，理解 Trajectory 质量（工具调用效率、指令遵循、回复相关性）。",
"skills": [AI生成
"Python",
"PyTorch",
"机器学习",
"深度学习",
"模型训练",
"大语言模型"
],
"preferred_qualifications": "6. 有顶会论文（NeurIPS/ICLR/ICML/ACL 等）、高质量开源项目或知名比赛经历者优先；加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://campus-talent.alibaba.com/campus/position/199908600001?deptCodes="
}
]
},
"posting": {
"posting_id": "199908600001",
"post_date": "2026-08-07",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://campus-talent.alibaba.com/campus/position/199908600001?deptCodes="
},
"fulltext": "研究型实习生 - 大模型 Rubrics 评测与奖励建模算法\n研究型实习生 - 大模型 Rubrics 评测与奖励建模算法\n\n基础信息\n毕业起止时间要求：2027-11-01 - 2032-10-31\n职位类别：技术类\n招聘项目：阿里巴巴研究型实习生\n工作地点：北京 / 杭州\n\n职位描述\n1. 面向开放式与 Agentic 任务，设计和迭代 Rubric 体系：原子化准则拆分、意图对齐、难度/区分度校准、必需项/加分项/惩罚项的分层评分：\n（1）把 Rubric 转化为奖励信号，训练 / 微调 Reward Model 与 Verifier，接入 SFT + RL 流程；分析并抑制 reward hacking 与奖励过度优化；\n（2）构建与优化 Rubric-based 评测流水线（LLM-as-Judge / rubric coverage / ensemble judge），持续提升与人类标注的一致性（相关系数、ICC、偏好一致率）；\n（3）搭建评测与训练的数据闭环：日志回流、合成 query、Rubric 自动/半自动生成、短板数据反馈；\n（4）复现前沿论文方法并做对比实验，沉淀可复用的评测基准与 baseline，产出实验报告。\n2. 探索 Rubrics 在 RL 训练中的动态演化，识别并缓解 reward hacking。\n3. 研究评分项权重分配与聚合策略，提升自动打分与人类偏好的排序一致性。\n4. 参与 Rubrics 自动生成方法研究，实现从任务描述与少量样本推导结构化评分标准的能力，解决条目覆盖度、正交性与可判定性问题。\n5. 优化 Judge 模型的判定稳定性，降低位置偏好、长度偏好与随机波动，并控制推理成本。\n6. 在评测打分、训练样本筛选、RL 奖励信号三个下游场景完成验证实验，参与基准数据集建设与论文撰写。\n\n职位要求\n1. 计算机、人工智能、统计等相关专业在读博士。\n2. 熟练 Python 与 PyTorch，能独立完成数据处理、训练脚本编写与实验分析。\n3. 扎实的机器学习与深度学习基础，熟悉 LLM 的 Post-Training 范式（SFT / RLHF / RLVR / DPO 至少了解其一）。\n4. 有模型评测、奖励模型训练相关经验，了解 RL 训练的常见方法和挑战，对高质量数据有极高的敏锐度，能通过实验快速验证数据配比对模型能力的影响并总结为方法论。\n5. 对\"如何定义好坏\"这类评价问题有兴趣与判断力，做事细致，能耐受大量对照实验。\n6. 有顶会论文（NeurIPS/ICLR/ICML/ACL 等）、高质量开源项目或知名比赛经历者优先。\n加分项\n1. 做过 Rubric-based / LLM-as-Judge 评测，或 Reward Model / Verifier 训练；了解 rubric 评分制的对齐研究（如 0–5 分制与人类标注一致性）。\n2. 熟悉 reward hacking / reward over-optimization 的成因与缓解（verifier failure、rubric-design 缺陷、KL 约束下高奖励区误差放大等），并有实操经验。\n3. 了解自适应 / 自动 Rubric 生成、置信度加权评估、rubric 蒸馏（免 judge 调用）等方向。\n4. 熟悉主流评测基准与方法论（如 HealthBench、ResearchQA、PaperBench 等 rubric-based benchmark）。\n5. 有 Agentic / Agentic Search 训练或评测经验，理解 Trajectory 质量（工具调用效率、指令遵循、回复相关性）。\n\n在招业务\nToken Foundry\n1. 面向开放式与 Agentic 任务，设计和迭代 Rubric 体系：原子化准则拆分、意图对齐、难度/区分度校准、必需项/加分项/惩罚项的分层评分：\n（1）把 Rubric 转化为奖励信号，训练 / 微调 Reward Model 与 Verifier，接入 SFT + RL 流程；分析并抑制 reward hacking 与奖励过度优化；\n（2）构建与优化 Rubric-based 评测流水线（LLM-as-Judge / rubric coverage / ensemble judge），持续提升与人类标注的一致性（相关系数、ICC、偏好一致率）；\n（3）搭建评测与训练的数据闭环：日志回流、合成 query、Rubric 自动/半自动生成、短板数据反馈；\n（4）复现前沿论文方法并做对比实验，沉淀可复用的评测基准与 baseline，产出实验报告。\n2. 探索 Rubrics 在 RL 训练中的动态演化，识别并缓解 reward hacking。\n3. 研究评分项权重分配与聚合策略，提升自动打分与人类偏好的排序一致性。\n4. 参与 Rubrics 自动生成方法研究，实现从任务描述与少量样本推导结构化评分标准的能力，解决条目覆盖度、正交性与可判定性问题。\n5. 优化 Judge 模型的判定稳定性，降低位置偏好、长度偏好与随机波动，并控制推理成本。\n6. 在评测打分、训练样本筛选、RL 奖励信号三个下游场景完成验证实验，参与基准数据集建设与论文撰写。\n1. 计算机、人工智能、统计等相关专业在读博士。\n2. 熟练 Python 与 PyTorch，能独立完成数据处理、训练脚本编写与实验分析。\n3. 扎实的机器学习与深度学习基础，熟悉 LLM 的 Post-Training 范式（SFT / RLHF / RLVR / DPO 至少了解其一）。\n4. 有模型评测、奖励模型训练相关经验，了解 RL 训练的常见方法和挑战，对高质量数据有极高的敏锐度，能通过实验快速验证数据配比对模型能力的影响并总结为方法论。\n5. 对\"如何定义好坏\"这类评价问题有兴趣与判断力，做事细致，能耐受大量对照实验。\n6. 有顶会论文（NeurIPS/ICLR/ICML/ACL 等）、高质量开源项目或知名比赛经历者优先。\n加分项\n1. 做过 Rubric-based / LLM-as-Judge 评测，或 Reward Model / Verifier 训练；了解 rubric 评分制的对齐研究（如 0–5 分制与人类标注一致性）。\n2. 熟悉 reward hacking / reward over-optimization 的成因与缓解（verifier failure、rubric-design 缺陷、KL 约束下高奖励区误差放大等），并有实操经验。\n3. 了解自适应 / 自动 Rubric 生成、置信度加权评估、rubric 蒸馏（免 judge 调用）等方向。\n4. 熟悉主流评测基准与方法论（如 HealthBench、ResearchQA、PaperBench 等 rubric-based benchmark）。\n5. 有 Agentic / Agentic Search 训练或评测经验，理解 Trajectory 质量（工具调用效率、指令遵循、回复相关性）。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}