主分类：AI模型评测工程
辅助：大模型与生成式算法研发（仅展示）
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "数据技术及产品部-大模型评测算法-RSI方向",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类-算法"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": 3,
"degree": "硕士及以上",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "岗位描述：面向大模型\"加速乃至自动化 AI 研发本身\"的能力（自主写代码、跑实验、复现/改进算法、端到端做研究，进而推动模型自我迭代），独立负责其能力提升的完整闭环。\n岗位职责：\n1. 设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。\n2. 定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。\n3. 针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。",
"requirements_text": "1. 硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。\n2. 深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。\n3. 熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。\n4. 具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。\n5. 扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。\n6. 能独立定义评测方案并推动\"评测—数据—训练\"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。\n加分项\n1. 有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。\n2. 熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。",
"skills": [AI生成
"Python",
"PyTorch",
"机器学习",
"大语言模型"
],
"preferred_qualifications": "加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100042540002"
}
]
},
"posting": {
"posting_id": "100042540002",
"post_date": "2026-09-16",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100042540002"
},
"fulltext": "数据技术及产品部-大模型评测算法-RSI方向\n数据技术及产品部-大模型评测算法-RSI方向\n\n基础信息\n职位类别：技术类-算法\n工作地点：北京 / 杭州\n\n职位描述\n岗位描述：面向大模型\"加速乃至自动化 AI 研发本身\"的能力（自主写代码、跑实验、复现/改进算法、端到端做研究，进而推动模型自我迭代），独立负责其能力提升的完整闭环。\n岗位职责：\n1. 设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。\n2. 定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。\n3. 针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。\n\n职位要求\n1. 硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。\n2. 深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。\n3. 熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。\n4. 具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。\n5. 扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。\n6. 能独立定义评测方案并推动\"评测—数据—训练\"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。\n加分项\n1. 有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。\n2. 熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。\n岗位描述：面向大模型\"加速乃至自动化 AI 研发本身\"的能力（自主写代码、跑实验、复现/改进算法、端到端做研究，进而推动模型自我迭代），独立负责其能力提升的完整闭环。\n岗位职责：\n1. 设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。\n2. 定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。\n3. 针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。\n1. 硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。\n2. 深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。\n3. 熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。\n4. 具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。\n5. 扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。\n6. 能独立定义评测方案并推动\"评测—数据—训练\"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。\n加分项\n1. 有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。\n2. 熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [
"T010"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}