主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "晓天衡宇-大模型评测专家-toc",
"job_level": "专家",AI生成
"work_category": "全职",AI生成
"department": "晓天衡宇",
"location": "杭州",
"work_mode": "未披露",AI生成
"job_category": "算法研发"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1. 评测体系建设与项目管理\n• 统筹评测任务的排期、分工与交付管理，确保多条线并行推进、按时交付。\n• 制定并迭代评测任务的 SOP，建立质量管控机制（一致率监控、数据验收等）。\n• 管理评测团队，负责质量验收、能力培养、效率提升等。\n2. Rubric 设计\n• 主导toC场景（agentic search、多轮能力等） rubric 的设计与终审。\n• 提炼通用 rubric 范式，沉淀为可复用的模板。\n• 主动识别效率瓶颈与质量风险，推动标准化和自动化改进。\n3. 跨部门协同与需求对接\n• 作为接口人，与算法等团队对接评测需求，明确评测目标、验收标准与交付节奏。\n• 将算法团队的改进需求转化为可执行的评测方案。\n• 利用AI 辅助工具提升标注效率。\n4. 深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈。\n5.探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率。\n6. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。",
"requirements_text": "1.本科及以上学历，计算机、人工智能、金融、统计学等相关专业。\n2.深度参与过 A/B 盲评、rubric 设计等评测任务，有自动化评测平台或评测流水线建设经验优先；\n3. 有团队管理经验，有带 5 人以上标注/评测团队的实际经历优先；\n4. 较强的跨领域沟通能力与团队协作意识，能与不同学科背景的研究人员、算法团队及外部专家高效配合，将学科需求准确转化为可落地的评测方案。\n5. 有良好的自驱力和学习能力，持续跟踪大模型与评测领域技术进展。",
"skills": [AI生成
"团队管理",
"团队协作",
"沟通能力",
"学习能力",
"大语言模型"
],
"preferred_qualifications": "2.深度参与过 A/B 盲评、rubric 设计等评测任务，有自动化评测平台或评测流水线建设经验优先；3. 有团队管理经验，有带 5 人以上标注/评测团队的实际经历优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100032200003"
}
]
},
"posting": {
"posting_id": "100032200003",
"post_date": "2026-09-01",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100032200003"
},
"fulltext": "晓天衡宇-大模型评测专家-toc\n晓天衡宇-大模型评测专家-toc\n\n基础信息\n工作地点：杭州\n\n职位描述\n1. 评测体系建设与项目管理\n• 统筹评测任务的排期、分工与交付管理，确保多条线并行推进、按时交付。\n• 制定并迭代评测任务的 SOP，建立质量管控机制（一致率监控、数据验收等）。\n• 管理评测团队，负责质量验收、能力培养、效率提升等。\n2. Rubric 设计\n• 主导toC场景（agentic search、多轮能力等） rubric 的设计与终审。\n• 提炼通用 rubric 范式，沉淀为可复用的模板。\n• 主动识别效率瓶颈与质量风险，推动标准化和自动化改进。\n3. 跨部门协同与需求对接\n• 作为接口人，与算法等团队对接评测需求，明确评测目标、验收标准与交付节奏。\n• 将算法团队的改进需求转化为可执行的评测方案。\n• 利用AI 辅助工具提升标注效率。\n4. 深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈。\n5.探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率。\n6. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。\n\n职位要求\n1.本科及以上学历，计算机、人工智能、金融、统计学等相关专业。\n2.深度参与过 A/B 盲评、rubric 设计等评测任务，有自动化评测平台或评测流水线建设经验优先；\n3. 有团队管理经验，有带 5 人以上标注/评测团队的实际经历优先；\n4. 较强的跨领域沟通能力与团队协作意识，能与不同学科背景的研究人员、算法团队及外部专家高效配合，将学科需求准确转化为可落地的评测方案。\n5. 有良好的自驱力和学习能力，持续跟踪大模型与评测领域技术进展。\n1. 评测体系建设与项目管理\n• 统筹评测任务的排期、分工与交付管理，确保多条线并行推进、按时交付。\n• 制定并迭代评测任务的 SOP，建立质量管控机制（一致率监控、数据验收等）。\n• 管理评测团队，负责质量验收、能力培养、效率提升等。\n2. Rubric 设计\n• 主导toC场景（agentic search、多轮能力等） rubric 的设计与终审。\n• 提炼通用 rubric 范式，沉淀为可复用的模板。\n• 主动识别效率瓶颈与质量风险，推动标准化和自动化改进。\n3. 跨部门协同与需求对接\n• 作为接口人，与算法等团队对接评测需求，明确评测目标、验收标准与交付节奏。\n• 将算法团队的改进需求转化为可执行的评测方案。\n• 利用AI 辅助工具提升标注效率。\n4. 深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈。\n5.探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率。\n6. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。\n1.本科及以上学历，计算机、人工智能、金融、统计学等相关专业。\n2.深度参与过 A/B 盲评、rubric 设计等评测任务，有自动化评测平台或评测流水线建设经验优先；\n3. 有团队管理经验，有带 5 人以上标注/评测团队的实际经历优先；\n4. 较强的跨领域沟通能力与团队协作意识，能与不同学科背景的研究人员、算法团队及外部专家高效配合，将学科需求准确转化为可落地的评测方案。\n5. 有良好的自驱力和学习能力，持续跟踪大模型与评测领域技术进展。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}