主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "晓天衡宇-大模型评测工程师-应用方向（北京）",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "晓天衡宇",
"location": "北京",
"work_mode": "未披露",AI生成
"job_category": "算法研发"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "计算机、统计学、数据科学等相关专业本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1、负责 LLM 人工评测竞技场（Arena）的整体设计与运营，统筹题库构建、对战机制、评委组织与排名算法。\n2、负责评测题库的规划与建设，覆盖创作、设计、中文、GUI 等重点场景，把控自建题占比与数据来源分类（开源／自建／混合），保证题目的区分度与抗刷分能力。\n3、负责 Elo/BT + bootstrap 排名体系的落地与维护，处理胜率矩阵的传递性、一致性与显著性问题，确保结论的统计可靠性。\n4、负责 AI Agent 办公助手类产品（如 QwenWork、WorkBuddy 等）的端到端评测，围绕真实办公工作流构建任务集，覆盖文档处理、数据分析、跨应用协作、检索问答等场景。\n5、建立端到端成功率与分步归因指标体系，评估任务完成度、多步推理与工具调用、长上下文与记忆、稳定性与可用性等能力，输出产品横向对比与迭代建议。\n6、负责榜单口径的统一维护，制定在榜数量与版本汰换规则，定期产出能力榜与性价比榜。",
"requirements_text": "1、计算机、统计学、数据科学等相关专业本科及以上学历，具备大模型评测、数据分析或产品测评相关工作经验。\n2、熟悉 LLM 能力评测体系与主流公开榜单，理解 Arena 对战机制及 Elo/BT 排名算法的统计原理，能够准确判断胜率差异所需样本量与置信区间。\n3、具备评测题库设计与标注一致性管理经验，能够独立完成评测方案设计与质检流程搭建。\n4、熟悉 AI Agent 及办公助手类产品形态与典型工作流，理解任务型评测与单模型评测的差异，能够定义可量化的成功标准与归因维度。\n5、具备良好的 Python 数据分析能力，可独立完成胜率矩阵计算、bootstrap 抽样与显著性检验。\n6、对维度共线性与权重设定具备清晰认知，理解避免双重计分、合规项以否决门方式处理等评测设计原则。",
"skills": [AI生成
"Python",
"数据分析",
"分析能力",
"大语言模型",
"智能体开发"
],
"preferred_qualifications": "未披露",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100032200002"
}
]
},
"posting": {
"posting_id": "100032200002",
"post_date": "2026-08-14",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100032200002"
},
"fulltext": "晓天衡宇-大模型评测工程师-应用方向（北京）\n晓天衡宇-大模型评测工程师-应用方向（北京）\n\n基础信息\n工作地点：北京\n\n职位描述\n1、负责 LLM 人工评测竞技场（Arena）的整体设计与运营，统筹题库构建、对战机制、评委组织与排名算法。\n2、负责评测题库的规划与建设，覆盖创作、设计、中文、GUI 等重点场景，把控自建题占比与数据来源分类（开源／自建／混合），保证题目的区分度与抗刷分能力。\n3、负责 Elo/BT + bootstrap 排名体系的落地与维护，处理胜率矩阵的传递性、一致性与显著性问题，确保结论的统计可靠性。\n4、负责 AI Agent 办公助手类产品（如 QwenWork、WorkBuddy 等）的端到端评测，围绕真实办公工作流构建任务集，覆盖文档处理、数据分析、跨应用协作、检索问答等场景。\n5、建立端到端成功率与分步归因指标体系，评估任务完成度、多步推理与工具调用、长上下文与记忆、稳定性与可用性等能力，输出产品横向对比与迭代建议。\n6、负责榜单口径的统一维护，制定在榜数量与版本汰换规则，定期产出能力榜与性价比榜。\n\n职位要求\n1、计算机、统计学、数据科学等相关专业本科及以上学历，具备大模型评测、数据分析或产品测评相关工作经验。\n2、熟悉 LLM 能力评测体系与主流公开榜单，理解 Arena 对战机制及 Elo/BT 排名算法的统计原理，能够准确判断胜率差异所需样本量与置信区间。\n3、具备评测题库设计与标注一致性管理经验，能够独立完成评测方案设计与质检流程搭建。\n4、熟悉 AI Agent 及办公助手类产品形态与典型工作流，理解任务型评测与单模型评测的差异，能够定义可量化的成功标准与归因维度。\n5、具备良好的 Python 数据分析能力，可独立完成胜率矩阵计算、bootstrap 抽样与显著性检验。\n6、对维度共线性与权重设定具备清晰认知，理解避免双重计分、合规项以否决门方式处理等评测设计原则。\n1、负责 LLM 人工评测竞技场（Arena）的整体设计与运营，统筹题库构建、对战机制、评委组织与排名算法。\n2、负责评测题库的规划与建设，覆盖创作、设计、中文、GUI 等重点场景，把控自建题占比与数据来源分类（开源／自建／混合），保证题目的区分度与抗刷分能力。\n3、负责 Elo/BT + bootstrap 排名体系的落地与维护，处理胜率矩阵的传递性、一致性与显著性问题，确保结论的统计可靠性。\n4、负责 AI Agent 办公助手类产品（如 QwenWork、WorkBuddy 等）的端到端评测，围绕真实办公工作流构建任务集，覆盖文档处理、数据分析、跨应用协作、检索问答等场景。\n5、建立端到端成功率与分步归因指标体系，评估任务完成度、多步推理与工具调用、长上下文与记忆、稳定性与可用性等能力，输出产品横向对比与迭代建议。\n6、负责榜单口径的统一维护，制定在榜数量与版本汰换规则，定期产出能力榜与性价比榜。\n1、计算机、统计学、数据科学等相关专业本科及以上学历，具备大模型评测、数据分析或产品测评相关工作经验。\n2、熟悉 LLM 能力评测体系与主流公开榜单，理解 Arena 对战机制及 Elo/BT 排名算法的统计原理，能够准确判断胜率差异所需样本量与置信区间。\n3、具备评测题库设计与标注一致性管理经验，能够独立完成评测方案设计与质检流程搭建。\n4、熟悉 AI Agent 及办公助手类产品形态与典型工作流，理解任务型评测与单模型评测的差异，能够定义可量化的成功标准与归因维度。\n5、具备良好的 Python 数据分析能力，可独立完成胜率矩阵计算、bootstrap 抽样与显著性检验。\n6、对维度共线性与权重设定具备清晰认知，理解避免双重计分、合规项以否决门方式处理等评测设计原则。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}