主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "千问事业部-大模型自动化评测集建设运营-北京/杭州",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "运营-产品运营"AI生成
},
"company": {
"company_name": "夸克",
"company_industry": "互联网 / 人工智能应用",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "夸克提供AI搜索等人工智能应用服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "有计算机科学、人工智能、自然语言处理、统计学相关专业本科及以上学历优先",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "核心职责：自动化评测集建设能力\n1. 建设面向产品Agentic场景（Search Agent、Office Agent、对话Agent、生活服务Agent等）的端到端评测集，量化模型在真实产品链路中的表现，并拆解到模型原子能力，确保评测粒度可拆解至独立能力维度；\n2. 基于评测数据产出结构化的模型能力诊断报告，明确优势与短板，形成可执行的优化建议，辅助算法团队确定模型迭代方向；\n3. 持续追踪业界前沿Benchmark与评测方法论，保持评测集的先进性和行业对标能力；",
"requirements_text": "1. 有1年以上大语言模型评测、AI产品质量评估或相关领域工作经验优先\n2. 深入理解大语言模型的能力边界与常见评测范式，具备独立设计完整评测方案的能力\n3. 熟悉Agent/Agentic应用场景的评测方法，了解工具调用、多轮对话、任务规划等能力的评估要点\n4. 优秀的逻辑思维和结构化表达能力，能将评测发现转化为清晰的诊断报告和可执行建议\n5. 有计算机科学、人工智能、自然语言处理、统计学相关专业本科及以上学历优先",
"skills": [AI生成
"自然语言处理",
"逻辑思维",
"大语言模型"
],
"preferred_qualifications": "1. 有1年以上大语言模型评测、AI产品质量评估或相关领域工作经验优先；5. 有计算机科学、人工智能、自然语言处理、统计学相关专业本科及以上学历优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent.quark.cn/off-campus/position-detail?positionId=100017080002"
}
]
},
"posting": {
"posting_id": "100017080002",
"post_date": "2026-09-15",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent.quark.cn/off-campus/position-detail?positionId=100017080002"
},
"fulltext": "千问事业部-大模型自动化评测集建设运营-北京/杭州\n千问事业部-大模型自动化评测集建设运营-北京/杭州\n\n基础信息\n职位类别：运营-产品运营\n工作地点：北京 / 杭州\n\n职位描述\n核心职责：自动化评测集建设能力\n1. 建设面向产品Agentic场景（Search Agent、Office Agent、对话Agent、生活服务Agent等）的端到端评测集，量化模型在真实产品链路中的表现，并拆解到模型原子能力，确保评测粒度可拆解至独立能力维度；\n2. 基于评测数据产出结构化的模型能力诊断报告，明确优势与短板，形成可执行的优化建议，辅助算法团队确定模型迭代方向；\n3. 持续追踪业界前沿Benchmark与评测方法论，保持评测集的先进性和行业对标能力；\n\n职位要求\n1. 有1年以上大语言模型评测、AI产品质量评估或相关领域工作经验优先\n2. 深入理解大语言模型的能力边界与常见评测范式，具备独立设计完整评测方案的能力\n3. 熟悉Agent/Agentic应用场景的评测方法，了解工具调用、多轮对话、任务规划等能力的评估要点\n4. 优秀的逻辑思维和结构化表达能力，能将评测发现转化为清晰的诊断报告和可执行建议\n5. 有计算机科学、人工智能、自然语言处理、统计学相关专业本科及以上学历优先\n核心职责：自动化评测集建设能力\n1. 建设面向产品Agentic场景（Search Agent、Office Agent、对话Agent、生活服务Agent等）的端到端评测集，量化模型在真实产品链路中的表现，并拆解到模型原子能力，确保评测粒度可拆解至独立能力维度；\n2. 基于评测数据产出结构化的模型能力诊断报告，明确优势与短板，形成可执行的优化建议，辅助算法团队确定模型迭代方向；\n3. 持续追踪业界前沿Benchmark与评测方法论，保持评测集的先进性和行业对标能力；\n1. 有1年以上大语言模型评测、AI产品质量评估或相关领域工作经验优先\n2. 深入理解大语言模型的能力边界与常见评测范式，具备独立设计完整评测方案的能力\n3. 熟悉Agent/Agentic应用场景的评测方法，了解工具调用、多轮对话、任务规划等能力的评估要点\n4. 优秀的逻辑思维和结构化表达能力，能将评测发现转化为清晰的诊断报告和可执行建议\n5. 有计算机科学、人工智能、自然语言处理、统计学相关专业本科及以上学历优先",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}