主分类：AI训练数据标注与评测运营
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "晓天衡宇-大模型评测工程师-AI应用",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "晓天衡宇",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "算法研发"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1、场景化评测执行： 负责大模型/Agent在真实生产力应用场景下的实际效果评测。具备真实用户行为分析能力和评测转化能力，熟悉 Rubrics 评测方法与质量判断，具备评测结果分析能力，熟悉大模型/Agent问题归纳逻辑，包括但不限于逻辑推理、工具调用、内容生成等。\n2、竞品分析与对比： 关注市面上优秀的C端/B端AI产品，定期进行竞品对比评测。从用户体验和产品功能角度出发，输出对比报告，帮助团队发现自身产品的差距与优化方向。\n数据生产与标准落地： 根据评测需求，执行高质量评测体系的搭建工作。将场景需求转化为清晰、可操作的Rubrics评分标准与标注规则，跟进评测数据构建流程，确保交付数据的准确性和一致性。\n3、外部团队组织与质量把控：组织并管理外部评测/标注团队及各领域专家人力，统筹作业排期与分工，对产出的数据集和评测结果进行质量把控，针对执行过程中发现的流程卡点，积极推动优化，保障项目高效交付。\n4、Bad Case闭环： 对评测中发现的Bad Case进行归类整理，与产品和算法团队协作推动问题修复，并验证修复效果，确保模型体验持续提升。",
"requirements_text": "本科及以上学历，至少1-3年AI领域相关经验，具备以下背景优先：\n（1）有Agent真实生产力应用场景经验： 曾参与过智能助手、办公自动化等方向的评测、测试或交付工作，了解大模型在复杂任务中的常见问题。\n（2）有C端/B端AI产品助理/产品经理经验：独立完成过竞品分析或用户体验调研，能将产品问题转化为可描述的评测案例\n（3）熟练掌握Rubrics方法论：具备将模糊的主观评价转化为**多维度、量化、可操作评分标准（Rubrics）**的能力；能结构化梳理评测方案、Rubrics细则、分析报告等内容，确保信息传递清晰准确；\n（4）AI工具与文档能力：具备“Vibe coding”能力，能灵活使用各类AI工具/大模型辅助完成日常评测、数据处理和评测报告撰写；\n（5）人员与项目管理能力：具备优秀的外部人员管理与组织能力，能协助对接专家、作业人力等外部资源，有效传达Rubrics及SOP要求，及时处理执行偏差，为最终项目交付负责；\n（6）沟通与协作：良好的沟通能力和协作意识，能清晰表达问题并与技术/产品同学高效配合。",
"skills": [AI生成
"竞品分析",
"项目管理",
"沟通能力",
"大语言模型"
],
"preferred_qualifications": "本科及以上学历，至少1-3年AI领域相关经验，具备以下背景优先：",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100013420003"
}
]
},
"posting": {
"posting_id": "100013420003",
"post_date": "2026-09-01",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100013420003"
},
"fulltext": "晓天衡宇-大模型评测工程师-AI应用\n晓天衡宇-大模型评测工程师-AI应用\n\n基础信息\n工作地点：北京 / 杭州\n\n职位描述\n1、场景化评测执行： 负责大模型/Agent在真实生产力应用场景下的实际效果评测。具备真实用户行为分析能力和评测转化能力，熟悉 Rubrics 评测方法与质量判断，具备评测结果分析能力，熟悉大模型/Agent问题归纳逻辑，包括但不限于逻辑推理、工具调用、内容生成等。\n2、竞品分析与对比： 关注市面上优秀的C端/B端AI产品，定期进行竞品对比评测。从用户体验和产品功能角度出发，输出对比报告，帮助团队发现自身产品的差距与优化方向。\n数据生产与标准落地： 根据评测需求，执行高质量评测体系的搭建工作。将场景需求转化为清晰、可操作的Rubrics评分标准与标注规则，跟进评测数据构建流程，确保交付数据的准确性和一致性。\n3、外部团队组织与质量把控：组织并管理外部评测/标注团队及各领域专家人力，统筹作业排期与分工，对产出的数据集和评测结果进行质量把控，针对执行过程中发现的流程卡点，积极推动优化，保障项目高效交付。\n4、Bad Case闭环： 对评测中发现的Bad Case进行归类整理，与产品和算法团队协作推动问题修复，并验证修复效果，确保模型体验持续提升。\n\n职位要求\n本科及以上学历，至少1-3年AI领域相关经验，具备以下背景优先：\n（1）有Agent真实生产力应用场景经验： 曾参与过智能助手、办公自动化等方向的评测、测试或交付工作，了解大模型在复杂任务中的常见问题。\n（2）有C端/B端AI产品助理/产品经理经验：独立完成过竞品分析或用户体验调研，能将产品问题转化为可描述的评测案例\n（3）熟练掌握Rubrics方法论：具备将模糊的主观评价转化为**多维度、量化、可操作评分标准（Rubrics）**的能力；能结构化梳理评测方案、Rubrics细则、分析报告等内容，确保信息传递清晰准确；\n（4）AI工具与文档能力：具备“Vibe coding”能力，能灵活使用各类AI工具/大模型辅助完成日常评测、数据处理和评测报告撰写；\n（5）人员与项目管理能力：具备优秀的外部人员管理与组织能力，能协助对接专家、作业人力等外部资源，有效传达Rubrics及SOP要求，及时处理执行偏差，为最终项目交付负责；\n（6）沟通与协作：良好的沟通能力和协作意识，能清晰表达问题并与技术/产品同学高效配合。\n1、场景化评测执行： 负责大模型/Agent在真实生产力应用场景下的实际效果评测。具备真实用户行为分析能力和评测转化能力，熟悉 Rubrics 评测方法与质量判断，具备评测结果分析能力，熟悉大模型/Agent问题归纳逻辑，包括但不限于逻辑推理、工具调用、内容生成等。\n2、竞品分析与对比： 关注市面上优秀的C端/B端AI产品，定期进行竞品对比评测。从用户体验和产品功能角度出发，输出对比报告，帮助团队发现自身产品的差距与优化方向。\n数据生产与标准落地： 根据评测需求，执行高质量评测体系的搭建工作。将场景需求转化为清晰、可操作的Rubrics评分标准与标注规则，跟进评测数据构建流程，确保交付数据的准确性和一致性。\n3、外部团队组织与质量把控：组织并管理外部评测/标注团队及各领域专家人力，统筹作业排期与分工，对产出的数据集和评测结果进行质量把控，针对执行过程中发现的流程卡点，积极推动优化，保障项目高效交付。\n4、Bad Case闭环： 对评测中发现的Bad Case进行归类整理，与产品和算法团队协作推动问题修复，并验证修复效果，确保模型体验持续提升。\n本科及以上学历，至少1-3年AI领域相关经验，具备以下背景优先：\n（1）有Agent真实生产力应用场景经验： 曾参与过智能助手、办公自动化等方向的评测、测试或交付工作，了解大模型在复杂任务中的常见问题。\n（2）有C端/B端AI产品助理/产品经理经验：独立完成过竞品分析或用户体验调研，能将产品问题转化为可描述的评测案例\n（3）熟练掌握Rubrics方法论：具备将模糊的主观评价转化为**多维度、量化、可操作评分标准（Rubrics）**的能力；能结构化梳理评测方案、Rubrics细则、分析报告等内容，确保信息传递清晰准确；\n（4）AI工具与文档能力：具备“Vibe coding”能力，能灵活使用各类AI工具/大模型辅助完成日常评测、数据处理和评测报告撰写；\n（5）人员与项目管理能力：具备优秀的外部人员管理与组织能力，能协助对接专家、作业人力等外部资源，有效传达Rubrics及SOP要求，及时处理执行偏差，为最终项目交付负责；\n（6）沟通与协作：良好的沟通能力和协作意识，能清晰表达问题并与技术/产品同学高效配合。",
"standard_classification": {
"std_category_code": "B010",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}