主分类：AI训练数据标注与评测运营
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "智多星-大模型评测-work方向",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "阿里巴巴控股集团",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "• 本科大三以上",
"language": "英语读写流利，能阅读英文评测论文与技术文档",AI生成
"visa_support": "未披露",
"responsibilities": "• 参与评测任务设计：基于真实职业场景，为指定领域设计端到端的 Agent 评测题（含任务描述、源文件构造、标准交付物产出），确保任务具备场景 OOD 性与能力组合深度。\n• 撰写与维护评分 Rubric：按照国际通用评测规范，将专家判断拆解为可独立证伪的原子化评分标准，设计正向加分项与负向护栏项，保障评分的区分度与评分者间一致性。\n• 执行模型评分与数据分析：分析模型在不同领域、不同任务复杂度下的得分分布，定位能力短板，输出结构化分析报告。\n• 参与 OOD 保障流程：执行对抗自检（裸跑测试）、变体自检等质量保障环节，确保评测题不落入模型训练分布。\n• 协助领域知识梳理：与行业专家对接，整理特定领域的典型工作流、源文件类型、交付物规范与专业能力维度。",
"requirements_text": "• 本科大三以上，需具备以下至少一项背景：\n• 统计学、计算机科学、设计、金融、相关专业、半导体、建筑、工程、市场营销、设计/艺术/美学、传媒/影视、游戏、经济学/管理学、商业分析/数据分析、能源等专业或背景\n• 对大模型能力边界有基本认知，了解 prompt engineering、LLM-as-judge 等概念者优先\n• 熟悉数据标注、评测、考试命题经验者优先\n加分项\n• 有 NLP/LLM 评测相关项目经验（如参与过 benchmark 构建、论文复现）\n• 熟悉 GDPval、APEX 等主流评测体系的设计理念\n• 有特定行业实习经验（投行、律所、咨询公司、会计师事务所等）\n• 英语读写流利，能阅读英文评测论文与技术文档",
"skills": [AI生成
"自然语言处理",
"数据分析",
"数据标注",
"市场营销",
"商业分析",
"大语言模型"
],
"preferred_qualifications": "对大模型能力边界有基本认知，了解 prompt engineering、LLM-as-judge 等概念者优先；熟悉数据标注、评测、考试命题经验者优先；加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://campus-talent.alibaba.com/campus/position/199908360002?deptCodes="
}
]
},
"posting": {
"posting_id": "199908360002",
"post_date": "2026-07-29",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://campus-talent.alibaba.com/campus/position/199908360002?deptCodes="
},
"fulltext": "智多星-大模型评测-work方向\n智多星-大模型评测-work方向\n\n基础信息\n毕业起止时间要求：2027-11-01 - 2030-01-01\n职位类别：技术类\n招聘项目：阿里巴巴日常实习生\n工作地点：北京 / 杭州\n\n职位描述\n• 参与评测任务设计：基于真实职业场景，为指定领域设计端到端的 Agent 评测题（含任务描述、源文件构造、标准交付物产出），确保任务具备场景 OOD 性与能力组合深度。\n• 撰写与维护评分 Rubric：按照国际通用评测规范，将专家判断拆解为可独立证伪的原子化评分标准，设计正向加分项与负向护栏项，保障评分的区分度与评分者间一致性。\n• 执行模型评分与数据分析：分析模型在不同领域、不同任务复杂度下的得分分布，定位能力短板，输出结构化分析报告。\n• 参与 OOD 保障流程：执行对抗自检（裸跑测试）、变体自检等质量保障环节，确保评测题不落入模型训练分布。\n• 协助领域知识梳理：与行业专家对接，整理特定领域的典型工作流、源文件类型、交付物规范与专业能力维度。\n\n职位要求\n• 本科大三以上，需具备以下至少一项背景：\n• 统计学、计算机科学、设计、金融、相关专业、半导体、建筑、工程、市场营销、设计/艺术/美学、传媒/影视、游戏、经济学/管理学、商业分析/数据分析、能源等专业或背景\n• 对大模型能力边界有基本认知，了解 prompt engineering、LLM-as-judge 等概念者优先\n• 熟悉数据标注、评测、考试命题经验者优先\n加分项\n• 有 NLP/LLM 评测相关项目经验（如参与过 benchmark 构建、论文复现）\n• 熟悉 GDPval、APEX 等主流评测体系的设计理念\n• 有特定行业实习经验（投行、律所、咨询公司、会计师事务所等）\n• 英语读写流利，能阅读英文评测论文与技术文档\n\n在招业务\n阿里巴巴控股集团\n• 参与评测任务设计：基于真实职业场景，为指定领域设计端到端的 Agent 评测题（含任务描述、源文件构造、标准交付物产出），确保任务具备场景 OOD 性与能力组合深度。\n• 撰写与维护评分 Rubric：按照国际通用评测规范，将专家判断拆解为可独立证伪的原子化评分标准，设计正向加分项与负向护栏项，保障评分的区分度与评分者间一致性。\n• 执行模型评分与数据分析：分析模型在不同领域、不同任务复杂度下的得分分布，定位能力短板，输出结构化分析报告。\n• 参与 OOD 保障流程：执行对抗自检（裸跑测试）、变体自检等质量保障环节，确保评测题不落入模型训练分布。\n• 协助领域知识梳理：与行业专家对接，整理特定领域的典型工作流、源文件类型、交付物规范与专业能力维度。\n• 本科大三以上，需具备以下至少一项背景：\n• 统计学、计算机科学、设计、金融、相关专业、半导体、建筑、工程、市场营销、设计/艺术/美学、传媒/影视、游戏、经济学/管理学、商业分析/数据分析、能源等专业或背景\n• 对大模型能力边界有基本认知，了解 prompt engineering、LLM-as-judge 等概念者优先\n• 熟悉数据标注、评测、考试命题经验者优先\n加分项\n• 有 NLP/LLM 评测相关项目经验（如参与过 benchmark 构建、论文复现）\n• 熟悉 GDPval、APEX 等主流评测体系的设计理念\n• 有特定行业实习经验（投行、律所、咨询公司、会计师事务所等）\n• 英语读写流利，能阅读英文评测论文与技术文档",
"standard_classification": {
"std_category_code": "B010",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}