主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "AI评测工程师",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "阿里云",
"location": "杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "阿里云",
"company_industry": "云计算 / 人工智能",
"company_size": "10000人以上",
"company_website": "alibaba.com",
"company_description": "阿里云提供云基础设施、AI模型、智能体和计算服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "博士及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "作为大模型评测研发工程师，将负责“大模型通用Benchmark评测体系”与“业务领域Benchmark构建”的全链路研发：从评测数据集设计、智能化自动化评估方法探索研究、指标实现，到平台化落地，精准衡量模型能力边界，持续驱动模型语料优化与模型迭代。 \n1、通用 Benchmark 研发： \n• 持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架； \n• 研究并实现更贴合业务发展的评测方法与指标，构建高效、可扩展、可复现、可解释的评测引擎； \n2、业务领域 Benchmark 构建与评测： \n• 深入跨境多个垂直业务领域，构建领域Benchmark，真实反馈模型业务表现； \n• 设计场景化评估方案，如RAG、Agent、COT、 In-Context Learning等，并形成端到端评测能力； \n3、评测方法研究： \n• 探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术； \n• 跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议，高效复现SOTA方法，形成可比对可参考的评估系统。",
"requirements_text": "1、计算机、数学相关专业，博士及以上学历； \n2、熟练掌握 Python，扎实的数据结构、机器学习功底； \n3、熟悉 transformers、PyTorch/TensorFlow，有大规模数据处理经验； \n加分项： \n1、在 NeurIPS/ICLR/ACL 等顶会以一作发表评测相关论文； \n2、主导过公开Benchmark的设计与维护； \n3、有大模型微调、RLHF实践经验。",
"skills": [AI生成
"Python",
"PyTorch",
"TensorFlow",
"机器学习",
"数据结构",
"模型微调",
"大语言模型"
],
"preferred_qualifications": "加分项：",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://campus-talent.alibaba.com/campus/position/199904240007?deptCodes="
}
]
},
"posting": {
"posting_id": "199904240007",
"post_date": "2026-04-13",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://campus-talent.alibaba.com/campus/position/199904240007?deptCodes="
},
"fulltext": "AI评测工程师\nAI评测工程师\n\n基础信息\n毕业起止时间要求：2028-01-01 - 2030-06-30\n职位类别：技术类\n招聘项目：阿里巴巴日常实习生\n工作地点：杭州\n\n职位描述\n作为大模型评测研发工程师，将负责“大模型通用Benchmark评测体系”与“业务领域Benchmark构建”的全链路研发：从评测数据集设计、智能化自动化评估方法探索研究、指标实现，到平台化落地，精准衡量模型能力边界，持续驱动模型语料优化与模型迭代。 \n1、通用 Benchmark 研发： \n• 持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架； \n• 研究并实现更贴合业务发展的评测方法与指标，构建高效、可扩展、可复现、可解释的评测引擎； \n2、业务领域 Benchmark 构建与评测： \n• 深入跨境多个垂直业务领域，构建领域Benchmark，真实反馈模型业务表现； \n• 设计场景化评估方案，如RAG、Agent、COT、 In-Context Learning等，并形成端到端评测能力； \n3、评测方法研究： \n• 探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术； \n• 跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议，高效复现SOTA方法，形成可比对可参考的评估系统。\n\n职位要求\n1、计算机、数学相关专业，博士及以上学历； \n2、熟练掌握 Python，扎实的数据结构、机器学习功底； \n3、熟悉 transformers、PyTorch/TensorFlow，有大规模数据处理经验； \n加分项： \n1、在 NeurIPS/ICLR/ACL 等顶会以一作发表评测相关论文； \n2、主导过公开Benchmark的设计与维护； \n3、有大模型微调、RLHF实践经验。\n\n在招业务\n阿里云\n作为大模型评测研发工程师，将负责“大模型通用Benchmark评测体系”与“业务领域Benchmark构建”的全链路研发：从评测数据集设计、智能化自动化评估方法探索研究、指标实现，到平台化落地，精准衡量模型能力边界，持续驱动模型语料优化与模型迭代。 \n1、通用 Benchmark 研发： \n• 持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架； \n• 研究并实现更贴合业务发展的评测方法与指标，构建高效、可扩展、可复现、可解释的评测引擎； \n2、业务领域 Benchmark 构建与评测： \n• 深入跨境多个垂直业务领域，构建领域Benchmark，真实反馈模型业务表现； \n• 设计场景化评估方案，如RAG、Agent、COT、 In-Context Learning等，并形成端到端评测能力； \n3、评测方法研究： \n• 探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术； \n• 跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议，高效复现SOTA方法，形成可比对可参考的评估系统。\n1、计算机、数学相关专业，博士及以上学历； \n2、熟练掌握 Python，扎实的数据结构、机器学习功底； \n3、熟悉 transformers、PyTorch/TensorFlow，有大规模数据处理经验； \n加分项： \n1、在 NeurIPS/ICLR/ACL 等顶会以一作发表评测相关论文； \n2、主导过公开Benchmark的设计与维护； \n3、有大模型微调、RLHF实践经验。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}