主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "数据技术及产品部-大模型评测研发工程师-杭州/北京",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类-开发"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": 3,
"degree": "计算机相关专业本科及以上学历",
"language": "能阅读英文文献、分析开源项目源码，准确抽象评测集核心逻辑并完成平台化落地",AI生成
"visa_support": "未披露",
"responsibilities": "1. 评测平台架构与框架建设。设计并研发面向大模型与Agent的通用评测框架，支持多模态输入输出、长程任务执行、工具调用链路、执行反馈等评估维度；推动评测流水线标准化，打通数据集管理、环境隔离、任务调度、指标计算、结果归档与可视化各环节；对评测结果做数据清洗、统计分析与可视化，向算法团队输出分析报告与洞察。\n2. 评测集适配与建设。吃透业界主流评测集（如SWE-bench、Terminal-Bench、JobBench等），完成向平台的精准适配；面向代码生成、工具使用、推理、多轮对话、多模态生成等任务场景，设计可量化的评估方式与指标体系；建立Benchmark版本管理机制，让评测过程与结果可追踪、可对比、可复现，支撑模型迭代决策。\n3. 评测任务Agent化与Harness Engineering。以Harness Engineering思路把评测任务本身Agent化，提升评测集接入效率与执行的智能化水平；开发自动化诊断工具，定位评测适配异常、指标抖动、环境漂移等问题，降低人工排查成本；探索LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式，提升评估的客观性与覆盖度。",
"requirements_text": "1. 计算机相关专业本科及以上学历，3年以上平台研发或AI工程经验。\n2. 工程功底扎实，精通Python或Java至少一门，熟练使用Linux开发环境与Shell脚本自动化。\n3. 理解大模型评测体系，熟悉开源评测集与主流评测框架，具备评测框架、数据Pipeline、分布式任务调度或MLOps平台的设计与落地经验。\n4. 熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术，能独立处理复杂依赖管理与可复现性问题。\n5. 对AI评测有热情，看重指标设计的科学性与工程实现的严谨性；能阅读英文文献、分析开源项目源码，准确抽象评测集核心逻辑并完成平台化落地。\n加分项\n● 主导或深度参与过评测框架、评测流水线或MLOps平台的研发，有从0到1落地的经验。\n● 完成过SWE-bench、Terminal-Bench等主流评测集的平台化适配，熟悉Harbor等评测集规范标准。\n● 有Harness Engineering或将评测任务Agent化的实践，理解Agent评测原理与指标体系设计。\n● 在LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式上有探索或落地成果。\n● 在评测、大模型或AI工程相关的开源项目、论文或竞赛中有可展示的贡献。",
"skills": [AI生成
"Python",
"Java",
"Linux",
"Docker",
"Kubernetes",
"大语言模型",
"智能体开发"
],
"preferred_qualifications": "加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100007720003"
}
]
},
"posting": {
"posting_id": "100007720003",
"post_date": "2026-08-26",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100007720003"
},
"fulltext": "数据技术及产品部-大模型评测研发工程师-杭州/北京\n数据技术及产品部-大模型评测研发工程师-杭州/北京\n\n基础信息\n职位类别：技术类-开发\n工作地点：北京 / 杭州\n\n职位描述\n1. 评测平台架构与框架建设。设计并研发面向大模型与Agent的通用评测框架，支持多模态输入输出、长程任务执行、工具调用链路、执行反馈等评估维度；推动评测流水线标准化，打通数据集管理、环境隔离、任务调度、指标计算、结果归档与可视化各环节；对评测结果做数据清洗、统计分析与可视化，向算法团队输出分析报告与洞察。\n2. 评测集适配与建设。吃透业界主流评测集（如SWE-bench、Terminal-Bench、JobBench等），完成向平台的精准适配；面向代码生成、工具使用、推理、多轮对话、多模态生成等任务场景，设计可量化的评估方式与指标体系；建立Benchmark版本管理机制，让评测过程与结果可追踪、可对比、可复现，支撑模型迭代决策。\n3. 评测任务Agent化与Harness Engineering。以Harness Engineering思路把评测任务本身Agent化，提升评测集接入效率与执行的智能化水平；开发自动化诊断工具，定位评测适配异常、指标抖动、环境漂移等问题，降低人工排查成本；探索LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式，提升评估的客观性与覆盖度。\n\n职位要求\n1. 计算机相关专业本科及以上学历，3年以上平台研发或AI工程经验。\n2. 工程功底扎实，精通Python或Java至少一门，熟练使用Linux开发环境与Shell脚本自动化。\n3. 理解大模型评测体系，熟悉开源评测集与主流评测框架，具备评测框架、数据Pipeline、分布式任务调度或MLOps平台的设计与落地经验。\n4. 熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术，能独立处理复杂依赖管理与可复现性问题。\n5. 对AI评测有热情，看重指标设计的科学性与工程实现的严谨性；能阅读英文文献、分析开源项目源码，准确抽象评测集核心逻辑并完成平台化落地。\n加分项\n● 主导或深度参与过评测框架、评测流水线或MLOps平台的研发，有从0到1落地的经验。\n● 完成过SWE-bench、Terminal-Bench等主流评测集的平台化适配，熟悉Harbor等评测集规范标准。\n● 有Harness Engineering或将评测任务Agent化的实践，理解Agent评测原理与指标体系设计。\n● 在LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式上有探索或落地成果。\n● 在评测、大模型或AI工程相关的开源项目、论文或竞赛中有可展示的贡献。\n1. 评测平台架构与框架建设。设计并研发面向大模型与Agent的通用评测框架，支持多模态输入输出、长程任务执行、工具调用链路、执行反馈等评估维度；推动评测流水线标准化，打通数据集管理、环境隔离、任务调度、指标计算、结果归档与可视化各环节；对评测结果做数据清洗、统计分析与可视化，向算法团队输出分析报告与洞察。\n2. 评测集适配与建设。吃透业界主流评测集（如SWE-bench、Terminal-Bench、JobBench等），完成向平台的精准适配；面向代码生成、工具使用、推理、多轮对话、多模态生成等任务场景，设计可量化的评估方式与指标体系；建立Benchmark版本管理机制，让评测过程与结果可追踪、可对比、可复现，支撑模型迭代决策。\n3. 评测任务Agent化与Harness Engineering。以Harness Engineering思路把评测任务本身Agent化，提升评测集接入效率与执行的智能化水平；开发自动化诊断工具，定位评测适配异常、指标抖动、环境漂移等问题，降低人工排查成本；探索LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式，提升评估的客观性与覆盖度。\n1. 计算机相关专业本科及以上学历，3年以上平台研发或AI工程经验。\n2. 工程功底扎实，精通Python或Java至少一门，熟练使用Linux开发环境与Shell脚本自动化。\n3. 理解大模型评测体系，熟悉开源评测集与主流评测框架，具备评测框架、数据Pipeline、分布式任务调度或MLOps平台的设计与落地经验。\n4. 熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术，能独立处理复杂依赖管理与可复现性问题。\n5. 对AI评测有热情，看重指标设计的科学性与工程实现的严谨性；能阅读英文文献、分析开源项目源码，准确抽象评测集核心逻辑并完成平台化落地。\n加分项\n● 主导或深度参与过评测框架、评测流水线或MLOps平台的研发，有从0到1落地的经验。\n● 完成过SWE-bench、Terminal-Bench等主流评测集的平台化适配，熟悉Harbor等评测集规范标准。\n● 有Harness Engineering或将评测任务Agent化的实践，理解Agent评测原理与指标体系设计。\n● 在LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式上有探索或落地成果。\n● 在评测、大模型或AI工程相关的开源项目、论文或竞赛中有可展示的贡献。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}