主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "AI算法工程师（自动评测方向）-即梦",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "未披露",
"location": "深圳",
"work_mode": "未披露",AI生成
"job_category": "算法"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1、负责即梦创作Agent的自动化评测体系建设，覆盖任务规划、工具调用、多轮交互、创作结果质量、长链路任务成功率等核心能力，构建面向图片、视频、多模态编辑与创作场景的Benchmark、评测集、案例集和回归测试体系；\n2、设计LLM/VLM-as-Judge、Rubrics-based Evaluation、轨迹评测、工具调用评测、结果偏好评测等方法，提升评测的准确性、稳定性和可解释性；\n3、建设Agent运行过程的自动化诊断能力，对失败链路进行归因分析，包括任务理解错误、规划错误、工具选择错误、上下文缺失、执行失败等；\n4、与Harness、模型、数据、产品团队协作，打通离线评测、线上反馈、失败案例挖掘和模型/系统迭代闭环；\n5、跟进Agent Evaluation、多模态评测、Reward Model、LLM Judge等前沿方向，推动评测方法在真实创作场景中落地。",
"requirements_text": "1、本科及以上学历，计算机、人工智能、机器学习、软件工程、数学、统计等相关专业；\n2、熟悉大模型评测、Agent Evaluation、Benchmark构建、LLM/VLM-as-Judge、偏好评测中的一种或多种技术；\n3、具备良好的数据分析、实验设计和问题归因能力，能够从复杂创作任务中抽象出可量化、可复现、可追踪的评测指标；\n4、熟悉Python，具备较强的工程实现能力，能够建设稳定、自动化、可扩展的评测流水线和分析工具；\n5、了解LLM/VLM、Tool Use、Function Call、多轮对话、AIGC图片/视频生成或编辑任务者优先，具备良好的系统思维和跨团队协作能力，能够推动评测结果转化为模型、数据和产品迭代方向；\n6、对Agentic产品、多模态创作产品和自动化评测体系建设有浓厚兴趣。",
"skills": [AI生成
"Python",
"机器学习",
"数据分析",
"团队协作",
"大语言模型"
],
"preferred_qualifications": "5、了解LLM/VLM、Tool Use、Function Call、多轮对话、AIGC图片/视频生成或编辑任务者优先，具备良好的系统思维和跨团队协作能力，能够推动评测结果转化为模型、数据和产品迭代方向",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/experienced/position/7647009932610783493/detail"
}
]
},
"posting": {
"posting_id": "7647009932610783493",
"post_date": "2026-06-03",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/experienced/position/7647009932610783493/detail"
},
"fulltext": "AI算法工程师（自动评测方向）-即梦\n职位描述\n1、负责即梦创作Agent的自动化评测体系建设，覆盖任务规划、工具调用、多轮交互、创作结果质量、长链路任务成功率等核心能力，构建面向图片、视频、多模态编辑与创作场景的Benchmark、评测集、案例集和回归测试体系；\n2、设计LLM/VLM-as-Judge、Rubrics-based Evaluation、轨迹评测、工具调用评测、结果偏好评测等方法，提升评测的准确性、稳定性和可解释性；\n3、建设Agent运行过程的自动化诊断能力，对失败链路进行归因分析，包括任务理解错误、规划错误、工具选择错误、上下文缺失、执行失败等；\n4、与Harness、模型、数据、产品团队协作，打通离线评测、线上反馈、失败案例挖掘和模型/系统迭代闭环；\n5、跟进Agent Evaluation、多模态评测、Reward Model、LLM Judge等前沿方向，推动评测方法在真实创作场景中落地。\n\n职位要求\n1、本科及以上学历，计算机、人工智能、机器学习、软件工程、数学、统计等相关专业；\n2、熟悉大模型评测、Agent Evaluation、Benchmark构建、LLM/VLM-as-Judge、偏好评测中的一种或多种技术；\n3、具备良好的数据分析、实验设计和问题归因能力，能够从复杂创作任务中抽象出可量化、可复现、可追踪的评测指标；\n4、熟悉Python，具备较强的工程实现能力，能够建设稳定、自动化、可扩展的评测流水线和分析工具；\n5、了解LLM/VLM、Tool Use、Function Call、多轮对话、AIGC图片/视频生成或编辑任务者优先，具备良好的系统思维和跨团队协作能力，能够推动评测结果转化为模型、数据和产品迭代方向；\n6、对Agentic产品、多模态创作产品和自动化评测体系建设有浓厚兴趣。\n1、负责即梦创作Agent的自动化评测体系建设，覆盖任务规划、工具调用、多轮交互、创作结果质量、长链路任务成功率等核心能力，构建面向图片、视频、多模态编辑与创作场景的Benchmark、评测集、案例集和回归测试体系；\n2、设计LLM/VLM-as-Judge、Rubrics-based Evaluation、轨迹评测、工具调用评测、结果偏好评测等方法，提升评测的准确性、稳定性和可解释性；\n3、建设Agent运行过程的自动化诊断能力，对失败链路进行归因分析，包括任务理解错误、规划错误、工具选择错误、上下文缺失、执行失败等；\n4、与Harness、模型、数据、产品团队协作，打通离线评测、线上反馈、失败案例挖掘和模型/系统迭代闭环；\n5、跟进Agent Evaluation、多模态评测、Reward Model、LLM Judge等前沿方向，推动评测方法在真实创作场景中落地。\n1、本科及以上学历，计算机、人工智能、机器学习、软件工程、数学、统计等相关专业；\n2、熟悉大模型评测、Agent Evaluation、Benchmark构建、LLM/VLM-as-Judge、偏好评测中的一种或多种技术；\n3、具备良好的数据分析、实验设计和问题归因能力，能够从复杂创作任务中抽象出可量化、可复现、可追踪的评测指标；\n4、熟悉Python，具备较强的工程实现能力，能够建设稳定、自动化、可扩展的评测流水线和分析工具；\n5、了解LLM/VLM、Tool Use、Function Call、多轮对话、AIGC图片/视频生成或编辑任务者优先，具备良好的系统思维和跨团队协作能力，能够推动评测结果转化为模型、数据和产品迭代方向；\n6、对Agentic产品、多模态创作产品和自动化评测体系建设有浓厚兴趣。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}