主分类：AI模型评测工程
辅助：AI训练数据标注与评测运营（仅展示）
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "Agent评测专家（To B方向） - AI数据与安全",
"job_level": "专家",AI生成
"work_category": "全职",AI生成
"department": "未披露",
"location": "北京",
"work_mode": "未披露",AI生成
"job_category": "运营"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、负责Agent、Coding等方向的模型评测项目，理解业务目标和模型能力边界，将抽象的能力诉求拆解为具体、可触发、可观测、可判定的评测问题及测试点，形成可执行的评测方案；\n2、组织外部专家开展评测数据生产，根据不同评测方向定义专家画像和准入标准，完成专家筛选、试做、培训、校准、任务派发和质量验收，将专家的非标准知识转化为稳定、可规模化交付的评测资产；\n3、推动自动评估链路工程化落地，使用Python等编程语言搭建和维护评估任务，将数据集、模型调用、Agent运行环境、Judge、评分逻辑及结果分析接入司内评估平台，确保评估流程可复现、可追踪、可扩展；\n4、与算法研究员、产品、工程团队紧密协作，准确理解模型迭代需求，以评测数据和典型案例推动问题定位、能力改进及版本决策。",
"requirements_text": "1、本科及以上学历，计算机科学与技术、人工智能、信息科学、大数据科学与技术、软件工程等相关专业优先；\n2、熟悉大模型/Agent工作原理，能读懂Agent执行过程的完整轨迹；能拆解问题类型，并明确可判定的问题表现，可以总结出相对应的高发场景、触发条件和可观测信号；\n3、能分析模型得分和负面案例分布，识别题目、Judge及评分标准问题，并针对性优化题目、样例和评判规则；\n4、能将模型问题拆解为可观测、可触发、可判定的类型；熟悉Python等编程语言，具备评估链路工程化能力者优先；\n5、具备良好的沟通和项目管理能力，能设计评测集生产协作链路，明确分工并完成产能、排期和风险管理；\n6、善于发现流程卡点，能运用Python、自动化工具或轻量产品提升效率，推动生产流程可追踪、可度量。",
"skills": [AI生成
"Python",
"风险管理",
"项目管理",
"大语言模型"
],
"preferred_qualifications": "1、本科及以上学历，计算机科学与技术、人工智能、信息科学、大数据科学与技术、软件工程等相关专业优先；熟悉Python等编程语言，具备评估链路工程化能力者优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/experienced/position/7681137418037168389/detail"
}
]
},
"posting": {
"posting_id": "7681137418037168389",
"post_date": "2026-09-03",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/experienced/position/7681137418037168389/detail"
},
"fulltext": "Agent评测专家（To B方向） - AI数据与安全\n职位描述\n团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、负责Agent、Coding等方向的模型评测项目，理解业务目标和模型能力边界，将抽象的能力诉求拆解为具体、可触发、可观测、可判定的评测问题及测试点，形成可执行的评测方案；\n2、组织外部专家开展评测数据生产，根据不同评测方向定义专家画像和准入标准，完成专家筛选、试做、培训、校准、任务派发和质量验收，将专家的非标准知识转化为稳定、可规模化交付的评测资产；\n3、推动自动评估链路工程化落地，使用Python等编程语言搭建和维护评估任务，将数据集、模型调用、Agent运行环境、Judge、评分逻辑及结果分析接入司内评估平台，确保评估流程可复现、可追踪、可扩展；\n4、与算法研究员、产品、工程团队紧密协作，准确理解模型迭代需求，以评测数据和典型案例推动问题定位、能力改进及版本决策。\n\n职位要求\n1、本科及以上学历，计算机科学与技术、人工智能、信息科学、大数据科学与技术、软件工程等相关专业优先；\n2、熟悉大模型/Agent工作原理，能读懂Agent执行过程的完整轨迹；能拆解问题类型，并明确可判定的问题表现，可以总结出相对应的高发场景、触发条件和可观测信号；\n3、能分析模型得分和负面案例分布，识别题目、Judge及评分标准问题，并针对性优化题目、样例和评判规则；\n4、能将模型问题拆解为可观测、可触发、可判定的类型；熟悉Python等编程语言，具备评估链路工程化能力者优先；\n5、具备良好的沟通和项目管理能力，能设计评测集生产协作链路，明确分工并完成产能、排期和风险管理；\n6、善于发现流程卡点，能运用Python、自动化工具或轻量产品提升效率，推动生产流程可追踪、可度量。\n团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、负责Agent、Coding等方向的模型评测项目，理解业务目标和模型能力边界，将抽象的能力诉求拆解为具体、可触发、可观测、可判定的评测问题及测试点，形成可执行的评测方案；\n2、组织外部专家开展评测数据生产，根据不同评测方向定义专家画像和准入标准，完成专家筛选、试做、培训、校准、任务派发和质量验收，将专家的非标准知识转化为稳定、可规模化交付的评测资产；\n3、推动自动评估链路工程化落地，使用Python等编程语言搭建和维护评估任务，将数据集、模型调用、Agent运行环境、Judge、评分逻辑及结果分析接入司内评估平台，确保评估流程可复现、可追踪、可扩展；\n4、与算法研究员、产品、工程团队紧密协作，准确理解模型迭代需求，以评测数据和典型案例推动问题定位、能力改进及版本决策。\n1、本科及以上学历，计算机科学与技术、人工智能、信息科学、大数据科学与技术、软件工程等相关专业优先；\n2、熟悉大模型/Agent工作原理，能读懂Agent执行过程的完整轨迹；能拆解问题类型，并明确可判定的问题表现，可以总结出相对应的高发场景、触发条件和可观测信号；\n3、能分析模型得分和负面案例分布，识别题目、Judge及评分标准问题，并针对性优化题目、样例和评判规则；\n4、能将模型问题拆解为可观测、可触发、可判定的类型；熟悉Python等编程语言，具备评估链路工程化能力者优先；\n5、具备良好的沟通和项目管理能力，能设计评测集生产协作链路，明确分工并完成产能、排期和风险管理；\n6、善于发现流程卡点，能运用Python、自动化工具或轻量产品提升效率，推动生产流程可追踪、可度量。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [
"B010"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}