主分类:AI模型评测工程
来源 JD 数据(旧分类保留,当前主分类见上方)
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "AI大模型评估(生产力方向) - AI数据与安全",
"job_level": "校招",AI生成
"work_category": "全职",AI生成
"department": "未披露",
"location": "北京",
"work_mode": "未披露",AI生成
"job_category": "运营"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品,旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "2027届获得本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "团队介绍:AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务,覆盖数据生产全流程,包含模型评估标准的制定、数据规模化生产、数据飞轮搭建,不断提升数据质量,支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成,并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作,从真实场景中收集反馈并分析模型表现数据,解决 AI 前沿突破过程中的复杂数据问题,推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者,也是模型和 AI 产品的一手用户。\n\n1、负责大语言模型生产力/Agent方向的评测工作,与产品研发协同迭代评估流程与标准,通过交付高质量的评测/众测报告,为模型优化和产品迭代提供牵引;\n2、持续探索自动评估的思路与方法,搭建Agent-as-Judge自动评估体系,持续提升人机一致率,提高模型评估的吞吐量与效率;\n3、从用户端到端体验和模型理想态出发,构建并迭代人工与自动评估题库,建立题库动态更新机制,推动评估与真实用户需求对齐;\n4、深入拆解Agent复杂任务的多步执行链路,将端到端表现归因到模型能力vs工程Harness,输出可支撑算法敏捷迭代与准出决策的结论。",
"requirements_text": "1、2027届获得本科及以上学历,人工智能、计算机、软件工程、数据科学等相关专业优先;\n2、有理工背景叠加办公/生产力场景理解者更佳;AI生产力产品(编程、办公、数据分析、浏览器Agent等)的深度用户,清楚该场景下“什么是好的完成质量”以及常见失败模式;\n3、熟练掌握提示词工程,能独立搭建Workflow/Agent,具备基础代码能力(能读写Python、看懂日志与Trace优先);\n4、理解或愿意快速掌握Agent评测方法论,有评测/标注/数据质量相关经验优先;\n5、具备出色的项目管理能力,能与产品、研发、数据等多部门协同,对齐需求并推动多项任务高质高效交付;\n6、对大模型与Agent有高度热情,拥有出色的逻辑思维与问题解决能力,沟通表达清晰,学习能力强,细心严谨,有责任心。",
"skills": [AI生成
"Python",
"数据分析",
"项目管理",
"沟通表达",
"逻辑思维",
"学习能力",
"大语言模型"
],
"preferred_qualifications": "1、2027届获得本科及以上学历,人工智能、计算机、软件工程、数据科学等相关专业优先;3、熟练掌握提示词工程,能独立搭建Workflow/Agent,具备基础代码能力(能读写Python、看懂日志与Trace优先);4、理解或愿意快速掌握Agent评测方法论,有评测/标注/数据质量相关经验优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/campus/position/7683513308356446517/detail"
}
]
},
"posting": {
"posting_id": "7683513308356446517",
"post_date": "2026-09-09",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/campus/position/7683513308356446517/detail"
},
"fulltext": "AI大模型评估(生产力方向) - AI数据与安全\n职位描述\n团队介绍:AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务,覆盖数据生产全流程,包含模型评估标准的制定、数据规模化生产、数据飞轮搭建,不断提升数据质量,支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成,并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作,从真实场景中收集反馈并分析模型表现数据,解决 AI 前沿突破过程中的复杂数据问题,推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者,也是模型和 AI 产品的一手用户。\n\n1、负责大语言模型生产力/Agent方向的评测工作,与产品研发协同迭代评估流程与标准,通过交付高质量的评测/众测报告,为模型优化和产品迭代提供牵引;\n2、持续探索自动评估的思路与方法,搭建Agent-as-Judge自动评估体系,持续提升人机一致率,提高模型评估的吞吐量与效率;\n3、从用户端到端体验和模型理想态出发,构建并迭代人工与自动评估题库,建立题库动态更新机制,推动评估与真实用户需求对齐;\n4、深入拆解Agent复杂任务的多步执行链路,将端到端表现归因到模型能力vs工程Harness,输出可支撑算法敏捷迭代与准出决策的结论。\n\n职位要求\n1、2027届获得本科及以上学历,人工智能、计算机、软件工程、数据科学等相关专业优先;\n2、有理工背景叠加办公/生产力场景理解者更佳;AI生产力产品(编程、办公、数据分析、浏览器Agent等)的深度用户,清楚该场景下“什么是好的完成质量”以及常见失败模式;\n3、熟练掌握提示词工程,能独立搭建Workflow/Agent,具备基础代码能力(能读写Python、看懂日志与Trace优先);\n4、理解或愿意快速掌握Agent评测方法论,有评测/标注/数据质量相关经验优先;\n5、具备出色的项目管理能力,能与产品、研发、数据等多部门协同,对齐需求并推动多项任务高质高效交付;\n6、对大模型与Agent有高度热情,拥有出色的逻辑思维与问题解决能力,沟通表达清晰,学习能力强,细心严谨,有责任心。\n团队介绍:AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务,覆盖数据生产全流程,包含模型评估标准的制定、数据规模化生产、数据飞轮搭建,不断提升数据质量,支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成,并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作,从真实场景中收集反馈并分析模型表现数据,解决 AI 前沿突破过程中的复杂数据问题,推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者,也是模型和 AI 产品的一手用户。\n\n1、负责大语言模型生产力/Agent方向的评测工作,与产品研发协同迭代评估流程与标准,通过交付高质量的评测/众测报告,为模型优化和产品迭代提供牵引;\n2、持续探索自动评估的思路与方法,搭建Agent-as-Judge自动评估体系,持续提升人机一致率,提高模型评估的吞吐量与效率;\n3、从用户端到端体验和模型理想态出发,构建并迭代人工与自动评估题库,建立题库动态更新机制,推动评估与真实用户需求对齐;\n4、深入拆解Agent复杂任务的多步执行链路,将端到端表现归因到模型能力vs工程Harness,输出可支撑算法敏捷迭代与准出决策的结论。\n1、2027届获得本科及以上学历,人工智能、计算机、软件工程、数据科学等相关专业优先;\n2、有理工背景叠加办公/生产力场景理解者更佳;AI生产力产品(编程、办公、数据分析、浏览器Agent等)的深度用户,清楚该场景下“什么是好的完成质量”以及常见失败模式;\n3、熟练掌握提示词工程,能独立搭建Workflow/Agent,具备基础代码能力(能读写Python、看懂日志与Trace优先);\n4、理解或愿意快速掌握Agent评测方法论,有评测/标注/数据质量相关经验优先;\n5、具备出色的项目管理能力,能与产品、研发、数据等多部门协同,对齐需求并推动多项任务高质高效交付;\n6、对大模型与Agent有高度热情,拥有出色的逻辑思维与问题解决能力,沟通表达清晰,学习能力强,细心严谨,有责任心。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}