主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "大模型与Agent评估方法算法研究员-Commercial AI",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "未披露",
"location": "上海",
"work_mode": "未披露",AI生成
"job_category": "算法"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "硕士学位及以上",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1、我们正在围绕大模型与Agent构建新一代评估体系，关注如何在真实任务和复杂交互中，对模型能力、风险、稳定性与优化方向进行系统性推断；\n2、算法研究员的核心职责是把评估问题变成可运行的研究对象，包括任务设计、数据构造、评分协议、比较方法和推断分析；\n3、从真实任务和复杂Agent行为中抽象高价值评估问题，设计面向大模型/Agent的评估任务、样本集、Benchmark、Protocol与Scoring Policy；\n4、研究并落地Rubric-based Eval、LLM-as-a-judge、Pairwise comparison、自动Red-teaming、多轮交互评估等方法；\n5、运用统计推断、实验设计和归因分析方法，对不同模型、策略与环境配置进行严谨比较；\n6、在日常工作中，写实验代码、清洗样本、分析Judge分歧、复盘模型失败模式，并据此重写任务和评分协议；\n7、与科学家讨论能力定义合理性，将其落成为可执行的任务集、Rubric或比较实验；\n8、持续面对Benchmark失效、模型利用规则漏洞、线上线下结论不一致等真实问题。",
"requirements_text": "1、计算机、机器学习、统计、数学、物理、语言学等相关专业，硕士学位及以上；\n2、具备机器学习、NLP、LLM、Agent、推荐、广告、强化学习等方向研究或项目经验；\n3、熟悉实验设计、统计分析、模型评测、因果推断中至少一类核心方法；\n4、能将模糊问题拆解为清晰任务、方案、证据与评估体系，擅长研究抽象与技术表达；\n5、关注智能系统评估、能力边界、失败模式与泛化问题，愿意落地真实业务场景；\n6、具备跨团队协作能力，有评测相关、业务落地、开源或论文成果者优先。",
"skills": [AI生成
"机器学习",
"强化学习",
"自然语言处理",
"统计分析",
"团队协作",
"大语言模型"
],
"preferred_qualifications": "6、具备跨团队协作能力，有评测相关、业务落地、开源或论文成果者优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/experienced/position/7594713024125831429/detail"
}
]
},
"posting": {
"posting_id": "7594713024125831429",
"post_date": "2026-01-13",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/experienced/position/7594713024125831429/detail"
},
"fulltext": "大模型与Agent评估方法算法研究员-Commercial AI\n职位描述\n1、我们正在围绕大模型与Agent构建新一代评估体系，关注如何在真实任务和复杂交互中，对模型能力、风险、稳定性与优化方向进行系统性推断；\n2、算法研究员的核心职责是把评估问题变成可运行的研究对象，包括任务设计、数据构造、评分协议、比较方法和推断分析；\n3、从真实任务和复杂Agent行为中抽象高价值评估问题，设计面向大模型/Agent的评估任务、样本集、Benchmark、Protocol与Scoring Policy；\n4、研究并落地Rubric-based Eval、LLM-as-a-judge、Pairwise comparison、自动Red-teaming、多轮交互评估等方法；\n5、运用统计推断、实验设计和归因分析方法，对不同模型、策略与环境配置进行严谨比较；\n6、在日常工作中，写实验代码、清洗样本、分析Judge分歧、复盘模型失败模式，并据此重写任务和评分协议；\n7、与科学家讨论能力定义合理性，将其落成为可执行的任务集、Rubric或比较实验；\n8、持续面对Benchmark失效、模型利用规则漏洞、线上线下结论不一致等真实问题。\n\n职位要求\n1、计算机、机器学习、统计、数学、物理、语言学等相关专业，硕士学位及以上；\n2、具备机器学习、NLP、LLM、Agent、推荐、广告、强化学习等方向研究或项目经验；\n3、熟悉实验设计、统计分析、模型评测、因果推断中至少一类核心方法；\n4、能将模糊问题拆解为清晰任务、方案、证据与评估体系，擅长研究抽象与技术表达；\n5、关注智能系统评估、能力边界、失败模式与泛化问题，愿意落地真实业务场景；\n6、具备跨团队协作能力，有评测相关、业务落地、开源或论文成果者优先。\n1、我们正在围绕大模型与Agent构建新一代评估体系，关注如何在真实任务和复杂交互中，对模型能力、风险、稳定性与优化方向进行系统性推断；\n2、算法研究员的核心职责是把评估问题变成可运行的研究对象，包括任务设计、数据构造、评分协议、比较方法和推断分析；\n3、从真实任务和复杂Agent行为中抽象高价值评估问题，设计面向大模型/Agent的评估任务、样本集、Benchmark、Protocol与Scoring Policy；\n4、研究并落地Rubric-based Eval、LLM-as-a-judge、Pairwise comparison、自动Red-teaming、多轮交互评估等方法；\n5、运用统计推断、实验设计和归因分析方法，对不同模型、策略与环境配置进行严谨比较；\n6、在日常工作中，写实验代码、清洗样本、分析Judge分歧、复盘模型失败模式，并据此重写任务和评分协议；\n7、与科学家讨论能力定义合理性，将其落成为可执行的任务集、Rubric或比较实验；\n8、持续面对Benchmark失效、模型利用规则漏洞、线上线下结论不一致等真实问题。\n1、计算机、机器学习、统计、数学、物理、语言学等相关专业，硕士学位及以上；\n2、具备机器学习、NLP、LLM、Agent、推荐、广告、强化学习等方向研究或项目经验；\n3、熟悉实验设计、统计分析、模型评测、因果推断中至少一类核心方法；\n4、能将模糊问题拆解为清晰任务、方案、证据与评估体系，擅长研究抽象与技术表达；\n5、关注智能系统评估、能力边界、失败模式与泛化问题，愿意落地真实业务场景；\n6、具备跨团队协作能力，有评测相关、业务落地、开源或论文成果者优先。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}