{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "AI Agent评测资深工程师/架构师-计算",
        "job_level": "高级",AI生成
        "work_category": "全职",AI生成
        "department": "未披露",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "后端"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "本科及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1、负责AI Agent评测体系的整体架构设计与建设，结合真实业务场景，构建覆盖任务成功率、工具调用准确性、多轮对话、推理链路、安全合规等维度的评测框架，持续提升Agent质量与迭代效率；\n2、负责评测集、评测用例与数据的体系化建设，设计评测集的分层结构与覆盖策略（核心场景、长尾案例、对抗样本、边界条件等），建立用例的采集、标注、清洗、版本管理与质量校验机制，保障评测数据的代表性、准确性与可持续更新；\n3、设计和建设面向企业级Agent应用的自动化评测平台与工具链，包含但不限于评测集管理、用例编排、自动化打分、人工标注、A/B对比、回归测试、线上负面案例回流与数据闭环等能力，推动评测能力与Agent研发流程深度融合；\n4、定义Agent效果评估的量化指标与评测方法论，识别高价值评测场景，推进评测能力从方案设计、试点验证到规模化落地，形成可复用的评测集标准、标注规范与最佳实践；\n5、持续跟踪大模型、Agent评测（Evaluation）、LLM-as-a-Judge、Benchmark构建、合成数据等前沿技术趋势，结合团队实际业务场景引入合适的新方法与新方案，持续优化评测的准确性、效率与成本。",
        "requirements_text": "1、本科及以上学历，计算机相关专业优先，3年及以上AI/ML、模型评测、质量工程、测试平台或后端研发相关工作经验；\n2、熟悉大模型与Agent技术原理，对Prompt工程、工具调用（Function Calling）、RAG、多轮对话、推理规划等环节有较好理解；\n3、了解主流评测方法与体系，如自动化指标、人工标注、LLM-as-a-Judge、Benchmark构建等，有Agent或模型效果评测的实践经验者优先；\n4、具备良好的工程实现能力，熟练掌握一门及以上开发语言（如Golang/Python/Java），能够独立推进评测系统或工具建设；\n5、具备较好的沟通协作和问题推动能力，能够与算法、研发、产品、标注等角色协同推进评测项目落地。\n\n具备以下条件者优先：\n1、有企业内部Agent评测平台、模型评估平台或质量工程平台建设经验者优先；\n2、有评测集/Benchmark从0到1构建、标注体系搭建、合成数据或数据闭环体系建设经验者优先；\n3、有LLM-as-a-Judge、自动化评测、线上负面案例回流与数据挖掘等相关实践经验者优先；\n4、熟悉大模型训练/推理、RAG、Agent框架或AI Infra相关技术者优先。",
        "skills": [AI生成
            "Python",
            "Java",
            "Golang",
            "数据挖掘",
            "模型训练",
            "大语言模型",
            "检索增强生成"
        ],
        "preferred_qualifications": "1、本科及以上学历，计算机相关专业优先，3年及以上AI/ML、模型评测、质量工程、测试平台或后端研发相关工作经验；3、了解主流评测方法与体系，如自动化指标、人工标注、LLM-as-a-Judge、Benchmark构建等，有Agent或模型效果评测的实践经验者优先；具备以下条件者优先：；1、有企业内部Agent评测平台、模型评估平台或质量工程平台建设经验者优先；2、有评测集/Benchmark从0到1构建、标注体系搭建、合成数据或数据闭环体系建设经验者优先；3、有LLM-as-a-Judge、自动化评测、线上负面案例回流与数据挖掘等相关实践经验者优先；4、熟悉大模型训练/推理、RAG、Agent框架或AI Infra相关技术者优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/experienced/position/7658971083101718837/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7658971083101718837",
        "post_date": "2026-07-05",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/experienced/position/7658971083101718837/detail"
    },
    "fulltext": "AI Agent评测资深工程师/架构师-计算\n职位描述\n1、负责AI Agent评测体系的整体架构设计与建设，结合真实业务场景，构建覆盖任务成功率、工具调用准确性、多轮对话、推理链路、安全合规等维度的评测框架，持续提升Agent质量与迭代效率；\n2、负责评测集、评测用例与数据的体系化建设，设计评测集的分层结构与覆盖策略（核心场景、长尾案例、对抗样本、边界条件等），建立用例的采集、标注、清洗、版本管理与质量校验机制，保障评测数据的代表性、准确性与可持续更新；\n3、设计和建设面向企业级Agent应用的自动化评测平台与工具链，包含但不限于评测集管理、用例编排、自动化打分、人工标注、A/B对比、回归测试、线上负面案例回流与数据闭环等能力，推动评测能力与Agent研发流程深度融合；\n4、定义Agent效果评估的量化指标与评测方法论，识别高价值评测场景，推进评测能力从方案设计、试点验证到规模化落地，形成可复用的评测集标准、标注规范与最佳实践；\n5、持续跟踪大模型、Agent评测（Evaluation）、LLM-as-a-Judge、Benchmark构建、合成数据等前沿技术趋势，结合团队实际业务场景引入合适的新方法与新方案，持续优化评测的准确性、效率与成本。\n\n职位要求\n1、本科及以上学历，计算机相关专业优先，3年及以上AI/ML、模型评测、质量工程、测试平台或后端研发相关工作经验；\n2、熟悉大模型与Agent技术原理，对Prompt工程、工具调用（Function Calling）、RAG、多轮对话、推理规划等环节有较好理解；\n3、了解主流评测方法与体系，如自动化指标、人工标注、LLM-as-a-Judge、Benchmark构建等，有Agent或模型效果评测的实践经验者优先；\n4、具备良好的工程实现能力，熟练掌握一门及以上开发语言（如Golang/Python/Java），能够独立推进评测系统或工具建设；\n5、具备较好的沟通协作和问题推动能力，能够与算法、研发、产品、标注等角色协同推进评测项目落地。\n\n具备以下条件者优先：\n1、有企业内部Agent评测平台、模型评估平台或质量工程平台建设经验者优先；\n2、有评测集/Benchmark从0到1构建、标注体系搭建、合成数据或数据闭环体系建设经验者优先；\n3、有LLM-as-a-Judge、自动化评测、线上负面案例回流与数据挖掘等相关实践经验者优先；\n4、熟悉大模型训练/推理、RAG、Agent框架或AI Infra相关技术者优先。\n1、负责AI Agent评测体系的整体架构设计与建设，结合真实业务场景，构建覆盖任务成功率、工具调用准确性、多轮对话、推理链路、安全合规等维度的评测框架，持续提升Agent质量与迭代效率；\n2、负责评测集、评测用例与数据的体系化建设，设计评测集的分层结构与覆盖策略（核心场景、长尾案例、对抗样本、边界条件等），建立用例的采集、标注、清洗、版本管理与质量校验机制，保障评测数据的代表性、准确性与可持续更新；\n3、设计和建设面向企业级Agent应用的自动化评测平台与工具链，包含但不限于评测集管理、用例编排、自动化打分、人工标注、A/B对比、回归测试、线上负面案例回流与数据闭环等能力，推动评测能力与Agent研发流程深度融合；\n4、定义Agent效果评估的量化指标与评测方法论，识别高价值评测场景，推进评测能力从方案设计、试点验证到规模化落地，形成可复用的评测集标准、标注规范与最佳实践；\n5、持续跟踪大模型、Agent评测（Evaluation）、LLM-as-a-Judge、Benchmark构建、合成数据等前沿技术趋势，结合团队实际业务场景引入合适的新方法与新方案，持续优化评测的准确性、效率与成本。\n1、本科及以上学历，计算机相关专业优先，3年及以上AI/ML、模型评测、质量工程、测试平台或后端研发相关工作经验；\n2、熟悉大模型与Agent技术原理，对Prompt工程、工具调用（Function Calling）、RAG、多轮对话、推理规划等环节有较好理解；\n3、了解主流评测方法与体系，如自动化指标、人工标注、LLM-as-a-Judge、Benchmark构建等，有Agent或模型效果评测的实践经验者优先；\n4、具备良好的工程实现能力，熟练掌握一门及以上开发语言（如Golang/Python/Java），能够独立推进评测系统或工具建设；\n5、具备较好的沟通协作和问题推动能力，能够与算法、研发、产品、标注等角色协同推进评测项目落地。\n\n具备以下条件者优先：\n1、有企业内部Agent评测平台、模型评估平台或质量工程平台建设经验者优先；\n2、有评测集/Benchmark从0到1构建、标注体系搭建、合成数据或数据闭环体系建设经验者优先；\n3、有LLM-as-a-Judge、自动化评测、线上负面案例回流与数据挖掘等相关实践经验者优先；\n4、熟悉大模型训练/推理、RAG、Agent框架或AI Infra相关技术者优先。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}