{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "大模型评测工程师-Data（北京/上海）",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "未披露",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "算法"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "本科及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1、负责大模型评测体系建设：负责将业界SOTA大模型（含多模态大模型）部署到内部评测环境，基于多领域评测集完成规模化跑测，验证并校准模型评估指标，保障评测流程的准确性与可复现性；\n2、开源评测集适配与集成：调研并引入业界主流开源评测集（覆盖文本、多模态与Agent三类，以多模态与Agent评测为主），将其适配、接入到内部模型评测体系，统一评测指标口径与执行流程，保障评测的覆盖度、针对性与可复现性；\n3、Agent能力评测：针对Agent Based Bench开展评测，支持多轮交互、工具调用、Sandbox环境与轨迹记录，分析任务完成情况与失败原因，评估模型的Agent能力边界；\n4、评测结果自动化分析：设计算法与工具，实现评测结果的自动化量化分析、异常定位及根因追溯，输出结构化分析报告，为模型选型与迭代提供数据支撑；\n5、Agent RL环境与推理优化（可成长方向）：探索面向一般性Agent RL的Environments Scaling Up，构建可扩展的交互式环境（Environments）、无偏奖励信号（Unbiased Reward Signal）与评估（Evaluation）；并参与模型推理性能优化探索（如量化、KV Cache优化、批处理调度等）；以上均为探索方向，提供相应技术支持与成长空间。",
        "requirements_text": "1、本科及以上学历，计算机科学、人工智能、数学、统计学等相关专业；\n2、扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型(含多模态大模型)的特性与主流评测方法；\n3、具备扎实的编程能力，熟悉PyTorch等深度学习框架，能独立完成算法实现与调试；熟悉大模型部署与推理流程；\n4、熟悉多模态大模型评测技术，有图文等跨模态评测经验；了解Agent评测(多轮交互、工具调用等)的基本方法；\n5、具备良好的逻辑思维、问题解决能力与沟通协作意识，能清晰表达技术思路，高效推进跨团队协作，具备一定的文档撰写能力。\n\n加分项\n1、熟悉主流开源评测Benchmark与Agent Based Bench(如BFCL、BrowseComp等),有评测集接入或自动化评测工具开发经验者优先；\n2、有大模型推理优化经验，熟悉vLLM、SGLang、TensorRT-LLM等推理框架，或有量化、并行推理、算子优化、Agent RL环境构建相关实践者优先。",
        "skills": [AI生成
            "PyTorch",
            "机器学习",
            "深度学习",
            "团队协作",
            "逻辑思维",
            "大语言模型"
        ],
        "preferred_qualifications": "加分项；1、熟悉主流开源评测Benchmark与Agent Based Bench(如BFCL、BrowseComp等),有评测集接入或自动化评测工具开发经验者优先；2、有大模型推理优化经验，熟悉vLLM、SGLang、TensorRT-LLM等推理框架，或有量化、并行推理、算子优化、Agent RL环境构建相关实践者优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/experienced/position/7657772613481236789/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7657772613481236789",
        "post_date": "2026-07-02",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/experienced/position/7657772613481236789/detail"
    },
    "fulltext": "大模型评测工程师-Data（北京/上海）\n职位描述\n1、负责大模型评测体系建设：负责将业界SOTA大模型（含多模态大模型）部署到内部评测环境，基于多领域评测集完成规模化跑测，验证并校准模型评估指标，保障评测流程的准确性与可复现性；\n2、开源评测集适配与集成：调研并引入业界主流开源评测集（覆盖文本、多模态与Agent三类，以多模态与Agent评测为主），将其适配、接入到内部模型评测体系，统一评测指标口径与执行流程，保障评测的覆盖度、针对性与可复现性；\n3、Agent能力评测：针对Agent Based Bench开展评测，支持多轮交互、工具调用、Sandbox环境与轨迹记录，分析任务完成情况与失败原因，评估模型的Agent能力边界；\n4、评测结果自动化分析：设计算法与工具，实现评测结果的自动化量化分析、异常定位及根因追溯，输出结构化分析报告，为模型选型与迭代提供数据支撑；\n5、Agent RL环境与推理优化（可成长方向）：探索面向一般性Agent RL的Environments Scaling Up，构建可扩展的交互式环境（Environments）、无偏奖励信号（Unbiased Reward Signal）与评估（Evaluation）；并参与模型推理性能优化探索（如量化、KV Cache优化、批处理调度等）；以上均为探索方向，提供相应技术支持与成长空间。\n\n职位要求\n1、本科及以上学历，计算机科学、人工智能、数学、统计学等相关专业；\n2、扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型(含多模态大模型)的特性与主流评测方法；\n3、具备扎实的编程能力，熟悉PyTorch等深度学习框架，能独立完成算法实现与调试；熟悉大模型部署与推理流程；\n4、熟悉多模态大模型评测技术，有图文等跨模态评测经验；了解Agent评测(多轮交互、工具调用等)的基本方法；\n5、具备良好的逻辑思维、问题解决能力与沟通协作意识，能清晰表达技术思路，高效推进跨团队协作，具备一定的文档撰写能力。\n\n加分项\n1、熟悉主流开源评测Benchmark与Agent Based Bench(如BFCL、BrowseComp等),有评测集接入或自动化评测工具开发经验者优先；\n2、有大模型推理优化经验，熟悉vLLM、SGLang、TensorRT-LLM等推理框架，或有量化、并行推理、算子优化、Agent RL环境构建相关实践者优先。\n1、负责大模型评测体系建设：负责将业界SOTA大模型（含多模态大模型）部署到内部评测环境，基于多领域评测集完成规模化跑测，验证并校准模型评估指标，保障评测流程的准确性与可复现性；\n2、开源评测集适配与集成：调研并引入业界主流开源评测集（覆盖文本、多模态与Agent三类，以多模态与Agent评测为主），将其适配、接入到内部模型评测体系，统一评测指标口径与执行流程，保障评测的覆盖度、针对性与可复现性；\n3、Agent能力评测：针对Agent Based Bench开展评测，支持多轮交互、工具调用、Sandbox环境与轨迹记录，分析任务完成情况与失败原因，评估模型的Agent能力边界；\n4、评测结果自动化分析：设计算法与工具，实现评测结果的自动化量化分析、异常定位及根因追溯，输出结构化分析报告，为模型选型与迭代提供数据支撑；\n5、Agent RL环境与推理优化（可成长方向）：探索面向一般性Agent RL的Environments Scaling Up，构建可扩展的交互式环境（Environments）、无偏奖励信号（Unbiased Reward Signal）与评估（Evaluation）；并参与模型推理性能优化探索（如量化、KV Cache优化、批处理调度等）；以上均为探索方向，提供相应技术支持与成长空间。\n1、本科及以上学历，计算机科学、人工智能、数学、统计学等相关专业；\n2、扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型(含多模态大模型)的特性与主流评测方法；\n3、具备扎实的编程能力，熟悉PyTorch等深度学习框架，能独立完成算法实现与调试；熟悉大模型部署与推理流程；\n4、熟悉多模态大模型评测技术，有图文等跨模态评测经验；了解Agent评测(多轮交互、工具调用等)的基本方法；\n5、具备良好的逻辑思维、问题解决能力与沟通协作意识，能清晰表达技术思路，高效推进跨团队协作，具备一定的文档撰写能力。\n\n加分项\n1、熟悉主流开源评测Benchmark与Agent Based Bench(如BFCL、BrowseComp等),有评测集接入或自动化评测工具开发经验者优先；\n2、有大模型推理优化经验，熟悉vLLM、SGLang、TensorRT-LLM等推理框架，或有量化、并行推理、算子优化、Agent RL环境构建相关实践者优先。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}