{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "LLM / Agent评测",
        "job_level": "高级",AI生成
        "work_category": "全职",AI生成
        "department": "",
        "location": "杭州·余杭区·仓前",
        "work_mode": "现场办公",AI生成
        "job_category": "AI效果评测"AI生成
    },
    "company": {
        "company_name": "深圳易宝软件有限公司",
        "company_industry": "计算机软件",
        "company_size": "1000-9999人",
        "company_website": "",
        "company_description": ""
    },
    "compensation": {
        "salary_range": {
            "min": 11000,
            "max": 17000,
            "currency": "CNY",
            "cycle": "month"
        },
        "benefits": ""
    },
    "requirements": {
        "working_years": 3,
        "degree": "本科",
        "language": "中英双语",AI生成
        "visa_support": "",
        "responsibilities": "",
        "requirements_text": "岗位职责\n大模型能力评测与 Benchmark 建设\n针对 LLM、Agent、Coding、多模态等模型能力，将业务需求拆解为可验证的能力维度、任务类型、数据分布、评测指标及验收标准；\n跟踪和研究业界主流⼤模型评测体系与 Benchmark，包括 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解其评测⽬标、任务设计、数据构成、评分机制及局限性；\n根据实际模型能⼒和业务场景，设计或改造 Benchmark、评测集及测试任务，持续提升评测的有效性、区分度和覆盖度。\nLLM / Agent 评测方法与评分体系建设\n设计 Rubric、LLM-as-a-Judge、Grader、Verifier、Rule-based Evaluator 等自动化评测⽅法，并建立人工评审与自动评测相结合的评测体系；\n针对 Agent 任务，分析模型的完整执行轨迹，包括 Planning、Tool Calling、Environment Interaction、Execution、Final Answer 等环节，评估 Agent 的任务完成能力、工具使用能力、稳定性和可靠性；\n针对 Coding、Terminal、Web、Computer Use 等 Agentic 场景，研究基于环境反馈、测试用例、程序执行结果及轨迹的自动化验证方法；\n验证评测方法的可靠性、一致性、鲁棒性和抗刷分能力，识别数据泄漏、Judge Bias、Prompt Hacking 等评测风险。\n评测数据构建与迭代\n根据模型失败案例和评测结果，进行任务设计、数据合成、数据清洗、难度分层、样本筛选及质量校验；\n建立可执行的数据规范、质检规则和验证流程，保证评测数据的准确性、可追溯性和可复现性；\n通过模型对比、失败案例分析及数据分布分析，持续发现 Benchmark 中的薄弱任务、无效样本和评测漏洞，并推动迭代。\n模型失败分析与能力归因\n对模型输出、工具调用、执行结果及 Agent Trajectory 进行分析，定位模型失败究竟来自 模型能力、数据质量、任务设计、Prompt、Judge/Grader、环境或工具链；\n建立模型能力画像和 Failure Taxonomy，分析不同模型在推理、知识、Coding、工具调用、规划、执行、长程任务等方面的能力差异；\n基于评测结果提出可执行的模型优化、数据优化或评测优化方案，并通过实验验证改进效果。\n评测工具与自动化能力建设\n独立开发数据处理、模型批量调用、评测执行、自动评分、结果分析及可视化等工具；\n建设可复现的评测 Pipeline，支持多模型、多任务、多版本的自动化评测与结果对比；\n沉淀评测框架、数据集、Grader、Verifier 和分析工具，提升团队整体评测效率。\n岗位要求：\n必须：\n1、统招本科及以上学历，计算机、人工智能、软件工程、数学、统计等相关专业优先，优秀候选人专业不限；\n具备较好的 Python 编程、数据处理、模型 API 调用及自动化脚本开发能力，能够独立完成评测实验和工具开发；\n2、有实际的大模型评测、Benchmark、数据构建、模型训练或模型分析经验，能够完整说明一个项目从 任务设计 → 数据构建 → 评测执行 → 结果分析 → 迭代优化 的过程；\n3、理解 LLM-as-a-Judge、Rubric、Grader、Verifier、Rule-based Evaluation、Human Evaluation 等常见评测方法，并能够分析其优缺点；\n4、对 Agentic Evaluation 有较深入理解，了解 Agent 的任务规划、工具调用、环境交互、执行轨迹及最终结果评估；\n5、具备基本的实验设计与统计分析能力，能够区分真实能力提升、随机波动、数据泄漏、样本偏差及评测漏洞；\n6、具备较强的问题拆解和归因能力，能够从模型失败案例中抽象出能力维度、Failure Mode 和后续优化方向；\n加分\n1、理解 LLM 基本原理及训练范式，对 Pre-training、SFT、RLHF/RLAIF、RL、Reward Model、合成数据 等有一定了解；\n2、熟悉主流大模型及模型生态，例如 Qwen、DeepSeek、GPT、Claude 等，持续关注主流模型发布及能力变化；\n3、熟悉主流 LLM Benchmark 和评测范式，例如 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解不同 Benchmark 的测试目标、数据特点和评价方式；",
        "skills": [AI生成
            "模型/Agent评测体系",
            "Prompt工程",
            "数据分析与指标体系",
            "编程与代码实现",
            "实验设计与A/B测试"
        ],
        "preferred_qualifications": "",
        "job_highlights": ""
    },
    "contact": {
        "recruiter_name": "",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://www.zhipin.com/job_detail/16adc1db3c7d3c740nN539u5GFVU.html"
            }
        ]
    },
    "posting": {
        "posting_id": "16adc1db3c7d3c740nN539u5GFVU",
        "post_date": "",
        "hire_time": "",
        "update_date": "",
        "job_url": "https://www.zhipin.com/job_detail/16adc1db3c7d3c740nN539u5GFVU.html"
    },
    "fulltext": "岗位职责\n大模型能力评测与 Benchmark 建设\n针对 LLM、Agent、Coding、多模态等模型能力，将业务需求拆解为可验证的能力维度、任务类型、数据分布、评测指标及验收标准；\n跟踪和研究业界主流⼤模型评测体系与 Benchmark，包括 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解其评测⽬标、任务设计、数据构成、评分机制及局限性；\n根据实际模型能⼒和业务场景，设计或改造 Benchmark、评测集及测试任务，持续提升评测的有效性、区分度和覆盖度。\nLLM / Agent 评测方法与评分体系建设\n设计 Rubric、LLM-as-a-Judge、Grader、Verifier、Rule-based Evaluator 等自动化评测⽅法，并建立人工评审与自动评测相结合的评测体系；\n针对 Agent 任务，分析模型的完整执行轨迹，包括 Planning、Tool Calling、Environment Interaction、Execution、Final Answer 等环节，评估 Agent 的任务完成能力、工具使用能力、稳定性和可靠性；\n针对 Coding、Terminal、Web、Computer Use 等 Agentic 场景，研究基于环境反馈、测试用例、程序执行结果及轨迹的自动化验证方法；\n验证评测方法的可靠性、一致性、鲁棒性和抗刷分能力，识别数据泄漏、Judge Bias、Prompt Hacking 等评测风险。\n评测数据构建与迭代\n根据模型失败案例和评测结果，进行任务设计、数据合成、数据清洗、难度分层、样本筛选及质量校验；\n建立可执行的数据规范、质检规则和验证流程，保证评测数据的准确性、可追溯性和可复现性；\n通过模型对比、失败案例分析及数据分布分析，持续发现 Benchmark 中的薄弱任务、无效样本和评测漏洞，并推动迭代。\n模型失败分析与能力归因\n对模型输出、工具调用、执行结果及 Agent Trajectory 进行分析，定位模型失败究竟来自 模型能力、数据质量、任务设计、Prompt、Judge/Grader、环境或工具链；\n建立模型能力画像和 Failure Taxonomy，分析不同模型在推理、知识、Coding、工具调用、规划、执行、长程任务等方面的能力差异；\n基于评测结果提出可执行的模型优化、数据优化或评测优化方案，并通过实验验证改进效果。\n评测工具与自动化能力建设\n独立开发数据处理、模型批量调用、评测执行、自动评分、结果分析及可视化等工具；\n建设可复现的评测 Pipeline，支持多模型、多任务、多版本的自动化评测与结果对比；\n沉淀评测框架、数据集、Grader、Verifier 和分析工具，提升团队整体评测效率。\n岗位要求：\n必须：\n1、统招本科及以上学历，计算机、人工智能、软件工程、数学、统计等相关专业优先，优秀候选人专业不限；\n具备较好的 Python 编程、数据处理、模型 API 调用及自动化脚本开发能力，能够独立完成评测实验和工具开发；\n2、有实际的大模型评测、Benchmark、数据构建、模型训练或模型分析经验，能够完整说明一个项目从 任务设计 → 数据构建 → 评测执行 → 结果分析 → 迭代优化 的过程；\n3、理解 LLM-as-a-Judge、Rubric、Grader、Verifier、Rule-based Evaluation、Human Evaluation 等常见评测方法，并能够分析其优缺点；\n4、对 Agentic Evaluation 有较深入理解，了解 Agent 的任务规划、工具调用、环境交互、执行轨迹及最终结果评估；\n5、具备基本的实验设计与统计分析能力，能够区分真实能力提升、随机波动、数据泄漏、样本偏差及评测漏洞；\n6、具备较强的问题拆解和归因能力，能够从模型失败案例中抽象出能力维度、Failure Mode 和后续优化方向；\n加分\n1、理解 LLM 基本原理及训练范式，对 Pre-training、SFT、RLHF/RLAIF、RL、Reward Model、合成数据 等有一定了解；\n2、熟悉主流大模型及模型生态，例如 Qwen、DeepSeek、GPT、Claude 等，持续关注主流模型发布及能力变化；\n3、熟悉主流 LLM Benchmark 和评测范式，例如 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解不同 Benchmark 的测试目标、数据特点和评价方式；"
}