{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "AI应用工程师（评测方向）",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "技术中心",
        "location": "广州市",
        "work_mode": "未披露",AI生成
        "job_category": "人工智能"AI生成
    },
    "company": {
        "company_name": "网易",
        "company_industry": "互联网 / 游戏 / 数字内容",
        "company_size": "10000人以上",
        "company_website": "netease.com",
        "company_description": "网易提供互联网和游戏服务，并通过有道、网易云音乐、网易严选等业务提供学习、音乐及消费服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": 3,
        "degree": "本科",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "我们正在构建内部 Agent Benchmark 评测体系，聚焦 Coding Agent 方向，系统性地度量和驱动 AI 编程能力的提升。你将深度参与评测基准的设计、数据集构建、自动化评测平台搭建等核心工作，直接影响产品的技术演进方向。\n\n工作职责\n1.  Benchmark 体系设计与构建：针对 Coding Agent 场景（代码理解、代码生成、代码重构、Spec Coding、代码 Review、Bug 修复等），设计多维度、多粒度、支持多轮对话的评测基准，覆盖端到端任务完成度、代码质量、工具调用准确性、推理链路合理性等核心指标；\n2. 评测数据集建设：构建并持续维护高质量评测数据集（Golden Dataset），设计覆盖不同语言、不同复杂度、不同工程场景的测试用例，确保数据集的区分度和代表性；\n3. 自动化评测平台开发：搭建自动化评测 Pipeline，支持多模型/多 Agent 的批量评测、结果对比与回归检测，实现评测流程的标准化和可复现；\n4. 竞品对标分析：跟踪业界主流 Coding Agent 产品（如 Claude Code、Codex、Cursor、Copilot等）以及 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等），完成专项对比评测并输出分析报告；\n5. 评测方法论研究：探索 LLM-as-Judge、对抗性测试、人机混合评估等前沿评测方法，持续迭代评测体系的科学性和有效性；\n6. 结果可视化与洞察输出：开发评测报告自动生成能力，提供可视化的评测看板，将评测结论转化为可落地的产品优化建议。",
        "requirements_text": "1. 本科及以上学历，计算机科学、软件工程、人工智能等相关专业；\n2. 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先；\n3. 熟练掌握 Python 和 TypeScript，具备扎实的工程开发能力，能独立完成评测工具链的设计与开发；\n4. 对 Coding Agent 的工作范式有深入理解（规划-执行-反思循环、工具调用机制、多步推理等），是 Claude Code/ Codex / Cursor / Copilot 等 AI 编程工具的重度用户；\n5. 熟悉主流 Agent 评测框架或 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等）中的至少3种；\n6. 具备较强的数据分析和结构化拆解能力，能从评测数据中提炼有效洞察；\n7. 良好的文档撰写和跨团队协作能力，能清晰表达评测结论和改进方案。\n\n加分项\n1. 有评测数据标注流程与质量控制方法论经验；\n2. 熟悉 LangSmith、LangFuse 等 LLM 可观测性工具，能追踪 Agent 全链路执行日志；\n3. 有自动化测试框架开发经验，熟悉 CI/CD 流程集成；\n4. 在相关领域有论文发表或开源项目贡献。",
        "skills": [AI生成
            "Python",
            "TypeScript",
            "数据分析",
            "数据标注",
            "自动化测试",
            "团队协作",
            "大语言模型"
        ],
        "preferred_qualifications": "2. 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先；加分项",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://hr.163.com/job-detail.html?id=76008&lang=zh"
            }
        ]
    },
    "posting": {
        "posting_id": "76008",
        "post_date": "",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://hr.163.com/job-detail.html?id=76008&lang=zh"
    },
    "fulltext": "AI应用工程师（评测方向）\n职位描述\n我们正在构建内部 Agent Benchmark 评测体系，聚焦 Coding Agent 方向，系统性地度量和驱动 AI 编程能力的提升。你将深度参与评测基准的设计、数据集构建、自动化评测平台搭建等核心工作，直接影响产品的技术演进方向。\n\n工作职责\n1.  Benchmark 体系设计与构建：针对 Coding Agent 场景（代码理解、代码生成、代码重构、Spec Coding、代码 Review、Bug 修复等），设计多维度、多粒度、支持多轮对话的评测基准，覆盖端到端任务完成度、代码质量、工具调用准确性、推理链路合理性等核心指标；\n2. 评测数据集建设：构建并持续维护高质量评测数据集（Golden Dataset），设计覆盖不同语言、不同复杂度、不同工程场景的测试用例，确保数据集的区分度和代表性；\n3. 自动化评测平台开发：搭建自动化评测 Pipeline，支持多模型/多 Agent 的批量评测、结果对比与回归检测，实现评测流程的标准化和可复现；\n4. 竞品对标分析：跟踪业界主流 Coding Agent 产品（如 Claude Code、Codex、Cursor、Copilot等）以及 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等），完成专项对比评测并输出分析报告；\n5. 评测方法论研究：探索 LLM-as-Judge、对抗性测试、人机混合评估等前沿评测方法，持续迭代评测体系的科学性和有效性；\n6. 结果可视化与洞察输出：开发评测报告自动生成能力，提供可视化的评测看板，将评测结论转化为可落地的产品优化建议。\n\n职位要求\n1. 本科及以上学历，计算机科学、软件工程、人工智能等相关专业；\n2. 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先；\n3. 熟练掌握 Python 和 TypeScript，具备扎实的工程开发能力，能独立完成评测工具链的设计与开发；\n4. 对 Coding Agent 的工作范式有深入理解（规划-执行-反思循环、工具调用机制、多步推理等），是 Claude Code/ Codex / Cursor / Copilot 等 AI 编程工具的重度用户；\n5. 熟悉主流 Agent 评测框架或 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等）中的至少3种；\n6. 具备较强的数据分析和结构化拆解能力，能从评测数据中提炼有效洞察；\n7. 良好的文档撰写和跨团队协作能力，能清晰表达评测结论和改进方案。\n\n加分项\n1. 有评测数据标注流程与质量控制方法论经验；\n2. 熟悉 LangSmith、LangFuse 等 LLM 可观测性工具，能追踪 Agent 全链路执行日志；\n3. 有自动化测试框架开发经验，熟悉 CI/CD 流程集成；\n4. 在相关领域有论文发表或开源项目贡献。\n我们正在构建内部 Agent Benchmark 评测体系，聚焦 Coding Agent 方向，系统性地度量和驱动 AI 编程能力的提升。你将深度参与评测基准的设计、数据集构建、自动化评测平台搭建等核心工作，直接影响产品的技术演进方向。\n\n工作职责\n1.  Benchmark 体系设计与构建：针对 Coding Agent 场景（代码理解、代码生成、代码重构、Spec Coding、代码 Review、Bug 修复等），设计多维度、多粒度、支持多轮对话的评测基准，覆盖端到端任务完成度、代码质量、工具调用准确性、推理链路合理性等核心指标；\n2. 评测数据集建设：构建并持续维护高质量评测数据集（Golden Dataset），设计覆盖不同语言、不同复杂度、不同工程场景的测试用例，确保数据集的区分度和代表性；\n3. 自动化评测平台开发：搭建自动化评测 Pipeline，支持多模型/多 Agent 的批量评测、结果对比与回归检测，实现评测流程的标准化和可复现；\n4. 竞品对标分析：跟踪业界主流 Coding Agent 产品（如 Claude Code、Codex、Cursor、Copilot等）以及 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等），完成专项对比评测并输出分析报告；\n5. 评测方法论研究：探索 LLM-as-Judge、对抗性测试、人机混合评估等前沿评测方法，持续迭代评测体系的科学性和有效性；\n6. 结果可视化与洞察输出：开发评测报告自动生成能力，提供可视化的评测看板，将评测结论转化为可落地的产品优化建议。\n1. 本科及以上学历，计算机科学、软件工程、人工智能等相关专业；\n2. 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先；\n3. 熟练掌握 Python 和 TypeScript，具备扎实的工程开发能力，能独立完成评测工具链的设计与开发；\n4. 对 Coding Agent 的工作范式有深入理解（规划-执行-反思循环、工具调用机制、多步推理等），是 Claude Code/ Codex / Cursor / Copilot 等 AI 编程工具的重度用户；\n5. 熟悉主流 Agent 评测框架或 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等）中的至少3种；\n6. 具备较强的数据分析和结构化拆解能力，能从评测数据中提炼有效洞察；\n7. 良好的文档撰写和跨团队协作能力，能清晰表达评测结论和改进方案。\n\n加分项\n1. 有评测数据标注流程与质量控制方法论经验；\n2. 熟悉 LangSmith、LangFuse 等 LLM 可观测性工具，能追踪 Agent 全链路执行日志；\n3. 有自动化测试框架开发经验，熟悉 CI/CD 流程集成；\n4. 在相关领域有论文发表或开源项目贡献。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}