{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "LLM评测算法工程师",
        "job_level": "高级",AI生成
        "work_category": "全职",AI生成
        "department": "",
        "location": "北京·朝阳区·望京",
        "work_mode": "现场办公",AI生成
        "job_category": "AI效果评测"AI生成
    },
    "company": {
        "company_name": "捷科智诚",
        "company_industry": "计算机软件",
        "company_size": "10000人以上",
        "company_website": "",
        "company_description": ""
    },
    "compensation": {
        "salary_range": {
            "min": 12000,
            "max": 20000,
            "currency": "CNY",
            "cycle": "month"
        },
        "benefits": ""
    },
    "requirements": {
        "working_years": 3,
        "degree": "本科",
        "language": "英文",AI生成
        "visa_support": "",
        "responsibilities": "",
        "requirements_text": "Agent\n大模型算法\n多模态算法\n算法工程化经验\nPython\n岗位要求\n1. 统招本科及以上学历，计算机、人工智能、软件工程、数学、统计等相关专业优先，优秀候选人专业不限；\n2. 具备较好的 Python 编程、数据处理、模型 API 调⽤及⾃动化脚本开发能⼒，能够独立完成评测实验和工具开发；\n3. 理解 LLM 基本原理及训练范式，对 Pre-training、SFT、RLHF/RLAIF、RL、Reward Model、合成数据 等有⼀定了解；\n4. 有实际的大模型评测、Benchmark、数据构建、模型训练或模型分析经验，能够完整说明一个项目从 任务设计 → 数据构建 → 评测执行 → 结果分析 → 迭代优化 的过程；\n5. 熟悉主流大模型及模型生态，例如 Qwen、DeepSeek、GPT、Claude 等，持续关注主流模型发布及能力变化；\n6. 熟悉主流 LLM Benchmark 和评测范式，例如 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解不同 Benchmark 的测试目标、数据特点和评价方式；\n7. 对 Agentic Evaluation 有较深入理解，了解 Agent 的任务规划、工具调用、环境交互、执行轨迹及最终结果评估；\n8. 理解 LLM-as-a-Judge、Rubric、Grader、Verifier、Rule-based Evaluation、Human Evaluation 等常见评测方法，并能够分析其优缺点；\n9. 具备基本的实验设计与统计分析能力，能够区分真实能力提升、随机波动、数据泄漏、样本偏差及评测漏洞；\n10. 具备较强的问题拆解和归因能力，能够从模型失败案例中抽象出能力维度、Failure Mode 和后续优化方向；",
        "skills": [AI生成
            "模型/Agent评测体系",
            "大模型原理与能力边界",
            "编程与代码实现",
            "实验设计与A/B测试",
            "数据工程与数据管道"
        ],
        "preferred_qualifications": "",
        "job_highlights": ""
    },
    "contact": {
        "recruiter_name": "",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://www.zhipin.com/job_detail/15f15e80d54d06900nN52dm7FlRW.html"
            }
        ]
    },
    "posting": {
        "posting_id": "15f15e80d54d06900nN52dm7FlRW",
        "post_date": "",
        "hire_time": "",
        "update_date": "",
        "job_url": "https://www.zhipin.com/job_detail/15f15e80d54d06900nN52dm7FlRW.html"
    },
    "fulltext": "Agent\n大模型算法\n多模态算法\n算法工程化经验\nPython\n岗位要求\n1. 统招本科及以上学历，计算机、人工智能、软件工程、数学、统计等相关专业优先，优秀候选人专业不限；\n2. 具备较好的 Python 编程、数据处理、模型 API 调⽤及⾃动化脚本开发能⼒，能够独立完成评测实验和工具开发；\n3. 理解 LLM 基本原理及训练范式，对 Pre-training、SFT、RLHF/RLAIF、RL、Reward Model、合成数据 等有⼀定了解；\n4. 有实际的大模型评测、Benchmark、数据构建、模型训练或模型分析经验，能够完整说明一个项目从 任务设计 → 数据构建 → 评测执行 → 结果分析 → 迭代优化 的过程；\n5. 熟悉主流大模型及模型生态，例如 Qwen、DeepSeek、GPT、Claude 等，持续关注主流模型发布及能力变化；\n6. 熟悉主流 LLM Benchmark 和评测范式，例如 MMLU、MMMU、HLE、SWE-bench、Terminal-Bench、GAIA、LMArena 等，理解不同 Benchmark 的测试目标、数据特点和评价方式；\n7. 对 Agentic Evaluation 有较深入理解，了解 Agent 的任务规划、工具调用、环境交互、执行轨迹及最终结果评估；\n8. 理解 LLM-as-a-Judge、Rubric、Grader、Verifier、Rule-based Evaluation、Human Evaluation 等常见评测方法，并能够分析其优缺点；\n9. 具备基本的实验设计与统计分析能力，能够区分真实能力提升、随机波动、数据泄漏、样本偏差及评测漏洞；\n10. 具备较强的问题拆解和归因能力，能够从模型失败案例中抽象出能力维度、Failure Mode 和后续优化方向；"
}