{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "大模型评测算法工程师（J100902）",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "MEG",
        "location": "北京市",
        "work_mode": "未披露",AI生成
        "job_category": "技术"AI生成
    },
    "company": {
        "company_name": "百度",
        "company_industry": "互联网 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "baidu.com",
        "company_description": "百度围绕搜索发展人工智能技术，业务涉及语音、图像、知识图谱、自然语言处理、自动驾驶和AI芯片。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": 5,
        "degree": "-计算机、人工智能、自然语言处理、机器学习、统计学、数学等相关专业本科及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "-负责医疗健康场景下 LLM / VLM / Agent 等模型评测体系建设，设计数据驱动、可复现、可扩展的评测框架，覆盖医学问答、健康科普、辅助问诊、报告解读、用药咨询、多模态理解等核心场景\n-探索并落地智能化、平台化评测能力，包括 LLM-as-Judge、自动化弱项挖掘、医疗风险识别、模型对比分析、评测任务调度、指标看板、评测报告生成和多模型多版本回归分析\n-基于评测结果开展模型误差归因与能力诊断，构建可复用的 case mining、error analysis 和能力边界分析方法，沉淀自动化诊断与质量监控能力，反向指导模型训练、post-training、prompt 和产品策略优化\n-持续跟踪医疗大模型、医学知识评测、多模态医疗理解、Agent 评测、RAG 评测、用户模拟评测等前沿方法，结合真实医疗健康业务场景建设评测范式，为模型迭代和产品上线提供质量决策依据",
        "requirements_text": "-计算机、人工智能、自然语言处理、机器学习、统计学、数学等相关专业本科及以上学历，具备 5 年以上算法、NLP、模型评测或大模型相关经验\n-具备系统性评测体系建设经验，熟悉 benchmark 构建、rubric 设计、人工评测、自动评测、A/B 实验、误差分析、质量闭环和模型上线验收机制\n-具备扎实的数据分析与工程实现能力，熟练使用 AI 工具，理解 ACC、AUC、F1、Recall、MAE、Bias、Cohen’s Kappa、置信区间、显著性检验等常用评测指标和统计方法\n-对大模型前沿技术和评测范式有持续关注，熟悉 LLM-as-Judge、偏好评估、对齐评测、Agent 评测、RAG 评测、多模态评测、自动化数据生成等方法，具备良好的问题抽象、跨团队协作和项目推进能力",
        "skills": [AI生成
            "机器学习",
            "自然语言处理",
            "数据分析",
            "项目推进",
            "团队协作",
            "大语言模型",
            "检索增强生成"
        ],
        "preferred_qualifications": "未披露",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://talent.baidu.com/jobs/detail/SOCIAL/24c9e591-75c8-42bd-b531-522b53fc47ac"
            }
        ]
    },
    "posting": {
        "posting_id": "24c9e591-75c8-42bd-b531-522b53fc47ac",
        "post_date": "2026-07-09",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://talent.baidu.com/jobs/detail/SOCIAL/24c9e591-75c8-42bd-b531-522b53fc47ac"
    },
    "fulltext": "大模型评测算法工程师（J100902）\n大模型评测算法工程师（J100902）\n\n基础信息\n部门：MEG\n地点：北京市\n类别：技术\n招聘人数：3\n发布时间：2026-07-21\n\n工作职责\n-负责医疗健康场景下 LLM / VLM / Agent 等模型评测体系建设，设计数据驱动、可复现、可扩展的评测框架，覆盖医学问答、健康科普、辅助问诊、报告解读、用药咨询、多模态理解等核心场景\n-探索并落地智能化、平台化评测能力，包括 LLM-as-Judge、自动化弱项挖掘、医疗风险识别、模型对比分析、评测任务调度、指标看板、评测报告生成和多模型多版本回归分析\n-基于评测结果开展模型误差归因与能力诊断，构建可复用的 case mining、error analysis 和能力边界分析方法，沉淀自动化诊断与质量监控能力，反向指导模型训练、post-training、prompt 和产品策略优化\n-持续跟踪医疗大模型、医学知识评测、多模态医疗理解、Agent 评测、RAG 评测、用户模拟评测等前沿方法，结合真实医疗健康业务场景建设评测范式，为模型迭代和产品上线提供质量决策依据\n\n职责要求\n-计算机、人工智能、自然语言处理、机器学习、统计学、数学等相关专业本科及以上学历，具备 5 年以上算法、NLP、模型评测或大模型相关经验\n-具备系统性评测体系建设经验，熟悉 benchmark 构建、rubric 设计、人工评测、自动评测、A/B 实验、误差分析、质量闭环和模型上线验收机制\n-具备扎实的数据分析与工程实现能力，熟练使用 AI 工具，理解 ACC、AUC、F1、Recall、MAE、Bias、Cohen’s Kappa、置信区间、显著性检验等常用评测指标和统计方法\n-对大模型前沿技术和评测范式有持续关注，熟悉 LLM-as-Judge、偏好评估、对齐评测、Agent 评测、RAG 评测、多模态评测、自动化数据生成等方法，具备良好的问题抽象、跨团队协作和项目推进能力\n-负责医疗健康场景下 LLM / VLM / Agent 等模型评测体系建设，设计数据驱动、可复现、可扩展的评测框架，覆盖医学问答、健康科普、辅助问诊、报告解读、用药咨询、多模态理解等核心场景\n-探索并落地智能化、平台化评测能力，包括 LLM-as-Judge、自动化弱项挖掘、医疗风险识别、模型对比分析、评测任务调度、指标看板、评测报告生成和多模型多版本回归分析\n-基于评测结果开展模型误差归因与能力诊断，构建可复用的 case mining、error analysis 和能力边界分析方法，沉淀自动化诊断与质量监控能力，反向指导模型训练、post-training、prompt 和产品策略优化\n-持续跟踪医疗大模型、医学知识评测、多模态医疗理解、Agent 评测、RAG 评测、用户模拟评测等前沿方法，结合真实医疗健康业务场景建设评测范式，为模型迭代和产品上线提供质量决策依据\n-计算机、人工智能、自然语言处理、机器学习、统计学、数学等相关专业本科及以上学历，具备 5 年以上算法、NLP、模型评测或大模型相关经验\n-具备系统性评测体系建设经验，熟悉 benchmark 构建、rubric 设计、人工评测、自动评测、A/B 实验、误差分析、质量闭环和模型上线验收机制\n-具备扎实的数据分析与工程实现能力，熟练使用 AI 工具，理解 ACC、AUC、F1、Recall、MAE、Bias、Cohen’s Kappa、置信区间、显著性检验等常用评测指标和统计方法\n-对大模型前沿技术和评测范式有持续关注，熟悉 LLM-as-Judge、偏好评估、对齐评测、Agent 评测、RAG 评测、多模态评测、自动化数据生成等方法，具备良好的问题抽象、跨团队协作和项目推进能力",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}