主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "大模型智能标注与评测算法工程师（J105767）",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "MEG",
"location": "北京市",
"work_mode": "未披露",AI生成
"job_category": "技术"AI生成
},
"company": {
"company_name": "百度",
"company_industry": "互联网 / 人工智能",
"company_size": "10000人以上",
"company_website": "baidu.com",
"company_description": "百度围绕搜索发展人工智能技术，业务涉及语音、图像、知识图谱、自然语言处理、自动驾驶和AI芯片。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "-计算机、人工智能、机器学习、统计学等相关专业本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地\n-建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系\n- 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态\n-研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测\n-建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度\n-建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测\n-识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性\n-支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据",
"requirements_text": "-计算机、人工智能、机器学习、统计学等相关专业本科及以上学历\n-熟练掌握 Python、PyTorch及主流大模型应用或训练框架\n-熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验\n- 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路\n- 理解模型偏差、一致性、置信度校准和统计显著性等基本方法\n-具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标\n-有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先",
"skills": [AI生成
"Python",
"PyTorch",
"机器学习",
"大语言模型"
],
"preferred_qualifications": "有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent.baidu.com/jobs/detail/INTERN/8e97db02-8fa1-47c7-983d-56b5f6608d32"
}
]
},
"posting": {
"posting_id": "8e97db02-8fa1-47c7-983d-56b5f6608d32",
"post_date": "2026-09-15",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent.baidu.com/jobs/detail/INTERN/8e97db02-8fa1-47c7-983d-56b5f6608d32"
},
"fulltext": "大模型智能标注与评测算法工程师（J105767）\n大模型智能标注与评测算法工程师（J105767）\n\n基础信息\n部门：MEG\n地点：北京市\n项目：日常实习项目\n类别：技术\n招聘人数：5\n发布时间：2026-09-16\n\n工作职责\n-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地\n-建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系\n- 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态\n-研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测\n-建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度\n-建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测\n-识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性\n-支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据\n\n职责要求\n-计算机、人工智能、机器学习、统计学等相关专业本科及以上学历\n-熟练掌握 Python、PyTorch及主流大模型应用或训练框架\n-熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验\n- 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路\n- 理解模型偏差、一致性、置信度校准和统计显著性等基本方法\n-具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标\n-有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先\n-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地\n-建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系\n- 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态\n-研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测\n-建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度\n-建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测\n-识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性\n-支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据\n-计算机、人工智能、机器学习、统计学等相关专业本科及以上学历\n-熟练掌握 Python、PyTorch及主流大模型应用或训练框架\n-熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验\n- 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路\n- 理解模型偏差、一致性、置信度校准和统计显著性等基本方法\n-具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标\n-有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}