主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "AI高级评测工程师",
"job_level": "高级",AI生成
"work_category": "全职",AI生成
"department": "CSIG",
"location": "深圳",
"work_mode": "未披露",AI生成
"job_category": "技术"AI生成
},
"company": {
"company_name": "腾讯",
"company_industry": "互联网 / 科技 / 人工智能",
"company_size": "10000人以上",
"company_website": "tencent.com",
"company_description": "腾讯是一家互联网和科技公司，业务覆盖通信与社交、数字内容、游戏、金融科技、企业服务、云计算与人工智能等方向。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": 5,
"degree": "计算机或相关专业本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1.负责医疗 Agent 核心业务的质量评测工作，覆盖健康问问、AI 诊室、医保智能助手等场景，制定 Agent 全链路评测方案、准出标准、回归策略与质量风险判断机制；\r\n2.建设医疗 Agent 评测指标体系，围绕意图理解、任务完成度、多轮追问有效性、信息收集完整性、工具调用准确性、RAG 检索与引用质量、结果生成质量、兜底与异常处理等维度进行系统化评估；\r\n3.负责医疗复杂链路专项评测，包括 AI 问诊全流程、科室/服务匹配、医保政策问答与办理指引、多模态报告解读等场景，沉淀可量化、可复用的评测方法和评估标准；\r\n4.推动 Agent 自动化评测与数据基准建设，建设高质量评测集、标准答案、链路 Trace 标注规范和评测流水线，结合人工评测、规则评测、自动化评测和 LLM-as-a-Judge 提升评测效率与稳定性；\r\n5.建立线上 Badcase 分析与治理闭环，针对医疗安全、内容安全、隐私合规、诊疗建议边界等高风险问题，设计安全护栏评测策略，并推动算法、产品和研发团队持续优化。",
"requirements_text": "1.计算机或相关专业本科及以上学历，具备扎实的软件测试与质量保证基础，有大型复杂系统、AI 产品或算法评测相关经验，能够独立负责核心模块或专项评测方向；\r\n2.具备 AI 评测实战经验，熟悉大模型应用或 Agent 类产品的评测方法，能够围绕非确定性输出、复杂任务链路和多轮交互过程设计评测指标、测试集、验收标准、质量准出策略和回归评测方案；\r\n3.深入理解 LLM/大模型技术原理，熟悉 Agent、RAG、Prompt Engineering、工具调用、工作流编排等大模型应用架构，能够识别模型能力、业务策略、工具链路和系统工程中的质量风险；\r\n4.熟练掌握主流大模型与 Agent 评测方法，包括客观指标自动化评测、主观人工标注对齐、链路 Trace 分析、工具调用评测、模型互评机制、LLM-as-a-Judge 等，能够建设可复用的评测方法和质量判断标准；\r\n5.具备优秀的工程化与数据分析能力，熟悉 Python 或其他脚本语言，能够独立开发数据处理脚本、自动化评测工具和评测结果分析能力；能够从对话日志、Agent Trace、工具调用记录、评测结果、用户反馈和线上 Badcase 中完成复杂问题分析、体系化归因和闭环推动。",
"skills": [AI生成
"Python",
"数据分析",
"软件测试",
"分析能力",
"大语言模型",
"检索增强生成"
],
"preferred_qualifications": "未披露",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://careers.tencent.com/jobdesc.html?postId=2068953286446329856"
}
]
},
"posting": {
"posting_id": "2068953286446329856",
"post_date": "2026-07-28",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://careers.tencent.com/jobdesc.html?postId=2068953286446329856"
},
"fulltext": "AI高级评测工程师\n在腾讯，优秀的技术质量管理，保证腾讯每一个的产品与服务能更加稳定、顺畅、安心地被用户使用和体验。与技艺高超的同事们一同深化对架构设计、数据和产品的理解，在美好向善的世界里，成为一块闪耀的基石。\n1.负责医疗 Agent 核心业务的质量评测工作，覆盖健康问问、AI 诊室、医保智能助手等场景，制定 Agent 全链路评测方案、准出标准、回归策略与质量风险判断机制；\r\n2.建设医疗 Agent 评测指标体系，围绕意图理解、任务完成度、多轮追问有效性、信息收集完整性、工具调用准确性、RAG 检索与引用质量、结果生成质量、兜底与异常处理等维度进行系统化评估；\r\n3.负责医疗复杂链路专项评测，包括 AI 问诊全流程、科室/服务匹配、医保政策问答与办理指引、多模态报告解读等场景，沉淀可量化、可复用的评测方法和评估标准；\r\n4.推动 Agent 自动化评测与数据基准建设，建设高质量评测集、标准答案、链路 Trace 标注规范和评测流水线，结合人工评测、规则评测、自动化评测和 LLM-as-a-Judge 提升评测效率与稳定性；\r\n5.建立线上 Badcase 分析与治理闭环，针对医疗安全、内容安全、隐私合规、诊疗建议边界等高风险问题，设计安全护栏评测策略，并推动算法、产品和研发团队持续优化。\n1.计算机或相关专业本科及以上学历，具备扎实的软件测试与质量保证基础，有大型复杂系统、AI 产品或算法评测相关经验，能够独立负责核心模块或专项评测方向；\r\n2.具备 AI 评测实战经验，熟悉大模型应用或 Agent 类产品的评测方法，能够围绕非确定性输出、复杂任务链路和多轮交互过程设计评测指标、测试集、验收标准、质量准出策略和回归评测方案；\r\n3.深入理解 LLM/大模型技术原理，熟悉 Agent、RAG、Prompt Engineering、工具调用、工作流编排等大模型应用架构，能够识别模型能力、业务策略、工具链路和系统工程中的质量风险；\r\n4.熟练掌握主流大模型与 Agent 评测方法，包括客观指标自动化评测、主观人工标注对齐、链路 Trace 分析、工具调用评测、模型互评机制、LLM-as-a-Judge 等，能够建设可复用的评测方法和质量判断标准；\r\n5.具备优秀的工程化与数据分析能力，熟悉 Python 或其他脚本语言，能够独立开发数据处理脚本、自动化评测工具和评测结果分析能力；能够从对话日志、Agent Trace、工具调用记录、评测结果、用户反馈和线上 Badcase 中完成复杂问题分析、体系化归因和闭环推动。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}