主分类:软件测试与质量工程
辅助:AI模型评测工程(仅展示)
来源 JD 数据(旧分类保留,当前主分类见上方)
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "千问办公-AI 测试工程师-杭州",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类-开发"AI生成
},
"company": {
"company_name": "钉钉",
"company_industry": "企业服务 / 协同办公",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "钉钉提供企业沟通、协同办公和组织数字化工具。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科",
"language": "6.持续关注 AI 测试与评测领域前沿,能独立消化英文一手资料并转化为测试实践",AI生成
"visa_support": "未披露",
"responsibilities": "1.负责 AI 工作台产品的端到端功能测试,覆盖多租户管控、权限模型、配额计费、模型准入、Agent 编排与工具调用等核心业务链路,确保功能正确性与业务一致性。\n2.主导 AI 应用与 Agent 运行链路的效果测试体系建设,围绕模型输出质量、意图识别准确率、工具调用成功率、端到端任务完成率等维度,设计可量化的评测方案与基准集。\n3.构建自动化测试框架,覆盖接口测试、集成测试、回归测试与性能基线验证,支撑持续集成流水线中的质量门禁。\n4.设计 AI 场景专项测试策略,包括 Prompt 鲁棒性测试、对抗样本注入、幻觉检测、内容安全护栏验证、多轮对话一致性校验等。\n5.参与可观测性与质量度量体系建设,定义测试覆盖率、缺陷逃逸率、效果评测回归趋势等核心质量指标,驱动产品质量持续改进。\n6.与研发、算法团队紧密协作,参与需求评审与技术方案评审,前置识别质量风险并推动测试左移。",
"requirements_text": "1.扎实的软件测试工程能力,熟练使用 Python / Java / Go 中至少一门语言编写自动化测试脚本,具备复杂分布式系统的测试设计与执行经验。\n2.熟悉 AI/LLM 应用测试方法论,理解 Prompt Engineering、Function Calling、Agent 执行链路、Context Window 等核心概念,具备 AI 输出质量评估的实战经验。\n3.具备端到端测试框架设计能力,熟悉 Pytest / JUnit / TestNG 等主流框架,有接口自动化、契约测试或混沌测试落地经验。\n4.熟悉 CI/CD 流程与质量门禁集成,能独立搭建自动化回归体系并嵌入持续交付流水线。\n5.良好的数据分析能力,能基于测试结果进行效果评测数据统计、趋势分析与归因定位。\n6.持续关注 AI 测试与评测领域前沿,能独立消化英文一手资料并转化为测试实践;习惯使用 AI 工具辅助测试用例生成与缺陷分析。加分项\n7.有 LLM 评测 / AI 效果测试平台建设经验,熟悉 RAGAS、DeepEval、Promptfoo 等评测框架或自建评测体系。\n8.有 Agent 端到端测试经验,包括多步骤任务链路验证、工具调用结果校验、异常恢复路径测试。\n9.有性能测试与稳定性保障经验,能设计高并发场景下的 AI 推理服务压测方案。\n10.有安全测试或红队测试经验,如 Prompt 注入攻防、越权检测、数据泄露验证等",
"skills": [AI生成
"Python",
"Java",
"分布式系统",
"数据分析",
"自动化测试",
"软件测试",
"分析能力",
"Go",
"大语言模型"
],
"preferred_qualifications": "加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent.dingtalk.com/off-campus/position-detail?positionId=100025340001"
}
]
},
"posting": {
"posting_id": "100025340001",
"post_date": "2026-09-11",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent.dingtalk.com/off-campus/position-detail?positionId=100025340001"
},
"fulltext": "千问办公-AI 测试工程师-杭州\n千问办公-AI 测试工程师-杭州\n\n基础信息\n职位类别:技术类-开发\n工作地点:杭州\n\n职位描述\n1.负责 AI 工作台产品的端到端功能测试,覆盖多租户管控、权限模型、配额计费、模型准入、Agent 编排与工具调用等核心业务链路,确保功能正确性与业务一致性。\n2.主导 AI 应用与 Agent 运行链路的效果测试体系建设,围绕模型输出质量、意图识别准确率、工具调用成功率、端到端任务完成率等维度,设计可量化的评测方案与基准集。\n3.构建自动化测试框架,覆盖接口测试、集成测试、回归测试与性能基线验证,支撑持续集成流水线中的质量门禁。\n4.设计 AI 场景专项测试策略,包括 Prompt 鲁棒性测试、对抗样本注入、幻觉检测、内容安全护栏验证、多轮对话一致性校验等。\n5.参与可观测性与质量度量体系建设,定义测试覆盖率、缺陷逃逸率、效果评测回归趋势等核心质量指标,驱动产品质量持续改进。\n6.与研发、算法团队紧密协作,参与需求评审与技术方案评审,前置识别质量风险并推动测试左移。\n\n职位要求\n1.扎实的软件测试工程能力,熟练使用 Python / Java / Go 中至少一门语言编写自动化测试脚本,具备复杂分布式系统的测试设计与执行经验。\n2.熟悉 AI/LLM 应用测试方法论,理解 Prompt Engineering、Function Calling、Agent 执行链路、Context Window 等核心概念,具备 AI 输出质量评估的实战经验。\n3.具备端到端测试框架设计能力,熟悉 Pytest / JUnit / TestNG 等主流框架,有接口自动化、契约测试或混沌测试落地经验。\n4.熟悉 CI/CD 流程与质量门禁集成,能独立搭建自动化回归体系并嵌入持续交付流水线。\n5.良好的数据分析能力,能基于测试结果进行效果评测数据统计、趋势分析与归因定位。\n6.持续关注 AI 测试与评测领域前沿,能独立消化英文一手资料并转化为测试实践;习惯使用 AI 工具辅助测试用例生成与缺陷分析。加分项\n7.有 LLM 评测 / AI 效果测试平台建设经验,熟悉 RAGAS、DeepEval、Promptfoo 等评测框架或自建评测体系。\n8.有 Agent 端到端测试经验,包括多步骤任务链路验证、工具调用结果校验、异常恢复路径测试。\n9.有性能测试与稳定性保障经验,能设计高并发场景下的 AI 推理服务压测方案。\n10.有安全测试或红队测试经验,如 Prompt 注入攻防、越权检测、数据泄露验证等\n1.负责 AI 工作台产品的端到端功能测试,覆盖多租户管控、权限模型、配额计费、模型准入、Agent 编排与工具调用等核心业务链路,确保功能正确性与业务一致性。\n2.主导 AI 应用与 Agent 运行链路的效果测试体系建设,围绕模型输出质量、意图识别准确率、工具调用成功率、端到端任务完成率等维度,设计可量化的评测方案与基准集。\n3.构建自动化测试框架,覆盖接口测试、集成测试、回归测试与性能基线验证,支撑持续集成流水线中的质量门禁。\n4.设计 AI 场景专项测试策略,包括 Prompt 鲁棒性测试、对抗样本注入、幻觉检测、内容安全护栏验证、多轮对话一致性校验等。\n5.参与可观测性与质量度量体系建设,定义测试覆盖率、缺陷逃逸率、效果评测回归趋势等核心质量指标,驱动产品质量持续改进。\n6.与研发、算法团队紧密协作,参与需求评审与技术方案评审,前置识别质量风险并推动测试左移。\n1.扎实的软件测试工程能力,熟练使用 Python / Java / Go 中至少一门语言编写自动化测试脚本,具备复杂分布式系统的测试设计与执行经验。\n2.熟悉 AI/LLM 应用测试方法论,理解 Prompt Engineering、Function Calling、Agent 执行链路、Context Window 等核心概念,具备 AI 输出质量评估的实战经验。\n3.具备端到端测试框架设计能力,熟悉 Pytest / JUnit / TestNG 等主流框架,有接口自动化、契约测试或混沌测试落地经验。\n4.熟悉 CI/CD 流程与质量门禁集成,能独立搭建自动化回归体系并嵌入持续交付流水线。\n5.良好的数据分析能力,能基于测试结果进行效果评测数据统计、趋势分析与归因定位。\n6.持续关注 AI 测试与评测领域前沿,能独立消化英文一手资料并转化为测试实践;习惯使用 AI 工具辅助测试用例生成与缺陷分析。加分项\n7.有 LLM 评测 / AI 效果测试平台建设经验,熟悉 RAGAS、DeepEval、Promptfoo 等评测框架或自建评测体系。\n8.有 Agent 端到端测试经验,包括多步骤任务链路验证、工具调用结果校验、异常恢复路径测试。\n9.有性能测试与稳定性保障经验,能设计高并发场景下的 AI 推理服务压测方案。\n10.有安全测试或红队测试经验,如 Prompt 注入攻防、越权检测、数据泄露验证等",
"standard_classification": {
"std_category_code": "T022",
"std_aux_codes": [
"T015"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}