{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "AI推理平台-大模型评测工程师/专家-北京/杭州",
        "job_level": "专家",AI生成
        "work_category": "全职",AI生成
        "department": "阿里集团",
        "location": "北京 / 杭州",
        "work_mode": "未披露",AI生成
        "job_category": "技术类-开发"AI生成
    },
    "company": {
        "company_name": "阿里巴巴控股集团",
        "company_industry": "电子商务 / 云计算 / 人工智能",
        "company_size": "未披露",
        "company_website": "alibaba.com",
        "company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "学历与理论基础：计算机科学、人工智能、统计学或相关专业硕士及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1. 负责AI产品核心效果评估与精度度量：主导大模型及AI应用在业务场景下的效果评测全流程，包括构建多维度评测指标体系（如准确率、召回率、幻觉率、Rouge/BLEU及任务完成率），制定严谨的AB实验方案，并对评测数据进行深度统计与归因分析。\n2. 构建对抗性评测与稳定性验证体系：设计并执行覆盖边界Case、长尾分布及恶意攻击的测试用例，系统性评估模型在复杂场景下的鲁棒性、安全性与语义稳定性，输出可量化的风险评估报告。\n3. 推动效果回归与用户体验闭环：建立版本迭代的效果回归基线，利用自动化工具持续监控模型更新带来的精度波动；同时建立“线上数据回流-线下标注验证-模型优化”的闭环机制，推动产品体验的持续优化。\n4. 设计自动化评测工具与数据飞轮：开发或集成AI自动化评测脚本（如基于API的批量推理、断言校验），建设数据标注与结果分析平台，提升效果评估的效率和可复现性；主导评测数据集的构建与管理，确保数据分布的合理性与标注一致性。",
        "requirements_text": "1. 学历与理论基础：计算机科学、人工智能、统计学或相关专业硕士及以上学历，具备扎实的机器学习/深度学习理论基础，熟悉常见的模型评价指标（如F1-Score、PPL、METEOR、BERTScore等）及其适用场景。\n2. 编程与工程实现能力：熟练掌握Python/C++等编程语言，具有良好的代码规范与工程落地能力。熟悉Linux开发环境，能够利用Numpy、Pandas、Scipy等工具进行高效的评测数据处理与可视化分析。\n3. 评测分析与问题定位能力：具备敏锐的数据敏感度和严谨的统计学思维，熟练掌握假设检验、方差分析等数理统计方法。面对Bad Case时，具备优秀的逆向分析能力，能够准确定位精度损失的数据源头（数据偏移、模型过拟合、推理逻辑错误等）。\n4. 工具链与数据库操作：熟悉Redis、MySQL等数据库的基础操作，能够熟练使用Tensorboard、Weights & Biases等实验跟踪工具，具备利用Docker或脚本构建可复现评测环境的能力。\n5. 软素质要求：对产品质量与用户体验有极致的追求，注重细节；具备优秀的沟通能力和跨部门协作能力，能够清晰地向算法研发团队阐述评测结论与优化建议。\n6. AI实践经验：熟悉大模型的应用开发或效果调优，有过针对具体垂直领域构建评测集的实际经验。\n加分项\n1. 有AI模型效果调优、指令微调（SFT）或强化学习（RLHF）中对Reward Model效果评估的经验。\n2. 发表过关于模型评估、基准测试（Benchmark）或测试数据增强（Data Augmentation）相关的学术论文。\n3. 主导或深度参与过大型AI模型的大规模效果对齐（Alignment）或红蓝对抗（Red Teaming）评估项目。",
        "skills": [AI生成
            "Python",
            "C++",
            "MySQL",
            "Redis",
            "Linux",
            "Docker",
            "机器学习",
            "深度学习",
            "强化学习",
            "数据库",
            "沟通能力",
            "分析能力",
            "大语言模型"
        ],
        "preferred_qualifications": "加分项",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100024660005"
            }
        ]
    },
    "posting": {
        "posting_id": "100024660005",
        "post_date": "2026-08-10",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100024660005"
    },
    "fulltext": "AI推理平台-大模型评测工程师/专家-北京/杭州\nAI推理平台-大模型评测工程师/专家-北京/杭州\n\n基础信息\n职位类别：技术类-开发\n工作地点：北京 / 杭州\n\n职位描述\n1. 负责AI产品核心效果评估与精度度量：主导大模型及AI应用在业务场景下的效果评测全流程，包括构建多维度评测指标体系（如准确率、召回率、幻觉率、Rouge/BLEU及任务完成率），制定严谨的AB实验方案，并对评测数据进行深度统计与归因分析。\n2. 构建对抗性评测与稳定性验证体系：设计并执行覆盖边界Case、长尾分布及恶意攻击的测试用例，系统性评估模型在复杂场景下的鲁棒性、安全性与语义稳定性，输出可量化的风险评估报告。\n3. 推动效果回归与用户体验闭环：建立版本迭代的效果回归基线，利用自动化工具持续监控模型更新带来的精度波动；同时建立“线上数据回流-线下标注验证-模型优化”的闭环机制，推动产品体验的持续优化。\n4. 设计自动化评测工具与数据飞轮：开发或集成AI自动化评测脚本（如基于API的批量推理、断言校验），建设数据标注与结果分析平台，提升效果评估的效率和可复现性；主导评测数据集的构建与管理，确保数据分布的合理性与标注一致性。\n\n职位要求\n1. 学历与理论基础：计算机科学、人工智能、统计学或相关专业硕士及以上学历，具备扎实的机器学习/深度学习理论基础，熟悉常见的模型评价指标（如F1-Score、PPL、METEOR、BERTScore等）及其适用场景。\n2. 编程与工程实现能力：熟练掌握Python/C++等编程语言，具有良好的代码规范与工程落地能力。熟悉Linux开发环境，能够利用Numpy、Pandas、Scipy等工具进行高效的评测数据处理与可视化分析。\n3. 评测分析与问题定位能力：具备敏锐的数据敏感度和严谨的统计学思维，熟练掌握假设检验、方差分析等数理统计方法。面对Bad Case时，具备优秀的逆向分析能力，能够准确定位精度损失的数据源头（数据偏移、模型过拟合、推理逻辑错误等）。\n4. 工具链与数据库操作：熟悉Redis、MySQL等数据库的基础操作，能够熟练使用Tensorboard、Weights & Biases等实验跟踪工具，具备利用Docker或脚本构建可复现评测环境的能力。\n5. 软素质要求：对产品质量与用户体验有极致的追求，注重细节；具备优秀的沟通能力和跨部门协作能力，能够清晰地向算法研发团队阐述评测结论与优化建议。\n6. AI实践经验：熟悉大模型的应用开发或效果调优，有过针对具体垂直领域构建评测集的实际经验。\n加分项\n1. 有AI模型效果调优、指令微调（SFT）或强化学习（RLHF）中对Reward Model效果评估的经验。\n2. 发表过关于模型评估、基准测试（Benchmark）或测试数据增强（Data Augmentation）相关的学术论文。\n3. 主导或深度参与过大型AI模型的大规模效果对齐（Alignment）或红蓝对抗（Red Teaming）评估项目。\n1. 负责AI产品核心效果评估与精度度量：主导大模型及AI应用在业务场景下的效果评测全流程，包括构建多维度评测指标体系（如准确率、召回率、幻觉率、Rouge/BLEU及任务完成率），制定严谨的AB实验方案，并对评测数据进行深度统计与归因分析。\n2. 构建对抗性评测与稳定性验证体系：设计并执行覆盖边界Case、长尾分布及恶意攻击的测试用例，系统性评估模型在复杂场景下的鲁棒性、安全性与语义稳定性，输出可量化的风险评估报告。\n3. 推动效果回归与用户体验闭环：建立版本迭代的效果回归基线，利用自动化工具持续监控模型更新带来的精度波动；同时建立“线上数据回流-线下标注验证-模型优化”的闭环机制，推动产品体验的持续优化。\n4. 设计自动化评测工具与数据飞轮：开发或集成AI自动化评测脚本（如基于API的批量推理、断言校验），建设数据标注与结果分析平台，提升效果评估的效率和可复现性；主导评测数据集的构建与管理，确保数据分布的合理性与标注一致性。\n1. 学历与理论基础：计算机科学、人工智能、统计学或相关专业硕士及以上学历，具备扎实的机器学习/深度学习理论基础，熟悉常见的模型评价指标（如F1-Score、PPL、METEOR、BERTScore等）及其适用场景。\n2. 编程与工程实现能力：熟练掌握Python/C++等编程语言，具有良好的代码规范与工程落地能力。熟悉Linux开发环境，能够利用Numpy、Pandas、Scipy等工具进行高效的评测数据处理与可视化分析。\n3. 评测分析与问题定位能力：具备敏锐的数据敏感度和严谨的统计学思维，熟练掌握假设检验、方差分析等数理统计方法。面对Bad Case时，具备优秀的逆向分析能力，能够准确定位精度损失的数据源头（数据偏移、模型过拟合、推理逻辑错误等）。\n4. 工具链与数据库操作：熟悉Redis、MySQL等数据库的基础操作，能够熟练使用Tensorboard、Weights & Biases等实验跟踪工具，具备利用Docker或脚本构建可复现评测环境的能力。\n5. 软素质要求：对产品质量与用户体验有极致的追求，注重细节；具备优秀的沟通能力和跨部门协作能力，能够清晰地向算法研发团队阐述评测结论与优化建议。\n6. AI实践经验：熟悉大模型的应用开发或效果调优，有过针对具体垂直领域构建评测集的实际经验。\n加分项\n1. 有AI模型效果调优、指令微调（SFT）或强化学习（RLHF）中对Reward Model效果评估的经验。\n2. 发表过关于模型评估、基准测试（Benchmark）或测试数据增强（Data Augmentation）相关的学术论文。\n3. 主导或深度参与过大型AI模型的大规模效果对齐（Alignment）或红蓝对抗（Red Teaming）评估项目。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}