{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "日常实习生-Agentic评测算法工程师-Qwen基础模型",
        "job_level": "实习",AI生成
        "work_category": "实习",AI生成
        "department": "Token Foundry",
        "location": "北京 / 杭州 / 上海",
        "work_mode": "未披露",AI生成
        "job_category": "技术类"AI生成
    },
    "company": {
        "company_name": "阿里巴巴集团",
        "company_industry": "电子商务 / 云计算 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "alibaba.com",
        "company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "本科及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "随着大模型从对话助手快速演进为能够理解复杂需求、调用工具、记忆、操作真实环境并持续完成任务的智能体，传统基于静态问答和单轮指标的评测方式，已远远无法满足模型的迭代速度和演进，难以真实衡量智能体在长周期任务中的规划执行、记忆、工具调用、代码开发、环境交互及协作能力。\n当前行业亟需解决一系列关键问题：真实工作任务难以标准化，复杂执行轨迹缺乏可靠评价，多轮任务中的错误会持续累积，环境与工具变化导致评测结果难以复现，人工验收成本高昂；同时，现有 Benchmark 与用户实际体验之间仍存在明显差距，难以支撑智能体的大规模迭代和业务部署。\n本项目将面向Cowork、Coding等Agent的真实体验评估，构建覆盖“理解—规划—执行—验证—交付”完整链路的下一代评测体系。通过真实任务建模、可控交互环境、自动化验证、LLM/Agent-as-a-Judge、轨迹分析与用户反馈建模，使 Agent 的任务完成能力、安全性和协作体验可测、可解释，推动智能体从“能够演示”走向“可靠完成工作”。\n1. 深入挖掘 Cowork、Coding等Agent 在真实复杂任务中的能力边界和bad behavior失效模式，分析线上回流日志和Dogfooding用户反馈，设计并建设高质量 Agent Benchmark评测数据集，重点评估需求理解、任务规划、长程执行、上下文管理、工具调用、代码修改、调试验证及结果交付等核心能力。\n2. 设计面向 Agent 的多维评测指标，覆盖单轮和多轮真实场景，不仅衡量最终任务完成度，还评估过程正确性、纠偏能力、规划效率、工具使用质量、交付质量、视觉美观和安全合规等。\n3. 参与 LLM-as-a-Judge 与 Agent-as-a-Judge 方案的设计和实现，训练高精度的 Reward Model（奖励模型），结合规则验证、单元测试、静态分析、环境状态检测及人工偏好数据，提高开放式任务和主观体验评估的准确性、稳定性与可解释性。\n4. 设计高效的 Reward Signal（奖励信号），并通过自动化数据合成、偏好学习及强化学习等方法，为 Agent 后训练提供可靠信号，持续提升其长程任务执行、泛化和自我纠错能力。\n5. 参与开发统一的 Evaluation & Reward 基础设施，支持多模型、多 harness、多任务和多环境的统一评测、版本对比、模型送评及实验追踪，提升大规模模型集成与实验的效率。\n6. 跟踪全球大模型评测最新进展（如 Agent/Harness评测、多模态、游戏开发、交互式benchmark等），推动研究成果在真实业务场景中的落地。",
        "requirements_text": "1. 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先。\n2. 理论基础： 深入理解 Transformer、大语言模型及 Agent 基础技术，熟悉工具调用、规划与推理、记忆机制、上下文工程、或Harness Engineering中的至少一个方向。\n3. 熟悉大模型评测或后训练技术，包括但不限于 LLM/Agent-as-a-Judge、Reward Model、SFT和强化学习。\n4. 具备卓越的代码工程能力，精通 Python 编程及 PyTorch 深度学习框架，具备较强的问题定位能力，能够从评测结果、用户反馈和失败样本中提炼规律，设计验证实验并推动问题解决。\n5. 具备系统性研究思维，在国际顶级计算机会议/期刊（如 NeurIPS、ICML、ICLR、ACL、EMNLP 等）发表过一作论文，或在知名开源社区、顶级竞赛（如 ACM/ICPC、Kaggle）中有突出成果。",
        "skills": [AI生成
            "Python",
            "PyTorch",
            "深度学习",
            "强化学习",
            "大语言模型"
        ],
        "preferred_qualifications": "1. 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://campus-talent.alibaba.com/campus/position/199909560002?deptCodes="
            }
        ]
    },
    "posting": {
        "posting_id": "199909560002",
        "post_date": "2026-09-07",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://campus-talent.alibaba.com/campus/position/199909560002?deptCodes="
    },
    "fulltext": "日常实习生-Agentic评测算法工程师-Qwen基础模型\n日常实习生-Agentic评测算法工程师-Qwen基础模型\n\n基础信息\n毕业起止时间要求：2027-11-01 - 2032-10-31\n职位类别：技术类\n招聘项目：阿里巴巴日常实习生\n工作地点：北京 / 杭州 / 上海\n\n职位描述\n随着大模型从对话助手快速演进为能够理解复杂需求、调用工具、记忆、操作真实环境并持续完成任务的智能体，传统基于静态问答和单轮指标的评测方式，已远远无法满足模型的迭代速度和演进，难以真实衡量智能体在长周期任务中的规划执行、记忆、工具调用、代码开发、环境交互及协作能力。\n当前行业亟需解决一系列关键问题：真实工作任务难以标准化，复杂执行轨迹缺乏可靠评价，多轮任务中的错误会持续累积，环境与工具变化导致评测结果难以复现，人工验收成本高昂；同时，现有 Benchmark 与用户实际体验之间仍存在明显差距，难以支撑智能体的大规模迭代和业务部署。\n本项目将面向Cowork、Coding等Agent的真实体验评估，构建覆盖“理解—规划—执行—验证—交付”完整链路的下一代评测体系。通过真实任务建模、可控交互环境、自动化验证、LLM/Agent-as-a-Judge、轨迹分析与用户反馈建模，使 Agent 的任务完成能力、安全性和协作体验可测、可解释，推动智能体从“能够演示”走向“可靠完成工作”。\n1. 深入挖掘 Cowork、Coding等Agent 在真实复杂任务中的能力边界和bad behavior失效模式，分析线上回流日志和Dogfooding用户反馈，设计并建设高质量 Agent Benchmark评测数据集，重点评估需求理解、任务规划、长程执行、上下文管理、工具调用、代码修改、调试验证及结果交付等核心能力。\n2. 设计面向 Agent 的多维评测指标，覆盖单轮和多轮真实场景，不仅衡量最终任务完成度，还评估过程正确性、纠偏能力、规划效率、工具使用质量、交付质量、视觉美观和安全合规等。\n3. 参与 LLM-as-a-Judge 与 Agent-as-a-Judge 方案的设计和实现，训练高精度的 Reward Model（奖励模型），结合规则验证、单元测试、静态分析、环境状态检测及人工偏好数据，提高开放式任务和主观体验评估的准确性、稳定性与可解释性。\n4. 设计高效的 Reward Signal（奖励信号），并通过自动化数据合成、偏好学习及强化学习等方法，为 Agent 后训练提供可靠信号，持续提升其长程任务执行、泛化和自我纠错能力。\n5. 参与开发统一的 Evaluation & Reward 基础设施，支持多模型、多 harness、多任务和多环境的统一评测、版本对比、模型送评及实验追踪，提升大规模模型集成与实验的效率。\n6. 跟踪全球大模型评测最新进展（如 Agent/Harness评测、多模态、游戏开发、交互式benchmark等），推动研究成果在真实业务场景中的落地。\n\n职位要求\n1. 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先。\n2. 理论基础： 深入理解 Transformer、大语言模型及 Agent 基础技术，熟悉工具调用、规划与推理、记忆机制、上下文工程、或Harness Engineering中的至少一个方向。\n3. 熟悉大模型评测或后训练技术，包括但不限于 LLM/Agent-as-a-Judge、Reward Model、SFT和强化学习。\n4. 具备卓越的代码工程能力，精通 Python 编程及 PyTorch 深度学习框架，具备较强的问题定位能力，能够从评测结果、用户反馈和失败样本中提炼规律，设计验证实验并推动问题解决。\n5. 具备系统性研究思维，在国际顶级计算机会议/期刊（如 NeurIPS、ICML、ICLR、ACL、EMNLP 等）发表过一作论文，或在知名开源社区、顶级竞赛（如 ACM/ICPC、Kaggle）中有突出成果。\n\n在招业务\nToken Foundry\n随着大模型从对话助手快速演进为能够理解复杂需求、调用工具、记忆、操作真实环境并持续完成任务的智能体，传统基于静态问答和单轮指标的评测方式，已远远无法满足模型的迭代速度和演进，难以真实衡量智能体在长周期任务中的规划执行、记忆、工具调用、代码开发、环境交互及协作能力。\n当前行业亟需解决一系列关键问题：真实工作任务难以标准化，复杂执行轨迹缺乏可靠评价，多轮任务中的错误会持续累积，环境与工具变化导致评测结果难以复现，人工验收成本高昂；同时，现有 Benchmark 与用户实际体验之间仍存在明显差距，难以支撑智能体的大规模迭代和业务部署。\n本项目将面向Cowork、Coding等Agent的真实体验评估，构建覆盖“理解—规划—执行—验证—交付”完整链路的下一代评测体系。通过真实任务建模、可控交互环境、自动化验证、LLM/Agent-as-a-Judge、轨迹分析与用户反馈建模，使 Agent 的任务完成能力、安全性和协作体验可测、可解释，推动智能体从“能够演示”走向“可靠完成工作”。\n1. 深入挖掘 Cowork、Coding等Agent 在真实复杂任务中的能力边界和bad behavior失效模式，分析线上回流日志和Dogfooding用户反馈，设计并建设高质量 Agent Benchmark评测数据集，重点评估需求理解、任务规划、长程执行、上下文管理、工具调用、代码修改、调试验证及结果交付等核心能力。\n2. 设计面向 Agent 的多维评测指标，覆盖单轮和多轮真实场景，不仅衡量最终任务完成度，还评估过程正确性、纠偏能力、规划效率、工具使用质量、交付质量、视觉美观和安全合规等。\n3. 参与 LLM-as-a-Judge 与 Agent-as-a-Judge 方案的设计和实现，训练高精度的 Reward Model（奖励模型），结合规则验证、单元测试、静态分析、环境状态检测及人工偏好数据，提高开放式任务和主观体验评估的准确性、稳定性与可解释性。\n4. 设计高效的 Reward Signal（奖励信号），并通过自动化数据合成、偏好学习及强化学习等方法，为 Agent 后训练提供可靠信号，持续提升其长程任务执行、泛化和自我纠错能力。\n5. 参与开发统一的 Evaluation & Reward 基础设施，支持多模型、多 harness、多任务和多环境的统一评测、版本对比、模型送评及实验追踪，提升大规模模型集成与实验的效率。\n6. 跟踪全球大模型评测最新进展（如 Agent/Harness评测、多模态、游戏开发、交互式benchmark等），推动研究成果在真实业务场景中的落地。\n1. 本科及以上学历，计算机、人工智能、软件工程、数学、自动化等相关专业优先。\n2. 理论基础： 深入理解 Transformer、大语言模型及 Agent 基础技术，熟悉工具调用、规划与推理、记忆机制、上下文工程、或Harness Engineering中的至少一个方向。\n3. 熟悉大模型评测或后训练技术，包括但不限于 LLM/Agent-as-a-Judge、Reward Model、SFT和强化学习。\n4. 具备卓越的代码工程能力，精通 Python 编程及 PyTorch 深度学习框架，具备较强的问题定位能力，能够从评测结果、用户反馈和失败样本中提炼规律，设计验证实验并推动问题解决。\n5. 具备系统性研究思维，在国际顶级计算机会议/期刊（如 NeurIPS、ICML、ICLR、ACL、EMNLP 等）发表过一作论文，或在知名开源社区、顶级竞赛（如 ACM/ICPC、Kaggle）中有突出成果。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [
            "T010"
        ],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}