主分类：AI模型评测工程
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "AI Data-大模型评测-Work方向",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "算法研发"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1. 评测集体系搭建：构建Work方向评测体系，涵盖基模、AI应用下的AI办公软件、金融、法律、GUI&CLI 、企业级工作流大型项目等方向评测体系\n2. Benchmark建设：构建高专业、高覆盖率的in-house 评测集，管理运营专家评测集生产，评测集合成技术生产\n3. 评测集环境定制化开发：基于基础环境，定制化开发相关环境，构建与真实场景相匹配的环境，以支持评测集建设\n4. 自动化评测集技术：LLM as Judge,Agent as Judge等评测技术研发，实现高效的自动评测\n5. 评测输出：周期性评测模型短板，在模型研发阶段提供针对性的数据建议。指导数据生产、模型迭代。",
"requirements_text": "通用能力要求\n1. 有AI+办公、金融、法律、科研、企业级项目管理等行业经验，对相关技术趋势有深入理解和判断，并将其转化为可量化的评测维度。\n2. 具备从零设计 Benchmark 的经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。\n3. 扎实的软件工程背景，Work软件产研背景，能从开发者、视角审视代码能力评测的合理性。\n4. 熟悉主流评测集的设计理念与局限性。\n方向 1：AI 办公 & 数据分析 \n精通 Excel 高级功能（透视表/VBA/Power Query）、Python 办公自动化（openpyxl/pandas/python-pptx），有钉钉/飞书等协同平台 API 开发经验。\n方向 2：金融 & 法律 \n金融侧熟悉财报分析、估值建模、研报撰写；法律侧有合同审查、法条检索、判例分析实务经验。能识别模型输出中的专业性错误（术语误用、逻辑断裂、引用失实）。\n方向 3：电商\n有选品、详情页、促销策划的运营实操，熟悉淘天/1688/跨境平台后台逻辑与数据指标。\n方向 4：网络安全\n具备渗透测试或 CTF 实战经验，熟悉安全工具链（Burp/Metasploit/Nmap），能判断 Agent 漏洞利用路径的合理性与完整性。\n方向 5：芯片设计 EDA\n有 RTL 设计或验证经验，熟悉 Verilog/SystemVerilog 及主流 EDA 工具（Synopsys/Cadence），能评估综合/时序/DRC 流程的操作正确性。\n方向 6：Visual Design \n精通 Figma/Adobe 系列，理解栅格、色彩、字体层级等设计规范，能从审美和工程两个维度评判视觉产物。",
"skills": [AI生成
"Python",
"Figma",
"Verilog",
"SystemVerilog",
"Excel",
"数据分析",
"芯片设计",
"项目管理",
"建模"
],
"preferred_qualifications": "未披露",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100021100006"
}
]
},
"posting": {
"posting_id": "100021100006",
"post_date": "2026-08-19",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100021100006"
},
"fulltext": "AI Data-大模型评测-Work方向\nAI Data-大模型评测-Work方向\n\n基础信息\n工作地点：北京 / 杭州\n\n职位描述\n1. 评测集体系搭建：构建Work方向评测体系，涵盖基模、AI应用下的AI办公软件、金融、法律、GUI&CLI 、企业级工作流大型项目等方向评测体系\n2. Benchmark建设：构建高专业、高覆盖率的in-house 评测集，管理运营专家评测集生产，评测集合成技术生产\n3. 评测集环境定制化开发：基于基础环境，定制化开发相关环境，构建与真实场景相匹配的环境，以支持评测集建设\n4. 自动化评测集技术：LLM as Judge,Agent as Judge等评测技术研发，实现高效的自动评测\n5. 评测输出：周期性评测模型短板，在模型研发阶段提供针对性的数据建议。指导数据生产、模型迭代。\n\n职位要求\n通用能力要求\n1. 有AI+办公、金融、法律、科研、企业级项目管理等行业经验，对相关技术趋势有深入理解和判断，并将其转化为可量化的评测维度。\n2. 具备从零设计 Benchmark 的经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。\n3. 扎实的软件工程背景，Work软件产研背景，能从开发者、视角审视代码能力评测的合理性。\n4. 熟悉主流评测集的设计理念与局限性。\n方向 1：AI 办公 & 数据分析 \n精通 Excel 高级功能（透视表/VBA/Power Query）、Python 办公自动化（openpyxl/pandas/python-pptx），有钉钉/飞书等协同平台 API 开发经验。\n方向 2：金融 & 法律 \n金融侧熟悉财报分析、估值建模、研报撰写；法律侧有合同审查、法条检索、判例分析实务经验。能识别模型输出中的专业性错误（术语误用、逻辑断裂、引用失实）。\n方向 3：电商\n有选品、详情页、促销策划的运营实操，熟悉淘天/1688/跨境平台后台逻辑与数据指标。\n方向 4：网络安全\n具备渗透测试或 CTF 实战经验，熟悉安全工具链（Burp/Metasploit/Nmap），能判断 Agent 漏洞利用路径的合理性与完整性。\n方向 5：芯片设计 EDA\n有 RTL 设计或验证经验，熟悉 Verilog/SystemVerilog 及主流 EDA 工具（Synopsys/Cadence），能评估综合/时序/DRC 流程的操作正确性。\n方向 6：Visual Design \n精通 Figma/Adobe 系列，理解栅格、色彩、字体层级等设计规范，能从审美和工程两个维度评判视觉产物。\n1. 评测集体系搭建：构建Work方向评测体系，涵盖基模、AI应用下的AI办公软件、金融、法律、GUI&CLI 、企业级工作流大型项目等方向评测体系\n2. Benchmark建设：构建高专业、高覆盖率的in-house 评测集，管理运营专家评测集生产，评测集合成技术生产\n3. 评测集环境定制化开发：基于基础环境，定制化开发相关环境，构建与真实场景相匹配的环境，以支持评测集建设\n4. 自动化评测集技术：LLM as Judge,Agent as Judge等评测技术研发，实现高效的自动评测\n5. 评测输出：周期性评测模型短板，在模型研发阶段提供针对性的数据建议。指导数据生产、模型迭代。\n通用能力要求\n1. 有AI+办公、金融、法律、科研、企业级项目管理等行业经验，对相关技术趋势有深入理解和判断，并将其转化为可量化的评测维度。\n2. 具备从零设计 Benchmark 的经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。\n3. 扎实的软件工程背景，Work软件产研背景，能从开发者、视角审视代码能力评测的合理性。\n4. 熟悉主流评测集的设计理念与局限性。\n方向 1：AI 办公 & 数据分析 \n精通 Excel 高级功能（透视表/VBA/Power Query）、Python 办公自动化（openpyxl/pandas/python-pptx），有钉钉/飞书等协同平台 API 开发经验。\n方向 2：金融 & 法律 \n金融侧熟悉财报分析、估值建模、研报撰写；法律侧有合同审查、法条检索、判例分析实务经验。能识别模型输出中的专业性错误（术语误用、逻辑断裂、引用失实）。\n方向 3：电商\n有选品、详情页、促销策划的运营实操，熟悉淘天/1688/跨境平台后台逻辑与数据指标。\n方向 4：网络安全\n具备渗透测试或 CTF 实战经验，熟悉安全工具链（Burp/Metasploit/Nmap），能判断 Agent 漏洞利用路径的合理性与完整性。\n方向 5：芯片设计 EDA\n有 RTL 设计或验证经验，熟悉 Verilog/SystemVerilog 及主流 EDA 工具（Synopsys/Cadence），能评估综合/时序/DRC 流程的操作正确性。\n方向 6：Visual Design \n精通 Figma/Adobe 系列，理解栅格、色彩、字体层级等设计规范，能从审美和工程两个维度评判视觉产物。",
"standard_classification": {
"std_category_code": "T015",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}