主分类：数据工程与数据平台研发
辅助：法务、合规与公司治理（仅展示）
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "数据技术及产品部-数据采集合规与治理工程师-爬虫方向",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "阿里集团",
"location": "杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类-数据"AI生成
},
"company": {
"company_name": "阿里巴巴控股集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "未披露",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "本科",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1. 负责公开网络数据采集链路的合规治理体系建设，覆盖数据源准入、采集策略、采集留痕、数据处理、入库、训练集构建和后续排除机制。\n2. 建设爬虫数据证据链与数据血缘系统，记录 URL、域名、获取时间、来源类型、访问决策依据、内容哈希、处理流程、风险标签、数据集版本、模型训练版本和审计日志。\n3. 建立网络采集合规控制机制，包括机器可读访问限制、站点访问策略、频率控制、来源留痕、异常监控、争议处理和数据下架流程。\n4. 与法务团队协作，将版权、TDM opt-out、站点条款、授权边界、权利人投诉、数据删除请求等要求转化为系统规则、审批流程和可追溯记录。\n5. 与安全、隐私和合规团队协作，建立爬虫数据风险管理机制，包括敏感数据识别、PII 过滤、来源风险分级、黑白名单、人工复核、访问控制和异常告警。\n6. 牵引公开网络数据的准入和分级管理，对不同类型站点、内容类别、数据用途、地域风险和权利状态建立统一评估标准。\n7. 建设面向欧盟监管检查和客户尽调的技术支撑能力，包括训练数据来源摘要、版权政策执行记录、采集留痕、风险处置记录和审计报表。\n8. 推动爬虫平台、数据平台、模型训练平台、法务、安全团队之间的系统打通，确保数据从采集到训练使用全链路可解释、可追溯、可处置。\n9. 支持风险事件复盘和外部问询，能够快速回答“数据从哪里来、为什么可以采、是否进入训练集、如何排除或删除”等问题。",
"requirements_text": "1. 5 年以上后端、爬虫平台、搜索引擎、数据平台、数据治理、安全合规或 AI 数据工程经验，有复杂系统设计和跨团队项目推进经验。\n2. 熟悉大规模网页采集系统，理解 URL 调度、网页解析、内容抽取、去重、分布式任务调度、访问控制、日志留存和数据入湖链路。\n3. 熟悉数据血缘、元数据管理、审计日志、数据版本、权限控制、数据生命周期管理等工程体系。\n4. 具备合规工程能力，能够把法律、政策、安全或监管要求拆解成系统规则、数据字段、控制点、审批流程和监控指标。\n5. 理解基础模型训练数据流程，包括采集、清洗、过滤、去重、采样、版本管理、训练集构建和模型版本关联。\n6. 熟悉数据安全、隐私保护、版权治理、公开网络数据治理或监管审计中的至少一个方向。\n7. 具备强跨职能协作能力，能够与法务、安全、隐私、政策、研究、数据工程和业务团队共同推进复杂项目。\n8. 有较强的风险判断能力，既能理解合规边界，也能设计工程上可落地、可规模化、可维护的解决方案。\n加分项\n1. 有搜索引擎、大规模爬虫、内容平台、广告平台、数据中台、基础模型数据平台经验。\n2. 熟悉 EU AI Act、GDPR、版权法、TDM opt-out、AI 训练数据透明度或模型合规文档要求。\n3. 有爬虫合规、数据存证、审计追踪、监管检查、客户安全尽调或诉讼保全相关系统经验。\n4. 熟悉 PII 检测、敏感数据识别、内容安全、版权内容识别、多模态数据治理。\n5. 有推动法务、安全、工程和研究团队协同制定数据使用标准并落地系统的经验。",
"skills": [AI生成
"数据治理",
"模型训练",
"审计",
"诉讼",
"项目推进"
],
"preferred_qualifications": "加分项",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100024020007"
}
]
},
"posting": {
"posting_id": "100024020007",
"post_date": "2026-07-28",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://talent-holding.alibaba.com/off-campus/position-detail?positionId=100024020007"
},
"fulltext": "数据技术及产品部-数据采集合规与治理工程师-爬虫方向\n数据技术及产品部-数据采集合规与治理工程师-爬虫方向\n\n基础信息\n职位类别：技术类-数据\n工作地点：杭州\n\n职位描述\n1. 负责公开网络数据采集链路的合规治理体系建设，覆盖数据源准入、采集策略、采集留痕、数据处理、入库、训练集构建和后续排除机制。\n2. 建设爬虫数据证据链与数据血缘系统，记录 URL、域名、获取时间、来源类型、访问决策依据、内容哈希、处理流程、风险标签、数据集版本、模型训练版本和审计日志。\n3. 建立网络采集合规控制机制，包括机器可读访问限制、站点访问策略、频率控制、来源留痕、异常监控、争议处理和数据下架流程。\n4. 与法务团队协作，将版权、TDM opt-out、站点条款、授权边界、权利人投诉、数据删除请求等要求转化为系统规则、审批流程和可追溯记录。\n5. 与安全、隐私和合规团队协作，建立爬虫数据风险管理机制，包括敏感数据识别、PII 过滤、来源风险分级、黑白名单、人工复核、访问控制和异常告警。\n6. 牵引公开网络数据的准入和分级管理，对不同类型站点、内容类别、数据用途、地域风险和权利状态建立统一评估标准。\n7. 建设面向欧盟监管检查和客户尽调的技术支撑能力，包括训练数据来源摘要、版权政策执行记录、采集留痕、风险处置记录和审计报表。\n8. 推动爬虫平台、数据平台、模型训练平台、法务、安全团队之间的系统打通，确保数据从采集到训练使用全链路可解释、可追溯、可处置。\n9. 支持风险事件复盘和外部问询，能够快速回答“数据从哪里来、为什么可以采、是否进入训练集、如何排除或删除”等问题。\n\n职位要求\n1. 5 年以上后端、爬虫平台、搜索引擎、数据平台、数据治理、安全合规或 AI 数据工程经验，有复杂系统设计和跨团队项目推进经验。\n2. 熟悉大规模网页采集系统，理解 URL 调度、网页解析、内容抽取、去重、分布式任务调度、访问控制、日志留存和数据入湖链路。\n3. 熟悉数据血缘、元数据管理、审计日志、数据版本、权限控制、数据生命周期管理等工程体系。\n4. 具备合规工程能力，能够把法律、政策、安全或监管要求拆解成系统规则、数据字段、控制点、审批流程和监控指标。\n5. 理解基础模型训练数据流程，包括采集、清洗、过滤、去重、采样、版本管理、训练集构建和模型版本关联。\n6. 熟悉数据安全、隐私保护、版权治理、公开网络数据治理或监管审计中的至少一个方向。\n7. 具备强跨职能协作能力，能够与法务、安全、隐私、政策、研究、数据工程和业务团队共同推进复杂项目。\n8. 有较强的风险判断能力，既能理解合规边界，也能设计工程上可落地、可规模化、可维护的解决方案。\n加分项\n1. 有搜索引擎、大规模爬虫、内容平台、广告平台、数据中台、基础模型数据平台经验。\n2. 熟悉 EU AI Act、GDPR、版权法、TDM opt-out、AI 训练数据透明度或模型合规文档要求。\n3. 有爬虫合规、数据存证、审计追踪、监管检查、客户安全尽调或诉讼保全相关系统经验。\n4. 熟悉 PII 检测、敏感数据识别、内容安全、版权内容识别、多模态数据治理。\n5. 有推动法务、安全、工程和研究团队协同制定数据使用标准并落地系统的经验。\n1. 负责公开网络数据采集链路的合规治理体系建设，覆盖数据源准入、采集策略、采集留痕、数据处理、入库、训练集构建和后续排除机制。\n2. 建设爬虫数据证据链与数据血缘系统，记录 URL、域名、获取时间、来源类型、访问决策依据、内容哈希、处理流程、风险标签、数据集版本、模型训练版本和审计日志。\n3. 建立网络采集合规控制机制，包括机器可读访问限制、站点访问策略、频率控制、来源留痕、异常监控、争议处理和数据下架流程。\n4. 与法务团队协作，将版权、TDM opt-out、站点条款、授权边界、权利人投诉、数据删除请求等要求转化为系统规则、审批流程和可追溯记录。\n5. 与安全、隐私和合规团队协作，建立爬虫数据风险管理机制，包括敏感数据识别、PII 过滤、来源风险分级、黑白名单、人工复核、访问控制和异常告警。\n6. 牵引公开网络数据的准入和分级管理，对不同类型站点、内容类别、数据用途、地域风险和权利状态建立统一评估标准。\n7. 建设面向欧盟监管检查和客户尽调的技术支撑能力，包括训练数据来源摘要、版权政策执行记录、采集留痕、风险处置记录和审计报表。\n8. 推动爬虫平台、数据平台、模型训练平台、法务、安全团队之间的系统打通，确保数据从采集到训练使用全链路可解释、可追溯、可处置。\n9. 支持风险事件复盘和外部问询，能够快速回答“数据从哪里来、为什么可以采、是否进入训练集、如何排除或删除”等问题。\n1. 5 年以上后端、爬虫平台、搜索引擎、数据平台、数据治理、安全合规或 AI 数据工程经验，有复杂系统设计和跨团队项目推进经验。\n2. 熟悉大规模网页采集系统，理解 URL 调度、网页解析、内容抽取、去重、分布式任务调度、访问控制、日志留存和数据入湖链路。\n3. 熟悉数据血缘、元数据管理、审计日志、数据版本、权限控制、数据生命周期管理等工程体系。\n4. 具备合规工程能力，能够把法律、政策、安全或监管要求拆解成系统规则、数据字段、控制点、审批流程和监控指标。\n5. 理解基础模型训练数据流程，包括采集、清洗、过滤、去重、采样、版本管理、训练集构建和模型版本关联。\n6. 熟悉数据安全、隐私保护、版权治理、公开网络数据治理或监管审计中的至少一个方向。\n7. 具备强跨职能协作能力，能够与法务、安全、隐私、政策、研究、数据工程和业务团队共同推进复杂项目。\n8. 有较强的风险判断能力，既能理解合规边界，也能设计工程上可落地、可规模化、可维护的解决方案。\n加分项\n1. 有搜索引擎、大规模爬虫、内容平台、广告平台、数据中台、基础模型数据平台经验。\n2. 熟悉 EU AI Act、GDPR、版权法、TDM opt-out、AI 训练数据透明度或模型合规文档要求。\n3. 有爬虫合规、数据存证、审计追踪、监管检查、客户安全尽调或诉讼保全相关系统经验。\n4. 熟悉 PII 检测、敏感数据识别、内容安全、版权内容识别、多模态数据治理。\n5. 有推动法务、安全、工程和研究团队协同制定数据使用标准并落地系统的经验。",
"standard_classification": {
"std_category_code": "T016",
"std_aux_codes": [
"F004"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}