主分类：数据工程与数据平台研发
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "爬虫工程师",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "有道事业群",
"location": "北京市",
"work_mode": "未披露",AI生成
"job_category": "技术"AI生成
},
"company": {
"company_name": "网易",
"company_industry": "互联网 / 游戏 / 数字内容",
"company_size": "10000人以上",
"company_website": "netease.com",
"company_description": "网易提供互联网和游戏服务，并通过有道、网易云音乐、网易严选等业务提供学习、音乐及消费服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": 3,
"degree": "本科",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1. 设计和开发多平台数据采集、更新、解析、存储及质量监控系统；\n2. 独立调研并落地海外电商、社交等平台的Web/App采集方案；\n3. 建设IP/设备池、任务调度、失败重试、监控预警和数据质量体系，支撑大规模稳定采集；\n4. 对接产品与业务团队，从数据覆盖、时效和质量中挖掘增长机会；\n5. 利用大模型和Agent构建自动分析、策略生成、故障定位等能力，提升采集体系自动化水平。",
"requirements_text": "1. 计算机相关专业本科及以上学历，3年以上数据采集或爬虫研发经验；\n2. 熟练掌握Python或Java，具备良好系统设计和工程编码能力；\n3. 精通Web/App抓取、常见反爬与风控对抗，具有真实攻防项目经验；\n4. 熟悉Scrapy、Playwright、Puppeteer、Selenium等工具，以及分布式调度、IP/设备池和监控体系；\n5. 有海外头部电商/社交平台、大规模数据采集或AI驱动采集项目者优先。\n",
"skills": [AI生成
"Python",
"Java"
],
"preferred_qualifications": "5. 有海外头部电商/社交平台、大规模数据采集或AI驱动采集项目者优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://hr.163.com/job-detail.html?id=73747&lang=zh"
}
]
},
"posting": {
"posting_id": "73747",
"post_date": "",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://hr.163.com/job-detail.html?id=73747&lang=zh"
},
"fulltext": "爬虫工程师\n职位描述\n1. 设计和开发多平台数据采集、更新、解析、存储及质量监控系统；\n2. 独立调研并落地海外电商、社交等平台的Web/App采集方案；\n3. 建设IP/设备池、任务调度、失败重试、监控预警和数据质量体系，支撑大规模稳定采集；\n4. 对接产品与业务团队，从数据覆盖、时效和质量中挖掘增长机会；\n5. 利用大模型和Agent构建自动分析、策略生成、故障定位等能力，提升采集体系自动化水平。\n\n职位要求\n1. 计算机相关专业本科及以上学历，3年以上数据采集或爬虫研发经验；\n2. 熟练掌握Python或Java，具备良好系统设计和工程编码能力；\n3. 精通Web/App抓取、常见反爬与风控对抗，具有真实攻防项目经验；\n4. 熟悉Scrapy、Playwright、Puppeteer、Selenium等工具，以及分布式调度、IP/设备池和监控体系；\n5. 有海外头部电商/社交平台、大规模数据采集或AI驱动采集项目者优先。\n\n1. 设计和开发多平台数据采集、更新、解析、存储及质量监控系统；\n2. 独立调研并落地海外电商、社交等平台的Web/App采集方案；\n3. 建设IP/设备池、任务调度、失败重试、监控预警和数据质量体系，支撑大规模稳定采集；\n4. 对接产品与业务团队，从数据覆盖、时效和质量中挖掘增长机会；\n5. 利用大模型和Agent构建自动分析、策略生成、故障定位等能力，提升采集体系自动化水平。\n1. 计算机相关专业本科及以上学历，3年以上数据采集或爬虫研发经验；\n2. 熟练掌握Python或Java，具备良好系统设计和工程编码能力；\n3. 精通Web/App抓取、常见反爬与风控对抗，具有真实攻防项目经验；\n4. 熟悉Scrapy、Playwright、Puppeteer、Selenium等工具，以及分布式调度、IP/设备池和监控体系；\n5. 有海外头部电商/社交平台、大规模数据采集或AI驱动采集项目者优先。\n",
"standard_classification": {
"std_category_code": "T016",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}