{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "AI大模型应用能力评测专家（自动评测方向） - AI数据与安全",
        "job_level": "专家",AI生成
        "work_category": "全职",AI生成
        "department": "未披露",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "运营"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "本科及以上学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、围绕AI大模型应用能力评估，建设垂类业务场景评测集、评测任务、标注规范和质检规则，覆盖多轮对话、复杂任务、多模态数据及真实业务链路；\n2、负责模型评估标准体系建设，将业务目标、用户体验、模型能力和风险要求拆解为可执行的评估维度、评分标准、指标口径和评估SOP；\n3、设计和迭代自动评估Workflow，理解LLM as a Judge的基本方法，能结合规则校验、模型评分、人工抽样复核、一致性校准等方式提升评估效率与结果可信度；\n4、对模型输出进行评估、复核和负面案例归因，识别能力短板、问题类型和策略风险，并与产品、算法、运营、数据等团队协同推动问题闭环；\n5、使用数据分析工具完成评估数据清洗、指标统计、抽样复核、趋势分析和报告输出。",
        "requirements_text": "1、本科及以上学历，有AI评测产品、模型评测、数据评估、内容质量、AI产品运营等相关工作经验优先；\n2、有自动评估相关实践经验，了解LLM Eval的基本框架，理解LLM as a Judge、规则评估、人工复核、评估集构建和指标校准之间的关系，有模型评估标准体系建设经验，能够从业务目标出发设计评估维度、评分标准、质量分层、质检规则和结果解释口径；\n3、具备较强的结构化分析能力，能把抽象的用户体验、风格、人设、价值观、业务目标或模型能力拆解成可评估、可执行、可复盘的标准；具备基础数据处理和统计分析能力，熟练使用Excel/飞书表格；能使用SQL、Python或其他脚本语言进行数据清洗、统计分析、抽样和报告自动化者优先；\n4、具备较强的闭环意识和负责人意识，能独立负责一个评估方向或专项任务，从需求理解、方案设计、执行交付到结论复盘完整推进；\n5、具备良好的跨团队沟通能力，能和产品、算法、工程、运营、数据等角色对齐目标、拆解需求、推进落地并跟踪结果。",
        "skills": [AI生成
            "Python",
            "SQL",
            "Excel",
            "统计分析",
            "数据清洗",
            "沟通能力",
            "分析能力"
        ],
        "preferred_qualifications": "1、本科及以上学历，有AI评测产品、模型评测、数据评估、内容质量、AI产品运营等相关工作经验优先；能使用SQL、Python或其他脚本语言进行数据清洗、统计分析、抽样和报告自动化者优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/experienced/position/7670130567866321157/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7670130567866321157",
        "post_date": "2026-08-04",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/experienced/position/7670130567866321157/detail"
    },
    "fulltext": "AI大模型应用能力评测专家（自动评测方向） - AI数据与安全\n职位描述\n团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、围绕AI大模型应用能力评估，建设垂类业务场景评测集、评测任务、标注规范和质检规则，覆盖多轮对话、复杂任务、多模态数据及真实业务链路；\n2、负责模型评估标准体系建设，将业务目标、用户体验、模型能力和风险要求拆解为可执行的评估维度、评分标准、指标口径和评估SOP；\n3、设计和迭代自动评估Workflow，理解LLM as a Judge的基本方法，能结合规则校验、模型评分、人工抽样复核、一致性校准等方式提升评估效率与结果可信度；\n4、对模型输出进行评估、复核和负面案例归因，识别能力短板、问题类型和策略风险，并与产品、算法、运营、数据等团队协同推动问题闭环；\n5、使用数据分析工具完成评估数据清洗、指标统计、抽样复核、趋势分析和报告输出。\n\n职位要求\n1、本科及以上学历，有AI评测产品、模型评测、数据评估、内容质量、AI产品运营等相关工作经验优先；\n2、有自动评估相关实践经验，了解LLM Eval的基本框架，理解LLM as a Judge、规则评估、人工复核、评估集构建和指标校准之间的关系，有模型评估标准体系建设经验，能够从业务目标出发设计评估维度、评分标准、质量分层、质检规则和结果解释口径；\n3、具备较强的结构化分析能力，能把抽象的用户体验、风格、人设、价值观、业务目标或模型能力拆解成可评估、可执行、可复盘的标准；具备基础数据处理和统计分析能力，熟练使用Excel/飞书表格；能使用SQL、Python或其他脚本语言进行数据清洗、统计分析、抽样和报告自动化者优先；\n4、具备较强的闭环意识和负责人意识，能独立负责一个评估方向或专项任务，从需求理解、方案设计、执行交付到结论复盘完整推进；\n5、具备良好的跨团队沟通能力，能和产品、算法、工程、运营、数据等角色对齐目标、拆解需求、推进落地并跟踪结果。\n团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。\n团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。\n\n1、围绕AI大模型应用能力评估，建设垂类业务场景评测集、评测任务、标注规范和质检规则，覆盖多轮对话、复杂任务、多模态数据及真实业务链路；\n2、负责模型评估标准体系建设，将业务目标、用户体验、模型能力和风险要求拆解为可执行的评估维度、评分标准、指标口径和评估SOP；\n3、设计和迭代自动评估Workflow，理解LLM as a Judge的基本方法，能结合规则校验、模型评分、人工抽样复核、一致性校准等方式提升评估效率与结果可信度；\n4、对模型输出进行评估、复核和负面案例归因，识别能力短板、问题类型和策略风险，并与产品、算法、运营、数据等团队协同推动问题闭环；\n5、使用数据分析工具完成评估数据清洗、指标统计、抽样复核、趋势分析和报告输出。\n1、本科及以上学历，有AI评测产品、模型评测、数据评估、内容质量、AI产品运营等相关工作经验优先；\n2、有自动评估相关实践经验，了解LLM Eval的基本框架，理解LLM as a Judge、规则评估、人工复核、评估集构建和指标校准之间的关系，有模型评估标准体系建设经验，能够从业务目标出发设计评估维度、评分标准、质量分层、质检规则和结果解释口径；\n3、具备较强的结构化分析能力，能把抽象的用户体验、风格、人设、价值观、业务目标或模型能力拆解成可评估、可执行、可复盘的标准；具备基础数据处理和统计分析能力，熟练使用Excel/飞书表格；能使用SQL、Python或其他脚本语言进行数据清洗、统计分析、抽样和报告自动化者优先；\n4、具备较强的闭环意识和负责人意识，能独立负责一个评估方向或专项任务，从需求理解、方案设计、执行交付到结论复盘完整推进；\n5、具备良好的跨团队沟通能力，能和产品、算法、工程、运营、数据等角色对齐目标、拆解需求、推进落地并跟踪结果。",
    "standard_classification": {
        "std_category_code": "T015",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}