{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（上海）",
        "job_level": "实习",AI生成
        "work_category": "实习",AI生成
        "department": "未披露",
        "location": "上海",
        "work_mode": "未披露",AI生成
        "job_category": "算法"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品，旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "博士在读",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。\n\n课题介绍：\n随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观；\n2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题；\n3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等；\n4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度；\n5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。\n\n课题挑战：\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战：\n1、多模态长视频复杂时序关系建模；\n2、少样本grounding-based理解画质评估模型；\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战：\n1、如何实现压缩效率显著超越传统编码器；\n2、如何满足可接受的复杂度及功耗要求；\n3、如何保证跨平台编解码一致性；\n4、如何高效压缩token等新兴智能信息；\n5、如何有效表达语义信息。\n\n课题价值：\n基于多模态大模型的分析/理解/画质评估和增强的研究价值：\n1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务；\n2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值：\n1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率；\n2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率；\n3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值；\n4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。",
        "requirements_text": "1、2027届及以后毕业，博士在读，人工智能、计算机、数学等相关专业优先；\n2、精通常见的图像、视频处理算法，掌握常见视觉算法，如分类、检测、分割等；\n3、具有扎实的编程功底，良好的设计能力和编程习惯；\n4、熟悉Diffusion、LLM等大模型相关算法和技术，熟悉大模型训练与调优，并且有实际应用的经验；\n5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地；\n6、有较强科研经验优先，在CVPR、ICCV、NeruIPS、ICLR等顶级会议、期刊发表过论文者优先；在大模型领域，有主导过具有重要影响力的开源项目优先。",
        "skills": [AI生成
            "模型训练",
            "大语言模型"
        ],
        "preferred_qualifications": "1、2027届及以后毕业，博士在读，人工智能、计算机、数学等相关专业优先；6、有较强科研经验优先，在CVPR、ICCV、NeruIPS、ICLR等顶级会议、期刊发表过论文者优先；在大模型领域，有主导过具有重要影响力的开源项目优先",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/campus/position/7478575038100211975/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7478575038100211975",
        "post_date": "2025-03-06",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/campus/position/7478575038100211975/detail"
    },
    "fulltext": "【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（上海）\n职位描述\n团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。\n\n课题介绍：\n随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观；\n2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题；\n3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等；\n4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度；\n5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。\n\n课题挑战：\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战：\n1、多模态长视频复杂时序关系建模；\n2、少样本grounding-based理解画质评估模型；\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战：\n1、如何实现压缩效率显著超越传统编码器；\n2、如何满足可接受的复杂度及功耗要求；\n3、如何保证跨平台编解码一致性；\n4、如何高效压缩token等新兴智能信息；\n5、如何有效表达语义信息。\n\n课题价值：\n基于多模态大模型的分析/理解/画质评估和增强的研究价值：\n1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务；\n2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值：\n1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率；\n2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率；\n3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值；\n4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。\n\n职位要求\n1、2027届及以后毕业，博士在读，人工智能、计算机、数学等相关专业优先；\n2、精通常见的图像、视频处理算法，掌握常见视觉算法，如分类、检测、分割等；\n3、具有扎实的编程功底，良好的设计能力和编程习惯；\n4、熟悉Diffusion、LLM等大模型相关算法和技术，熟悉大模型训练与调优，并且有实际应用的经验；\n5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地；\n6、有较强科研经验优先，在CVPR、ICCV、NeruIPS、ICLR等顶级会议、期刊发表过论文者优先；在大模型领域，有主导过具有重要影响力的开源项目优先。\n团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。\n\n课题介绍：\n随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观；\n2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题；\n3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等；\n4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度；\n5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。\n\n课题挑战：\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战：\n1、多模态长视频复杂时序关系建模；\n2、少样本grounding-based理解画质评估模型；\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战：\n1、如何实现压缩效率显著超越传统编码器；\n2、如何满足可接受的复杂度及功耗要求；\n3、如何保证跨平台编解码一致性；\n4、如何高效压缩token等新兴智能信息；\n5、如何有效表达语义信息。\n\n课题价值：\n基于多模态大模型的分析/理解/画质评估和增强的研究价值：\n1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务；\n2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值：\n1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率；\n2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率；\n3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值；\n4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。\n1、2027届及以后毕业，博士在读，人工智能、计算机、数学等相关专业优先；\n2、精通常见的图像、视频处理算法，掌握常见视觉算法，如分类、检测、分割等；\n3、具有扎实的编程功底，良好的设计能力和编程习惯；\n4、熟悉Diffusion、LLM等大模型相关算法和技术，熟悉大模型训练与调优，并且有实际应用的经验；\n5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地；\n6、有较强科研经验优先，在CVPR、ICCV、NeruIPS、ICLR等顶级会议、期刊发表过论文者优先；在大模型领域，有主导过具有重要影响力的开源项目优先。",
    "standard_classification": {
        "std_category_code": "T034",
        "std_aux_codes": [
            "T032"
        ],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}