主分类:计算机视觉与图像感知算法研发
辅助:音视频与实时通信研发(仅展示)
来源 JD 数据(旧分类保留,当前主分类见上方)
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术(北京)",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "未披露",
"location": "北京",
"work_mode": "未披露",AI生成
"job_category": "算法"AI生成
},
"company": {
"company_name": "字节跳动",
"company_industry": "互联网 / 数字内容 / 电商",
"company_size": "10000人以上",
"company_website": "bytedance.com",
"company_description": "字节跳动提供内容创作、信息分发、电商和协作产品,旗下产品包括抖音、今日头条、TikTok和飞书。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "博士在读",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "团队介绍:视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台,支持了字节跳动全系产品,如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展,同时将业务发展过程中沉淀下来的技术能力和工具,通过火山引擎对外输出,面向各行各业用户提供视频云产品和服务,愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案,助力业务伙伴降本提效实现持续增长。\n\n课题介绍:\n随着4K、HDR等技术成为主流标准,消费者对视频画质的要求日益提升。然而,视频在拍摄、传输和压缩过程中,画质往往受损,影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性,因此希望能够探索多模态大模型在多媒体场景的应用可行性,发掘基座大模型在大规模业务视频内容应用的潜力,建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知:利用多模态大模型,深入分析视频内容及画质退化问题,研究人眼对色彩、帧率、清晰度等画质维度的感知能力,从而使得画质评估更为准确,画质增强对退化的处理更为智能,增强的结果更符合人眼主观;\n2、生成式画质增强:利用生成式大模型的先验信息,大幅提升画质增强的效果天花板,并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题;\n3、视频时域任务:研究画质理解和增强在视频上的拓展,包括时域信息表征建模,时域退化理解,时域画质增强连续性,时域推理加速等;\n4、用户视角的验证:在大规模用户环境中,从用户的实际观看体验出发,验证画质增强算法的有效性和用户满意度;\n5、视频智能编码及表达:近年来,深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈,深度学习方法受到了业界的高度重视,发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码,深度学习方法也面临着诸多挑战,例如在很多应用场景下的压缩效率依然落后于传统编码技术,运算复杂度高,跨平台编解码缺乏兼容性,难以标准化等等。此外,如何将传统编码算法和深度学习算法在统一的硬件架构下实现,并达到极致的算力利用效率,涉及到算法和硬件架构创新,是研究的难点。\n\n课题挑战:\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战:\n1、多模态长视频复杂时序关系建模;\n2、少样本grounding-based理解画质评估模型;\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战:\n1、如何实现压缩效率显著超越传统编码器;\n2、如何满足可接受的复杂度及功耗要求;\n3、如何保证跨平台编解码一致性;\n4、如何高效压缩token等新兴智能信息;\n5、如何有效表达语义信息。\n\n课题价值:\n基于多模态大模型的分析/理解/画质评估和增强的研究价值:\n1、提升中长视频语义理解与事件定位能力及处理效率,支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务;\n2、降低画质标注成本,实现局部退化可解释评估,提升跨内容泛化能力,支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值:\n1、传统视频编码技术逐渐接近其能力极限,视频的智能编码技术有希望突破该极限,实现前所未有的视频压缩效率;\n2、在新的应用场景中,Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率;\n3、高效视频智能编码及表达一旦实现标准化,将在市场中占据有利位置,有巨大潜在专利价值;\n4、高效视频智能编码及表达有可能明显节省带宽及存储,直接创造经济收益。",
"requirements_text": "1、2027届及以后毕业,博士在读,人工智能、计算机、通信、芯片设计等相关专业优先;\n2、优秀的代码能力、数据结构和基础算法功底或芯片架构设计;\n3、在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先;\n4、向标准组织提出过提案并有标准会议经验的同学优先;\n5、出色的问题分析和解决能力,有自主探索解决方案的能力。",
"skills": [AI生成
"数据结构",
"架构设计",
"芯片设计"
],
"preferred_qualifications": "1、2027届及以后毕业,博士在读,人工智能、计算机、通信、芯片设计等相关专业优先;3、在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先;4、向标准组织提出过提案并有标准会议经验的同学优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://jobs.bytedance.com/campus/position/7612877131413620997/detail"
}
]
},
"posting": {
"posting_id": "7612877131413620997",
"post_date": "2026-03-03",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://jobs.bytedance.com/campus/position/7612877131413620997/detail"
},
"fulltext": "【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术(北京)\n职位描述\n团队介绍:视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台,支持了字节跳动全系产品,如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展,同时将业务发展过程中沉淀下来的技术能力和工具,通过火山引擎对外输出,面向各行各业用户提供视频云产品和服务,愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案,助力业务伙伴降本提效实现持续增长。\n\n课题介绍:\n随着4K、HDR等技术成为主流标准,消费者对视频画质的要求日益提升。然而,视频在拍摄、传输和压缩过程中,画质往往受损,影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性,因此希望能够探索多模态大模型在多媒体场景的应用可行性,发掘基座大模型在大规模业务视频内容应用的潜力,建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知:利用多模态大模型,深入分析视频内容及画质退化问题,研究人眼对色彩、帧率、清晰度等画质维度的感知能力,从而使得画质评估更为准确,画质增强对退化的处理更为智能,增强的结果更符合人眼主观;\n2、生成式画质增强:利用生成式大模型的先验信息,大幅提升画质增强的效果天花板,并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题;\n3、视频时域任务:研究画质理解和增强在视频上的拓展,包括时域信息表征建模,时域退化理解,时域画质增强连续性,时域推理加速等;\n4、用户视角的验证:在大规模用户环境中,从用户的实际观看体验出发,验证画质增强算法的有效性和用户满意度;\n5、视频智能编码及表达:近年来,深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈,深度学习方法受到了业界的高度重视,发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码,深度学习方法也面临着诸多挑战,例如在很多应用场景下的压缩效率依然落后于传统编码技术,运算复杂度高,跨平台编解码缺乏兼容性,难以标准化等等。此外,如何将传统编码算法和深度学习算法在统一的硬件架构下实现,并达到极致的算力利用效率,涉及到算法和硬件架构创新,是研究的难点。\n\n课题挑战:\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战:\n1、多模态长视频复杂时序关系建模;\n2、少样本grounding-based理解画质评估模型;\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战:\n1、如何实现压缩效率显著超越传统编码器;\n2、如何满足可接受的复杂度及功耗要求;\n3、如何保证跨平台编解码一致性;\n4、如何高效压缩token等新兴智能信息;\n5、如何有效表达语义信息。\n\n课题价值:\n基于多模态大模型的分析/理解/画质评估和增强的研究价值:\n1、提升中长视频语义理解与事件定位能力及处理效率,支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务;\n2、降低画质标注成本,实现局部退化可解释评估,提升跨内容泛化能力,支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值:\n1、传统视频编码技术逐渐接近其能力极限,视频的智能编码技术有希望突破该极限,实现前所未有的视频压缩效率;\n2、在新的应用场景中,Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率;\n3、高效视频智能编码及表达一旦实现标准化,将在市场中占据有利位置,有巨大潜在专利价值;\n4、高效视频智能编码及表达有可能明显节省带宽及存储,直接创造经济收益。\n\n职位要求\n1、2027届及以后毕业,博士在读,人工智能、计算机、通信、芯片设计等相关专业优先;\n2、优秀的代码能力、数据结构和基础算法功底或芯片架构设计;\n3、在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先;\n4、向标准组织提出过提案并有标准会议经验的同学优先;\n5、出色的问题分析和解决能力,有自主探索解决方案的能力。\n团队介绍:视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台,支持了字节跳动全系产品,如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展,同时将业务发展过程中沉淀下来的技术能力和工具,通过火山引擎对外输出,面向各行各业用户提供视频云产品和服务,愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案,助力业务伙伴降本提效实现持续增长。\n\n课题介绍:\n随着4K、HDR等技术成为主流标准,消费者对视频画质的要求日益提升。然而,视频在拍摄、传输和压缩过程中,画质往往受损,影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性,因此希望能够探索多模态大模型在多媒体场景的应用可行性,发掘基座大模型在大规模业务视频内容应用的潜力,建立业内领先的多媒体场景的多模态大模型解决方案。\n1、画质分析以及人眼感知:利用多模态大模型,深入分析视频内容及画质退化问题,研究人眼对色彩、帧率、清晰度等画质维度的感知能力,从而使得画质评估更为准确,画质增强对退化的处理更为智能,增强的结果更符合人眼主观;\n2、生成式画质增强:利用生成式大模型的先验信息,大幅提升画质增强的效果天花板,并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题;\n3、视频时域任务:研究画质理解和增强在视频上的拓展,包括时域信息表征建模,时域退化理解,时域画质增强连续性,时域推理加速等;\n4、用户视角的验证:在大规模用户环境中,从用户的实际观看体验出发,验证画质增强算法的有效性和用户满意度;\n5、视频智能编码及表达:近年来,深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈,深度学习方法受到了业界的高度重视,发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码,深度学习方法也面临着诸多挑战,例如在很多应用场景下的压缩效率依然落后于传统编码技术,运算复杂度高,跨平台编解码缺乏兼容性,难以标准化等等。此外,如何将传统编码算法和深度学习算法在统一的硬件架构下实现,并达到极致的算力利用效率,涉及到算法和硬件架构创新,是研究的难点。\n\n课题挑战:\n基于多模态大模型的分析/理解/画质评估和增强面临如下挑战:\n1、多模态长视频复杂时序关系建模;\n2、少样本grounding-based理解画质评估模型;\n3、可交互/用户偏好对齐的视频处理/增强模型。\n\n视频智能编码及表达面临如下挑战:\n1、如何实现压缩效率显著超越传统编码器;\n2、如何满足可接受的复杂度及功耗要求;\n3、如何保证跨平台编解码一致性;\n4、如何高效压缩token等新兴智能信息;\n5、如何有效表达语义信息。\n\n课题价值:\n基于多模态大模型的分析/理解/画质评估和增强的研究价值:\n1、提升中长视频语义理解与事件定位能力及处理效率,支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务;\n2、降低画质标注成本,实现局部退化可解释评估,提升跨内容泛化能力,支持像素级画质质检与优化。\n\n视频智能编码及表达的研究价值:\n1、传统视频编码技术逐渐接近其能力极限,视频的智能编码技术有希望突破该极限,实现前所未有的视频压缩效率;\n2、在新的应用场景中,Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率;\n3、高效视频智能编码及表达一旦实现标准化,将在市场中占据有利位置,有巨大潜在专利价值;\n4、高效视频智能编码及表达有可能明显节省带宽及存储,直接创造经济收益。\n1、2027届及以后毕业,博士在读,人工智能、计算机、通信、芯片设计等相关专业优先;\n2、优秀的代码能力、数据结构和基础算法功底或芯片架构设计;\n3、在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先;\n4、向标准组织提出过提案并有标准会议经验的同学优先;\n5、出色的问题分析和解决能力,有自主探索解决方案的能力。",
"standard_classification": {
"std_category_code": "T034",
"std_aux_codes": [
"T032"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}