主分类：大模型与生成式算法研发
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "【大模型北斗实习】多模态融合及多模态实时交互算法研究",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "未披露",
"location": "北京市 / 上海市",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "美团",
"company_industry": "科技零售 / 生活服务",
"company_size": "10000人以上",
"company_website": "meituan.com",
"company_description": "美团通过科技推动服务零售和商品零售的数字化，连接消费者与商户。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "未披露",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于：\n1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。\n2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。\n3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。\n4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。",
"requirements_text": "1）对CV、NLP、语音等多模态相关领域有深入的理解，在其中一个或多个方向有深入的研究经历，且有相关实际项目经验。\n2）熟练使用深度学习框架（比如PyTorch），熟悉 Megatron、DeepSpeed 等开源训练框架。\n加分项：\n1）在知名开源项目中有核心贡献者优先。\n2）对多模态大模型有深入研究且有实际训练经验者优先。\n3）发表过高水平论文，如 ICLR、NeurIPS、ICML、CVPR 等。",
"skills": [AI生成
"PyTorch",
"深度学习",
"自然语言处理",
"大语言模型"
],
"preferred_qualifications": "加分项：；1）在知名开源项目中有核心贡献者优先；2）对多模态大模型有深入研究且有实际训练经验者优先",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://zhaopin.meituan.com/web/position/detail?jobUnionId=3154001160&jobShareType=1"
}
]
},
"posting": {
"posting_id": "3154001160",
"post_date": "",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://zhaopin.meituan.com/web/position/detail?jobUnionId=3154001160&jobShareType=1"
},
"fulltext": "【大模型北斗实习】多模态融合及多模态实时交互算法研究\n【大模型北斗实习】多模态融合及多模态实时交互算法研究\n\n基础信息\n工作地点：北京市 / 上海市\n职位类别：技术类\n职位族群：算法,硬件,软件\n更新时间：2025-05-23\n\n岗位职责\n大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于：\n1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。\n2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。\n3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。\n4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。\n\n岗位基本要求\n1）对CV、NLP、语音等多模态相关领域有深入的理解，在其中一个或多个方向有深入的研究经历，且有相关实际项目经验。\n2）熟练使用深度学习框架（比如PyTorch），熟悉 Megatron、DeepSpeed 等开源训练框架。\n加分项：\n1）在知名开源项目中有核心贡献者优先。\n2）对多模态大模型有深入研究且有实际训练经验者优先。\n3）发表过高水平论文，如 ICLR、NeurIPS、ICML、CVPR 等。\n大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于：\n1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。\n2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。\n3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。\n4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。\n1）对CV、NLP、语音等多模态相关领域有深入的理解，在其中一个或多个方向有深入的研究经历，且有相关实际项目经验。\n2）熟练使用深度学习框架（比如PyTorch），熟悉 Megatron、DeepSpeed 等开源训练框架。\n加分项：\n1）在知名开源项目中有核心贡献者优先。\n2）对多模态大模型有深入研究且有实际训练经验者优先。\n3）发表过高水平论文，如 ICLR、NeurIPS、ICML、CVPR 等。",
"standard_classification": {
"std_category_code": "T010",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}