职位详情

职位列表 链接有效 不适用(官网全量采集) official:alibaba:199903740015

研究型实习生 - 多模态大模型高效训练技术研究

未披露 · 北京 · 阿里云

主分类:AI训练推理与计算优化
软件开发与 IT
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "研究型实习生 - 多模态大模型高效训练技术研究",
        "job_level": "实习",AI生成
        "work_category": "实习",AI生成
        "department": "阿里云",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "技术类"AI生成
    },
    "company": {
        "company_name": "阿里云",
        "company_industry": "云计算 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "alibaba.com",
        "company_description": "阿里云提供云基础设施、AI模型、智能体和计算服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "计算机及相关专业的博士或硕士研究生",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "当前,大规模模型正逐步向多模态方向发展。尤其是随着SORA、GPT-4o模型的问世,其热度达到了空前的水平。目前,业界已经发布了众多多模态模型,例如:CLIP、LLaVA、Qwen-VL、Qwen-VAL、DeepSeek-VL、AnyMAL、Claude3、GPT-4v、GPT-4o、Gemini1.5、Chameleon等。多模态模型的迅速发展,也带来了新的挑战,对训练框架的效率要求越来越高:\n1、不同模态数据的异质性:不同模态(如图像、文本、音频、视频)有各自的编码器(encoder)和解码器(decoder),这对计算资源、显存和通信带宽的需求各不相同。训练框架需要能够适配不同模态的特点,实现高效调度和优化。\n2、数据的多样性:处理的数据模态类型多样化(如纯文本、文本+图像、文本+音频、文本+视频+音频等),且模态内的数据也可能动态变化。例如,图像的数量和大小,音频的长度等都可能不同。\n现有的训练框架和并行策略已经无法很好地满足当前多模态大模型的训练需求。因此,迫切需要对现有框架进行改进和优化,以支持多模态模型的高效训练。本项目将着眼于以下几个层面技术,以解决上述特性带来的挑战,提升多模态大模型训练效率:\n1、多模态场景并行策略研究,以PP为例,当前的PP并行策略都是按layer粒度均分,但多模态间的异构性会给PP并行提出更高的要求,多模态场景下不同模态的计算、显存需求不同。需要打破layer级别的粒度,支持细粒度PP划分和调度,探寻更高效的PP并行策略。\n2、动态长序列场景高效训练技术研究,多模态场景总序列长度会比llm场景长很多,并且不同模态的seq len长度还是动态,在动态长序列场景怎么进行高效训练。",
        "requirements_text": "1、计算机及相关专业的博士或硕士研究生,且对机器学习系统有充分的兴趣;有机器学习系统及分布式系统相关研究和开发经验,最好熟悉多模态领域模型或有过相关工作经验,了解或熟悉PyTorch、Megatron等训练框架;\n2、需要产出论文和专利等高水平的学术成果。",
        "skills": [AI生成
            "PyTorch",
            "机器学习",
            "分布式系统"
        ],
        "preferred_qualifications": "未披露",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://campus-talent.alibaba.com/campus/position/199903740015?deptCodes="
            }
        ]
    },
    "posting": {
        "posting_id": "199903740015",
        "post_date": "2026-03-17",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://campus-talent.alibaba.com/campus/position/199903740015?deptCodes="
    },
    "fulltext": "研究型实习生 - 多模态大模型高效训练技术研究\n研究型实习生 - 多模态大模型高效训练技术研究\n\n基础信息\n毕业起止时间要求:2027-11-01 - 2030-01-01\n职位类别:技术类\n招聘项目:阿里巴巴研究型实习生\n工作地点:北京\n\n职位描述\n当前,大规模模型正逐步向多模态方向发展。尤其是随着SORA、GPT-4o模型的问世,其热度达到了空前的水平。目前,业界已经发布了众多多模态模型,例如:CLIP、LLaVA、Qwen-VL、Qwen-VAL、DeepSeek-VL、AnyMAL、Claude3、GPT-4v、GPT-4o、Gemini1.5、Chameleon等。多模态模型的迅速发展,也带来了新的挑战,对训练框架的效率要求越来越高:\n1、不同模态数据的异质性:不同模态(如图像、文本、音频、视频)有各自的编码器(encoder)和解码器(decoder),这对计算资源、显存和通信带宽的需求各不相同。训练框架需要能够适配不同模态的特点,实现高效调度和优化。\n2、数据的多样性:处理的数据模态类型多样化(如纯文本、文本+图像、文本+音频、文本+视频+音频等),且模态内的数据也可能动态变化。例如,图像的数量和大小,音频的长度等都可能不同。\n现有的训练框架和并行策略已经无法很好地满足当前多模态大模型的训练需求。因此,迫切需要对现有框架进行改进和优化,以支持多模态模型的高效训练。本项目将着眼于以下几个层面技术,以解决上述特性带来的挑战,提升多模态大模型训练效率:\n1、多模态场景并行策略研究,以PP为例,当前的PP并行策略都是按layer粒度均分,但多模态间的异构性会给PP并行提出更高的要求,多模态场景下不同模态的计算、显存需求不同。需要打破layer级别的粒度,支持细粒度PP划分和调度,探寻更高效的PP并行策略。\n2、动态长序列场景高效训练技术研究,多模态场景总序列长度会比llm场景长很多,并且不同模态的seq len长度还是动态,在动态长序列场景怎么进行高效训练。\n\n职位要求\n1、计算机及相关专业的博士或硕士研究生,且对机器学习系统有充分的兴趣;有机器学习系统及分布式系统相关研究和开发经验,最好熟悉多模态领域模型或有过相关工作经验,了解或熟悉PyTorch、Megatron等训练框架;\n2、需要产出论文和专利等高水平的学术成果。\n\n在招业务\n阿里云\n当前,大规模模型正逐步向多模态方向发展。尤其是随着SORA、GPT-4o模型的问世,其热度达到了空前的水平。目前,业界已经发布了众多多模态模型,例如:CLIP、LLaVA、Qwen-VL、Qwen-VAL、DeepSeek-VL、AnyMAL、Claude3、GPT-4v、GPT-4o、Gemini1.5、Chameleon等。多模态模型的迅速发展,也带来了新的挑战,对训练框架的效率要求越来越高:\n1、不同模态数据的异质性:不同模态(如图像、文本、音频、视频)有各自的编码器(encoder)和解码器(decoder),这对计算资源、显存和通信带宽的需求各不相同。训练框架需要能够适配不同模态的特点,实现高效调度和优化。\n2、数据的多样性:处理的数据模态类型多样化(如纯文本、文本+图像、文本+音频、文本+视频+音频等),且模态内的数据也可能动态变化。例如,图像的数量和大小,音频的长度等都可能不同。\n现有的训练框架和并行策略已经无法很好地满足当前多模态大模型的训练需求。因此,迫切需要对现有框架进行改进和优化,以支持多模态模型的高效训练。本项目将着眼于以下几个层面技术,以解决上述特性带来的挑战,提升多模态大模型训练效率:\n1、多模态场景并行策略研究,以PP为例,当前的PP并行策略都是按layer粒度均分,但多模态间的异构性会给PP并行提出更高的要求,多模态场景下不同模态的计算、显存需求不同。需要打破layer级别的粒度,支持细粒度PP划分和调度,探寻更高效的PP并行策略。\n2、动态长序列场景高效训练技术研究,多模态场景总序列长度会比llm场景长很多,并且不同模态的seq len长度还是动态,在动态长序列场景怎么进行高效训练。\n1、计算机及相关专业的博士或硕士研究生,且对机器学习系统有充分的兴趣;有机器学习系统及分布式系统相关研究和开发经验,最好熟悉多模态领域模型或有过相关工作经验,了解或熟悉PyTorch、Megatron等训练框架;\n2、需要产出论文和专利等高水平的学术成果。",
    "standard_classification": {
        "std_category_code": "T014",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}