职位详情

职位列表 链接有效 不适用(官网全量采集) official:alibaba:199907620046

音视频数字人多模态大模型算法研究和应用-阿里星/A Star

未披露 · 北京 / 杭州 · 阿里云

主分类:大模型与生成式算法研发
算法与数据
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "音视频数字人多模态大模型算法研究和应用-阿里星/A Star",
        "job_level": "校招",AI生成
        "work_category": "全职",AI生成
        "department": "阿里云",
        "location": "北京 / 杭州",
        "work_mode": "未披露",AI生成
        "job_category": "技术类"AI生成
    },
    "company": {
        "company_name": "阿里云",
        "company_industry": "云计算 / 人工智能",
        "company_size": "10000人以上",
        "company_website": "alibaba.com",
        "company_description": "阿里云提供云基础设施、AI模型、智能体和计算服务。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "计算机、电子工程、人工智能等相关专业硕士或者博士学历",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "1.前沿技术研究:负责端到端多模态语音大模型的核心算法研究,攻克语音-语义联合建模、流式实时推理、情感感知对话等关键技术难题,推动从级联式架构向原生多模态架构的技术范式升级;\n2.系统架构设计:主导设计面向智能外呼场景的下一代多模态对话系统架构,实现毫秒级端到端响应、自然话轮切换、实时情感理解等核心能力,重新定义人机语音交互体验;\n3.大规模落地实践:将前沿研究成果落地到日均千万级调用量的工业级外呼系统,负责从数据构建、模型训练、效果调优到线上部署的全链路技术方案设计与实施;\n4.数据与评测体系建设:主导构建大规模多模态对话数据集与标注体系,设计并建立覆盖语音理解、情感识别、对话质量等维度的系统化评测基准;\n5.学术影响力建设:在语音、自然语言处理、多模态等领域顶级学术会议发表高质量论文,参与行业标准制定,提升团队在学术界和产业界的技术影响力;\n6.技术创新孵化:探索多模态语音技术在更多创新场景(智能客服、语音助手、数字人、同声传译等)的应用可能,孵化下一代AI交互产品形态。",
        "requirements_text": "1.计算机、电子工程、人工智能等相关专业硕士或者博士学历\n2.在以下一个或多个领域有深入研究经验:\n·语音识别(ASR)/ 语音合成(TTS)/ 语音情感识别(SER)\n·多模态大语言模型(Multimodal LLM)\n·端到端语音对话系统(Spoken Dialogue System)\n·自然语言处理(NLP)/ 对话系统(Dialogue System)\n3.在顶级学术会议或期刊发表过高质量论文,包括但不限于:ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、AAAI、Interspeech、ICASSP等\n4.熟练掌握Python及主流深度学习框架(PyTorch/TensorFlow),具备扎实的工程实现能力\n5.具备优秀的学习能力、独立研究能力和团队协作精神,对用AI技术改变人机交互方式充满热情\n加分项:\n1.有端到端语音大模型相关研究或工程经验(如SpeechGPT、SALMONN、Qwen-Audio、Mini-Omni、GLM-4-Voice等)\n2.有大规模语言模型预训练、指令微调、RLHF等相关经验\n3.有模型推理优化经验(量化、剪枝、蒸馏、投机解码、KV Cache优化等)\n4.有分布式训练经验(DeepSpeed、Megatron-LM、FSDP等)\n5.有知名开源项目贡献经历或顶级AI竞赛获奖经历(Kaggle、天池等)\n6.在顶级会议担任过Reviewer、Area Chair或受邀进行过Tutorial/Keynote分享\n7.有语音/对话方向的产业界实习或工作经验",
        "skills": [AI生成
            "Python",
            "PyTorch",
            "TensorFlow",
            "深度学习",
            "自然语言处理",
            "团队协作",
            "学习能力",
            "大语言模型"
        ],
        "preferred_qualifications": "加分项:",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://campus-talent.alibaba.com/campus/position/199907620046?deptCodes="
            }
        ]
    },
    "posting": {
        "posting_id": "199907620046",
        "post_date": "2026-07-30",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://campus-talent.alibaba.com/campus/position/199907620046?deptCodes="
    },
    "fulltext": "音视频数字人多模态大模型算法研究和应用-阿里星/A Star\n音视频数字人多模态大模型算法研究和应用-阿里星/A Star\n\n基础信息\n毕业起止时间要求:2026-11-01 - 2027-10-31\n职位类别:技术类\n招聘项目:阿里巴巴2027届应届生\n工作地点:北京 / 杭州\n\n职位描述\n1.前沿技术研究:负责端到端多模态语音大模型的核心算法研究,攻克语音-语义联合建模、流式实时推理、情感感知对话等关键技术难题,推动从级联式架构向原生多模态架构的技术范式升级;\n2.系统架构设计:主导设计面向智能外呼场景的下一代多模态对话系统架构,实现毫秒级端到端响应、自然话轮切换、实时情感理解等核心能力,重新定义人机语音交互体验;\n3.大规模落地实践:将前沿研究成果落地到日均千万级调用量的工业级外呼系统,负责从数据构建、模型训练、效果调优到线上部署的全链路技术方案设计与实施;\n4.数据与评测体系建设:主导构建大规模多模态对话数据集与标注体系,设计并建立覆盖语音理解、情感识别、对话质量等维度的系统化评测基准;\n5.学术影响力建设:在语音、自然语言处理、多模态等领域顶级学术会议发表高质量论文,参与行业标准制定,提升团队在学术界和产业界的技术影响力;\n6.技术创新孵化:探索多模态语音技术在更多创新场景(智能客服、语音助手、数字人、同声传译等)的应用可能,孵化下一代AI交互产品形态。\n\n职位要求\n1.计算机、电子工程、人工智能等相关专业硕士或者博士学历\n2.在以下一个或多个领域有深入研究经验:\n·语音识别(ASR)/ 语音合成(TTS)/ 语音情感识别(SER)\n·多模态大语言模型(Multimodal LLM)\n·端到端语音对话系统(Spoken Dialogue System)\n·自然语言处理(NLP)/ 对话系统(Dialogue System)\n3.在顶级学术会议或期刊发表过高质量论文,包括但不限于:ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、AAAI、Interspeech、ICASSP等\n4.熟练掌握Python及主流深度学习框架(PyTorch/TensorFlow),具备扎实的工程实现能力\n5.具备优秀的学习能力、独立研究能力和团队协作精神,对用AI技术改变人机交互方式充满热情\n加分项:\n1.有端到端语音大模型相关研究或工程经验(如SpeechGPT、SALMONN、Qwen-Audio、Mini-Omni、GLM-4-Voice等)\n2.有大规模语言模型预训练、指令微调、RLHF等相关经验\n3.有模型推理优化经验(量化、剪枝、蒸馏、投机解码、KV Cache优化等)\n4.有分布式训练经验(DeepSpeed、Megatron-LM、FSDP等)\n5.有知名开源项目贡献经历或顶级AI竞赛获奖经历(Kaggle、天池等)\n6.在顶级会议担任过Reviewer、Area Chair或受邀进行过Tutorial/Keynote分享\n7.有语音/对话方向的产业界实习或工作经验\n\n在招业务\n阿里云\n1.前沿技术研究:负责端到端多模态语音大模型的核心算法研究,攻克语音-语义联合建模、流式实时推理、情感感知对话等关键技术难题,推动从级联式架构向原生多模态架构的技术范式升级;\n2.系统架构设计:主导设计面向智能外呼场景的下一代多模态对话系统架构,实现毫秒级端到端响应、自然话轮切换、实时情感理解等核心能力,重新定义人机语音交互体验;\n3.大规模落地实践:将前沿研究成果落地到日均千万级调用量的工业级外呼系统,负责从数据构建、模型训练、效果调优到线上部署的全链路技术方案设计与实施;\n4.数据与评测体系建设:主导构建大规模多模态对话数据集与标注体系,设计并建立覆盖语音理解、情感识别、对话质量等维度的系统化评测基准;\n5.学术影响力建设:在语音、自然语言处理、多模态等领域顶级学术会议发表高质量论文,参与行业标准制定,提升团队在学术界和产业界的技术影响力;\n6.技术创新孵化:探索多模态语音技术在更多创新场景(智能客服、语音助手、数字人、同声传译等)的应用可能,孵化下一代AI交互产品形态。\n1.计算机、电子工程、人工智能等相关专业硕士或者博士学历\n2.在以下一个或多个领域有深入研究经验:\n·语音识别(ASR)/ 语音合成(TTS)/ 语音情感识别(SER)\n·多模态大语言模型(Multimodal LLM)\n·端到端语音对话系统(Spoken Dialogue System)\n·自然语言处理(NLP)/ 对话系统(Dialogue System)\n3.在顶级学术会议或期刊发表过高质量论文,包括但不限于:ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、AAAI、Interspeech、ICASSP等\n4.熟练掌握Python及主流深度学习框架(PyTorch/TensorFlow),具备扎实的工程实现能力\n5.具备优秀的学习能力、独立研究能力和团队协作精神,对用AI技术改变人机交互方式充满热情\n加分项:\n1.有端到端语音大模型相关研究或工程经验(如SpeechGPT、SALMONN、Qwen-Audio、Mini-Omni、GLM-4-Voice等)\n2.有大规模语言模型预训练、指令微调、RLHF等相关经验\n3.有模型推理优化经验(量化、剪枝、蒸馏、投机解码、KV Cache优化等)\n4.有分布式训练经验(DeepSpeed、Megatron-LM、FSDP等)\n5.有知名开源项目贡献经历或顶级AI竞赛获奖经历(Kaggle、天池等)\n6.在顶级会议担任过Reviewer、Area Chair或受邀进行过Tutorial/Keynote分享\n7.有语音/对话方向的产业界实习或工作经验",
    "standard_classification": {
        "std_category_code": "T010",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}