主分类：语音与音频算法研发
辅助：大模型与生成式算法研发（仅展示）
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "研究型实习生-结合副语言和丰富音频信息的对话技术研究",
"job_level": "实习",AI生成
"work_category": "实习",AI生成
"department": "Token Foundry",
"location": "北京 / 杭州",
"work_mode": "未披露",AI生成
"job_category": "技术类"AI生成
},
"company": {
"company_name": "阿里巴巴集团",
"company_industry": "电子商务 / 云计算 / 人工智能",
"company_size": "10000人以上",
"company_website": "alibaba.com",
"company_description": "阿里巴巴集团面向消费者和企业提供电子商务、云计算及人工智能服务。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": "",
"degree": "计算机/人工智能/认知科学等相关专业在读硕士/博士",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "以 GPT-4o、Gemini Live 为代表的端到端语音对话技术正逐步取代传统 ASR+LLM+TTS 级联架构，但当前方案普遍忽略犹豫、笑声、语调等副语言信号，也难以利用环境声、背景人声等丰富音频上下文，导致对话机械、缺乏共情。在车载、AI 眼镜、智能音箱、陪伴硬件等场景对自然交互需求日益提升的趋势下，副语言与音频上下文建模将成为下一代语音交互产品的核心竞争力。\n现有端到端语音对话模型主要聚焦语音到语音的直接映射，对副语言现象建模较弱，难以利用非语音音频信息进行上下文感知，也缺乏对多说话人主体和话题语义的辨识能力，且在长程任务与复杂音频推理上表现不足。本课题旨在探索副语言、丰富音频上下文与 Agentic 能力在端到端对话模型中的统一建模路径，交付具备拟人化交互体验的下一代语音对话系统。\n研究方向：\n1、Voice Agentic 长程任务与音频推理：研究多步骤任务规划、工具调用、跨轮次记忆管理，并探索对说话人意图、情感变化及环境事件的综合推断，实现从\"应答式助手\"到\"主动式伙伴\"的跃迁。\n2、副语言感知的对话能力建设：聚焦犹豫、情绪、年龄、性别等副语言信号，研究将其编码为端到端模型可用的语义表征，使模型在内容、语气与节奏上体现共情反馈。\n3、多说话人感知与多方对话：研究多方对话中说话人角色的动态识别，探索对话意图与说话人目标的联合建模，实现端到端的多方语义解析。\n4、指定说话人的端到端对话：研究声纹特征的隐式编码与说话人身份的动态绑定，支持个性化回复与跨 session 身份记忆，服务于智能音箱家庭成员识别、车载驾乘差异化服务等场景。",
"requirements_text": "1、计算机/人工智能/认知科学等相关专业在读硕士/博士；\n2、有扎实的理论基础，对大模型、多模态建模、强化学习等相关技术研究感兴趣；\n3、加分项：在ACL/NeurIPS/CVPR等顶会发表过人机交互或多模态相关论文 或 有实际的多模态对话系统、智能体交互或具身智能项目开发经验。",
"skills": [AI生成
"强化学习",
"建模",
"大语言模型",
"智能体开发"
],
"preferred_qualifications": "3、加分项：在ACL/NeurIPS/CVPR等顶会发表过人机交互或多模态相关论文 或 有实际的多模态对话系统、智能体交互或具身智能项目开发经验",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://campus-talent.alibaba.com/campus/position/199907640115?deptCodes="
}
]
},
"posting": {
"posting_id": "199907640115",
"post_date": "2026-08-24",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://campus-talent.alibaba.com/campus/position/199907640115?deptCodes="
},
"fulltext": "研究型实习生-结合副语言和丰富音频信息的对话技术研究\n研究型实习生-结合副语言和丰富音频信息的对话技术研究\n\n基础信息\n毕业起止时间要求：2027-11-01 - 2031-10-31\n职位类别：技术类\n招聘项目：阿里巴巴研究型实习生\n工作地点：北京 / 杭州\n\n职位描述\n以 GPT-4o、Gemini Live 为代表的端到端语音对话技术正逐步取代传统 ASR+LLM+TTS 级联架构，但当前方案普遍忽略犹豫、笑声、语调等副语言信号，也难以利用环境声、背景人声等丰富音频上下文，导致对话机械、缺乏共情。在车载、AI 眼镜、智能音箱、陪伴硬件等场景对自然交互需求日益提升的趋势下，副语言与音频上下文建模将成为下一代语音交互产品的核心竞争力。\n现有端到端语音对话模型主要聚焦语音到语音的直接映射，对副语言现象建模较弱，难以利用非语音音频信息进行上下文感知，也缺乏对多说话人主体和话题语义的辨识能力，且在长程任务与复杂音频推理上表现不足。本课题旨在探索副语言、丰富音频上下文与 Agentic 能力在端到端对话模型中的统一建模路径，交付具备拟人化交互体验的下一代语音对话系统。\n研究方向：\n1、Voice Agentic 长程任务与音频推理：研究多步骤任务规划、工具调用、跨轮次记忆管理，并探索对说话人意图、情感变化及环境事件的综合推断，实现从\"应答式助手\"到\"主动式伙伴\"的跃迁。\n2、副语言感知的对话能力建设：聚焦犹豫、情绪、年龄、性别等副语言信号，研究将其编码为端到端模型可用的语义表征，使模型在内容、语气与节奏上体现共情反馈。\n3、多说话人感知与多方对话：研究多方对话中说话人角色的动态识别，探索对话意图与说话人目标的联合建模，实现端到端的多方语义解析。\n4、指定说话人的端到端对话：研究声纹特征的隐式编码与说话人身份的动态绑定，支持个性化回复与跨 session 身份记忆，服务于智能音箱家庭成员识别、车载驾乘差异化服务等场景。\n\n职位要求\n1、计算机/人工智能/认知科学等相关专业在读硕士/博士；\n2、有扎实的理论基础，对大模型、多模态建模、强化学习等相关技术研究感兴趣；\n3、加分项：在ACL/NeurIPS/CVPR等顶会发表过人机交互或多模态相关论文 或 有实际的多模态对话系统、智能体交互或具身智能项目开发经验。\n\n在招业务\nToken Foundry\n以 GPT-4o、Gemini Live 为代表的端到端语音对话技术正逐步取代传统 ASR+LLM+TTS 级联架构，但当前方案普遍忽略犹豫、笑声、语调等副语言信号，也难以利用环境声、背景人声等丰富音频上下文，导致对话机械、缺乏共情。在车载、AI 眼镜、智能音箱、陪伴硬件等场景对自然交互需求日益提升的趋势下，副语言与音频上下文建模将成为下一代语音交互产品的核心竞争力。\n现有端到端语音对话模型主要聚焦语音到语音的直接映射，对副语言现象建模较弱，难以利用非语音音频信息进行上下文感知，也缺乏对多说话人主体和话题语义的辨识能力，且在长程任务与复杂音频推理上表现不足。本课题旨在探索副语言、丰富音频上下文与 Agentic 能力在端到端对话模型中的统一建模路径，交付具备拟人化交互体验的下一代语音对话系统。\n研究方向：\n1、Voice Agentic 长程任务与音频推理：研究多步骤任务规划、工具调用、跨轮次记忆管理，并探索对说话人意图、情感变化及环境事件的综合推断，实现从\"应答式助手\"到\"主动式伙伴\"的跃迁。\n2、副语言感知的对话能力建设：聚焦犹豫、情绪、年龄、性别等副语言信号，研究将其编码为端到端模型可用的语义表征，使模型在内容、语气与节奏上体现共情反馈。\n3、多说话人感知与多方对话：研究多方对话中说话人角色的动态识别，探索对话意图与说话人目标的联合建模，实现端到端的多方语义解析。\n4、指定说话人的端到端对话：研究声纹特征的隐式编码与说话人身份的动态绑定，支持个性化回复与跨 session 身份记忆，服务于智能音箱家庭成员识别、车载驾乘差异化服务等场景。\n1、计算机/人工智能/认知科学等相关专业在读硕士/博士；\n2、有扎实的理论基础，对大模型、多模态建模、强化学习等相关技术研究感兴趣；\n3、加分项：在ACL/NeurIPS/CVPR等顶会发表过人机交互或多模态相关论文 或 有实际的多模态对话系统、智能体交互或具身智能项目开发经验。",
"standard_classification": {
"std_category_code": "T035",
"std_aux_codes": [
"T010"
],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}