主分类：AI训练推理与计算优化
来源 JD 数据（旧分类保留，当前主分类见上方）
{
"schema_version": "via_ai_product_manager_jobs_v1",
"data_type": "ai_product_manager_jobs",
"job": {
"job_title": "大模型推理后台链路工程师（语音方向）（北京/深圳/上海）",
"job_level": "未披露",AI生成
"work_category": "全职",AI生成
"department": "TEG",
"location": "北京",
"work_mode": "未披露",AI生成
"job_category": "技术"AI生成
},
"company": {
"company_name": "腾讯",
"company_industry": "互联网 / 科技 / 人工智能",
"company_size": "10000人以上",
"company_website": "tencent.com",
"company_description": "腾讯是一家互联网和科技公司，业务覆盖通信与社交、数字内容、游戏、金融科技、企业服务、云计算与人工智能等方向。"
},
"compensation": {
"salary_range": {
"min": "",
"max": "",
"currency": "未披露",
"cycle": "未披露"
},
"benefits": "未披露"
},
"requirements": {
"working_years": 2,
"degree": "本科及以上学历",
"language": "未披露",AI生成
"visa_support": "未披露",
"responsibilities": "1.推理后台链路建设：负责语音大模型推理后台链路的整体设计与实现，覆盖接入层、调度层、推理层、流式返回、落盘与全链路监控；\r\n2.流式语音服务架构：构建实时语音对话（语音进—语音出）的流式推理服务，优化首字延迟（TTFB）、端到端延迟与实时率（RTF），保障交互流畅性；\r\n3.推理引擎与 GPU 优化：负责 GPU 推理引擎优化，包括算子优化、量化（INT8/FP8）、KV Cache 管理、投机解码、Continuous Batching、显存与吞吐优化，提升单卡推理效率与性价比；\r\n4.分布式推理与弹性调度：建设多机多卡推理能力（张量并行 / 流水线并行）、多模型编排、弹性扩缩容、负载均衡与故障自愈机制；\r\n5.稳定性与工程化：建设高可用架构、灰度发布、全链路监控告警、压测与容量规划，保障推理服务的稳定性与可观测性；\r\n6.前沿技术落地：跟进语音大模型与推理框架的前沿进展，推动新技术在业务中的落地。",
"requirements_text": "1.本科及以上学历，计算机、软件工程、电子信息等相关专业；\r\n2.2年以上后端 / 基础架构 / 在线服务开发经验，有大规模高并发在线服务建设经验；\r\n3.精通 C++ / Go / Python至少一门语言，具备扎实的 Linux 系统、网络编程与并发编程功底；\r\n4.熟悉主流深度学习推理框架（TensorRT、vLLM、Triton Inference Server、ONNX Runtime等至少一种），有实际推理服务优化落地经验；\r\n5.熟悉CUDA 编程与 GPU 算子优化，理解显存、带宽、算子调度等底层机制；\r\n6.熟悉分布式系统与容器化技术（Kubernetes、微服务治理、RPC 框架）。",
"skills": [AI生成
"Python",
"C++",
"Linux",
"Kubernetes",
"CUDA",
"深度学习",
"分布式系统",
"微服务",
"Go"
],
"preferred_qualifications": "1.有语音（ASR / TTS / 语音合成）或语音大模型 / 多模态模型工程落地经验；\r\n2.熟悉流式传输协议（WebSocket、RTC / WebRTC）与音视频编解码链路；\r\n3.深入掌握 KV Cache、投机解码、量化、Continuous Batching 等大模型推理加速技术；\r\n4.有开源大模型推理框架（vLLM、SGLang、TensorRT-LLM 等）二次开发或社区贡献经验；\r\n5.熟悉语音服务关键指标（实时率 RTF、首字延迟、音质 / 一致性）的优化方法。",
"job_highlights": "未披露"
},
"contact": {
"recruiter_name": "未披露",
"contact_methods": [
{
"type": "apply_link",
"value": "https://careers.tencent.com/jobdesc.html?postId=2092937311057788928"
}
]
},
"posting": {
"posting_id": "2092937311057788928",
"post_date": "2026-08-27",
"hire_time": "未披露",
"update_date": "20260917",
"job_url": "https://careers.tencent.com/jobdesc.html?postId=2092937311057788928"
},
"fulltext": "大模型推理后台链路工程师（语音方向）（北京/深圳/上海）\n在腾讯，后台开发工程师不仅是“又快又稳”的问题解决专家，更是生态共创者。你将与技术团队一同沉淀优质代码，让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段，你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神，同时欢迎你一起参与团队愿景、文化和产品方向的探讨。\n1.推理后台链路建设：负责语音大模型推理后台链路的整体设计与实现，覆盖接入层、调度层、推理层、流式返回、落盘与全链路监控；\r\n2.流式语音服务架构：构建实时语音对话（语音进—语音出）的流式推理服务，优化首字延迟（TTFB）、端到端延迟与实时率（RTF），保障交互流畅性；\r\n3.推理引擎与 GPU 优化：负责 GPU 推理引擎优化，包括算子优化、量化（INT8/FP8）、KV Cache 管理、投机解码、Continuous Batching、显存与吞吐优化，提升单卡推理效率与性价比；\r\n4.分布式推理与弹性调度：建设多机多卡推理能力（张量并行 / 流水线并行）、多模型编排、弹性扩缩容、负载均衡与故障自愈机制；\r\n5.稳定性与工程化：建设高可用架构、灰度发布、全链路监控告警、压测与容量规划，保障推理服务的稳定性与可观测性；\r\n6.前沿技术落地：跟进语音大模型与推理框架的前沿进展，推动新技术在业务中的落地。\n1.本科及以上学历，计算机、软件工程、电子信息等相关专业；\r\n2.2年以上后端 / 基础架构 / 在线服务开发经验，有大规模高并发在线服务建设经验；\r\n3.精通 C++ / Go / Python至少一门语言，具备扎实的 Linux 系统、网络编程与并发编程功底；\r\n4.熟悉主流深度学习推理框架（TensorRT、vLLM、Triton Inference Server、ONNX Runtime等至少一种），有实际推理服务优化落地经验；\r\n5.熟悉CUDA 编程与 GPU 算子优化，理解显存、带宽、算子调度等底层机制；\r\n6.熟悉分布式系统与容器化技术（Kubernetes、微服务治理、RPC 框架）。\n1.有语音（ASR / TTS / 语音合成）或语音大模型 / 多模态模型工程落地经验；\r\n2.熟悉流式传输协议（WebSocket、RTC / WebRTC）与音视频编解码链路；\r\n3.深入掌握 KV Cache、投机解码、量化、Continuous Batching 等大模型推理加速技术；\r\n4.有开源大模型推理框架（vLLM、SGLang、TensorRT-LLM 等）二次开发或社区贡献经验；\r\n5.熟悉语音服务关键指标（实时率 RTF、首字延迟、音质 / 一致性）的优化方法。",
"standard_classification": {
"std_category_code": "T014",
"std_aux_codes": [],
"std_category_status": null,
"std_taxonomy_version": "20261104"
}
}