职位详情

职位列表 链接有效 不适用(官网全量采集) official:bytedance:7665248338118068485

大模型算法工程师(压缩与轻量化方向) - PICO

未披露 · 北京 · 字节跳动

主分类:大模型与生成式算法研发
算法与数据
来源 JD 数据(旧分类保留,当前主分类见上方)
{
    "schema_version": "via_ai_product_manager_jobs_v1",
    "data_type": "ai_product_manager_jobs",
    "job": {
        "job_title": "大模型算法工程师(压缩与轻量化方向) - PICO",
        "job_level": "未披露",AI生成
        "work_category": "全职",AI生成
        "department": "未披露",
        "location": "北京",
        "work_mode": "未披露",AI生成
        "job_category": "研发"AI生成
    },
    "company": {
        "company_name": "字节跳动",
        "company_industry": "互联网 / 数字内容 / 电商",
        "company_size": "10000人以上",
        "company_website": "bytedance.com",
        "company_description": "字节跳动提供内容创作、信息分发、电商和协作产品,旗下产品包括抖音、今日头条、TikTok和飞书。"
    },
    "compensation": {
        "salary_range": {
            "min": "",
            "max": "",
            "currency": "未披露",
            "cycle": "未披露"
        },
        "benefits": "未披露"
    },
    "requirements": {
        "working_years": "",
        "degree": "获得硕士学位及以上",
        "language": "未披露",AI生成
        "visa_support": "未披露",
        "responsibilities": "团队介绍:作为一家拥有自主创新和研发创造能力的科技品牌,PICO致力于成为领先的世界级XR平台,成就开发者与创作者,共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域,为运动、视频、娱乐等消费级场景带来了全新体验;并广泛应用在教育、医疗和企业培训等商用场景,给全球企业级用户提供了多元化的VR解决方案。\n\n1、轻量化算法研发:主导大语言模型(LLM)及多模态模型的轻量化算法研究,包括量化(Quantization)、剪枝(Pruning)、稀疏化(Sparsity)与知识蒸馏(Knowledge Distillation),投机采样;\n2、极低比特量化突破:设计并实现高效的后训练量化(PTQ)与量化感知训练(QAT)方案;深入探索低比特(INT8、INT4、FP8、NF4等)量化算法(如AWQ,GPTQ,SmoothQuant,OmniQuant等),在保证模型精度(Perplexity与下游任务准确率)的前提下逼近理论压缩极限;\n3、结构精简与稀疏化:研究并落地基于Transformer架构的结构化/非结构化剪枝方案、层级丢弃(Layer Dropping)、注意力机制优化以及早期退出(Early Exit)机制,降低模型理论计算复杂度(FLOPs);\n4、知识蒸馏链路构建:设计从千亿级Teacher模型向轻量级Student模型转移知识的蒸馏体系,包括LoGits蒸馏、中间特征/注意力矩阵蒸馏,以及基于特定领域指令微调(SFT)数据的自蒸馏机制;\n5、精度损失分析与对齐:构建完善的模型轻量化评测体系,能够快速定位在压缩过程中产生精度坍塌或能力退化的根本原因(如异常值Outliers分布分析),并提出针对性的算法补偿策略。",
        "requirements_text": "1、获得硕士学位及以上,计算机、数学、人工智能或相关专业优先;\n2、具备扎实的机器学习与数学理论基础;精通Python和PyTorch,能高效实现并复现复杂的深度学习算法;\n3、深入理解Transformer架构的底层逻辑(Self-Attention,KV Cache,GQA/MQA,MoE机制,各类位置编码等);\n4、具备丰富的模型压缩实战经验,主导或深度参与过大参数量模型的压缩项目;\n5、对主流的大模型量化算法原理及其数学推导有深刻理解,清楚不同量化方案在处理权重(Weight)和激活值(Activation)时的优劣与边界;\n6、具备较强的Paper阅读能力与严谨的实验分析习惯,能够从数据分布、模型梯度的微观层面分析轻量化带来的影响。\n\n加分项:\n1、在AI会议(ICLR,ICML,NeurIPS,ACL,EMNLP等)发表过模型压缩、高效AI(Efficient Inference/TinyML)相关的高质量论文;\n2、深入阅读并修改过业界知名模型压缩库的源码,或向bitsandbytes,AutoGPTQ,AutoAWQ,vLLM(量化模块),Neural Magic等开源项目贡献过代码;\n3、熟悉Megatron-LM、DeepSpeed等分布式训练框架,有在多机多卡环境下进行大规模QAT(量化感知训练)或大规模知识蒸馏的实操经验;\n4、了解GPU(CUDA)或NPU的底层访存与计算特性,了解W4A16、W8A8等量化算子的实际硬件加速瓶颈(Memory-bound vs Compute-bound),具备“算法-硬件”联合设计的意识。",
        "skills": [AI生成
            "Python",
            "PyTorch",
            "CUDA",
            "机器学习",
            "深度学习",
            "大语言模型"
        ],
        "preferred_qualifications": "1、获得硕士学位及以上,计算机、数学、人工智能或相关专业优先;加分项:",
        "job_highlights": "未披露"
    },
    "contact": {
        "recruiter_name": "未披露",
        "contact_methods": [
            {
                "type": "apply_link",
                "value": "https://jobs.bytedance.com/experienced/position/7665248338118068485/detail"
            }
        ]
    },
    "posting": {
        "posting_id": "7665248338118068485",
        "post_date": "2026-07-22",
        "hire_time": "未披露",
        "update_date": "20260917",
        "job_url": "https://jobs.bytedance.com/experienced/position/7665248338118068485/detail"
    },
    "fulltext": "大模型算法工程师(压缩与轻量化方向) - PICO\n职位描述\n团队介绍:作为一家拥有自主创新和研发创造能力的科技品牌,PICO致力于成为领先的世界级XR平台,成就开发者与创作者,共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域,为运动、视频、娱乐等消费级场景带来了全新体验;并广泛应用在教育、医疗和企业培训等商用场景,给全球企业级用户提供了多元化的VR解决方案。\n\n1、轻量化算法研发:主导大语言模型(LLM)及多模态模型的轻量化算法研究,包括量化(Quantization)、剪枝(Pruning)、稀疏化(Sparsity)与知识蒸馏(Knowledge Distillation),投机采样;\n2、极低比特量化突破:设计并实现高效的后训练量化(PTQ)与量化感知训练(QAT)方案;深入探索低比特(INT8、INT4、FP8、NF4等)量化算法(如AWQ,GPTQ,SmoothQuant,OmniQuant等),在保证模型精度(Perplexity与下游任务准确率)的前提下逼近理论压缩极限;\n3、结构精简与稀疏化:研究并落地基于Transformer架构的结构化/非结构化剪枝方案、层级丢弃(Layer Dropping)、注意力机制优化以及早期退出(Early Exit)机制,降低模型理论计算复杂度(FLOPs);\n4、知识蒸馏链路构建:设计从千亿级Teacher模型向轻量级Student模型转移知识的蒸馏体系,包括LoGits蒸馏、中间特征/注意力矩阵蒸馏,以及基于特定领域指令微调(SFT)数据的自蒸馏机制;\n5、精度损失分析与对齐:构建完善的模型轻量化评测体系,能够快速定位在压缩过程中产生精度坍塌或能力退化的根本原因(如异常值Outliers分布分析),并提出针对性的算法补偿策略。\n\n职位要求\n1、获得硕士学位及以上,计算机、数学、人工智能或相关专业优先;\n2、具备扎实的机器学习与数学理论基础;精通Python和PyTorch,能高效实现并复现复杂的深度学习算法;\n3、深入理解Transformer架构的底层逻辑(Self-Attention,KV Cache,GQA/MQA,MoE机制,各类位置编码等);\n4、具备丰富的模型压缩实战经验,主导或深度参与过大参数量模型的压缩项目;\n5、对主流的大模型量化算法原理及其数学推导有深刻理解,清楚不同量化方案在处理权重(Weight)和激活值(Activation)时的优劣与边界;\n6、具备较强的Paper阅读能力与严谨的实验分析习惯,能够从数据分布、模型梯度的微观层面分析轻量化带来的影响。\n\n加分项:\n1、在AI会议(ICLR,ICML,NeurIPS,ACL,EMNLP等)发表过模型压缩、高效AI(Efficient Inference/TinyML)相关的高质量论文;\n2、深入阅读并修改过业界知名模型压缩库的源码,或向bitsandbytes,AutoGPTQ,AutoAWQ,vLLM(量化模块),Neural Magic等开源项目贡献过代码;\n3、熟悉Megatron-LM、DeepSpeed等分布式训练框架,有在多机多卡环境下进行大规模QAT(量化感知训练)或大规模知识蒸馏的实操经验;\n4、了解GPU(CUDA)或NPU的底层访存与计算特性,了解W4A16、W8A8等量化算子的实际硬件加速瓶颈(Memory-bound vs Compute-bound),具备“算法-硬件”联合设计的意识。\n团队介绍:作为一家拥有自主创新和研发创造能力的科技品牌,PICO致力于成为领先的世界级XR平台,成就开发者与创作者,共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域,为运动、视频、娱乐等消费级场景带来了全新体验;并广泛应用在教育、医疗和企业培训等商用场景,给全球企业级用户提供了多元化的VR解决方案。\n\n1、轻量化算法研发:主导大语言模型(LLM)及多模态模型的轻量化算法研究,包括量化(Quantization)、剪枝(Pruning)、稀疏化(Sparsity)与知识蒸馏(Knowledge Distillation),投机采样;\n2、极低比特量化突破:设计并实现高效的后训练量化(PTQ)与量化感知训练(QAT)方案;深入探索低比特(INT8、INT4、FP8、NF4等)量化算法(如AWQ,GPTQ,SmoothQuant,OmniQuant等),在保证模型精度(Perplexity与下游任务准确率)的前提下逼近理论压缩极限;\n3、结构精简与稀疏化:研究并落地基于Transformer架构的结构化/非结构化剪枝方案、层级丢弃(Layer Dropping)、注意力机制优化以及早期退出(Early Exit)机制,降低模型理论计算复杂度(FLOPs);\n4、知识蒸馏链路构建:设计从千亿级Teacher模型向轻量级Student模型转移知识的蒸馏体系,包括LoGits蒸馏、中间特征/注意力矩阵蒸馏,以及基于特定领域指令微调(SFT)数据的自蒸馏机制;\n5、精度损失分析与对齐:构建完善的模型轻量化评测体系,能够快速定位在压缩过程中产生精度坍塌或能力退化的根本原因(如异常值Outliers分布分析),并提出针对性的算法补偿策略。\n1、获得硕士学位及以上,计算机、数学、人工智能或相关专业优先;\n2、具备扎实的机器学习与数学理论基础;精通Python和PyTorch,能高效实现并复现复杂的深度学习算法;\n3、深入理解Transformer架构的底层逻辑(Self-Attention,KV Cache,GQA/MQA,MoE机制,各类位置编码等);\n4、具备丰富的模型压缩实战经验,主导或深度参与过大参数量模型的压缩项目;\n5、对主流的大模型量化算法原理及其数学推导有深刻理解,清楚不同量化方案在处理权重(Weight)和激活值(Activation)时的优劣与边界;\n6、具备较强的Paper阅读能力与严谨的实验分析习惯,能够从数据分布、模型梯度的微观层面分析轻量化带来的影响。\n\n加分项:\n1、在AI会议(ICLR,ICML,NeurIPS,ACL,EMNLP等)发表过模型压缩、高效AI(Efficient Inference/TinyML)相关的高质量论文;\n2、深入阅读并修改过业界知名模型压缩库的源码,或向bitsandbytes,AutoGPTQ,AutoAWQ,vLLM(量化模块),Neural Magic等开源项目贡献过代码;\n3、熟悉Megatron-LM、DeepSpeed等分布式训练框架,有在多机多卡环境下进行大规模QAT(量化感知训练)或大规模知识蒸馏的实操经验;\n4、了解GPU(CUDA)或NPU的底层访存与计算特性,了解W4A16、W8A8等量化算子的实际硬件加速瓶颈(Memory-bound vs Compute-bound),具备“算法-硬件”联合设计的意识。",
    "standard_classification": {
        "std_category_code": "T010",
        "std_aux_codes": [],
        "std_category_status": null,
        "std_taxonomy_version": "20261104"
    }
}