高级员工推理性能工程师
Senior Staff Inference Performance Engineer
美国 · 圣克拉拉 · 远程 · 全职 · 高级
USD 175,000-265,000/年 ≈ ¥1,242,500-1,881,500/年
AI 摘要
公司介绍
d-Matrix是一家开发内存中心架构的AI基础设施公司，打造从芯片、软件到机架级系统的产品，推动AI推理的高效可及。
岗位概述
该岗位隶属于d-Matrix的推理云工程团队，负责端到端的推理工作负载性能，需诊断全服务路径的性能问题，确保工作负载性能不低于裸金属水平，团队正攻克AI基础设施的核心挑战，采用内存中心架构打造高效能AI解决方案。
工作内容
- 诊断全服务路径的性能问题，覆盖编排到推理内部各环节
- 隔离问题至对应层与负责人，决定修复、转交或两者结合
- 编写可复现的问题说明，助力跨栈团队协作
- 保障编排工作负载的吞吐量、延迟与稳定性，缩小与裸金属的性能差距
- 评估从单部署到 fleet 运营的扩展需求
- 在编排层配置工作负载节点要求，确保高性能部署为默认
- 构建轻量级遥测与基准测试工具，隔离或转交问题
- 将重复调查转化为操作手册，指导工程师采用 profiling 方法
任职要求
- 8年以上性能或系统工程经验，解决跨栈的复杂性能回归问题
- 有在陌生、文档稀疏系统中通过 profiling 定位性能开销的经验
- 具备Linux、NUMA、CPU pinning等系统底层基础
- 有Kubernetes上性能敏感工作负载的运行经验
- 了解LLM推理服务的核心技术，如batching、KV-Cache等
- 精通Python和C/C++，可跨栈调试与代码修改
- 具备清晰的技术写作能力，供跨团队使用
加分项
- 有vLLM、SGLang等LLM推理框架使用经验
- 有构建或调优推测解码、异构服务架构的经验
- 有KV-Cache管理、请求调度等调优经验
- 有GPU编程与profiling经验，如CUDA、Nsight等
- 有Rust经验或创业公司工作经验
薪酬福利
- 薪资范围175K-265K美元
- 提供股权
- 提供奖金
注册后可直接申请、打开原始页面并收藏岗位
免费注册本页不是 d-Matrix 的官方页面。岗位信息由程序从雇主的官方招聘页面或招聘网站的公开接口汇集，来源见右侧；傅通自业与该雇主没有委托关系，未核验其营业资质。中文标题与摘要由 AI 生成，以原文为准；申请请前往来源页面，平台不向求职者收取任何费用。 排序与展示规则
原文节选
Join d-Matrix and help build the future of AI inference. We’ve pioneered a memory-centric architecture that brings compute directly into memory, making AI faster, more energy efficient, and accessible on a global scale. From chips and software to rack-scale systems, our team is tackling some of AI…
免费注册以上摘要与要点由 AI 生成，可能有误，请以原文为准。
来源方或用人单位如需删除、更正岗位信息，请发邮件至 contact@fintegrity.cn，我们将在 24 小时内处理。