Senior Machine Learning Engineer, LLM Inference Optimization
Full-time · Senior Level · Anywhere
Thông tin công việc
- Hình thức: Làm việc từ xa (remote)
- Mức lương: Thỏa thuận
- Ngành: Product
- Chuyên môn: Software Engineering
- Cấp bậc: Senior Level
- Khu vực tuyển: Anywhere
- Ngày đăng: 03/10/2026
Mô tả công việc
Vị trí này chịu trách nhiệm tối ưu hóa model và endpoint cho các dịch vụ inference LLM/VLM quy mô lớn, từ artifact đến triển khai production, tập trung vào độ trễ, throughput, bộ nhớ, GPU và chi phí mỗi token. Ứng viên cần có kỹ năng Python/PyTorch mạnh, kinh nghiệm thực chiến với các inference stack như vLLM, SGLang, TensorRT-LLM, cùng hiểu biết sâu về KV cache, attention, batching và các kỹ thuật nén mô hình. Phù hợp với kỹ sư ML senior thích giải quyết vấn đề serving phức tạp, phối hợp với team kernel/nền tảng và tạo ra cải thiện đo lường được trong môi trường production.