Machine Learning Engineer, Evals
Full-time · Mid-level · Anywhere
Thông tin công việc
- Hình thức: Làm việc từ xa (remote)
- Mức lương: Thỏa thuận
- Ngành: Product
- Chuyên môn: Machine Learning Evaluation
- Cấp bậc: Mid-level
- Khu vực tuyển: Anywhere
- Ngày đăng: 03/10/2026
Mô tả công việc
Vị trí này chịu trách nhiệm vận hành toàn bộ pipeline đánh giá (eval) cho các mô hình ngôn ngữ lớn, từ việc tái lập kết quả đã biết, xây dựng quy trình hiệu chuẩn giám khảo (judge calibration), mở rộng các benchmark hiện có cho tới phân tích thất bại của mô hình và duy trì các quy trình eval định kỳ như bộ kiểm thử hồi quy hàng tuần hay dashboard theo dõi độ lệch của judge. Ứng viên phù hợp cần có ít nhất 3 năm kinh nghiệm về software/ML engineering hoặc data science, thành thạo Python cùng Git, Docker, CI/CD, có hiểu biết thực tế về các framework đánh giá LLM và nền tảng thống kê eval (độ đồng thuận Cohen's κ, khoảng tin cậy, xử lý tính phi xác định). Đây là vai trò lý tưởng cho người vừa có nền tảng kỹ thuật vững vàng, vừa quen làm việc với LLM, có tư duy phân tích nhạy bén, giao tiếp tốt với cả nhà nghiên cứu lẫn kỹ sư và thoải mái với sự mơ hồ để biến những yêu cầu còn dang dở thành kế hoạch cụ thể.