DevOps Engineer (Middle to Senior)
TP. Hồ Chí Minh
Hạn nộp hồ sơ:
21/11/2026
Về công việc
Trách nhiệm chính
- Triển khai, vận hành và tối ưu Kubernetes clusters trên môi trường cloud hoặc on-premise.
- Xây dựng và vận hành LLM Inference Platform và Agent Platform phục vụ GenAI applications, AI agents và large-scale AI workloads.
- Triển khai và tối ưu các inference engines như vLLM, SGLang, Triton, TensorRT-LLM, llama.cpp, KServe, Ray Serve hoặc các nền tảng tương đương.
- Tối ưu inference performance cho LLM workloads thông qua batching, quantization, KV-cache optimization, parallelism và runtime tuning.
- Tối ưu GPU utilization, autoscaling, scheduling, latency và throughput cho large-scale inference systems.
- Thiết kế và vận hành scalable serving architectures cho multi-tenant AI workloads với các yêu cầu về high availability và cost efficiency.
- Thiết lập và vận hành monitoring & observability systems cho AI platform và inference workloads.
- Define và tinh chỉnh metrics, alert thresholds, SLO/SLA và error budgets cho inference services.
- Xây dựng deployment pipelines, rollout strategies và automation workflows cho AI systems.
- Tham gia xử lý sự cố, root cause analysis và cải thiện reliability của hệ thống.
- Phối hợp cùng AI Engineers và Product Teams để cải tiến AI platform và developer experience.
Yêu cầu
- 3+ năm kinh nghiệm ở vị trí Platform Engineer / SRE / DevOps Engineer hoặc các vị trí tương đương.
- Có kinh nghiệm triển khai và vận hành Kubernetes production workloads.
- Hiểu rõ Kubernetes ecosystem: networking, ingress, storage, autoscaling, observability, security.
- Có kinh nghiệm với monitoring & observability stack như Prometheus, Grafana, Loki, ELK/OpenSearch, OpenTelemetry.
- Có kinh nghiệm với CI/CD, GitOps, Helm, Terraform, ArgoCD hoặc các công cụ tương đương.
- Có khả năng viết automation scripts bằng Python / Bash / Go.
- Kiến thức tốt về Linux systems, networking, distributed systems và performance tuning.
- Chủ động, có tư duy hệ thống và khả năng xử lý production incidents.
- Có tư duy AI-native, chủ động ứng dụng AI tools và automation để tối ưu vận hành và nâng cao hiệu quả engineering workflows.
- Có kinh nghiệm với AI/ML infrastructure, GPU workloads, LLM inference systems và các inference engines như vLLM, SGLang, Triton, TensorRT-LLM, llama.cpp hoặc các hệ thống tương đương là lợi thế.
- Có hiểu biết về LLM inference optimization techniques như quantization, batching, tensor/pipeline parallelism hoặc KV-cache optimization là lợi thế.
Yêu cầu ưu tiên
- Có kinh nghiệm với LLMOps, RAG systems, AI agents hoặc agent orchestration frameworks.
- Có hiểu biết về inference orchestration, request routing hoặc disaggregated serving architectures là một lợi thế.
- Có kinh nghiệm với distributed systems như Kafka, ClickHouse, Elasticsearch/OpenSearch hoặc vector databases.
- Có kinh nghiệm triển khai AI platform trên môi trường on-premise hoặc private cloud là một lợi thế.
- Có chứng chỉ như CKA/CKAD/CKS, AWS/GCP/Azure Certified hoặc các chứng chỉ cloud/platform liên quan.
Thông tin khác
- Top 3 reasons to join us
- Why you'll love working here
- Attractive salary & benefits you'll love
- Building large-scale products
- Working in one of the best places to work in VN
- Job description