Giới thiệu

Tính năng này cho phép bạn lựa chọn các phiên bản tốt nhất từ quá trình thí nghiệm (Experiments) để đưa vào vận hành thực tế.

Điều kiện tiên quyết

• Bạn đã đăng nhập vào hệ thống
• Bạn có quyền truy cập vào Project và policy Serving Endpoints

Quy trình thực hiện trên giao diện

Bước 1: Thiết lập thông tin định danh (Basic Info)

1. Truy cập menu Model Serving -> Serving Endpoints.
2. Nhấn nút + Serve new model ở góc phải màn hình.
3. Serving name: Nhập tên định danh duy nhất (Ví dụ: churn-prediction-v1).
   • Lưu ý: Chỉ chấp nhận chữ cái, số, dấu gạch ngang - và gạch dưới _.
4. Access Key: Chọn khóa truy cập từ danh sách thả xuống. Khóa này sẽ dùng để xác thực các yêu cầu gửi tới API sau này.
5. Description: Nhập mô tả mục đích (Tùy chọn). Nhấn Next.

Bước 2: Lựa chọn Mô hình & AI Gateway Label

Tại màn hình Model selection, thực hiện cấu hình:

1. Model hub: Chọn giá trị là MLflow.
2. Mlflow sources: Chọn máy chủ MLflow đang quản lý mô hình của bạn.
3. Registered model: Chọn tên mô hình đã được đăng ký trong Registry.
4. Version: Chọn số phiên bản cụ thể muốn triển khai.
5. Labels: Click chọn nhãn OpenAI compatible.
   • Ý nghĩa: Giúp đánh dấu mô hình có cấu hình đầu ra tương thích chuẩn OpenAI, cho phép tích hợp và quản lý (Promote) tại dịch vụ AI Gateway.

Bước 3: Cấu hình Runtime (Model Configuration)

Ngay sau khi bạn chọn "Registered model" và "Version", hệ thống sẽ kích hoạt tính năng Auto-recommended:

• Mode Auto-recommended: Hệ thống tự động phân tích định dạng mô hình để điền vào Runtime type (ví dụ: MLServer) và Runtime version phù hợp nhất.
• Advanced model configuration: Nếu bạn muốn thay đổi thủ công môi trường chạy, hãy tích chọn ô này để mở quyền chỉnh sửa các trường Runtime.

Bước 4: Phân bổ Tài nguyên & Khởi tạo

Tại màn hình Compute selection:

1. Nhập số CPU (cores) và Memory (GB).
2. Tại mục GPU, chọn cấu hình GPU phù hợp (nếu mô hình yêu cầu).
3. Replicas: Chọn số lượng bản sao chạy song song (mặc định là 1).
4. Tạo Tag để đánh dấu serving endpoint đã tạo
5. Kiểm tra lại toàn bộ thông tin đã nhập.
6. Nhấn Create để bắt đầu khởi tạo.
7. Hệ thống chuyển về danh sách Serving Endpoints.
8. Endpoint mới xuất hiện với trạng thái đang khởi động.
9. Nhấn Refresh để cập nhật. Khi chuyển sang Running là sẵn sàng sử dụng.

ℹ️ Nhấn Cancel để hủy và đóng form mà không tạo endpoint.

⚠️ Lưu ý: Cấu hình tài nguyên ảnh hưởng trực tiếp đến hiệu năng và chi phí vận hành. Tham khảo tài liệu kỹ thuật của mô hình để xác định yêu cầu tối thiểu.