AI & ANALYTIC

Giới thiệu

AI & ANALYTIC tương ứng với nhóm menu AI/ML trên DataVero, gồm Model registry, Serving endpoints, Playground, AI gateway và Model Catalog. Nhóm chức năng này hỗ trợ quản lý mô hình, triển khai API, thử nghiệm và sử dụng mô hình AI.

GPU Virtual Machine và Notebooks thuộc AI Infrastructure, không nằm trong menu AI/ML. Notebook có thể kết nối MLflow để ghi nhận thử nghiệm và đăng ký mô hình trước khi triển khai.

Nhóm chức năng này cũng cung cấp AI Gateway để đăng ký và sử dụng các mô hình từ provider thông qua Virtual Key, thay vì đưa trực tiếp khóa của provider cho ứng dụng.

Các luồng sử dụng chính gồm đăng ký và triển khai mô hình, tích hợp mô hình qua AI Gateway hoặc gọi mô hình từ Model Catalog. Có thể thử nghiệm trên Playground theo các lựa chọn mô hình được cung cấp trên giao diện.

Chức năng chính

Model Registry quản lý mô hình và phiên bản đã đăng ký. All Models trong AI Gateway quản lý ánh xạ mô hình của provider sang tên công khai dùng khi gọi API. Đây là hai chức năng khác nhau.

Đối tượng và điều kiện sử dụng

AI & Analytic phù hợp với Data Scientist, ML Engineer, MLOps Engineer và Developer tích hợp API AI.

Trước khi bắt đầu, cần bảo đảm:

• Đã đăng nhập, chọn đúng Project và được cấp quyền cho chức năng cần sử dụng.
• Dịch vụ tương ứng đã được kích hoạt theo gói đăng ký.
• Có dữ liệu đầu vào và quyền truy cập nếu thực hiện phân tích hoặc huấn luyện.
• Có đủ CPU, Memory, Storage và GPU nếu workload yêu cầu; cấu hình nằm trong hạn mức được cấp.
• Có MLflow deployment đang hoạt động nếu cần ghi nhận thử nghiệm và đăng ký mô hình từ Notebook.
• Với Model Serving, đã chuẩn bị mô hình từ MLflow hoặc Hugging Face và chọn runtime phù hợp.
• Với AI Gateway, có credential hợp lệ của provider cần kết nối.

Tham khảo hướng dẫn thiết lập ban đầu, Data Management, AI Infrastructure và Manage.

Luồng phát triển và triển khai mô hình

Chuẩn bị môi trường tại AI Infrastructure

Nếu cần huấn luyện mô hình, chuẩn bị Volume tại Configuration > Storage > Volumes, sau đó tạo môi trường tại AI Infrastructure > Notebooks hoặc GPU Virtual Machine. Notebook cần đúng 1 Block Volume, có thể gắn thêm nhiều NFS Volume. Khi môi trường sẵn sàng, chạy mã nguồn và kết nối MLflow để ghi nhận thử nghiệm.

Chi tiết: AI Infrastructure, Notebook.

Kết nối MLflow và ghi nhận thử nghiệm

1. Mở thông tin kết nối của MLflow deployment đang chạy.
2. Lấy đoạn mã kết nối và đặt vào cell đầu tiên của Notebook.
3. Chạy cell kết nối trước các cell huấn luyện.
4. Chạy thử nghiệm, ghi nhận parameters, metrics và model bằng MLflow.
5. Đăng ký mô hình để quản lý trong Model Registry.

Địa chỉ MLflow có dạng svc.cluster.local là địa chỉ nội bộ, không dùng trực tiếp từ máy tính cá nhân bên ngoài hệ thống. Metrics cần được ghi nhận trong quá trình chạy để có thể xem trong Model Registry.

Chi tiết: kết nối Notebook với MLflow, Experiment & Model Registry.

Kiểm tra mô hình và phiên bản

1. Mở AI/ML > Model Registry trong Project hiện tại.
2. Tìm mô hình hoặc lọc theo nguồn MLflow.
3. Mở chi tiết và chọn phiên bản cần đánh giá.
4. Kiểm tra Metadata, Parameters, Tags, Metrics và Source run.
5. Xác định phiên bản phù hợp trước khi triển khai.

Chi tiết: Experiment & Model Registry.

Triển khai và kiểm thử Serving Endpoint

1. Chọn Serve Model từ chi tiết mô hình hoặc Serve new model tại Serving Endpoints.
2. Khai báo tên serving, mô tả và chọn Serving Key đã tạo tại Configuration > Access keys nếu đã chuẩn bị.
3. Chọn nguồn mô hình: MLflow với model và version cụ thể, hoặc Hugging Face với tên mô hình tương ứng.
4. Chọn runtime, phiên bản runtime và cấu hình CPU, Memory, GPU, Replicas theo yêu cầu mô hình.
5. Nhấn Create, theo dõi đến khi endpoint chuyển sang Running.
6. Kiểm tra hoặc gán Serving Key để kiểm soát truy cập API; CLI Key và Model as a Service Key không dùng cho Serving Endpoint.
7. Dùng Endpoint URL và mã gọi mẫu trong Basic Info để gửi yêu cầu kiểm thử; thay các giá trị mẫu bằng thông tin thực tế.
8. Kiểm tra phản hồi, Logs và Metrics trước khi tích hợp vào ứng dụng.

Chi tiết: Serving Endpoints, Access Key.

Luồng sử dụng mô hình qua AI Gateway

1. Mở AI/ML > AI gateway > Models, chọn tab Credentials và thêm credential cho provider cần sử dụng.
2. Tại All Models, thêm tên mô hình của provider, cấu hình Public Model Name, mode và chọn credential tương ứng.
3. Tại Virtual Key, tạo khóa cho người dùng hoặc ứng dụng; chọn các mô hình được phép truy cập.
4. Thiết lập TPM, RPM, ngân sách và thời hạn theo nhu cầu kiểm soát.
5. Lưu giá trị Virtual Key vào nơi an toàn ngay khi tạo; giá trị này chỉ hiển thị một lần.
6. Tích hợp API gateway bằng Virtual Key và Public Model Name đã cấu hình.
7. Theo dõi trạng thái, số request và lần sử dụng gần nhất; chỉnh sửa giới hạn hoặc thu hồi key khi cần.

Chi tiết: Manage credentials, Configure model providers, Virtual keys.

Sử dụng Model Catalog và Playground

1. Mở AI/ML > Model Catalog, chọn mô hình và xem hướng dẫn gọi API.
2. Chọn Generate API Key để mở form tạo key với loại Model as a Service Key và mô hình đã chọn sẵn; có thể chọn thêm mô hình cho cùng key.
3. Sao chép key một lần khi tạo, lưu an toàn và gọi API theo hướng dẫn của mô hình. Key chỉ gọi được các mô hình đã chọn.
4. Nếu cần thử nghiệm trên giao diện, mở AI/ML > Playground, chọn mô hình được cung cấp và kiểm tra phản hồi.

Chi tiết: Access Key, Tạo API key và gọi mô hình.

Vận hành và lưu ý

• Serving Key dùng cho Serving Endpoint; Model as a Service Key dùng cho mô hình đã chọn trong Model Catalog; CLI Key dùng cho CLI và SSH GPU VM. Các loại Access Key này không thay thế Virtual Key của AI Gateway.
• Không đưa API Key, Access Key hoặc Virtual Key vào mã nguồn chia sẻ, log hay tài liệu công khai.
• Chọn rõ phiên bản mô hình và runtime phù hợp trước khi tạo endpoint.
• Khi Notebook báo Resources Unavailable, kiểm tra tài nguyên còn lại và hạn mức được cấp.
• Khi endpoint báo Failed, kiểm tra Logs và cấu hình mô hình, runtime, tài nguyên trước khi thử lại.
• Volume tồn tại độc lập với Notebook hoặc GPU VM. Sao lưu dữ liệu cần thiết trước khi xóa Volume vì thao tác này không thể hoàn tác.
• Rotate Key làm giá trị key cũ mất hiệu lực ngay; cập nhật cấu hình ứng dụng sử dụng key đó.
• Xóa credential hoặc model trên gateway có thể làm gián đoạn các ứng dụng phụ thuộc.

Theo dõi tài nguyên tại Resource Usage Dashboard.

Kết quả mong đợi

Mô hình được quản lý theo phiên bản và triển khai thành endpoint có thể kiểm thử qua API. Ứng dụng có thể gọi mô hình qua AI Gateway bằng Virtual Key hoặc sử dụng Model Catalog bằng Model as a Service Key đúng phạm vi đã cấp; Playground hỗ trợ thử nghiệm trên giao diện.