AI Infrastructure

1. Giới thiệu

AI Infrastructure cung cấp môi trường tính toán để phát triển, thử nghiệm và chạy các tác vụ AI trên DataVero. Nhóm menu này gồm GPU Virtual Machine và Notebooks; mô hình và API được quản lý riêng tại AI/ML, tương ứng tài liệu AI & ANALYTIC.

2. Chức năng chính

3. Điều kiện sử dụng

• Đã đăng nhập, chọn đúng Project và có quyền sử dụng dịch vụ.
• Dịch vụ đã được kích hoạt, còn đủ hạn mức CPU, Memory, GPU và Storage theo cấu hình cần dùng.
• Đã tạo Volume trong Configuration > Storage > Volumes: Notebook cần đúng 1 Block Volume, có thể gắn thêm nhiều NFS Volume; GPU VM cần 1–5 Block Volume.
• Có CLI Key thuộc Project, CLI của nền tảng và private key SSH phù hợp nếu cần kết nối GPU VM.

Tài nguyên lưu trữ và khóa được chuẩn bị tại Manage. Các loại Compute Cluster Job, Ingestion Job và SQL Warehouse không thay thế cấu hình tài nguyên riêng của GPU VM hoặc Notebook.

4. Quy trình sử dụng

4.1. GPU Virtual Machine

1. Chọn AI Infrastructure > GPU Virtual Machine trong Project cần sử dụng.
2. Tạo VM theo cấu hình được phép trên giao diện, chọn 1–5 Block Volume trong Project.
3. Kiểm tra trạng thái VM trước khi kết nối.
4. Tạo CLI Key tại Configuration > Access keys và cài CLI theo hướng dẫn GPU VM.
5. Đăng nhập, xem VM và mở SSH từ terminal trên máy cá nhân:

rubick login
rubick get vms
rubick ssh -i <path_to_private_key> <vm_name_or_id>

CLI Key chỉ cho phép xem danh sách GPU VM và kết nối SSH, không tạo, sửa hoặc xóa tài nguyên. SSH đi qua nền tảng nên VM không cần IP public. CLI Key xác thực với nền tảng, không thay thế private key SSH dùng trong lệnh kết nối.

Phiên SSH đóng sau 30 phút không hoạt động hoặc tối đa 12 giờ; mỗi VM có tối đa 8 phiên đồng thời. Thu hồi hoặc xóa CLI Key chặn phiên mới sau khoảng 30 giây, không ngắt ngay phiên đang mở.

4.2. Notebooks

1. Chuẩn bị Volume tại Configuration > Storage > Volumes.
2. Mở AI Infrastructure > Notebooks, chọn Create Notebook.
3. Khai báo tên, template, image và CPU, Memory, GPU theo nhu cầu và hạn mức.
4. Chọn đúng 1 Block Volume và các NFS Volumes nếu cần, rồi tạo Notebook.
5. Khởi động và kiểm tra trạng thái Running trước khi truy cập.
6. Chạy mã nguồn; kết nối MLflow nếu cần ghi nhận thử nghiệm và đăng ký mô hình để sử dụng tại AI/ML > Model registry.

Chi tiết: Notebook, Experiment & Model Registry.

5. Lưu ý vận hành

• Theo dõi tài nguyên tại Dashboard, là màn hình riêng ngoài AI Infrastructure và Configuration.
• Volume lưu dữ liệu độc lập với workload; xóa Notebook hoặc VM không đồng nghĩa xóa Volume. Xóa Volume mới xóa dữ liệu lưu trên đó và không thể hoàn tác.
• Chỉ tăng, không giảm dung lượng Volume; kiểm tra hạn mức còn lại trước khi mở rộng.
• Không chia sẻ CLI Key hoặc private key SSH; kiểm tra ứng dụng và phiên kết nối phụ thuộc trước khi thay đổi khóa.

6. Đối chiếu menu và tài liệu

Getting started và Dashboard là các mục riêng, không thuộc bốn nhóm trên. IAM, Workspace và Quota được quản lý tại Platform Management của Tenant Root.