Model Catalog
Overview
Tổng quan
Model as a Service (MaaS) cho phép bạn dùng ngay các mô hình AI do DataVero triển khai và vận hành, thông qua API. Bạn không cần chuẩn bị GPU, không cần triển khai hay bảo trì mô hình: chỉ cần chọn mô hình, tạo API key và gọi.
Chi phí tính theo số token thực tế sử dụng, theo giá $ trên 1 triệu token.
MaaS giúp bạn làm gì?
- Tìm mô hình phù hợp trong Model Catalog: LLM, VLM, TTS, Embedding, Reranker.
- Gọi mô hình từ ứng dụng bằng API key và code mẫu có sẵn.
- Thử mô hình ngay trên giao diện bằng Playground, không cần viết code.
- Quản lý tập trung qua AI Gateway: đưa mô hình MaaS vào AI Gateway để dùng chung Virtual Key, Guardrail và MCP Server với các mô hình khác.
- Theo dõi chi phí so với hạn mức của gói.
MaaS khác gì Model Serving?
| Model as a Service | Model Serving | |
|---|---|---|
| Ai triển khai và vận hành mô hình? | CMC | Bạn |
| Mô hình | Danh sách có sẵn trong Model Catalog | Mô hình của bạn (MLflow, Hugging Face) |
| Bạn cần chuẩn bị tài nguyên? | Không | Có (CPU, RAM, GPU) |
| Phù hợp khi | Muốn dùng nhanh một mô hình có sẵn | Cần chạy mô hình riêng của mình |
Luồng sử dụng
- Chọn mô hình: vào Model Catalog > Model Catalog, xem mô tả, giá và giới hạn của mô hình.
- Thử nhanh (tùy chọn): bấm Test In Playground để xem mô hình trả lời ra sao.
- Tạo API key: bấm Generate API Key để tạo key cho mô hình đó. Bạn có thể chọn thêm các mô hình khác cho cùng một key.
- Gọi API: dùng key với code mẫu trong tab Inference API để tích hợp vào ứng dụng.
- Theo dõi chi phí: Tenant Admin xem mức đã dùng tại Model Catalog > Usage.
Nếu bạn đang dùng AI Gateway, có thể thay bước 3–4 bằng việc thêm mô hình MaaS vào AI Gateway và gọi bằng Virtual Key.
Ai làm được gì?
| Thao tác | Người dùng trong Tenant | Thành viên Project | Tenant Admin |
|---|---|---|---|
| Xem Model Catalog và chi tiết mô hình | ✅ | ✅ | ✅ |
| Tạo API key cho mô hình | — | ✅ | ✅ |
| Thử mô hình trong Playground | — | ✅ | ✅ |
| Thêm mô hình MaaS vào AI Gateway | — | ✅ | ✅ |
| Xem chi phí MaaS (Usage) | — | — | ✅ |
Nếu bạn chưa thuộc Project nào, bạn vẫn xem được Model Catalog nhưng sẽ không thấy nút Generate API Key và Test In Playground.
Một số khái niệm
| Thuật ngữ | Ý nghĩa |
|---|---|
| Model code | Mã định danh của mô hình, dùng khi gọi API. Ví dụ: cmc-llm-34b-instruct |
| Context length | Số token tối đa mô hình xử lý trong một lần gọi |
| Max tokens | Số token tối đa mô hình trả về trong một lần gọi |
| Input / Output / Cached | Ba loại token được tính giá: token bạn gửi lên, token mô hình trả về, và token đầu vào được lấy lại từ bộ nhớ đệm |
| RPM / TPM | Số request / số token tối đa mỗi phút cho một key |
| Max concurrent requests | Số request tối đa được xử lý cùng lúc cho một key |
| Usage limit | Số tiền tối đa Tenant được dùng cho MaaS trong một chu kỳ, theo gói dịch vụ |
Tài liệu chi tiết
- Khám phá Model Catalog
- Tạo API key và gọi mô hình
- Thử mô hình trong Playground
- Thêm mô hình MaaS vào AI Gateway
💡 Gợi ý: Hãy thử mô hình trong Playground trước khi tích hợp. Lưu ý request trong Playground cũng được tính phí vào hạn mức của Tenant.