Vì sao nên đưa mô hình MaaS vào AI Gateway?

Bạn có thể gọi MaaS trực tiếp bằng MaaS key. Nhưng nếu ứng dụng của bạn dùng AI Gateway, hãy thêm mô hình MaaS vào đó để:

• Dùng chung key với các mô hình khác: một Virtual Key gọi được cả mô hình MaaS lẫn các mô hình khác trong Gateway.
• Dùng chung một cách gọi: ứng dụng gọi mô hình MaaS giống các mô hình khác trong Gateway.
• Kiểm soát theo từng key: dùng Virtual Key để giới hạn mô hình, tốc độ, ngân sách cho từng ứng dụng.
• Thêm lớp bảo vệ: gắn Guardrail để lọc nội dung, gắn MCP Server để mô hình dùng được công cụ.

Bạn không cần khai báo Credential cho mô hình MaaS. AI Gateway tự gọi MaaS thay cho Tenant của bạn.

Các bước thêm mô hình

Điều kiện: bạn là thành viên của Project đang chọn và có quyền tạo model trong AI Gateway.

1. Vào AI Gateway > Models, bấm Create.
2. Ở Provider, chọn DataVero - Model Catalog.
3. Ở Model Name(s), chọn một hoặc nhiều mô hình MaaS.
4. Mỗi mô hình đã chọn thêm một dòng vào Model Mappings:
   • Public model name: tên ứng dụng của bạn dùng để gọi. Mặc định là tên mô hình MaaS, có thể sửa, bắt buộc và không được trùng giữa các dòng.
   • Internal model name: model code của MaaS, không sửa được.
   
   Muốn bỏ một mô hình, xóa dòng tương ứng.
5. Chọn Mode.
6. Mở Advanced nếu cần (không bắt buộc):
   • Custom Pricing: mặc định tắt, Gateway dùng giá của MaaS. Bật lên để nhập Input Cost và Output Cost (trên 1 triệu token) riêng cho Gateway.
   • Guardrails: chọn Guardrail áp dụng.
   • MCP Server: chọn MCP Server cho mô hình dùng.
7. Kiểm tra lại ở khung Summary, rồi bấm Create.

Mô hình mới hiển thị trong AI Gateway > Models. Bấm Cancel hoặc Back để thoát mà không lưu.

Custom Pricing ảnh hưởng gì? Giá tùy chỉnh chỉ dùng để tính chi tiêu trong AI Gateway (ví dụ ngân sách của Virtual Key). Chi phí MaaS của Tenant, hiển thị ở trang Usage, luôn tính theo giá gốc của MaaS.

Sử dụng sau khi thêm

1. Tạo hoặc sửa Virtual Key để cho phép dùng mô hình vừa thêm.
2. Thử trong Playground, chế độ AI Gateway.
3. Trong ứng dụng, gọi AI Gateway bằng Virtual Key và Public model name.

Mỗi request qua Gateway:

• Tính vào hạn mức chi phí MaaS của Tenant, hiển thị trong MaaS Breakdown dưới tên mô hình MaaS.
• Tính vào chi tiêu trong AI Gateway, theo giá tùy chỉnh nếu có.

Nếu mô hình MaaS không còn được cung cấp, mô hình trong AI Gateway vẫn còn nhưng mọi request sẽ lỗi cho đến khi mô hình được cung cấp trở lại.