Đăng ký, cấu hình mô hình
Giới thiệu
Tính năng này cho phép quản trị viên đăng ký các mô hình từ nhà cung cấp vào hệ thống AI Gateway, thiết lập tên định danh công khai và quy định cách thức tính phí.Mỗi model được ánh xạ từ tên nội bộ của provider sang một tên công khai (public name) để người dùng gọi qua Virtual Key.
Các provider được hỗ trợ:
| Provider | Mô tả |
|---|---|
| CMC | CMC AI Platform nội bộ |
| OpenAI | GPT-4, GPT-3.5, DALL-E... |
| Google AI Studio | Gemini, PaLM... |
| AWS Bedrock | Claude, Titan, Llama... |
Điều kiện tiên quyết
- Bạn đã đăng nhập vào hệ thống
- Bạn có quyền truy cập vào Project và policy Ai Gateway
Các bước thực hiện
- Đăng nhập vào hệ thống DataForge bằng tài khoản có quyền với AI Gateway.
- Chọn Project phù hợp (ví dụ:
Default) - Menu trái → AI Gateway → Models
Trang Model & Endpoints hiển thị với 3 tab: Credentials, All Models, Virtual Key. 4. Chọn tab All Models → Màn hình danh sách Models đã đăng ký hiển thị:
- Bộ lọc:
| Thành phần | Mô tả |
|---|---|
| Search | Tìm theo tên model |
| All providers | Lọc theo provider |
| Refresh | Tải lại danh sách |
| + Add Model | Thêm model mới vào gateway |
- Bảng danh sách — các cột:
| Cột | Mô tả |
|---|---|
| Model Public Name | Tên công khai, người dùng dùng để gọi qua API |
| Model Name | Tên nội bộ từ provider |
| Provider | Nhà cung cấp (ví dụ: openai) |
| Updated At | Ngày cập nhật |
| Last Check | Lần cuối kiểm tra health của model |
| Last Success | Lần cuối model phản hồi thành công |
| Actions | Menu ... → Delete |
Thêm Model mới
Click + Add Model để mở form Add New Model.
Phần 1 — Thông tin cơ bản
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Project | Tự điền | Project hiện tại, không chỉnh sửa |
| Provider | Có | Chọn nhà cung cấp (ví dụ: OpenAI) |
Phần 2 — Model Name(s) và Model Mappings
| Trường | Mô tả |
|---|---|
| Model Name(s) | Nhập tên model từ provider. Nhấn Enter để thêm nhiều model cùng lúc (hiển thị dạng tag) |
| Model Mappings | Bảng ánh xạ giữa Public Model Name (tên người dùng thấy) và Internal Model Name (tên thực của provider) |
Ví dụ: Nhập
1024-x-1024/dall-e-2→ hệ thống tạo mapping:
Public:1024-x-1024/dall-e-2↔ Internal:1024-x-1024/dall-e-2
Bạn có thể sửa Public Model Name thành tên ngắn hơn để dễ dùng.
Icon 🗑 trên mỗi dòng mapping để xóa mapping đó.
Phần 3 — Mode
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Mode | Không | Loại API của model |
Các mode:
| Mode | Mô tả |
|---|---|
| Chat | Model hội thoại (chat completion) |
| Completion | Model text completion |
| Embedding | Model tạo vector embedding |
Phần 4 — Credentials
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Existing Credentials | Có | Chọn credential đã tạo ở tab Credentials để model dùng khi gọi provider |
Phần 5 — Custom Pricing (tùy chọn)
Toggle Custom Pricing để ghi đè giá mặc định của provider:
| Trường | Mô tả |
|---|---|
| Custom Pricing (toggle) | Bật để khai báo giá riêng cho model này |
| Pricing Model | Đơn vị tính giá: Per million tokens |
| Input Cost (1M tok) | Chi phí cho 1 triệu token đầu vào |
| Output Cost (1M tok) | Chi phí cho 1 triệu token đầu ra |
- Nút thao tác:
| Nút | Hành động |
|---|---|
| Create Model | Đăng ký model vào gateway |
| Cancel | Hủy, không lưu |
Xóa Model
Trigger: ... → Delete
Dialog Delete model xuất hiện:
- Cảnh báo: "This action cannot be undone"
- Banner đỏ: "All data will be permanently deleted"
- Ô xác nhận: nhập đúng tên model công khai (ví dụ:
512-x-512/dall-e-2) để mở khóa nút Delete
⚠️ Model bị xóa sẽ không còn truy cập được qua Virtual Key. Virtual Key đang trỏ vào model này sẽ trả lỗi.