Quản lý Virtual Key trong AI Gateway

Virtual Key giúp bạn làm gì?

Virtual Key là gì?

Là khóa xác thực để AI Gateway biết request đến từ bạn và key đó được phép dùng những model nào, guardrail nào hoặc MCP server nào.

Giúp bạn làm gì?

Thử model trong Playground hoặc kết nối service, ứng dụng của bạn với AI Gateway.
Kiểm soát việc sử dụng: chọn model/guardrail/MCP server được phép dùng, đặt giới hạn tốc độ (TPM, RPM), ngân sách và thời hạn cho key.

Vì sao cần giữ key an toàn?

Ai có key đều có thể gửi request đến AI Gateway bằng quyền của key đó và tiêu ngân sách của key. Vì vậy:

Không chia sẻ key công khai hoặc đưa vào mã nguồn.
Đặt giới hạn model, ngân sách và thời hạn để giảm rủi ro nếu key bị lộ.
Nếu nghi ngờ key bị lộ thì Rotate hoặc Revoke ngay.

Tạo key của bạn

Vào AI Gateway > Models > Virtual keys, chọn nút tạo key mới +Create.
Nhập Key Name (bắt buộc) và nhập mô tả nếu cần.
Lựa chọn dịch vụ cần gắn với Virtual Key: Model, Guardrails hoặc MCP Server.
Chỉnh thêm nếu muốn giới hạn tốc độ, ngân sách, thời hạn của khóa.
Chọn Create.
Sao chép key hiển thị trong popup và lưu lại.

Thông tin chung

Trường	Bắt buộc	Mô tả	Quy tắc	Ví dụ
Project	Có	Project chứa key	Tự động điền, gắn với Project hiện tại.
Select Models	Không	Model mà key được phép dùng	Để trống: dùng được tất cả model. Chọn model: chỉ dùng được các model đã chọn	`all-proxy-models` (để trống), `Bedrock/abc`
Key Name	Có	Tên của key	Độ dài 1–30 ký tự. Chỉ dùng chữ thường a–z, số 0–9, dấu gạch dưới (`_`) và dấu gạch ngang (`-`).	`my_api_key`
Description	Không	Mô tả mục đích sử dụng key	—	`Key dùng cho môi trường test`

Optional Settings

Phần này không bắt buộc. Để trống thì key không bị giới hạn thêm.

Field	Mô tả	Giá trị	Quy tắc
Token Per Minute (TPM)	Giới hạn số token mỗi phút	Mặc định: Unlimited	Chỉ chấp nhận số nguyên dương. Nếu không điền sẽ không bị giới hạn
TPM Limit Type	Cách hệ thống đáp ứng mức TPM đã đặt	- `Best effort throughput`: cố gắng đáp ứng nhưng không cam kết, lúc nhiều request có thể chậm hơn mức đã đặt. - `Guaranteed throughput`: cam kết đáp ứng mức đã đặt. - `Dynamic`: tự điều chỉnh tốc độ của key theo tải hiện tại.	—
Requests Per Minute (RPM)	Giới hạn số request mỗi phút	Mặc định: Unlimited	Chỉ chấp nhận số nguyên dương. Nếu không điền sẽ không bị giới hạn
RPM Limit Type	Cách hệ thống đáp ứng mức RPM đã đặt	- `Best effort throughput`: cố gắng đáp ứng nhưng không cam kết, lúc nhiều request có thể chậm hơn mức đã đặt. - `Guaranteed throughput`: cam kết đáp ứng mức đã đặt. - `Dynamic`: tự điều chỉnh tốc độ của key theo tải hiện tại.	—
Max Budget	Ngân sách tối đa, đơn vị USD	Mặc định: Unlimited	Chỉ chấp nhận số nguyên dương. Nếu không điền gì sẽ không bị giới hạn
Budget Duration	Chu kỳ tính ngân sách	- `Daily`: hàng ngày - `Weekly`: hàng tuần - `Monthly`: hàng tháng	—
Key Expiration	Thời hạn của key	7 days, 30 days, 90 days, 1 year, Never	Key hết hạn chuyển sang trạng thái Expired.
Guardrails	Áp dụng chính sách guardrail cho key	Chọn guardrail	Để trống: không áp dụng guardrail.
MCP Server	Bật các công cụ MCP cho key	Chọn MCP Server hoặc Toolset	Để trống (No MCP Servers): không bật.

Lưu ý quan trọng

Sau khi tạo thành công, bạn sẽ thấy popup Virtual Key Created kèm key đầy đủ.

Key đầy đủ chỉ hiển thị một lần duy nhất, hãy sao chép và lưu ở nơi an toàn trước khi đóng popup.
Không chia sẻ key công khai hoặc đưa vào mã nguồn.
Lỡ mất key? Dùng Rotate Key để lấy key mới.

Áp dụng Virtual key

Trong Playground

Vào Playground, chọn chế độ AI Gateway và nhập key để dùng thử model/guardrail/MCP server. Xem Thử mô hình AI Gateway.

Trong service hoặc ứng dụng của bạn

Dùng key làm khóa xác thực để service gửi request đến AI Gateway. Service chỉ gọi được các model bạn đã chọn khi tạo key, và chịu các giới hạn TPM, RPM, ngân sách, thời hạn của key.

Nên dùng một key riêng cho mỗi service để dễ theo dõi và thu hồi riêng khi cần.