Dùng chế độ AI Gateway khi bạn muốn thử mô hình đúng như ứng dụng sẽ dùng qua AI Gateway, kèm Guardrail và MCP Server.

Trước khi bắt đầu, bạn cần có:

• Mô hình đã được thêm vào AI Gateway > Models.
• Một Virtual Key được phép dùng mô hình đó.

Lưu ý: Mỗi lần thử đều được tính phí vào hạn mức chi phí của Tenant.

Bắt đầu

1. Mở Playground trên thanh menu bên trái, chọn tab AI Gateway.
2. Ở Virtual Key, dán key của bạn. Bạn chỉ thấy những mô hình mà key này được phép dùng.
3. Ở Endpoint Type, chọn việc bạn muốn mô hình làm:

   Endpoint Type	Chọn khi bạn muốn	Kết quả
   /v1/chat/completions	Hỏi đáp, trò chuyện với mô hình	Câu trả lời dạng văn bản
   /v1/embeddings	Chuyển văn bản thành vector để tìm kiếm theo ý nghĩa	Một dãy số (vector)

4. Ở Select Model, chọn mô hình muốn thử.
5. (Tùy chọn) Ở Select Guardrail, chọn một hoặc nhiều Guardrail để lọc nội dung. Bấm View detail để xem Guardrail đó lọc những gì.
6. (Tùy chọn) Ở Select MCP server, chọn một hoặc nhiều MCP Server để mô hình dùng được công cụ bên ngoài. Bấm View detail để xem chi tiết.
7. Nhập nội dung vào ô Type your message... và gửi.

Câu trả lời hiển thị trong khung chat. Nếu nội dung bị Guardrail chặn, bạn sẽ thấy thông báo ngay trong khung chat. Đây cũng là cách kiểm tra Guardrail có hoạt động đúng không.

Mẹo

• So sánh mô hình: giữ nguyên câu hỏi, đổi mô hình rồi gửi lại.
• Kiểm tra Guardrail: gửi một câu có nội dung cần chặn, rồi bật / tắt Guardrail để thấy khác biệt.

Tài liệu liên quan

• Cấu hình mô hình trong AI Gateway
• Virtual Key
• Guardrail
• MCP Server