Tổng quan

AI Gateway là giải pháp quản lý tập trung (Centralized Management) dành cho các dịch vụ AI và các mô hình ngôn ngữ lớn (LLM). Nó đóng vai trò như một lớp trung gian thông minh nằm giữa ứng dụng của bạn và các nhà cung cấp mô hình (như OpenAI, Google, AWS, hoặc các mô hình nội bộ).

AI Gateway giúp đơn giản hóa việc quản lý nhiều nhà cung cấp, tăng cường bảo mật và cung cấp khả năng kiểm soát chi phí cũng như hiệu năng sử dụng AI trong toàn bộ dự án.

Tại sao cần dùng AI Gateway?

• Quản lý tập trung: Thay vì cấu hình riêng lẻ cho từng ứng dụng, bạn quản lý tất cả Credential và Model tại một nơi duy nhất.
• Bảo mật tuyệt đối: Sử dụng Virtual Key giúp giấu kín API Key gốc của nhà cung cấp, ngăn ngừa rò rỉ thông tin nhạy cảm.
• Kiểm soát chi phí: Theo dõi mức tiêu thụ token và thiết lập hạn mức (Quota) cho từng khóa ảo để đảm bảo ngân sách dự án.
• Tính sẵn sàng cao: Dễ dàng thay đổi mô hình gốc ở phía sau (vD: đổi từ GPT-3.5 sang GPT-4) mà không cần cấu hình lại mã nguồn ứng dụng nhờ cơ chế Model Mapping.

Luồng hoạt động chính

Quy trình sử dụng AI Gateway tuân theo 3 bước logic:

1. Thiết lập Kết nối (Credentials): Khai báo API Key của các nhà cung cấp như OpenAI, Google, hay AWS.
2. Cấu hình Mô hình (Models): Đăng ký các mô hình cụ thể và ánh xạ chúng sang những tên công khai (Public Names) dễ nhớ.
3. Cấp phát Truy cập (Virtual Keys): Tạo các khóa ảo để cấp quyền truy cập mô hình cho các ứng dụng hoặc nhóm người dùng khác nhau.

Tài liệu hướng dẫn chi tiết

Để khai thác tối đa sức mạnh của AI Gateway, bạn hãy tham khảo các hướng dẫn sau:

• Quản trị hệ thống:
  • Quản lý Credentials (Định danh nhà cung cấp)
  • Cấu hình Mô hình và Ánh xạ tên
• Vận hành và Sử dụng:
  • Quản lý Virtual Key (Khóa ảo)
  • AI Playground (Thử nghiệm mô hình trực quan)

💡 Gợi ý: Hãy bắt đầu bằng việc tạo một Credential và một Model Public Name đơn giản, sau đó dùng công cụ Playground để kiểm tra phản hồi trước khi tích hợp vào ứng dụng chính thức.