BYOK

Sử dụng API Key cá nhân

Trạm AI hỗ trợ cả Trạm AI credit lẫn tùy chọn dùng provider key của cá nhân (BYOK — Bring Your Own Key).

Khi người dùng dùng Trạm AI credit, rate limit cho từng provider đều do Trạm AI quản lý.

Việc dùng provider key cho phép người dùng kiểm soát trực tiếp rate limit và chi phí ngay trên tài khoản provider của mình.

Provider key của người dùng được mã hóa an toàn và được dùng cho mọi request được route qua provider đã chỉ định.

Khi dùng custom provider key, Trạm AI tính một khoản phí nền tảng (tỷ lệ phần trăm nhỏ so với mức phí thông thường của cùng model/provider đó trên Trạm AI), được khấu trừ vào credit. Một số lượng request BYOK đầu tiên mỗi tháng sẽ được miễn phí. Xem mức phí và số request miễn phí hiện tại trong cài đặt BYOK của workspace.

Thêm BYOK Key

Trạm AI hỗ trợ BYOK cho mọi provider đã được cấu hình trong hệ thống. Khi thêm một BYOK key trong cài đặt BYOK của workspace, người dùng cần cung cấp:

• API Key (bắt buộc): API key hoặc credential của provider.

Trạm AI chuyển credential thẳng đến hệ thống routing mà không xử lý thêm. Định dạng API key tùy thuộc vào từng provider — hãy tham khảo tài liệu của provider để biết cách lấy API key.

Mỗi key có thể được đặt một tên tùy chọn (ví dụ “Production”, “Team A”, “GPT-4 only”) để dễ sắp xếp khi có nhiều key.

Routing và Fallback

Mỗi BYOK key có một mode quyết định cách nó tham gia vào quá trình routing:

Mode được set trên từng key, không phải per provider. Nếu muốn luôn dùng key riêng cho một provider, hãy set tất cả key của provider đó sang mode strict.

Người dùng có thể thay đổi mode và kéo-thả sắp xếp thứ tự key trên trang chi tiết provider.

Nhiều Key cho cùng một Provider

Người dùng có thể cấu hình nhiều BYOK key cho cùng một provider. Mọi key khớp đều được dùng cho việc routing, và mỗi key tạo ra một bản sao endpoint riêng, gắn cố định với key đó trong suốt vòng đời của request.

Các key được thử theo thứ tự ưu tiên (priority) mà người dùng định nghĩa. Người dùng có thể sắp xếp lại bằng thao tác kéo-thả. Khi một key thất bại (ví dụ do rate limit hoặc lỗi), Trạm AI chuyển xuống key khớp tiếp theo.

Thứ tự routing chung: các key prioritized (theo priority) → endpoint chung của Trạm AI → các key fallback (theo priority). Key strict chỉ dùng BYOK, không xen endpoint chung vào giữa.

Bộ lọc Key

Mỗi BYOK key hỗ trợ các bộ lọc tùy chọn để kiểm soát khi nào nó được sử dụng:

• Model filter — Giới hạn key cho các model cụ thể (ví dụ chỉ dùng key này cho openai/gpt-4o). Khi được thiết lập, key chỉ áp dụng cho các request đến những model được liệt kê. Các model khác của cùng provider sẽ bỏ qua key này.
• API key filter — Giới hạn những Trạm AI API key nào được phép dùng BYOK key này. Hữu ích để khoanh vùng việc dùng BYOK cho từng ứng dụng hoặc môi trường cụ thể.

Các bộ lọc được đánh giá trước khi routing. Một key chỉ được dùng khi mọi bộ lọc đang hoạt động của nó đều khớp với request hiện tại. Nếu không thiết lập bộ lọc nào, key sẽ khả dụng cho mọi model và API key.

Kết hợp Bộ lọc với nhiều Key

Bộ lọc và nhiều key phối hợp với nhau để tạo nên các chiến lược routing linh hoạt. Ví dụ:

• Key A: OpenAI, model filter = [openai/gpt-4o], mode = strict
• Key B: OpenAI, không có model filter (khớp với mọi model), mode = prioritized

Với thiết lập này:

• Các request cho openai/gpt-4o thử Key A trước. Vì Key A là strict, nếu thất bại sẽ không fallback về endpoint chung mà chuyển sang Key B
• Các request cho những model OpenAI khác (ví dụ openai/gpt-4o-mini) chỉ dùng Key B, với endpoint chung làm fallback

Quản lý Key

Cập nhật Key

Người dùng có thể cập nhật một BYOK key đã có mà không cần xóa rồi thêm lại. Các thao tác hỗ trợ:

• Rotate API key: Thay đổi API key (ví dụ khi key cũ hết hạn hoặc bị lộ)
• Đổi tên: Thay đổi nhãn hiển thị của key
• Đổi mode/priority/scope: Chuyển key giữa Prioritized và Fallback, thay đổi thứ tự ưu tiên, hoặc cập nhật bộ lọc

Vô hiệu hóa và Xóa Key

• Vô hiệu hóa (Disable): Tạm gỡ key khỏi routing nhưng vẫn giữ credential. Người dùng có thể bật lại bất cứ lúc nào mà không cần nhập lại API key.
• Xóa (Delete): Xóa vĩnh viễn key và credential khỏi hệ thống. Thao tác này không thể hoàn tác.

Khắc phục sự cố

Nếu các BYOK request thất bại, hãy kiểm tra lỗi trả về từ API response. Người dùng cũng có thể xem chi tiết request trong trang Activity của dashboard Trạm AI.

Các mã lỗi thường gặp

• 400 Bad Request: Định dạng request không hợp lệ đối với provider. Hãy kiểm tra lại cấu hình model và key.
• 401 Unauthorized: API key không hợp lệ hoặc đã bị thu hồi. Hãy xác minh key trong console của provider.
• 403 Forbidden: API key không có quyền truy cập tài nguyên được yêu cầu. Hãy kiểm tra quyền trong console của provider (ví dụ: IAM policy cho AWS, service account permissions cho Google Cloud).
• 429 Too Many Requests: Đã chạm rate limit trên tài khoản provider của mình. Hãy kiểm tra cài đặt rate limit của provider, hoặc chờ một lúc rồi thử lại.
• 500 Server Error: Provider gặp lỗi nội bộ. Đây thường là sự cố tạm thời từ phía provider.

Người dùng có thể kiểm tra quyền provider của mình ngay trong console của provider bằng cách thử gọi model ở đó trước.