Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Tổng quan

TokenLab tự động quản lý việc lưu bộ nhớ đệm (caching) để tối ưu hóa hiệu suất và giảm chi phí. Mặc dù không có endpoint công khai để xóa các mục cache, bạn có toàn quyền kiểm soát hành vi caching thông qua các điều khiển ở cấp độ yêu cầu (request-level). Đây là hướng dẫn cache ở phía request. Nếu bạn cần các trang strict API reference, hãy xem:

​
Bỏ qua Cache

Để nhận các phản hồi mới mà không sử dụng cache, hãy sử dụng tham số cache_control trong yêu cầu của bạn: 
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}],
    "cache_control": {"type": "no_cache"}
  }'

​
Các tùy chọn Cache Control

LoạiTác động
no_cacheBỏ qua tra cứu và ghi cache; luôn nhận phản hồi mới
no_storeKhông lưu phản hồi này vào cache
response_onlyChỉ sử dụng cache khớp chính xác (bỏ qua semantic)
semantic_onlyChỉ sử dụng cache ngữ nghĩa (skip semantic) (bỏ qua khớp chính xác)

​
Phản hồi về Cache

Nếu bạn nhận được một phản hồi từ cache không chính xác, bạn có thể báo cáo nó: Hãy dùng định danh request/cache entry đã cache hit trong tổ chức của bạn; ID tùy ý sẽ bị từ chối. 
curl -X POST "https://api.tokenlab.sh/v1/cache/feedback" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "cache_entry_id": "req_1234567890",
    "feedback_type": "wrong_answer",
    "description": "Response was outdated"
  }'
Khi một mục cache nhận đủ số lượng phản hồi tiêu cực, nó sẽ tự động bị vô hiệu hóa.

​
Các trường hợp sử dụng

Trong quá trình phát triển, hãy sử dụng cache_control: {"type": "no_cache"} để đảm bảo bạn đang nhận được các phản hồi API mới nhất.
Đối với dữ liệu thời gian thực như giá cổ phiếu hoặc thời tiết, hãy luôn sử dụng no_cache để lấy thông tin hiện tại.
Khi gỡ lỗi các phản hồi không mong muốn, hãy sử dụng no_cache để loại trừ các kết quả được lưu trong cache.
Để biết thêm chi tiết về caching, hãy xem Hướng dẫn Caching.