Langsung ke konten utama

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Gambaran Umum

TokenLab secara otomatis mengelola caching untuk mengoptimalkan performa dan mengurangi biaya. Meskipun tidak ada endpoint publik untuk menghapus entri cache, Anda memiliki kontrol penuh atas perilaku caching melalui kontrol tingkat permintaan. Ini adalah panduan cache sisi request. Untuk halaman strict API reference, lihat:

​
Melewati Cache

Untuk mendapatkan respons terbaru tanpa menggunakan cache, gunakan parameter cache_control dalam permintaan Anda: 
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}],
    "cache_control": {"type": "no_cache"}
  }'

​
Opsi Kontrol Cache

TipeEfek
no_cacheLewati pencarian dan penyimpanan cache; selalu dapatkan respons terbaru
no_storeJangan simpan respons ini di dalam cache
response_onlyHanya gunakan cache kecocokan persis (lewati semantik)
semantic_onlyHanya gunakan cache semantik (lewati kecocokan persis)

​
Umpan Balik Cache

Jika Anda menerima respons cache yang salah, Anda dapat melaporkannya: Gunakan identifier request/cache entry yang mengalami cache hit dari organisasi Anda sendiri; ID sembarang akan ditolak. 
curl -X POST "https://api.tokenlab.sh/v1/cache/feedback" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "cache_entry_id": "req_1234567890",
    "feedback_type": "wrong_answer",
    "description": "Response was outdated"
  }'
Ketika sebuah entri cache menerima cukup banyak umpan balik negatif, entri tersebut akan dibatalkan secara otomatis.

​
Kasus Penggunaan

Selama pengembangan, gunakan cache_control: {"type": "no_cache"} untuk memastikan Anda mendapatkan respons API terbaru.
Untuk data real-time seperti harga saham atau cuaca, selalu gunakan no_cache untuk mendapatkan informasi terkini.
Saat melakukan debugging pada respons yang tidak terduga, gunakan no_cache untuk menyingkirkan hasil yang di-cache.
Untuk detail lebih lanjut tentang caching, lihat Panduan Caching.