メインコンテンツへスキップ

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
概要

TokenLabは、パフォーマンスの最適化とコスト削減のためにキャッシュを自動的に管理します。キャッシュエントリをクリアするための公開エンドポイントはありませんが、リクエストレベルのコントロールを通じてキャッシュ動作を完全に制御できます。 このページは request-side cache のガイドです。 厳密な API リファレンスページについては、次を参照してください:

​
キャッシュのバイパス

キャッシュを使用せずに最新のレスポンスを取得するには、リクエストで cache_control パラメータを使用します。 
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}],
    "cache_control": {"type": "no_cache"}
  }'

​
キャッシュコントロールオプション

タイプ効果
no_cacheキャッシュの検索と保存をスキップし、常に最新のレスポンスを取得します
no_storeこのレスポンスをキャッシュに保存しません
response_only完全一致キャッシュのみを使用します（セマンティックをスキップ）
semantic_onlyセマンティックキャッシュのみを使用します（完全一致をスキップ）

​
キャッシュフィードバック

誤ったキャッシュレスポンスを受け取った場合は、報告できます。 自分の組織でキャッシュヒットした request/cache entry 識別子を使用してください。任意の ID は拒否されます。 
curl -X POST "https://api.tokenlab.sh/v1/cache/feedback" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "cache_entry_id": "req_1234567890",
    "feedback_type": "wrong_answer",
    "description": "Response was outdated"
  }'
キャッシュエントリに十分な否定的フィードバックが集まると、自動的に無効化されます。

​
ユースケース

開発中は cache_control: {"type": "no_cache"} を使用して、最新の API レスポンスを取得していることを確認してください。
株価や天気などのリアルタイムデータでは、常に no_cache を使用して最新情報を取得してください。
予期しないレスポンスをデバッグするときは、no_cache を使用してキャッシュ結果を除外してください。
キャッシュの詳細については、Caching Guide を参照してください。