Yolu Seçin
| İhtiyaç | Yol | Bu biçimi kullanın |
|---|---|---|
| Taşınabilir JSON nesne yanıtları | /v1/chat/completions | response_format: {"type": "json_object"} |
| OpenAI uyumlu fonksiyon çağrısı | /v1/chat/completions | tools: [{ "type": "function", "function": ... }] |
| OpenAI Yanıtları araçları | /v1/responses | Yanıtlar tools, tool_choice ve text alanları |
| Claude’a özgü araç kullanımı veya düşünme | /v1/messages | Anthropic Messages araç şeması |
| Gemini fonksiyon bildirimleri veya yerleşik araçlar | /v1beta/models/:model:generateContent | Gemini’ye özgü tools ve içerik parçaları |
JSON Modu
Taşınabilir yapılandırılmış yanıtlar için, Chat Completions JSON moduyla başlayın:text ve json_object kabul eder. json_schema, strict ve sağlayıcıya özgü şema uygulamaları bazı yukarı akış yolları veya dönüşüm yolları için mevcut olabilir, ancak bunlar her TokenLab yolu ve modeli için genel bir vaat değildir. Bunları güvenilir hale gelmeden önce seçilen model ile doğrulayın.
Her zaman sunucunuzda döndürülen JSON’u ayrıştırın ve doğrulayın. JSON modu biçimi iyileştirir, ancak uygulama düzeyinde şema doğrulamasını değiştirmez.
Araç Çağrısı Döngüsü
TokenLab, fonksiyonlarınızı çalıştırmaz. Uygulamanız döngüyü sahiplenir:- Mesajları ve araç tanımlarını gönderin.
tool_calls,function_call, Anthropictool_useveya Gemini fonksiyon çağrı parçaları için model yanıtını okuyun.- Aracı kendi arka uçunuzda çalıştırın.
- Araç sonucunu aynı yolun gerektirdiği biçimde ekleyin.
- Model nihai bir yanıt verene kadar konuşmaya devam edin.
Chat Completions Örneği
Şema Tasarımı
- Şemaları küçük ve açık tutun. Büyük iç içe geçmiş şemalar token ekler ve güvenilirliği azaltır.
- Ürününüzün devam edemeyeceği değerler için gerekli alanları tercih edin.
- UI veya arka uçta bağımlı olduğunuz kapalı setler için enum kullanın.
- Model bir biçimle zorlandığında, istemde örnekler ekleyin.
- Desteklenmeyen alan hatalarını sözleşme geri bildirimi olarak değerlendirin. Alanı kaldırın veya onu belgeleyen yerel yolu kullanın.
Üretim Kontrol Listesi
- Yol, model, araç adlarını ve temizlenmiş şema biçimini kayıtlara alın.
- Herhangi bir yan etki oluşturmadan önce araç argümanlarını doğrulayın.
- Araç çalıştırmadan önce kendi izin kontrollerinizi uygulayın.
- Bir istemci tekrar denemesi aynı araç çağrısını tekrarlayabileceğinden, araç çalıştırmasını idempotent hale getirin.
- Araçlar tarafından döndürülen gizli bilgileri model görünür mesajlara kaydetmeyin.
API Referansı
| Konu | Referans |
|---|---|
| Çoklu Format API | Çoklu Format API |
| Chat Tamamlaması Oluştur | Chat Tamamlaması Oluştur |
| Yanıt Oluştur | Yanıt Oluştur |
| Mesaj Oluştur | Mesaj Oluştur |
| Gemini İçeriği Oluştur | Gemini İçeriği Oluştur |