Dokumentacja i szybki start API Venice AI

Uwierzytelnianie i URL bazowy

Twój venice ai api key uwierzytelnia każde żądanie do API. Zastaw standardowy bazowy adres URL w konfiguracji swojego SDK powyższym adresem. System używa kredytów z góry opłaconych, więc upewnij się, że Twoje saldo jest wystarczające przed wysłaniem dużych ładunków.

Punkt końcowy Uzupełnień Czat

Wyślij tekst do modelu za pomocą standardowego endpointu uzupełnień czatu. ID modelu to zawsze uncensored, zapewniając spójne zachowanie bez odmów treści dla legalnych tematów dla dorosłych.

Skonfiguruj klienta, aby wskazywał na prawidłowy bazowy adres URL i dołącz identyfikator modelu w ciele żądania. Możesz dostosować parametry takie jak temperature lub top_p kontrolować kreatywność.

Błędy i odrzucenia są darmowe, więc płacisz tylko za faktyczne użycie tokenów. Okno kontekstowe obsługuje do 100 000 tokenów dla wejścia i wyjścia łącznie.

Strumieniowanie i użycie SSE

Włącz generowanie tokenów w czasie rzeczywistym, ustawiając stream: true w Twoim żądaniu. API zwraca zdarzenia wysyłane serwerowo (SSE), które można parsować inkrementalnie.

Każdy chunk zawiera częściowy tekst, ale metryki zużycia tokenów pojawiają się tylko w ostatnim chunku. To podejście zmniejsza postrzeganą opóźnienie dla użytkowników oczekujących na treść długą.

Obsłuż zdarzenie końca strumienia, aby sfinalizować odpowiedź. Upewnij się, że Twój klient buforuje skumulowany tekst poprawnie przed jego wyświetleniem użytkownikowi końcowemu.

Wywoływanie funkcji i tryb JSON

Użyj API do ekstrakcji danych strukturalnych lub wykonywania narzędzi. Ustaw response_format do {"type": "json_object"} do wymuszenia ścisłego wyjścia JSON.

Zdefiniuj narzędzia w ciele żądania, aby umożliwić modelowi wywoływanie funkcji. Model zwróci strukturalne argumenty, które Twój backend może wykonać.

Ta funkcja jest idealna do budowania agentów lub automatyzacji przepływów pracy. Upewnij się, że definicje funkcji są jasne, aby zminimalizować halucynacje w argumentach.

Parametry i ustawienia

Kontroluj zachowanie modelu za pomocą standardowych parametrów. Użyj temperature do kreatywności, top_p do próbkowania jądra (nucleus sampling), i stop sekwencji, aby przyciąć wynik.

Ustaw seed dla odtwarzalnych wyników podczas testów. Dostosuj presence_penalty i frequency_penalty wpływanie na różnorodność tematów.

Maksymalna liczba tokenów wyjściowych to 16 000 na żądanie. Jeśli nie określisz max_tokens, domyślnie to 2 048. Zaplanuj prompty tak, aby mieścić się w oknie kontekstu 100 000 tokenów.

Limity szybkości i ograniczenia

Każdy klucz API pozwala na 300 żądań na minutę i 8 żądań równoległych. Maksymalny rozmiar ciała żądania to 8 MB.

Jeśli przekroczysz te limity, otrzymasz błąd 429. Pojedyncze konto obsługuje jeden aktywny klucz; wygenerowanie nowego klucza zastępuje poprzedni.

Kredyt nie wygasa, więc środki możesz doładowywać, gdy tylko będzie to potrzebne. Do doładowań używaj kryptowalut, z bonusowym kredytem dostępnym dla większych kwot.

cURL

Copycurl https://api.veniceaiapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Generate a summary of the current weather conditions"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.veniceaiapikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.veniceaiapikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)