Документація та швидкий старт API Venice AI

Аутентифікація та базовий URL

Ваш venice ai api key аутентифікує кожен запит до API. Замініть стандартну базову URL-адресу в конфігурації вашого SDK на вказану вище. Система використовує передоплачений кредит, тому переконайтеся, що ваш баланс достатній перед надсиланням важких завантажень.

Ендпоінт Chat Completions

Надішліть текст моделі через стандартний ендпоінт завершення чату. Ідентифікатор моделі завжди uncensored, забезпечуючи послідовну поведінку без відмов у вмісті для законних дорослих тем.

Налаштуйте клієнта, щоб вказувати на правильний базовий URL та включайте ідентифікатор моделі в тіло запиту. Ви можете налаштувати такі параметри, як temperature або top_p для контролю креативності.

Помилки та відмови безкоштовні, тому ви платите лише за фактичне використання токенів. Контекстне вікно підтримує до 100,000 токенів як для вхідних, так і для вихідних даних разом.

Потокова передача та використання SSE

Увімкніть миттєву генерацію токенів, встановивши stream: true у вашому запиті. API повертає події, надіслані сервером (SSE), які ви можете парсити поступово.

Кожен чанк містить частину тексту, але метрики використання токенів з'являються лише в останньому чанку. Цей підхід зменшує сприйняту затримку для користувачів, які чекають на довгий контент.

Обробляйте подію завершення потоку, щоб завершити відповідь. Переконайтеся, що ваш клієнт правильно буферизує накопичений текст перед його відображенням кінцевому користувачеві.

Function Calling та режим JSON

Використовуйте API для витягування структурованих даних або виконання інструментів. Встановіть response_format до {"type": "json_object"} для примусового суворого виводу JSON.

Визначте інструменти в тілі запиту, щоб дозволити моделі викликати функції. Модель поверне структуровані аргументи, які ваш бекенд може виконати.

Ця функція ідеально підходить для створення агентів або автоматизації робочих процесів. Переконайтеся, що ваші визначення функцій чіткі, щоб мінімізувати галюцинації в аргументах.

Parameters and Settings

Керуйте поведінкою моделі за допомогою стандартних параметрів. Використовуйте temperature для творчості, top_p для вибірки за ядром (nucleus sampling), та stop послідовності для обрізання виводу.

Встановити seed для відтворюваних результатів під час тестування. Налаштуйте presence_penalty та frequency_penalty щоб впливати на тематичну різноманітність.

Максимальний обсяг виводу становить 16 000 токенів за запит. Якщо ви не вказали max_tokens, за замовчуванням — 2048. Плануйте свої запити так, щоб вони вміщалися у вікно контексту на 100 000 токенів.

Ліміти частоти та обмеження

Кожен API-ключ дозволяє 300 запитів на хвилину та 8 паралельних запитів. Максимальний розмір тіла запиту становить 8 МБ.

Якщо ви перевищите ці ліміти, ви отримаєте помилку 429. Один обліковий запис підтримує один активний ключ; генерація нового ключа замінює попередній.

Кредит не має строки дії, тому ви можете поповнити рахунок, коли це потрібно. Використовуйте криптовалюту для поповнення, з бонусним кредитом для більших сум.

cURL

Copycurl https://api.veniceaiapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Generate a summary of the current weather conditions"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.veniceaiapikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.veniceaiapikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)