Venice AI API Documentation and Quickstart

Аутентификация и базовый URL

Ваш venice ai api key аутентифицирует каждый запрос к API. Замените стандартный базовый URL в конфигурации вашего SDK на указанный выше. Система использует предоплаченный кредит, поэтому убедитесь, что на вашем балансе достаточно средств перед отправкой больших объемов данных.

Эндпоинт Chat Completions

Отправьте текст в модель через стандартный эндпоинт завершения чата. Идентификатор модели всегда uncensored, обеспечивая согласованное поведение без отказов в выдаче для законных тем для взрослых.

Настройте клиент на указание на правильный базовый URL и включите идентификатор модели в тело запроса. Вы можете настроить такие параметры, как temperature или top_p для управления креативностью.

Ошибки и отказы бесплатны, поэтому вы платите только за фактическое использование токенов. Контекстное окно поддерживает до 100,000 токенов как для ввода, так и для вывода в сумме.

Потоковая передача и использование SSE

Включите генерацию токенов в реальном времени, установив stream: true в вашем запросе. API возвращает Server-Sent Events (SSE), которые можно обрабатывать инкрементально.

Каждый чанк содержит частичный текст, но метрики использования токенов появляются только в последнем чанке. Этот подход снижает воспринимаемую задержку для пользователей, ожидающих длинный контент.

Обработайте событие завершения потока, чтобы завершить ответ. Убедитесь, что ваш клиент правильно буферизует накопленный текст перед его отображением конечному пользователю.

Function Calling и режим JSON

Используйте API для извлечения структурированных данных или выполнения инструментов. Установите response_format для {"type": "json_object"} для обеспечения строгого вывода JSON.

Определите инструменты в теле запроса, чтобы разрешить модели вызывать функции. Модель вернёт структурированные аргументы, которые ваш бэкенд сможет выполнить.

Эта функция идеальна для создания агентов или автоматизации рабочих процессов. Убедитесь, что ваши определения функций четкие, чтобы минимизировать галлюцинации в аргументах.

Параметры и настройки

Управляйте поведением модели с помощью стандартных параметров. Используйте temperature для творчества, top_p для выборки по ядру, и stop последовательности для обрезки вывода.

Установить seed для воспроизводимых результатов при тестировании. Настройте presence_penalty и frequency_penalty для влияния на разнообразие тем.

Максимальный объем вывода составляет 16 000 токенов за запрос. Если вы не укажете max_tokens, по умолчанию 2 048. Планируйте промпты, чтобы оставаться в пределах окна контекста в 100 000 токенов.

Лимиты запросов и ограничения

Каждый API-ключ позволяет выполнять 300 запросов в минуту и 8 одновременных запросов. Максимальный размер тела запроса составляет 8 МБ.

Если вы превысите эти лимиты, вы получите ошибку 429. Один аккаунт поддерживает один активный ключ; генерация нового ключа заменяет предыдущий.

Кредит не сгорает, поэтому вы можете пополнять счет по мере необходимости. Используйте криптовалюту для пополнения, бонусный кредит доступен для крупных сумм.

cURL

Copycurl https://api.veniceaiapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Generate a summary of the current weather conditions"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.veniceaiapikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.veniceaiapikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)