Tài liệu và Hướng dẫn bắt đầu nhanh API Venice AI

Xác thực và Base URL

Của bạn venice ai api key xác thực mọi yêu cầu đến API. Thay thế URL cơ sở tiêu chuẩn trong cấu hình SDK của bạn bằng URL ở trên. Hệ thống sử dụng tín dụng trả trước, vì vậy hãy đảm bảo số dư của bạn đủ trước khi gửi các tải trọng nặng.

Endpoint Hoàn thành Trò chuyện

Gửi văn bản đến mô hình bằng cách sử dụng điểm cuối hoàn tất hội thoại tiêu chuẩn. ID mô hình luôn là uncensored, đảm bảo hành vi nhất quán mà không từ chối nội dung người lớn hợp pháp.

Cấu hình client của bạn để trỏ đến URL gốc chính xác và bao gồm định danh mô hình trong thân yêu cầu. Bạn có thể điều chỉnh các tham số như temperature hoặc top_p để kiểm soát độ sáng tạo.

Lỗi và từ chối miễn phí, nên bạn chỉ trả tiền cho việc sử dụng token thực tế. Cửa sổ ngữ cảnh hỗ trợ lên đến 100,000 token cho cả đầu vào và đầu ra kết hợp.

Sử Dụng SSE và Streaming

Bật tạo token theo thời gian thực bằng cách đặt stream: true trong yêu cầu của bạn. API trả về Server-Sent Events (SSE) mà bạn có thể phân tích tăng dần.

Mỗi chunk chứa một phần văn bản, nhưng các chỉ số sử dụng token chỉ xuất hiện trong chunk cuối cùng. Cách tiếp cận này giảm độ trễ cảm nhận đối với người dùng đang chờ nội dung dạng dài.

Xử lý sự kiện kết thúc luồng để hoàn tất phản hồi. Đảm bảo client của bạn đệm văn bản đã tích lũy đúng cách trước khi hiển thị cho người dùng cuối.

Function Calling và chế độ JSON

Sử dụng API cho việc trích xuất dữ liệu có cấu trúc hoặc thực thi công cụ. Đặt response_format để {"type": "json_object"} để bắt buộc đầu ra JSON nghiêm ngặt.

Định nghĩa các công cụ trong thân yêu cầu để cho phép mô hình gọi các hàm. Mô hình sẽ trả về các đối số có cấu trúc mà backend của bạn có thể thực thi.

Tính năng này lý tưởng để xây dựng các agent hoặc tự động hóa các quy trình làm việc. Đảm bảo các định nghĩa hàm của bạn rõ ràng để giảm thiểu ảo giác trong các đối số.

Tham số và Cài đặt

Kiểm soát hành vi của mô hình bằng các tham số tiêu chuẩn. Sử dụng temperature để sáng tạo, top_p để lấy mẫu nucleus, và stop chuỗi để cắt ngắn đầu ra.

Đặt seed để có kết quả có thể tái lập trong quá trình kiểm thử. Điều chỉnh presence_penalty và frequency_penalty để ảnh hưởng đến sự đa dạng của chủ đề.

Tối đa 16.000 token đầu ra cho mỗi yêu cầu. Nếu bạn không chỉ định max_tokens, mặc định là 2.048. Hãy lên kế hoạch cho các prompt của bạn để nằm trong cửa sổ ngữ cảnh 100.000 token.

Giới hạn tốc độ và Ràng buộc

Mỗi khóa API cho phép 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời. Kích thước tối đa của phần thân yêu cầu là 8 MB.

Nếu bạn vượt quá các giới hạn này, bạn sẽ nhận được lỗi 429. Một tài khoản chỉ hỗ trợ một khóa hoạt động; việc tạo khóa mới sẽ thay thế khóa trước đó.

Tín dụng không bao giờ hết hạn, nên bạn có thể nạp tiền khi cần. Sử dụng crypto để nạp tiền, với tín dụng bonus có sẵn cho các khoản lớn.

cURL

Copycurl https://api.veniceaiapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Generate a summary of the current weather conditions"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.veniceaiapikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.veniceaiapikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)