เอกสารประกอบ API ของ Venice AI และเริ่มต้นอย่างรวดเร็ว

การตรวจสอบสิทธิ์และ Base URL

ของคุณ venice ai api key ตรวจสอบสิทธิ์ทุกคำขอไปยัง API แทนที่ URL พื้นฐานมาตรฐานในการกำหนดค่า SDK ของคุณด้วย URL ด้านบน ระบบใช้เครดิตแบบเติมเงิน ดังนั้นให้แน่ใจว่ายอดเงินของคุณเพียงพอก่อนส่งบอดีขนาดใหญ่

จุดจบ API Chat Completions

ส่งข้อความไปยังโมเดลโดยใช้จุดสิ้นสุดการเติมข้อความแชทมาตรฐาน ID ของโมเดลคือ uncensored, ทำให้พฤติกรรมสอดคล้องกันโดยไม่มีการปฏิเสธเนื้อหาสำหรับหัวข้อผู้ใหญ่ที่ถูกต้องตามกฎหมาย

กำหนดค่า client ของคุณให้ชี้ไปยัง URL พื้นฐานที่ถูกต้องและรวมตัวระบุโมเดลใน body ของคำขอ คุณสามารถปรับพารามิเตอร์เช่น temperature หรือ top_p เพื่อควบคุมความสร้างสรรค์

ข้อผิดพลาดและการปฏิเสธเป็นฟรี ดังนั้นคุณชำระเงินเฉพาะสำหรับการใช้งานโทเค็นจริงเท่านั้น หน้าต่างบริบทรองรับได้สูงสุด 100,000 โทเค็นสำหรับทั้งอินพุตและเอาต์พุตรวมกัน

การใช้งาน SSE และการสตรีม

เปิดใช้งานการสร้างโทเค็นแบบเรียลไทม์โดยการตั้งค่า stream: true ในการร้องขอของคุณ API จะส่งคืน Server-Sent Events (SSE) ที่คุณสามารถแยกวิเคราะห์แบบเพิ่มทีละน้อย

แต่ละ chunk มีข้อความบางส่วน แต่เมตริกการใช้งาน token ปรากฏเฉพาะใน chunk สุดท้าย วิธีนี้ลดความล่าช้าที่ผู้ใช้รู้สึกได้เมื่อรอเนื้อหาแบบยาว

จัดการเหตุการณ์สิ้นสุดสตรีมเพื่อสรุปการตอบกลับ ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณเก็บข้อความที่สะสมไว้ได้อย่างถูกต้องก่อนแสดงให้ผู้ใช้ปลายทางเห็น

Function Calling และโหมด JSON

ใช้ API สำหรับการดึงข้อมูลแบบมีโครงสร้างหรือการเรียกใช้เครื่องมือ ตั้งค่า response_format เพื่อ {"type": "json_object"} เพื่อบังคับใช้เอาต์พุต JSON อย่างเข้มงวด

กำหนดเครื่องมือใน body ของคำขอเพื่อให้โมเดลเรียกฟังก์ชัน โมเดลจะส่งคืนอาร์กิวเมนต์แบบมีโครงสร้างที่แบ็กเอนด์ของคุณสามารถดำเนินการได้

คุณสมบัตินี้เหมาะสำหรับการสร้างเอเจนต์หรืออัตโนมัติเวิร์กโฟลว์ ตรวจสอบให้แน่ใจว่าคำจำกัดความของฟังก์ชันชัดเจนเพื่อลดการคาดเดาข้อมูลผิดพลาดในอาร์กิวเมนต์

Parameters and Settings

ควบคุมพฤติกรรมของโมเดลโดยใช้พารามิเตอร์มาตรฐาน ใช้ temperature สำหรับความคิดสร้างสรรค์, top_p สำหรับการสุ่มแบบ nucleus และ stop ลำดับเพื่อตัดทอนผลลัพธ์

ตั้งค่า seed เพื่อความผลลัพธ์ที่ทำซ้ำได้ระหว่างการทดสอบ ปรับ presence_penalty และ frequency_penalty เพื่อส่งผลต่อความหลากหลายของหัวข้อ

การส่งออกสูงสุดคือ 16,000 tokens ต่อคำขอ หากคุณไม่ได้ระบุ max_tokens, ค่าเริ่มต้นคือ 2,048 วางแผน prompts ของคุณให้อยู่ใน context window ขนาด 100,000 tokens

อัตราจำกัดและข้อจำกัด

แต่ละคีย์ API อนุญาตให้ส่ง 300 คำขอต่อนาที และ 8 คำขอพร้อมกัน ขนาด body ของคำขอสูงสุดคือ 8 MB

หากคุณเกินขีดจำกัดเหล่านี้ คุณจะได้รับการตอบกลับเป็นข้อผิดพลาด 429 บัญชีหนึ่งๆ รองรับคีย์ที่ใช้งานอยู่ได้เพียงคีย์เดียว การสร้างคีย์ใหม่จะแทนที่คีย์ก่อนหน้า

เครดิตไม่หมดอายุ ดังนั้นคุณสามารถเติมเงิน whenever ต้องการ ใช้คริปโตสำหรับการเติมเงิน พร้อมรับเครดิตโบนัสสำหรับจำนวนเงินที่สูงขึ้น

cURL

Copycurl https://api.veniceaiapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Generate a summary of the current weather conditions"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.veniceaiapikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.veniceaiapikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

การสตรีม

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)