Běžné chyby při používání API nezákazníkového AI

Ignorování limitu kontextového okna

Okno kontextu definuje celkové množství textu, které model dokáže zpracovat v jednom požadavku. Mnoho vývojářů nakonfiguruje své klienty API s nadměrným limitem, jen aby zjistili, že model narazí na strop uprostřed konverzace. Naše LLM API bez cenzury podporuje kontextové okno o velikosti 100 000 tokenů, které zahrnuje jak prompt, který odešlete, tak dokončení, které model vygeneruje. Pokud toto okno nebudete pečlivě spravovat, narazíte na chyby nebo oříznuté odpovědi, které zničí uživatelský zážitek.

Například pokud vytváříte chatovou aplikaci, musíte implementovat strategii klouzavého okna. To zahrnuje ořezání starších zpráv z historie, když celkový počet tokenů dosáhne limitu 100 000. Nedodržení tohoto pravidla znamená, že vaše požadavky selžou nebo model bude ignorovat starší pokyny. Musíte také zohlednit skutečnost, že model může vygenerovat až 16 000 tokenů v jedné odpovědi, pokud nezadáte nižší max_tokens hodnotou. To může spotřebovat významnou část vašeho okna kontextu v jednom kroku.

Předpokládaje, že všechny modely 'uncensored' se chovají stejně

Ne každé API bez omezení se chová identicky, i když všechny tvrdí, že odstraňují filtry obsahu. Některé modely jsou 'abliterované', což znamená, že byly odstraněny určité vzorce úvažování, zatímco jiné jsou doladěny od začátku tak, aby byly více tolerantní. To ovlivňuje, jak zvládají složité prompty, roleplay nebo specializovaná témata. Při přechodu ze standardního modelu na model bez omezení můžete zaznamenat rozdíly v tónování, verbálnosti nebo dodržování pokynů.

Například model vyladěný pro kreativní psaní může halucinovat více detailů než model optimalizovaný pro faktické vyhledávání. Nemůžete předpokládat, že prompt, který perfektně funguje na jedné platformě, přinese stejné výsledky na jiné. Vždy otestujte své konkrétní případy užití s novým modelem před nasazením do produkce. To je zvláště důležité, pokud spoléháte na model pro generování kódu nebo strukturovaných dat, protože neomezené modely mohou být méně přísné ohledně formátovacích pravidel ve srovnání s jejich cenzurovanými protějšky.

Zapomenutí správně zpracovat streamované tokeny

Streamované odpovědi jsou nezbytné pro dobrý uživatelský zážitek, ale komplikují počítání tokenů a fakturaci. Když povolíte streamování, model odesílá více bloků dat. Musíte naslouchat poslednímu bloku, abyste získali přesné využití tokenů pro danou žádost. Pokud počítáte tokeny pouze v mezilehlých blocích, vaše výpočty fakturace budou nesprávné.

Naše API zahrnuje data o spotřebě tokenů v posledním server-sent event (SSE) fragmentu. Váš klientský kód musí tento zprávu parsovat, aby aktualizoval interní ledr nebo zobrazil cenu uživateli. Ignorování tohoto kroku znamená, že byste mohli podcenit spotřebu tokenů, což povede k neočekávanému vyčerpání kreditu. Kromě toho streamování přináší variace latence. Pokud stavíte reálnou aplikaci, ujistěte se, že vaše UI zpracovává částečné odpovědi elegantně bez zobrazování neúplných vět jako konečných výstupů.

Neprověřování kompatibility základní URL

Většina API bez omezení nabízí rozhraní kompatibilní s OpenAI, ale základní URL je často odlišná. Vývojáři často kopírují a vkládají kód z dokumentace OpenAI bez aktualizace base_url parameter v konfiguraci jejich SDK. To má za následek odesílání požadavků na nesprávný koncový bod, což způsobuje chyby ověření nebo odpovědi 404.

Například pokud používáte oficiální Python SDK od OpenAI, musíte explicitně nastavit základní URL na endpoint našeho API. Výchozí konfigurace ukazuje na servery OpenAI. Musíte také zajistit, aby formát API klíče odpovídal očekáváním poskytovatele bez cenzury. Někteří poskytovatelé používají jiný prefix nebo strukturu klíče. Vždy si ověřte základní URL a formát klíče v dokumentaci před vytvořením prvního požadavku. Tato malá změna konfigurace zabrání většině problémů s připojením.

Očekává se lidské odmítání pro mírný obsah

Modely bez omezení jsou navrženy tak, aby minimalizovaly odmítnutí, ale nemají nulové limity obsahu. Náš model odmítne požadavky zahrnující sexuální obsah s nezletilými, protože jde o pevný limit. Může však stále odmítat požadavky, které jsou extrémně repetitivní, nesmyslné nebo porušují specifická technická omezení, jako je formátování JSON.

Nezakládejte si, že „uncensored“ znamená „neomezené“. Model stále má kontextové okno a limity tokenů. Pokud odešlete prompt, který přesahuje limit 100 000 tokenů, dostanete chybu. Podobně pokud požádáte o odpověď, která je příliš dlouhá bez nastavení max_tokens hodnotou může model narazit na limit výstupu. Jedná se o technické limity, nikoliv o odmítnutí obsahu. Pochopení rozdílu vám pomůže rychleji ladit problémy. Pokud narazíte na odmítnutí, zkontrolujte chybovou zprávu a zjistěte, zda jde o filtr obsahu nebo technické omezení.

Záměna nákladů na vstupní a výstupní tokeny

Fakturace za API LLM zřídka představuje paušální sazbu za požadavek. Místo toho platíte na základě počtu zpracovaných tokenů. Vstupní tokeny jsou slova, která odešlete v promptu, zatímco výstupní tokeny jsou slova, která model vygeneruje. Tyto dva typy tokenů mají často různé ceny. Například naše API účtuje 0,15 $ za milion vstupních tokenů a 0,50 $ za milion výstupních tokenů.

To znamená, že dlouhé odpovědi jsou výrazně dražší než dlouhé prompty. Pokud stavíte aplikaci, která generuje dlouhé dokumenty, vaše náklady budou dominovány output tokeny. Toto můžete ovládat nastavením nižší max_tokens hodnotu ve svých požadavcích. Navíc streamované odpovědi nemění počet tokenů; stále platíte za celkový počet použitých tokenů, ať jsou odeslány v jednom bloku nebo streamovány po několik sekund. Vždy vypočítejte očekávané využití tokenů na základě průměrné délky vašich promptů a odpovědí, abyste přesně odhadli svůj rozpočet.