使用無審查 AI API 時的常見錯誤

忽略上下文窗口限制

上下文視窗定義了模型在單次請求中能處理的文字總量。許多開發者將其 API 用戶端設定為寬鬆的限制，卻發現模型在對話中途達到上限。我們的無審查 LLM API 支援 100,000 個 token 的上下文視窗，包含您傳送的提示與模型產生的補全。若您未謹慎管理此視窗，將會遇到錯誤或截斷的回應，從而破壞使用者體驗。

例如，如果您正在構建聊天應用程式，您必須實施滑動視窗策略。這涉及在總 token 數量接近 100,000 限制時修剪歷史記錄中的較舊訊息。如果不這樣做，您的請求將會失敗，或者模型會忽略較舊的指令。您還需要考慮模型可能會在單次回應中生成高達 16,000 個 token 的事實，如果您沒有設置較低的 max_tokens 值。這可能會在單次回合中消耗上下文視窗的很大一部分。

假設所有 '無審查' 模型行為一致

並非所有無審查 API 的行為都相同，即使它們都聲稱移除了內容過濾器。某些模型經過「去推理化」（abliterated），即移除了特定的推理模式，而其他模型則是從頭開始微調以更具包容性。這會影響它們處理複雜提示詞、角色扮演或利基主題的方式。當您從標準模型切換到無審查模型時，您可能會注意到語氣、冗長程度或對指令的遵循度上的差異。

例如，針對創意寫作調校的模型可能會比針對事實回憶優化的模型產生更多幻覺細節。您不能假設在一個平台上完美運行的提示在另一個平台上也會產生相同的結果。在將模型部署到生產環境之前，始終使用新模型測試您的特定用例。如果您依賴模型生成程式碼或結構化數據，這一點尤為重要，因為無審查模型在格式規則方面可能比受審查的對應模型更為靈活。

忘記正確處理串流 token

串流回應對於良好的使用者體驗至關重要，但它使 token 計數和計費變得複雜。當您啟用串流時，模型會發送多個資料區塊。您必須監聽最後一個區塊以獲取該請求的準確 token 用量。如果您只計算中間區塊中的 token，您的計費計算將不正確。

我們的 API 在最後一個伺服器發送事件 (SSE) 區塊中包含 token 使用數據。您的客戶端程式碼需要解析此最終訊息以更新內部帳本或向使用者顯示成本。忽略此步驟意味著您可能會低估 token 消耗量，導致意外耗盡額度。此外，串流會引入延遲變化。如果您正在構建即時應用程式，請確保您的 UI 能優雅地處理部分回應，而不將不完整的句子顯示為最終輸出。

未檢查基礎 URL 的相容性

大多數無審查 API 提供 OpenAI 相容的介面，但基礎 URL 通常不同。開發人員經常從 OpenAI 文件複製貼上程式碼，卻未更新 base_url 參數於其 SDK 配置中。這會導致請求被發送至錯誤的端點，從而引發身份驗證錯誤或 404 回應。

例如，如果您使用官方的 OpenAI Python SDK，您必須明確將 base URL 設置為我們的 API 端點。標準配置將默認指向 OpenAI 的伺服器。您還需要確保 API 金鑰格式符合無審查提供者的預期。一些提供者使用不同的金鑰前綴或結構。在撰寫第一個請求之前，始終在文檔中驗證 base URL 和金鑰格式。這個小配置更改可以防止大多數連接問題。

預期對次要內容產生類似人類的拒絕回應

無審查模型旨在最大限度地減少拒絕，但它們並非沒有內容限制。我們的模型會拒絕涉及未成年人性內容的請求，因為這是硬性限制。然而，它可能仍會拒絕極度重複、無意義或違反特定技術約束（如 JSON 格式）的請求。

不要假設「無審查」意味著「無限制」。模型仍然具有上下文視窗和 token 限制。如果您發送超過 100,000 token 限制的提示詞，您將收到錯誤。同樣地，如果您請求的回應過長而未設定 max_tokens 值，模型可能會觸發輸出限制。這些是技術限制，並非內容拒絕。了解兩者的差異有助於您更快地除錯問題。如果您遇到拒絕，請檢查錯誤訊息，確認是內容過濾器還是技術限制所致。

混淆輸入與輸出 token 的成本

LLM API 的計費通常不是按請求收取固定費用，而是根據處理的 Token 數量計費。輸入 Token 是您發送在提示詞中的文字，而輸出 Token 是模型生成的文字。這兩種 Token 的價格通常不同。例如，我們的 API 每百萬輸入 Token 收取 $0.15，每百萬輸出 Token 收取 $0.50。

這意味著長回應比長提示貴得多。如果你正在構建生成長文檔的應用程序，你的成本將主要由輸出 token 主導。你可以通過設置較低的 max_tokens 值加入您的請求中。此外，串流回應不會改變 token 計數；無論是一次性發送還是分幾秒串流發送，您仍須為所使用的總 token 數付費。始終根據提示與回應的平均長度來計算預期的 token 使用量，以準確估算您的預算。