使用无审查 AI API 时的常见错误

忽略上下文窗口限制

上下文窗口定义了模型在单次请求中可以处理的文本总量。许多开发人员将其 API 客户端配置为 generous 限制，结果发现模型在对话中途达到上限。我们的无审查 LLM API 支持 100,000 个 token 的上下文窗口，包括您发送的提示和模型生成的补全。如果您不仔细管理此窗口，您将遇到错误或截断的响应，从而破坏用户体验。

例如，如果您正在构建聊天应用程序，必须实现滑动窗口策略。这涉及在总 token 数接近 100,000 限制时修剪历史记录中的旧消息。如果不这样做，您的请求将会失败，或者模型会忽略较旧的指令。您还需要考虑到，如果您未设置较低的限制，模型可能会在单次响应中生成多达 16,000 个 token。 max_tokens 值。这可能会在一次交互中消耗上下文窗口的很大一部分。

假设所有“无审查”模型行为一致

并非所有无审查 API 的行为都相同，即使它们都声称移除了内容过滤器。有些模型是“去推理化”的，意味着移除了特定的推理模式，而另一些则是从头微调以提高宽容度。这会影响它们处理复杂提示词、角色扮演或利基主题的方式。当你从标准模型切换到无审查模型时，你可能会注意到语气、冗长程度或遵循指令方面的差异。

例如，针对创意写作调整的模型可能会比针对事实回忆优化的模型产生更多的幻觉细节。你不能假设在一个平台上完美运行的提示在另一个平台上会产生相同的结果。在将模型部署到生产环境之前，务必针对新模型测试你的特定用例。如果你依赖模型生成代码或结构化数据，这一点尤为重要，因为无审查模型在格式规则方面可能比其有审查的对应模型不那么严格。

忘记正确处理流式传输令牌

流式响应对于良好的用户体验至关重要，但它使令牌计数和计费变得复杂。启用流式传输时，模型会发送多个数据块。您必须监听最后一个数据块以获取该请求的准确令牌使用量。如果您只计算中间数据块中的令牌，您的计费计算将会出错。

我们的 API 在每个服务器发送事件 (SSE) 块的最后一个块中包含 token 使用数据。您的客户端代码需要解析此最终消息以更新内部分类账或向用户显示成本。忽略此步骤意味着您可能会低估 token 消耗，导致意外耗尽余额。此外，流式传输会引入延迟变化。如果您正在构建实时应用程序，请确保您的 UI 能够优雅地处理部分响应，而不会将不完整的句子显示为最终输出。

未检查基础 URL 兼容性

大多数无审查 API 提供 OpenAI 兼容的接口，但基础 URL 通常不同。开发者经常从 OpenAI 文档中复制粘贴代码而未更新 base_url 参数在它们的 SDK 配置中。这会导致请求被发送到错误的端点，从而引发认证错误或 404 响应。

例如，如果您使用官方 OpenAI Python SDK，必须将 base URL 显式设置为我们的 API 端点。标准配置默认指向 OpenAI 的服务器。您还需要确保 API 密钥格式符合无审查提供者的期望。一些提供者使用不同的密钥前缀或结构。在编写第一个请求之前，务必在文档中验证 base URL 和密钥格式。这种小的配置更改可避免大多数连接问题。

预期对轻微内容产生类似人类的拒绝

无限制模型旨在最大限度地减少拒绝，但它们并非完全没有内容限制。我们的模型会拒绝涉及未成年人性内容的请求，因为这是硬性限制。然而，它仍可能拒绝极其重复、无意义或违反特定技术约束（如 JSON 格式）的请求。

不要假设“无审查”意味着“无限制”。模型仍然有上下文窗口和令牌限制。如果你发送的提示词超过了 100,000 令牌限制，你会收到错误。同样，如果你请求的响应太长而没有设置 max_tokens 值，模型可能会触及输出限制。这些是技术限制，而非内容拒绝。理解这种差异有助于您更快地调试问题。如果遇到拒绝，请检查错误消息，以确定是内容过滤器还是技术限制。

混淆输入和输出 token 的成本

LLM API 的计费很少是每次请求的固定费率。相反，您根据处理的 Token 数量付费。输入 Token 是您发送在提示词中的内容，而输出 Token 是模型生成的内容。这两种 Token 通常价格不同。例如，我们的 API 对每百万输入 Token 收取 $0.15，对每百万输出 Token 收取 $0.50。

这意味着长回复比长提示要昂贵得多。如果你正在构建生成长文档的应用，你的成本将主要由输出 token 主导。你可以通过设置较低的 max_tokens 请求中的值。此外，流式响应不会改变 token 计数；您仍需为使用的总 token 付费，无论它们是一次性发送还是在几秒内流式传输。始终根据提示和响应的平均长度计算预期的 token 使用情况，以准确估算预算。