Skip to content

LLM Prompt Budget ​

文档性质:current implementation guidelines。 本页描述当前输入/输出预算守门和审计方式。具体模型上下文窗口、价格与 provider 限制会变化,必须以当前配置和官方 provider 合同为准。

两类预算 ​

  1. 输出预算:每个 LLM client 构造点都要明确 token 上限与 timeout,避免 provider 默认值造成失控成本或长时间挂起。
  2. 输入预算:每个动态调用点要在组装 prompt 前限制历史、检索结果、工具输出、图片描述和用户附件;不能只依赖模型端截断。

静态检查位于 scripts/check_llm_budget.py,规则代码为 LLM_OUTPUT_BUDGET 和 LLM_INPUT_BUDGET。# noqa 只允许用于已有等价预算且检查器无法识别的场景,并在同一行说明理由。

配置与审计 ​

  • 模型默认配置位于 config/model_defaults.py 及相关 settings 模块;
  • NEKO_LLM_PROMPT_AUDIT=1 可启用输入审计;
  • 审计只能记录长度、角色、来源类别、截断结果等必要元数据,不能默认记录原始私密对话;
  • provider 特有字段由其 client/adapter 负责,不能假定所有服务接受同名 token 参数。

组装顺序 ​

text
固定 system contract
  + 有上限的角色/会话上下文
  + 有上限的历史摘要或最近消息
  + 有上限的检索/工具材料
  + 当前用户输入
  -> provider-aware token estimate
  -> deterministic trimming
  -> LLM call with output budget + timeout

裁剪优先删除低价值、可重新获取的材料;不能删除安全、水印或当前任务必需的 system contract。用户输入也要有 API 层总大小限制,不能以“用户自担风险”为由允许无界输入。

Theater ​

Numeric v2 的固定预算定义在 services/theater/numeric_v2_budget.py;economy、balanced、quality 仅是旧存档兼容别名,共用以下预算,不再提供容量档位选择。普通路径的推荐采用同一次 Actor 调用的生成结果,缺失时保留自由输入;作者显式声明的 fixed_entry_only 非终局入幕例外,复用既有推荐补全,可能多一次调用,终局不补推荐。模型审核暂停期间,符合普通回合合并条件的回合在同次 Actor 输出中附带收束信号和指标变化提案,不再额外调用 Evaluator;使用原 Actor 输入/输出预算,仅补充本幕所需指标准则,不重复拼入整份 Evaluator 提示词。邀约、换幕和结局保留原流程。职责拆分已将叙事事件提案移出 Actor,程序检查完成;真实回合、质量、容量和时延结论以仓库外验证报告为准。

档位Actor 总输入历史 Token / 回合连续性胶囊
共用标准预算100005200 / 121600

上限保留10000。Actor普通与正式转场的提示按职责合并重复说明;玩家行动、入幕状态及推荐证据复用各自一份共同规则。正式转场的作者禁令和场景边界仅在带阶段标签的System完整发送,Human省去逐字相同的副本;同key路线事实的类型、来源和说明各只定义一次,目标值和满足状态仍逐路线保留。待确认邀请的完整原文已由同revision近期历史承载时,只发送引用;裁掉该历史后自动恢复全文。未记录且没有内容或省略信息的空账本不发送;场景进入/离开事件不再投影给Actor,Runtime存档和Evaluator的事件事实保持。

检索补充保留必要的较新更正,但不再只按总请求余量扩充:除原检索种子外,补入原文另受既有1500-token附件额度限制;种子与补充原文的JSON通常不超过3000 tokens。Human转义后的实际wire仍受10000-token硬检查,原12单元上限同时适用。超限重选仍保留最新完整回合、作者合同和玩家原话,不截句或改存档。

  • Actor 输出上限按阶段分别为普通回合 1000、初始开场 1200、换场 1700 Token;公开正文、旁白、动作与推荐同次生成,拆分后不再要求 Actor 输出叙事事件表,但仍读取已提交账本。普通与正式转场 Actor 在原有历史淘汰后仍超预算时,仅省略状态投影的属性重复引文并累计 quotes_omitted,保留值、来源编号、近期事件、玩家原话、合同和最新完整历史;仍超限则拒绝发送;
  • 独立 NumericV2NarrativeProposer 的输入上限 8500、输出上限 1000 Token、timeout 12 秒、max_retries=0,沿用 conversation 槽,正式配置为 qwen3.8-flash 且关闭 thinking。同步兼容路径仅在候选实际进入既有 Review 前调用;本回合内同稿重复复核复用提案,正文或旁白(含固定旁白与转场分段)改稿重新提案,仅推荐变化不重提但须重审推荐。无实际 Review 或开场原本不复核时不增加调用,也不能自确认为当前状态;
  • HTTP 当前关闭后台账本,不创建或等待新提案;以下为保留实现的预算:正文完整复核通过后提交并返回,最终稿账本提案与独立复核后台执行,常规调用从 4 次变成 5 次。后台两次调用各限 12 秒、共限 24 秒;账本复核输入 8500、输出 150 Token。下一轮至多等模型 1 秒,未完成则取消并按缺口继续,后台失败或重启遗留同样封口,不重试。同步兼容输入仍保留提案累计 8 秒额度,改稿不重置;开场仍用提案器自身 12 秒时限。同步工作流仍有 60 秒模型阶段额度,Actor 与重试预留 8.5 秒给正文复核,复核受既有 20 秒累计额度与单次时限约束。额度不足不能提交未审稿。原子提交不放入可取消超时,因此这些额度不是 HTTP 或磁盘事务的硬超时;
  • Evaluator 输入上限为 7000、输出上限为 360 Token;共享历史证据上限为 1500 Token / 12 条;
  • 模块默认表为全开;当前有效配置受审核暂停策略覆盖,剧场设置页面、入口和读写接口已删除,不再读取旧开关值。MODEL_REVIEWS_ENABLED = False 暂停完整 Review、完成事实、邀请及作者边界审核,后台叙事审核也关闭。仅疑似结局待答问题独立运行既有8秒、无重试的交互合同窄检查,最多复用一次Actor改稿,失败回滚;无疑似问句不调用。以下完整审核预算保留供恢复使用;普通/正式正文审核输入容量均为 10000 Token。Actor 与前置剧情判定继续按原预算运行;
  • 开启 review 时才复核普通正文、已有邀请留幕回应与正式转场:普通输入上限 10000、基础输出 320 Token(仅完成事实窄审为 350 Token,其余候选按下述条件追加);正式转场复核输入 10000、输出 512 Token,两者 timeout 均为 8 秒。开启 dispute 且满足首次争议条件时才独立复查一次,输出 4096 Token、单次等待上限 8 秒;整轮共享一次语义改稿。语义额度耗尽与技术失败分别按工作流合同处理,详见小剧场架构;
  • 叙事事件审批复用既有 Review,快检输出在既有条件预算上增加普通 90 / 正式 108 Token;Review 输入上限、等待时限、调用数及争议复查预算不变。同步兼容路径在 Review 前条件提案,常规共 4 次调用;恢复后台结算后的 HTTP 路径按上述约定共 5 次,既有按需修复分支另计。关键动态状态固定保留,缺口只作为最后已知信息,不用裁剪制造假现状;
  • Evaluator 在历史裁剪后从原证据重新去重;最终裁剪可选 history_evidence 时同步裁剪重建来源,防止下一次装箱恢复已明确撤下的可选证据。装箱优先去除重复规划、空账本封套,并将辅助进出幕摘要限于当前访问;仍不足可整份省略该辅助摘要并标明容量省略。完成事实、已提交值、路线条件、当前输入及最近完整演出不删。原状态属性重复引文省略仍累计 quotes_omitted,再超限沿用受控降级,不增加请求;
  • Review 发送前装箱超预算时,可撤下本稿叙事候选及关联审批要求后重装;完整正文、推荐、玩家原话、作者合同、最新完整历史和已提交账本不变。最终装箱仍超限时,仅省略状态投影中的属性重复引文并累计 quotes_omitted,保留全部值、来源编号及近期事件;已提交原账本不变。同稿缓存缺口、单列预算降级;无表仍超预算或实际审核失败继续回滚,不增加成功模型请求;
  • 已审普通稿触发漏判转场补救后,若补救 Actor 生成或结构检查失败,可复用同一已审普通事务,不追加调用;原稿正文、邀请须合法且无待触发固定旁白,事实与账本仍走统一提交校验。正式转场审核、取消及存储失败不在此回落范围;
  • 提案输入必须保留本轮真实玩家原话和完整待审候选,临界时不中途截断原话、正文或证据;输出不完整也不能当作完整提案。容量与等待须实测;HTTP 后台结算沿用上述 pending、24 秒后台预算和下一轮 1 秒屏障约定,不展示未审正文,不调整正文原子提交和已提交对白的 TTS 协议;
  • 补推荐实现保留260 Token预算;当前仅 fixed_entry_only 非终局等显式允许补全的路径使用,普通路径推荐缺失时保留自由输入,终局不调用;
  • 超预算时普通回合只从较早完整历史回合开始整项淘汰,换场则使用独立的紧凑 transition 上下文;不截断安全合同、当前玩家输入、当前幕/目标幕必要信息或 Runtime 交付指令;
  • 普通回合的当前幕原文索引也属于可选证据:索引与检索附件共同超限时,按最终System/Human请求重新选择完整来源,保留原相关性、较新更正优先级及省略元数据,再用余量装入检索附件。不能让两个附件各自预留额度而互相阻止裁剪,不增加10000-token总输入;
  • 桥段泄漏修稿的System仅保留定位和修改要求,被拒稿的三段正文作为可省编辑附件在基础请求装箱后按余量整体附加;空间不足即省略,不挤掉合同、当前输入或原已保留历史。附件试装超限不等于实际请求超限,诊断以最终发送的wire计量为准;不增加模型调用或重试上限;
  • v2.2 不再把 goal_progress、完成证据胶囊或来源完成胶囊作为 Actor 上下文;当前已发生内容只来自真实历史、仍影响当前的关键事实和作者明确声明的连续性状态,不能把目标描述冒充已发生事实。

验证 ​

bash
uv run python scripts/check_llm_budget.py
uv run pytest tests/unit/test_check_llm_budget.py -q

最终装箱仍超限时,可将最新完整角色原文中确证保留的待确认邀约副本替换为 story_so_far 引用,撤下的旧邀请不适用;Review 的公开去向引文表若与最新完整回合的全部对白/旁白逐字一致,也可只替换副本为明确引用,程序验证仍使用完整原始引文表。Review 的接受授权邀约与最新历史回合编号、完整内容及顺序一致时,也可引用该历史原文;比对仅归一化历史已省略的默认猫娘说话人,其他差异保留副本。均保留玩家输入、状态、完整候选和最新历史,不提高容量或增加调用;仍超限继续拒绝发送。

新增 LLM 调用时同时回答:输入各段上限是多少、输出上限是多少、timeout 是多少、失败如何降级、审计是否泄露正文。