FEATURED REPORT / 01

READ THE DETAIL

观点 · 数据 · 实践
当前位置 1xBET体育 |中国 赛事资讯 · 实时比分 · 数据分析 资讯中心 一个超长提示词,为何从500改成400就省下四倍算力?
01 READING
ROOM
资讯中心

一个超长提示词,为何从500改成400就省下四倍算力?

1xBET体育 |中国 赛事资讯 · 实时比分 · 数据分析编辑部 336 阅读 约 5.5 分钟

本文由1xBET体育整理发布:

一个永远不可能成功的请求,被系统标成了"服务器临时故障"。

客户端看到这个信号,按规矩重试;

重试一次,失败一次;

再重试,再失败。

整个过程里,GPU 什么都没算出来,但请求量翻了几倍。

NVIDIA Dynamo v1.

6.

2(标签日期 2026-11-05)是 v1.

6.

1 之上的补丁版本。

代码改动很小,运维影响不小。

两处变化值得盯:一是 TensorRT-LLM 后端遇到超过引擎 max_num_tokens 的提示词时,返回码从 HTTP 500 api_error 改成 HTTP 400 invalid_request_error,同时 worker 继续运行;

二是 SGLang 的 decode 与 aggregated worker 多了一个可选的 --freeze-gc-after-init 开关(环境变量 DYN_SGL_FREEZE_GC_AFTER_INIT),目标是减少长跑 worker 的流式卡顿。

后端版本与 v1.

6.

1 保持一致:SGLang v0.

5.

21、TensorRT-LLM v1.

3.

0rc29、vLLM v0.

31.

0。

状态码不是装饰 用户和 GPU 之间的每一层,都靠状态码决定下一步动作。

4xx 的含义是:这个请求本身有问题,别原样再发。

5xx 的含义是:服务器出错了,再试一次也许能成。

在 1.

6.

2 之前,TensorRT-LLM 后端上一个超长的非流式 /v1/messages 请求会返回 500。

v1.

6.

0 的发布说明把它列为已知问题,且没有绕行方案。

一个注定失败的请求,被贴上了"瞬时故障"的标签。

任何把 5xx 当作可重试的错误策略,都会把同一个必然失败的请求反复送上去。

算一笔简单的账。

假设客户端库允许对 5xx 重试 3 次,一个超长提示词就变成 4 次打到前端的尝试。

如果每秒有 50 个超长请求——一个配置错误的 agent 循环把整个代码仓库塞进上下文,就是很现实的来源——那就是每秒 200 次纯浪费的尝试;

换成 400,这个数字是 50。

倍数由你的重试策略决定,不由 Dynamo 决定。

还有第二笔成本。

错误率看板和 SLO 燃烧告警通常把 5xx 算成服务方的失败,把 4xx 算成调用方的问题。

超长提示词引发的 api_error 尖峰,会把值班工程师叫起来处理一件根本不是故障的事。

改成 400,信号才落进正确的桶里。

升级前后怎么验 这个契约可以直接测。

构造一个故意超长的提示词,看返回什么状态码。

端点、模型名和尺寸都按你自己的部署替换。

用 httpx 向 /v1/messages 发一个内容为重复单词的请求,词数设为引擎 max_num_tokens 的两倍。

about image

记录状态码、错误类型和耗时。

在 1.

6.

2 加 TensorRT-LLM 上,预期是 400 invalid_request_error;

在 1.

6.

0/1.

6.

1 上,是 500 api_error,属于已记录的已知问题。

然后检查前端那几层。

有三个地方会在 5xx 上重试,而很多人不记得它们存在:客户端 SDK 的内置重试(不少默认对 5xx 重试若干次)、API 网关或服务网格 sidecar 的重试策略、以及你自己那个遇到非 2xx 就重新入队的队列消费者。

按请求 id 记录一天的尝试次数。

如果超长提示词表现为反复尝试,光升级还不够。

在网关加一道便宜的预检查,把超出 token 预算的提示词挡在 GPU worker 之前,并把这个预算做成共享配置值,而不是复制进三个仓库的数字。

还有一个细节来自 v1.

6.

0 的已知问题清单:worker 拒绝请求时,前端返回的是通用错误,不带 worker 的消息。

1.

6.

2 的说明把 v1.

6.

0 的已知问题一并继承,只除掉了超长提示词这一条。

所以在 1.

6.

2 上,你应该期待状态码类别正确,但响应体不一定有用。

别写解析错误文本的客户端逻辑。

GC 冻结开关到底做什么 第二处改动针对 SGLang decode 与 aggregated worker 里的 Python 垃圾回收。

发布说明把目标描述为减少长跑 worker 的流式卡顿,并明确它默认关闭,建议在大范围启用前先拿一个对照 worker 比较内存占用。

它依托的是标准 CPython 机制。

循环回收器会周期性遍历被跟踪的容器对象,寻找引用环。

在一个启动时加载了大量 Python 状态的 worker 里(配置对象、分词器结构、调度表),每次完整回收都有很多东西要扫,而一次长扫描就是一次停顿,停的可能正是往流里喂 token 的那个线程。

Python 提供 gc.

freeze(),把当前被跟踪的对象全部移进永久代,后续回收直接跳过。

代价也写在这个机制里。

被冻结的对象永远不会被回收,所以它们

更多体育热点,关注1xBET体育。

上一篇 朝鲜开辟第二条国内航线... 下一篇 英国王室不养闲人!威廉酝酿剥夺头衔大改革,哈里梅根:冲我们来的?!...
返回资讯列表

分享这篇内容

让更多人看到有价值的行业观点。

YOU MAY ALSO LIKE

推荐阅读

延伸阅读相关主题内容,继续了解行业变化与专业实践。

MORE FROM THE DESK

热点新闻

如果您希望持续了解行业新动态,可以从以下内容开始继续阅读。

查看更多资讯
比学历贬值更值得警惕的是:千军万马只顾上岸,却丢了自己

比学历贬值更值得警惕的是:千军万马只顾上岸,却丢了自己

为了找到一份稳妥的工作,有人把一年又一年交给考试。读完本科再读研,拿到一张证,再准备下一张证,眼前总有一道值得冲刺的门槛。 真正令人担心的,是过关逐渐取代了生活本身:擅长什么、愿意做什么、能把什么事做扎实,反倒越来越少有时间去想。学历的回报会随市场变化,把自己的判断也一并交出去,代价可能更长久。 日本经历过的一段就业变化,能把这件事讲得更清楚。经济快速发展时,大学毕业生进入企业,沿着培训、晋升和长

7.32亿巨债尘埃落定,赵薇前夫黄有龙久居法国,律师称心脏有问题

7.32亿巨债尘埃落定,赵薇前夫黄有龙久居法国,律师称心脏有问题

这件事,到这里算是尘埃落定了。 11月4日,香港高等法院驳回了黄有龙的上诉,维持原判,他必须向华融旗下的智择创投偿还约7.317亿港元,其中3.716亿港元的本金还要按判决利率持续计息。 钱一天不还,数字就一天往上涨。 从当年身家几十亿、站在首富身边的风云人物,到今天背着十亿级债务躲在法国不敢回来,黄有龙这番处境,确实令人唏嘘。 可唏嘘归唏嘘,这笔账真怨不得别人。 这笔 7.32 亿是怎么来的 源

曼联拟就16岁小将离队提法律诉讼,称其合同期内疑遭违规接触

曼联拟就16岁小将离队提法律诉讼,称其合同期内疑遭违规接触

曼联方面已做好准备:一旦出现证据,证明青训小将JJ·加布里埃尔(JJ Gabriel)在合同期内被其他俱乐部违规接触,俱乐部将正式提起法律诉讼。据ESPN消息,这名16岁球员近日在社交媒体上宣布离开老特拉福德,俱乐部对此感到震惊。 目前,曼联仍持有加布里埃尔的注册权,且尚未收到任何管理机构就潜在转会发来的联系。但据了解,球员方面已与皇家马德里达成口头协议,这笔潜在转会得以推进,与其持有欧盟护照有关

深圳刚谈完,特朗普一通电话打进柏林:450亿买不来一把椅子

深圳刚谈完,特朗普一通电话打进柏林:450亿买不来一把椅子

深圳刚谈完,特朗普一通电话打进柏林:450亿买不来一把椅子 有趣的圆月GwH9uf 11月19日,地球两端同时摆开两张桌子。深圳那边,特朗普与普京、领导人会谈90分钟,会后抛出一份“和平宣言”;柏林这边,四十多个国家和机构的领导人正围着乌克兰议题,商量钱从哪里来、谈判桌怎么上。傍晚,剧本突然反转——特朗普从“空军一号”上拨进柏林会场,据三名与会者向德国《世界报》透露,这位刚见完普京的美国总统,当着

蛰伏4年终于开播!仅更5集直接杀穿榜单,这才是真年度黑马好剧

蛰伏4年终于开播!仅更5集直接杀穿榜单,这才是真年度黑马好剧

今年影视剧扎堆上新,大制作、大明星、大宣传的新剧一部接一部。谁都没料到,最后杀出重围、霸占各大热榜第一名的,是一部沉寂整整四年、几乎没做任何宣传的冷门新剧。整部剧只更新五集,就凭观众实打实的口碑发酵,碾压同期所有热播作品,成为全网最新追剧潮流。 经常追剧的普通人都有同感。现在太多电视剧重宣传、轻内容。开播之前铺天盖地做推广,花絮剪辑满天飞,把观众期待值拉到最高。真正点开观看,全程都是老掉牙的套路。