这个4096 tokens的限制是所有对话加起来还是一次性输入最大限制

[somego]

ChatGPT error 400: {
"error": {
"message": "This model's maximum context length is 4096 tokens. However, you requested 4110 tokens (3110 in the messages, 1000 in the completion). Please reduce the length of the messages or completion.",
"type": "invalid_request_error",
"param": "messages",
"code": "context_length_exceeded"
}
}

我试过在一个对话中，连续提问，如果每次字数很多，就会有这个提示，记得2.9.2之前好像可以很长的没有这个提示，更新2.9.2后如果连续几次对话字数多就有这个提示，但是新开一个聊天就又可以了。

我就找了一个2.9.0的版本的测试，开了一个聊天窗口让写作文，每次写1000字作文，虽然可能没有1000字，但是至少也有500字了，写了15篇左右都没有问题。
但是2.9.2测试时候一开始不到5篇就出现这个提示，后来20篇左右有这个提示，提示后等了几分钟又可以输入，继续写一篇后又出现这个提示。但是2.9.0测试到15篇之后还一直没有出现问题，一直测试写了几十篇作文，大概几万字了。不知道2.9.2版本是什么原因导致会出现这个提示

顺带问了一下，让他自己给自己出个解决方案

[somego]

还有这个error 429错误也会出现，稍微快一点就会出现限制，我搜了一下有人是通过多个APIkey切换来解决这个问题，不知道能不能搞个解决方案

[goodwisdom]

这是个好问题，回答字数受限比较难受，4096有办法可以突破吗？

[helperAI]

有的开源实现方法是直接截取最后的4096个token。

[baby9]

好像是单次问答总的tokens限制在4096，请求时设置的max_token是openAI回复的token最大值，单次提问的等效token和设置的max_token加起来的值不能超过4096

[shenwrt]

https://github.com/GaiZhenbiao/ChuanhuChatGPT
可以参考下这个项目，他里面有优化Tokens的功能，感觉还可以

[TS1989ED]

如果您在使用 OpenAI API，则可以考虑使用 GPT-3 的 "streaming" API，该 API 支持大于 4096 tokens 的输入。但请注意，使用此 API 将会产生更高的计算成本。

[yi-ge]

回答字数受限的问题我已经解决了#450 ，提问数据超限也是可以解决的，暂时没时间做。

[kryst5l]

https://github.com/GaiZhenbiao/ChuanhuChatGPT 可以参考下这个项目，他里面有优化Tokens的功能，感觉还可以

是函数的哪个部分呢，没看出来做了什么优化