Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

上下文聊天太贵了,如果能加上一个开关就好了 #378

Closed
somego opened this issue Mar 7, 2023 · 8 comments
Closed

上下文聊天太贵了,如果能加上一个开关就好了 #378

somego opened this issue Mar 7, 2023 · 8 comments

Comments

@somego
Copy link

somego commented Mar 7, 2023

大部分时候可能需要上下文,这样能获得更好的回答。
但是有时候也不需要上下文,这样不需要上下文的如果想省钱,只能每发送一条就new一个新聊天窗口,要不然就会把之前生成的回答也发送了,相当费钱。如果在聊天窗口上有个选项,是否开启上下文,这样不需要上下文聊天时候就关闭这个选项,可以省不少钱😄

或者还有复杂一些的,能自己选择把之前的哪些回答作为上下文发送

@Byz-liu
Copy link

Byz-liu commented Mar 7, 2023

对,以为很便宜,其实一个请求就占了2K-3K个token。

@qimo2020
Copy link

qimo2020 commented Mar 8, 2023

这个支持!

@assassinliujie
Copy link
Contributor

之前生成的回答还会每次重新发送计费么,这玩意计费啥原理来着

@assassinliujie
Copy link
Contributor

我现在每五分钟就有几万个token,不知道问题出在哪

@fierceX
Copy link

fierceX commented Mar 8, 2023

@assassinliujie 是不是有可能被盗刷了

@assassinliujie
Copy link
Contributor

@assassinliujie 是不是有可能被盗刷了

这还真不知道,docker部署的不知道该怎么查看请求日志

@Byz-liu
Copy link

Byz-liu commented Mar 8, 2023

应该不是被刷了,几万个token也就几十次请求,应该就是用的人多了一点,更新一下加个访问密码,应该会好一点。

@Arvintian
Copy link

重写了一下服务端api,做了一个chat会话保持时间机制,和预留tokens数截断上下文的机制,参考https://github.com/Arvintian/chatgpt-web

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

7 participants