Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于多次实验后,GPT-4V拒绝回答问题的请教 #3

Open
z-stefanie opened this issue Apr 16, 2024 · 6 comments
Open

关于多次实验后,GPT-4V拒绝回答问题的请教 #3

z-stefanie opened this issue Apr 16, 2024 · 6 comments

Comments

@z-stefanie
Copy link

抱歉又来打扰您了!我想咨询您一下,GPT-4V对于”多次重复的Prompt“是否会有“疲劳”的问题?

下午,我尝试复现您的论文。我设置了与您论文里相同的Prompt,输入了相同的经过region-division处理的图片:”xxx_superpixel_img_edge_number.png“。
1
3

开始时,结果很好;但是当我实验次数增加、输入图片的数量增多时(一次遍历”mvtec/bottle/test“文件夹中共83张image),GPT-4V开始回答抱歉、拒绝回答等......然后便一直如此。不知道您是否遇到过相同的问题?该怎么解决呢?诚盼您的回复!
2

@zhangzjn
Copy link
Owner

这种问题我之前也偶然会遇到,可以试试每N次(比如10)重置下对话。

重新设计更强、更充分的prompt可潜在解决该问题,也可以试下。

@z-stefanie
Copy link
Author

这种问题我之前也偶然会遇到,可以试试每N次(比如10)重置下对话。

重新设计更强、更充分的prompt可潜在解决该问题,也可以试下。

感谢您深夜仍然回复!对于第二点,我在prompt中增加了例如“Make sure your response does not contain phrases with a refusal tone such as "I am sorry", "I cannot", "I am unable to".”,输出确实好转了一些。请问您是否有一些好的prompt经验呢?如果有的话那真得非常感激!

对于第一点,“重置对话“您指的是重置api-key吗?(我使用的是api网站,可以重置) 还是说别的意思呢?

打扰您了,祝您好梦!

@zhangzjn
Copy link
Owner

重置是指重置对话,清空当前对话上下文,避免你所说的“疲劳”问题。

prompt的话我没有做过多实验,建议可以从任务目标、任务输出格式等角度迫使模型进行任务相关的结果输出。

@z-stefanie
Copy link
Author

重置是指重置对话,清空当前对话上下文,避免你所说的“疲劳”问题。

prompt的话我没有做过多实验,建议可以从任务目标、任务输出格式等角度迫使模型进行任务相关的结果输出。

抱歉学长......我可能仍然不是很懂。如何“清空当前对话上下文?” 这是我的api调用程序,好像没有清空上下文的入口。
4

然后我关注到您对第一个issue问题的解答。您使用了一段新的Prompt,多了一段“Please provide me with a probability value (named as anomaly score) between [0,1] of how likely there are anomalies in this image.” 请问一下是先让模型判断整体异常分数,再判断区域异常分数,最终效果会更好一点吗?
诚盼您的回复!

@zhangzjn
Copy link
Owner

是指去掉上下文内容,我之前做这个评测的时候用的是网页版接口,后续出api后应该有选项,你可以找找看。

整体判断并不会稳定地变好,因此我们使用pixel max作为image-level anomaly score。

@z-stefanie
Copy link
Author

是指下面的内容,我之前做这个足球的时候是用网页版接口,后续出api后应该有选项,你可以找找看。

整体判断并不会稳定地变好,因此我们使用pixel max作为图像级异常得分。

好的,我明白了,感谢您的回复!遗憾的是在openai api调用时好像并没有history的相关入口......我猜测可能是因为访问量太大的原因,openai设置了一定得cache一些query,然后根据query的相似度看是否返回cache过的结果。
不过,我通过在调用api时增加一个“system” role、一对“assistant + user” role,加强了语境提示和限制,让它拒绝回答的几率下降了很多。(参考
5

对的!用“img_scores = scores.reshape(scores.shape[0], -1).max(axis=1)”,只要有一个像素异常,就意味着整张图片异常。再次感谢您的答复,祝您身体健康,生活愉快,工作顺利!!!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants