New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

优化embedding相似度缓存机制，增加 LLM 相似性检查功能并优化缓存机制 #421

Merged

LarFii merged 4 commits into HKUDS:main from magicyuan876:main

Dec 9, 2024

Contributor

magicyuan876 commented Dec 8, 2024

在 embedding 缓存配置中添加 use_llm_check 参数
实现 LLM 相似性检查逻辑，作为缓存命中的二次验证- 优化 naive 模式的缓存处理流程
调整缓存数据结构，移除不必要的 model 字段

主要解决向量相似度无法处理的场景，类似如下的问题

2023年的销售额
2024年的销售额

magicyuan876 added 4 commits

December 8, 2024 10:37


          缓存计算函数迁移到工具类

dc2a450


          feat(cache): 增加 LLM 相似性检查功能并优化缓存机制

ccf44dc

- 在 embedding 缓存配置中添加 use_llm_check 参数
- 实现 LLM 相似性检查逻辑，作为缓存命中的二次验证- 优化 naive 模式的缓存处理流程
- 调整缓存数据结构，移除不必要的 model 字段


          清理多余注释

39c2cb1


          清理多余注释

779ed60

LarFii merged commit 2644a29 into HKUDS:main

1 check passed

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet