RAG

向量检索

illufly 的向量检索能力，默认是基于 faiss 实现的。

1. 安装

# 安装 CPU 版本
pip install faiss-cpu
# 安装 GPU 版本
# pip install faiss-gpu

但 illufly 有更具体的实践策略和限制。

2. 实践策略

对于大量文本资料，我们认为，检索前应当更多地进行“提前阅读”，而不是直接进行向量检索。 就像公司新招的一名员工，你不能指望临时给他看一堆资料，就指望他能回答你的问题。

大模型或智能体框架也一样，它们需要更多地使用“提前阅读”。 而且“阅读”应当是有目的性的，必须针对特定领域、特定问题提炼出关键信息，并进一步反思其中包含的概念、数据、逻辑，进行摘要和总结，然后针对“消化后”的内容做检索，而不是针对原始文本的所有细节做检索。

illufly 的向量检索框架就是基于上述理念设计的。

3. 向量检索的限制

由于上述理念，我们在框架上限制了在自动从原始文本直接检索细节的能力，也没有在这方面做任何优化。 如果需要在 illufly 的智能体框架中时，期待从从海量未经“阅读”的原始文本中检索细节，请使用相关框架做提前处理，然后使用 illufly 的智能体对接。

代码示例