大模型开发范式

• 目前基于大模型进行应用开发的两种核心方式是 RAG 和 finetune。
• InternLM 具有卓越的语言理解能力，可以理解用户自然语言的指令，并具备强大的知识储备和一定的逻辑推理能力。这使得 InternLM 成为一个多元应用的基座模型，可用于解决复杂问题并在多个领域中发挥强大的作用。
• 大模型也存在一定的局限性，这些局限性限制了大模型在实际落地应用中的广泛应用。
  • 知识时效性受限：尽管大模型在训练时获得了强大的知识，但由于其是在确定的时间点进行训练的，因此仅包含训练时间点之前的信息。对于更新的知识，大模型无法做出回答。
  • 专业能力有限：尽管大模型具有在多个领域上解答简单问题的能力，并拥有较强的知识广度，然而，其专业能力在垂直领域，如医学、法学等专业性较强的领域，仍然存在一定的限制。对于那些需要深入专业知识和复杂底蕴才能解决的问题，大模型的适用性也可能受到一定的限制。
  • 定制化成本高：大模型的高昂训练成本导致其在定制化方面成本较高，使得通过多次训练来保持知识时效性几乎无法实现。然而，通用的非定制化应用在解决个体用户需求方面通常受到一定限制。因此，如何构建个性化的大模型应用成为一个关键问题，需要在平衡成本与个性化需求之间找到合适的解决方案。
• 有两种开发方式可以拓展大模型的能力以解决其面临的局限性：RAG 和 Finetune。

  • RAG （Retrieval Augmented Generation）

    • 用户提问时，系统首先从知识库中匹配相关文档，获取对应的知识。
    • 然后，将这些文档和用户提问一起输入大模型，使大模型能够生成更具有深度的回答。
    • 低成本。
    • 可实时更新。
    • 受基座模型影响大。
    • 单次回答知识有限。
    • 受限于检索精度和Prompt性能。

    

  • Finetune（轻量级微调）

    • 在一个新的较小训练集上，进行轻量级的训练微调。
    • 这种微调有助于提升模型在新数据集上的能力，使其更适应特定领域或任务。
    • 可个性化微调。
    • 知识覆盖面广。
    • 成本高昂。
    • 无法实时更新。

LangChain 简介

• LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。

• 开发者可以直接将私域数据嵌入到LangChain中的组件，然后通过对这些组件进行组合，来构建适用于自己业务场景的RAG应用。

• LangChain 的核心组成模块：

  • 链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列 LLM 操作。
  • Eg. 检索问答链，覆盖实现了 RAG（检索增强生成）的全部流程。

  

构建向量数据库

• 加载源文件 → 文档分块 → 文档向量化。
• 确定源文件类型（txt，pdf），针对不同类型源文件选用不同的加载器。
  • 核心在于将带格式文本转化为无格式字符串。
• 由于单个文档往往超过模型上下文上限，我们需要对加载的文档进行切分。
  • 一般按字符串长度进行分割。
  • 可以手动控制分割块的长度和重叠区间长度。
• 使用向量数据库来支持语义检索，需要将文档向量化存入向量数据库。
  • 可以使用任何一种 Embedding 模型来进行向量化。
  • 可以使用多种支持语义检索的向量数据库，一般使用轻量级的 Chroma。