Finetune 简介

• 常见的微调模式：

  • 增量预训练

    • 给模型投喂一些新的知识，如某个垂类领域的常识，使得模型在该领域呢就能获得更好的表现

  • 指令跟随

    • 根据人类指令进行对话，让模型意识到使用者在问他一个问题，使得模型的回答不再是单纯拟合训练集的分布。

    

指令跟随微调

• 对训练数据进行角色指定（构建对话模板）

  • 为了能够让模型区分出，System、User 和 Assistant。
  • System 给定一些上下文信息，比如“你是一个安全的 AI 助手” （微调的目标领域）
  • User 实际用户，会提出一些问题，比如**“世界第一高峰是？”**
  • Assistant  根据 User 的输入，结合 System 的上下文信息，做出回答，比如**“珠穆朗玛峰”**