介绍

• 大模型是人工智能领域中参数数量巨大（数十亿甚至数千亿个参数），拥有庞大计算能力和参数规模的模型，利用大量数据进行训练使其能够捕捉和理解数据中更为复杂、抽象的特征和关系。
• InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。
• Lagent 是一个轻量级，开源的基于大语言模型的智能体（agent）框架
• 浦语·灵笔是基于书生·浦语大语言模型研发的视觉·语言大模型，有着出色的图文理解和创作能力

InternLM-Chat-7B 智能对话 Demo

• 支持在大型集群（数千个GPU）上训练，并在单个GPU上微调。
• InternLM-7B 包含了一个拥有 70 亿参数的基础模型和一个为实际场景量身定制的对话模型。
  1. 利用数万亿的高质量 token 进行训练，建立了一个强大的知识库。
  2. 支持 8k token 的上下文窗口长度，使得输入序列更长并增强了推理能力。
• Demo大致流程：
  • 创建一个A100(1/4) 机器。
  • 在终端运行bash命令进入进入conda环境。
  • 运行conda create --name [myclone] --clone=[myenv] 指令从share目录下复制一个InternLM-demo环境。
  • 运行conda activate [myclone] 进入InternLM-demo环境。
  • 运行 pip install [package_name=x.x.x]指令安装需要的依赖包。
  • 运行 cp -r [...file/directory-sources] [destination] 指令递归地从share目录下复制internlm-chat-7b模型到机器目录。
  • 运行 git clone [repo_link]指令把InternLM代码clone到/root/code目录下。
  • 运行cd [directory] 进入InternLM目录下。
  • 把InternLM/web_demo.py 中 29 行和 33 行的模型更换为本地的的/root/model/Shanghai_AI_Laboratory/internlm-chat-7b 。
  • 终端运行：
    • 在InternLM 目录下新建一个 cli_demo.py 文件，把代码填入。
    • 在终端运行python InternLM/cli_demo.py 。
  • Web demo:
    • 在本地机器打开powershell，运行ssh-keygen -t rsa 生成SSH密钥，运行cat ~\\.ssh\\id_rsa.pub 查看SSH密钥，把SSH密钥配置到InternStudio中。
    • 在终端运行streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006 。
    • 在本地机器powershell运行ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p [port_num] 。
    • 在本地浏览器打开http://127.0.0.1:6006。
• Demo截图（好像有点幻觉问题）：

• 作业：

Lagent 智能体工具调用 Demo