关于评测的问题

• 为什么需要评测

  • 目前存在多种不同类型的大模型，例如文本到文本（text to text）、文本到任务（text to task）、文本到图像（text to image）、文本到视频（text to video）等。因此，需要一种统一的评测方法，以便能够确定最佳模型。

  • 指导模型的能力提升，评测可以了解模型能力的边界在哪里以便迭代并提升模型。

  • 评估大模型在特定场景中是否真正适用（例如法律或医疗领域）是至关重要的。

    

• 需要评测什么？

  • 传统NLP（关系抽取，情感分析等等）

    

  • 大模型（知识，语言，推理，长文本生成，Agent能力，多轮对话能力，情感认知，垂直领域能力，等等）

    

• 如何评测

  • 基座模型，在prompt里加上instruct进行评测。

  • 微调后的对话模型（sft，rlhf），跟人类对话的方式来进行评测。

  • 客观评测：由于大语言模型的输出自由度较高，评测时允许模型的输出与标准答案存在一定的差异。

    

  • 主观评测：语言表达生动精彩，变化丰富，因此主要以人的主观感受为主进行模型评测。同时，也可以考虑使用综合能力较强的模型，例如 GPT-4，来代替人工评价。

    

  • 提示词工程评测：如果同一个问题使用不同语言表达形式构造不同的prompt，而模型的答案变化较大，这可能表明模型对于提示的敏感性较高，鲁棒性较差。

    

• 大模型评测领域的挑战

  

OpenCompass介绍

• OpenCompass提供设计一套全面、高效、可拓展的大模型评测方案，对模型能力、性能、安全性等进行全方位的评估。

• OpenCompass提供分布式自动化的评测系统，支持对(语言/多模态)大模型开展全面系统的能力评估。

• 工具架构：

  

  • 模型层：大模型评测所涉及的主要模型种类，OpenCompass以基座模型和对话模型作为重点评测对象。
  • 能力层：OpenCompass从本方案从通用能力和特色能力两个方面来进行评测维度设计。在模型通用能力方面，从语言、知识、理解、推理、安全等多个能力维度进行评测。在特色能力方面，从长文本、代码、工具、知识增强等维度进行评测。
  • 方法层：OpenCompass采用客观评测与主观评测两种评测方式。客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。
  • 工具层：OpenCompass提供丰富的功能支持自动化地开展大语言模型的高效评测。包括分布式评测技术，提示词工程，对接评测数据库，评测榜单发布，评测报告生成等诸多功能。

• OpenCompass能力维度体系涵盖通用能力和特色能力两大部分。

  • 通用能力涵盖学科综合能力、知识能力、语言能力、理解能力、推理能力、安全能力，共计六大维度。

• 评测方法

  • OpenCompass采取客观评测与主观评测相结合的方法。
  • 客观评测：针对具有标准答案的客观问题，对模型的输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。
    • OpenCompass采用提示词工程 （prompt engineering）和语境学习（in-context learning）进行客观评测。
    • 判别式评测：该评测方式基于将问题与候选答案组合在一起，计算模型在所有组合上的困惑度（perplexity），并选择困惑度最小的答案作为模型的最终输出。例如，若模型在 问题? 答案1 上的困惑度为 0.1，在 问题? 答案2 上的困惑度为 0.2，最终我们会选择 答案1 作为模型的输出。
    • 生成式评测：该评测方式主要用于生成类任务，如语言翻译、程序生成、逻辑分析题等。具体实践时，使用问题作为模型的原始输入，并留白答案区域待模型进行后续补全。我们通常还需要对其输出进行后处理，以保证输出满足数据集的要求。
  • 主观评测：针对体现模型能力的开放式或半开放式的问题、模型安全问题等，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。
    • OpenCompass采取的主观评测方案是指借助受试者的主观判断对具有对话能力的大语言模型进行能力评测。
    • OpenCompass采用真实人类专家的主观评测与基于模型打分的主观评测相结合的方式开展模型能力评估。
    • OpenComapass采用单模型回复满意度统计和多模型满意度比较两种方式开展具体的评测工作。

• 流水线设计

  

  • 配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。
  • 推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。
  • 可视化：评估完成后，OpenCompass 将结果整理成易读的表格，并将其保存为 CSV 和 TXT 文件。

基础作业