OpenAI 模型蒸馏过程要点总结

• 使用 `store: true` 参数在聊天补全 API 中存储大型模型（如 o1-preview 或 gpt-4o）生成的高质量输出
• 使用 `metadata` 属性标记这些输出，方便后续筛选

• 使用存储的输出结果，评估大型模型和小型模型在特定任务上的性能，建立基线
• 通常大型模型的性能会优于小型模型

• 选择一部分存储的输出作为训练数据，用于微调小型模型（如 gpt-4o-mini）
• 通过筛选存储的输出选择训练数据，并点击"蒸馏"按钮
• 配置微调参数，选择要微调的基础模型，并启动微调任务

• 微调任务完成后，使���评估工具评估其性能，并与基础模型和大型模型进行对比
• 可以持续调整训练数据的多样性、大型模型的提示和输出、评估指标的准确性等，使小型模型在特定任务上的性能接近大型模型

模型蒸馏是优化模型输出的一种方法，还可以通过微调和评估等手段进一步优化。