OpenAI Fine-tuning 功能要点总结

什么是 Fine-tuning？

Fine-tuning 允许你通过提供更多训练数据，使 OpenAI 模型更好地适应特定应用场景，从而获得比单纯使用提示词更好的效果。

Fine-tuning 的优势

  • 生成更高质量的结果
  • 能够训练比提示词容纳更多示例
  • 由于提示词更短，可以节省 Token
  • 降低请求延迟

Fine-tuning 的工作原理

  1. 准备和上传训练数据
  2. 训练新的 Fine-tuned 模型
  3. 评估结果，如有必要，返回步骤 1
  4. 使用 Fine-tuned 模型

支持 Fine-tuning 的模型

  • gpt-4o-2024-08-06
  • gpt-4o-mini-2024-07-18
  • gpt-4-0613
  • gpt-3.5-turbo-0125
  • gpt-3.5-turbo-1106
  • gpt-3.5-turbo-0613
  • babbage-002
  • davinci-002

注意：babbage-002 和 davinci-002 将于 2024 年 10 月 28 日停止支持新的 Fine-tuning 训练任务

准备训练数据集

  • 创建包含多样化示例的对话数据集
  • 采用与 Chat Completions API 相同的格式
  • 包含针对模型行为与预期不符的情况的示例

分析和迭代

  • 查看训练过程中的指标
  • 生成样本并与基准模型进行比较
  • 迭代数据质量、数量和超参数

使用 Fine-tuned 模型

在 Chat Completions API 中指定 Fine-tuned 模型的名称，使用 Playground 或代码进行请求。

Chat Completions API
Playground

常见问题

文档中提供了关于 Fine-tuning 与 Embedding/RAG、模型性能评估、模型继续 Fine-tuning、成本估算、并发任务限制、速率限制等常见问题的解答。