挖一挖
单车变摩托

Openai微调分类器以提高真实性

在一定比例的时间内,使用指导模型实现高质量输出通常相对容易,这足以在看到精心挑选的示例时给人留下深刻印象,但这可能不够可靠,无法部署到生产环境中。

例子

这通常发生在我们称为输入的生成转换的一类问题中,其中的任务是将以一种格式作为输入呈现的信息转换为另一种格式。这些任务包括:

  • 根据结构化输入(例如产品名称、颜色、尺寸、类别)创建引人入胜的产品描述

  • 将大量客户评论总结成描述性的中性语气摘要、广告或朗朗上口的标语

  • 将一段内容重写为特定的品牌风格和格式,同时关注感兴趣的话题。(例如,根据有关新智能手机的新闻稿,写一则针对业余摄影师的广告。

  • 根据提供的上下文回答问题。

出于本指南的目的,我们将专注于根据提供的上下文生成广告。我们希望广告是真实的,有上下文的支持并且引人入胜。

主意

更好的提示可以提高此任务的性能,在大约 50% 到 65% 的时间内给出好的结果,但通常不会超过。然而,当观察温度稍高的 ~5 个不同世代时,人类专家通常会发现一个具有高发布质量的世代。

我们将微调分类器以执行与人类专家相同的判别功能——从生成的样本数量中有效地选择最佳样本。最佳范围可能从一个领域到另一个领域,但通常真实性是能够“生产化”原型的主要限制因素。例如,时不时地出现一个稍微不那么吸引人的广告是可以容忍的,但一个不受输入支持的不真实的广告则不是。

此外,我们可以创建其他鉴别器,专注于验证广告对读者的吸引力。

方法

az9mCPCm54Ty46ZM6zbTPWduK-zFXBNMf-W5M6xwzJP4Id4I9ZycW-kVjga_JeC5A5jbr2jITZBbclr_hJrhLvMBPlgQXx1qQNAd1P-Q57Ie8bNk0Nh1IezNNR8rbwigvlcFkBPUs0

该方法可以分解为以下步骤:

  1. 创建一个生成合理完成的提示,其中一些将是高质量的。或者根据所需的生成任务微调模型。我们将这个模型称为生成器。

  2. 微调 ada 二元分类器,根据几百到一千个专家标记的示例对每个完成的真实性进行评级,预测“是”或“否”。或者,使用我们训练的通用预建真实性和蕴含模型。我们将这个模型称为鉴别器。

  3. 生成多个不同的完成 (10-50),这最容易通过提高生成器的温度来实现。

  4. 根据步骤 2 中鉴别器的“是”标签的预测对数概率对每个完成度进行排序,并仅选择对您的应用程序所需的真实性具有足够高置信度的完成度。如果没有完成达到该阈值,您可以尝试生成更多具有更高温度的样本,或者您可以返回一个特殊的输出,表示生成的样本都不够真实。

如何微调鉴别器?

请阅读案例研究:模型是否做出了不真实的陈述?有关此主题的更多背景信息。

格式化输入

{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:”yes”}

{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:”no”}

{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:”yes”}

设置参数

我们建议使用 ada,因为它是最快的引擎,并且能够在微调后在分类任务中创建良好的预测。为了通过微调获得更好的分类性能,与少量学习相比,我们通常每个类至少需要 100 个示例。随着示例数量的任何翻倍,性能往往会线性增加。

判别器的准确性越高,就越容易找到模型对其有足够信心的样本。

如何使用鉴别器获得信心?

第一个生成的完成令牌的对数概率可用于确定置信度。获取对数概率,可以在完成请求中加上logprobs=2和logit_bias={‘645’: 100, ‘3763’: 100}参数,其中645和3763分别是`no`和`yes`的token ID . 在分类指南的最后一节中查看更多详细信息。“是”标记的对数概率越高,预测支持输出的置信度就越高。

如何确定对数概率阈值?

要确定一个阈值,超过该阈值,广告可能会在 98% 以上的时间内得到支持,我们可以:

  1. 使用鉴别器预测在保留数据集上“是”的概率

  2. 将对数概率度量转换为百分位数。这可以通过对预测进行排序,并为每个对数概率分配一个百分位等级来实现,它表示具有较低对数概率的预测的百分比。

  3. 对于每个百分位数,计算一个精度,即高于该阈值的实际真实广告的份额。

  4. 然后你可以找到一个精度刚好高于 98% 的百分位数。获得至少 98% 的精度所需的对数概率阈值是保留数据集上该百分位数的对数概率。

这是保留数据集上精度和真实性百分位数的图表。在此数据集上,98% 的精度是在 0.58 个百分位数处实现的,这对应于 -0.000685 的对数概率。

TYxTmT1x8cwugmuH_eof3G4xAhKFOrsGyUzeYJlQCQipuLf9rXmJ0mrY8VV0FAl2riPCOw1ws4oDtOAZTg8Jx-1Mk4JhU5isruv6co8BVndPd5K4hTcHCpbDM8zVhPBDAVJPyew6s0

从图中可以看出,如果我们接受“是”的对数概率高于此阈值的任何样本,我们预计此类样本将在约 98% 的时间内得到支持。这意味着如果我们使用单个样本,我们只能在 56% 的时间内达到足够的精度。

通过生成更多样本来提高真实性

通过生成多个样本,然后选择具有最高对数概率的样本,我们可以增加所选广告确实真实的概率。通过生成 3 个样本,我们可以达到 98.3% 的足够真实性阈值。这可以通过生成 10 个样本增加到 99.6%,通过生成 17 个样本增加到 99.8%。随着样本数量的显着增加,我们可以用这种方法观察到收益递减。

lbfmK3Lmbfda14wIfL-TuagzIwjXbYwgLN8SQMS8Ss8PeZV0vQ8jU2dSM4Upa0Kxl0F4jsdDfFyHBSTRwuc9H0HNPJgiuiHAwZpQfmBdexx3nsUJmPGE16Wct0YK4d39ACwAPqa6s0

训练一个好的鉴别器需要多少样本?

精度召回曲线下的面积 (auprc) 通常用于机器学习来评估鉴别器性能。我们比较了微调鉴别器的性能,因为我们将训练示例的数量增加到零样本 davinci-instruct-beta 基线,达到了 0.8 auprc。

XM-iP7dw_ykb0mQxPls-oVWDuvmAI_BgSNBOJLDlaJoxQA-irz5hwgTUd7mKNEmnYJIoyK1hqgg-414bjr3YX9p_qFPAU86pKX_YXFt4b6FPiMIzsYcdQj-DODmhMTSuKx8OBdqss0

正如我们所看到的,随着我们增加用于微调的训练示例的数量,任务的微调性能也会提高。通常每个类需要大约一百个示例才能获得比提示设计更好的性能,这也可以在此数据集上观察到。然后,随着我们将微调训练集的大小加倍,性能会大致呈线性增长。

我们想测试在一般推理任务上训练的模型在这个问题上的表现如何。它的表现似乎与具有 20 个示例的微调模型或设计良好的零样本 davinci-instruct-beta 提示大致相同。

多个鉴别器的可能扩展

我们可以训练多个鉴别器,并以有趣的方式组合它们的输出。

例如,我们可以训练一个鉴别器来预测生成的广告的吸引力,然后从足够真实的广告中选择最吸引人的广告。

结论

通过使用所描述的技术对 10 代进行采样,我们能够将可发布内容的百分比提高到 99.5% 以上。

ChatGPT中国体验版点击进入https://yundongfang.com/chatgpt.php

赞(0)
未经允许不得转载:io.net挖矿教程网 » Openai微调分类器以提高真实性