OpenAI控制完成的长度

104次阅读
没有评论

控制完成的长度

控制完成时间的主要方法是使用最大令牌设置。在 Playground 中,此设置是“响应长度”。这些请求最多可以使用 2,049 个令牌,在提示和完成之间共享。

让我们比较一下科幻书籍列表生成器和分类示例提示的响应长度。

科幻书单制作工具

OpenAI控制完成的长度

分类

OpenAI控制完成的长度

图书列表生成器具有相对较高的响应长度值 200,因为任务是生成最多 10 本书的列表。另一方面,分类示例的 Response Length 值仅为 6,因为任务是用几个词来确定公司的类别。给定“FedEx”作为输入,完成只是“Logistics, Transportation”。

除了设置 Response Length 值之外,您还可以使用其他一些策略来控制输出长度:

给出指示

提供指令以生成所需的输出长度,例如列表中特定数量的项目。这对 instruct 系列特别有效。回到科幻书籍列表生成器示例,您可以提供明确的指令来生成包含十本书的列表。然后指令将是“十本科幻小说的清单”而不是“科幻小说”。

添加特定长度的示例

该 API 非常擅长识别模式,并且会在生成文本时考虑给出的示例的长度。通过提供具有所需输出长度的示例或多个示例,您可以提供有关预期长度的所需上下文。在下面的提示中,我们修改了科幻书籍列表制作器,以创建任何给定类型的五本书的列表。我们提供了一个包含五个列表项的示例,此外还给出了创建包含五本书的列表的明确说明。

策略性停止序列

OpenAI控制完成的长度

在上面的示例中,停止序列是“###”和“6.”。如果 API 尝试生成第六个列表项,它将遇到“6”。停止序列。以类似的方式,可以使用句号来生成单个句子。您可以在此处了解有关停止序列的更多信息。

注意:目前没有办法设置令牌的最小数量。

ChatGPT中国体验版点击进入https://yundongfang.com/chatgpt.php

正文完
 
Windows12系统管理员
版权声明:本站原创文章,由 Windows12系统管理员 2023-02-09发表,共计740字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)