076 ChatGPT Prompt 2.2 Temperature and Top-p
本文最后更新于 82 天前,其中的信息可能已经有所发展或是发生改变。

重要的事情,再次重复,ChatGPT Prompt主要分为四个部分:

  1. Instruction
  2. Context
  3. Input Data
  4. Output indicator

并且在前面的内容中进行了详细的介绍。

今天说的是两个隐藏参数,Temperature and top-p

What,Temperature 和Top-p是啥?

这是两个隐藏的参数,之前问ChatGPT的时候,给我的回答。之后就去看了看这部分内容的用法。下面来解释一下这个东西是什么?

一个词一个词的说,首先说第一个。

Temperature翻译成中文是“温度”。既然这样的话,那就去看看“温度”的定义呗。En,这种精确的定义,不能够找百度百科,要找Wikipedia。

Temperature is a physical quantity that quantitatively expresses the attribute of hotness or coldness. Temperature is measured with a thermometer. It reflects the average kinetic energy of the vibrating and colliding atoms making up a substance.

——Wikipedia, https://en.wikipedia.org/wiki/Temperature

这段话讲的啥?

  1. 温度是一个物理量
  2. 宏观上,温度用来衡量物体的冷热程度
  3. 微观上,温度反映了物体反映了构成物质的振动和碰撞原子的平均动能

因为ChatGPT是通过根据概率来猜下一个词。而每一“词”对应于物理学中的“原子”。

所以Temperature的作用就是通过微观上调控每个“词”的“动能”(即出现的概率),实现宏观上输出文本的“冷热程度”(即最终输出文本的多样性)

翻译成大白话就是,Temperature越高,越有可能选择哪些概率较低的词,产生更加有想象力的文本。

那么,Top-p是啥呢?这个词不会,就去找ChatGPT给我解答了。

“Top-P” 是指 “top percentage” 的缩写,通常用于自然语言处理(NLP)领域,特别是在生成式文本任务中。这个概念常常与采样生成文本的方法有关。

在生成文本时,我们可以按照模型预测的概率分布选择下一个词语。而 Top-P 采样就是在概率分布中选择累积概率排名在前 P% 的词语,然后从中随机选取一个作为生成的下一个词。这有助于控制生成的多样性,使得生成的文本更加有趣和丰富。

例如,如果选择 Top-5,就是从模型预测的概率分布中选择排名前5%的词语,然后从中随机选取一个词作为生成的下一个词。这样可以在保持一定的确定性的同时增加生成文本的多样性。

——ChatGPT给我的回答

说实话,还是听不懂。但是经过网络搜索之后,知道了这个是什么东西。举个例子大家也就明白了。

问题:我喜欢足球和{{}}

那么跟在足球之后的,ChatGPT会去猜这个词是什么?如果后面有下面几个选项及其对应的概率:

词语 概率
篮球 0.4
乒乓球 0.3
羽毛球 0.2
网球 0.1

下面是对不同的Top-p的设置结果,其可能选的词。

Top-p 可选词
0.4 篮球
0.7 篮球、乒乓球
0.9 篮球、乒乓球、羽毛球
1.0 篮球、乒乓球、羽毛球、网球

不过上面的例子不够恰当,毕竟不是学这个的,谁可以丰富的话,可以联系我呀。

所以,Top-p的作用翻译成人话就是,对每个词出现的概率先进行排序,然后根据Top-p的大小,从上到下累计词汇形成一个集合,再从这个集合中选择词汇。也就是说,Top-p越小,内容越单调。Top-p越大,越丰富。

How,如何使用这两个参数?

首先还是回到之前的我画的那张图,来看看Temperature和Top-p到底应该处于什么位置。

20240201 - Prompt2.2 Temperature and Top-p - 冬冬

Temperature和Top-p是直接调控ChatGPT的内部参数,对应于图中的“ChatGPT”,然后然后得到想要的答案。常见的调控场景如下所示:

  • 如果是严谨的学术内容,选择低的Temperature和Top-p
  • 如果是头脑风暴、剧本创作等,选择高的Temperature和Top-p

当然,这个词的大小,根据大家的需求来选择。

下面举例子。

20240201 - Prompt2.2 Temperature and Top-p - 冬冬

上面是同样的Prompt,但是不同的Temperature。结果呢,第一个故事很单调,但是第二个故事,有了些许波折。

20240201 - Prompt2.2 Temperature and Top-p - 冬冬

上面是同样的Prompt,但是不同的Top-p。结果呢,第二个故事中出现了我们脑海中都不会出现的词汇:“智能软件”、“科技”、“编程”。相对于传统的内容,更加丰富。

结语

总结上面的内容,可以得出下面的结论

  • Temperature可以调控想象力,Temperature越大,生成文本的更加波折
  • Top-p可以调控多样性,Top-p越大,生成的文本多样性越大

当然,其实我还问出了第三个参数 Max_tokens,用来调控生成文本的长度。不过我觉得文本转换成Token还要经过计算,大家只需要输入自然语言,比如“要求限定800字”就行了。

作者:Dongdong
链接:http://ddw2019.com/076
声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 4.0协议,转载请注明文章地址。

如果观众姥爷们觉得冬冬的博客还不错,可以订阅赏杯奶茶让我继续撰写下去呦 (ฅ´ω`ฅ)
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇