重要的事情，再次重复，ChatGPT Prompt主要分为四个部分：
- Instruction
- Context
- Input Data
- Output indicator
并且在前面的内容中进行了详细的介绍。
今天说的是两个隐藏参数，Temperature and top-p
What，Temperature 和Top-p是啥？
这是两个隐藏的参数，之前问ChatGPT的时候，给我的回答。之后就去看了看这部分内容的用法。下面来解释一下这个东西是什么？
一个词一个词的说，首先说第一个。
Temperature翻译成中文是“温度”。既然这样的话，那就去看看“温度”的定义呗。En，这种精确的定义，不能够找百度百科，要找Wikipedia。
Temperature is a physical quantity that quantitatively expresses the attribute of hotness or coldness. Temperature is measured with a thermometer. It reflects the average kinetic energy of the vibrating and colliding atoms making up a substance.
——Wikipedia, https://en.wikipedia.org/wiki/Temperature
这段话讲的啥？
- 温度是一个物理量
- 宏观上，温度用来衡量物体的冷热程度
- 微观上，温度反映了物体反映了构成物质的振动和碰撞原子的平均动能
因为ChatGPT是通过根据概率来猜下一个词。而每一“词”对应于物理学中的“原子”。
所以Temperature的作用就是通过微观上调控每个“词”的“动能”（即出现的概率），实现宏观上输出文本的“冷热程度”（即最终输出文本的多样性）
翻译成大白话就是，Temperature越高，越有可能选择哪些概率较低的词，产生更加有想象力的文本。
那么，Top-p是啥呢？这个词不会，就去找ChatGPT给我解答了。
“Top-P” 是指 “top percentage” 的缩写，通常用于自然语言处理（NLP）领域，特别是在生成式文本任务中。这个概念常常与采样生成文本的方法有关。
在生成文本时，我们可以按照模型预测的概率分布选择下一个词语。而 Top-P 采样就是在概率分布中选择累积概率排名在前 P% 的词语，然后从中随机选取一个作为生成的下一个词。这有助于控制生成的多样性，使得生成的文本更加有趣和丰富。
例如，如果选择 Top-5，就是从模型预测的概率分布中选择排名前5%的词语，然后从中随机选取一个词作为生成的下一个词。这样可以在保持一定的确定性的同时增加生成文本的多样性。
——ChatGPT给我的回答
说实话，还是听不懂。但是经过网络搜索之后，知道了这个是什么东西。举个例子大家也就明白了。
问题：我喜欢足球和{{}}
那么跟在足球之后的，ChatGPT会去猜这个词是什么？如果后面有下面几个选项及其对应的概率：
| 词语 | 概率 |
|---|---|
| 篮球 | 0.4 |
| 乒乓球 | 0.3 |
| 羽毛球 | 0.2 |
| 网球 | 0.1 |
下面是对不同的Top-p的设置结果，其可能选的词。
| Top-p | 可选词 |
|---|---|
| 0.4 | 篮球 |
| 0.7 | 篮球、乒乓球 |
| 0.9 | 篮球、乒乓球、羽毛球 |
| 1.0 | 篮球、乒乓球、羽毛球、网球 |
不过上面的例子不够恰当，毕竟不是学这个的，谁可以丰富的话，可以联系我呀。
所以，Top-p的作用翻译成人话就是，对每个词出现的概率先进行排序，然后根据Top-p的大小，从上到下累计词汇形成一个集合，再从这个集合中选择词汇。也就是说，Top-p越小，内容越单调。Top-p越大，越丰富。
How，如何使用这两个参数？
首先还是回到之前的我画的那张图，来看看Temperature和Top-p到底应该处于什么位置。
Temperature和Top-p是直接调控ChatGPT的内部参数，对应于图中的“ChatGPT”，然后然后得到想要的答案。常见的调控场景如下所示：
- 如果是严谨的学术内容，选择低的Temperature和Top-p
- 如果是头脑风暴、剧本创作等，选择高的Temperature和Top-p
当然，这个词的大小，根据大家的需求来选择。
下面举例子。
上面是同样的Prompt，但是不同的Temperature。结果呢，第一个故事很单调，但是第二个故事，有了些许波折。
上面是同样的Prompt，但是不同的Top-p。结果呢，第二个故事中出现了我们脑海中都不会出现的词汇：“智能软件”、“科技”、“编程”。相对于传统的内容，更加丰富。
结语
总结上面的内容，可以得出下面的结论
- Temperature可以调控想象力，Temperature越大，生成文本的更加波折
- Top-p可以调控多样性，Top-p越大，生成的文本多样性越大
当然，其实我还问出了第三个参数 Max_tokens，用来调控生成文本的长度。不过我觉得文本转换成Token还要经过计算，大家只需要输入自然语言，比如“要求限定800字”就行了。
