GPT模型
GPT模型：生成式预训练模型(Generative Pre-Training)
总体结构：
无监督的预训练
有监督的下游任务精调
核心结构：中间部分主要由12个Transformer Decoder的block堆叠而成
下面这张图更直观地反映了模型的整体结构：
GPT 迭代过程概要表：
版本发布时间训练方案参数量是否开放接口
GPT(GPT-1)2018 年 6 月无监督学习1.17 亿是
GPT-22019 年 2 月多任务学习15 亿是
GPT-32020 年 5 月海量参数1,750 亿是
ChatGPT(GPT-3.5)2022 年 12 月针对对话场景优化1,750 亿否
GPT-4未发布万亿参数100万亿否
获取 API KEY
1、获得可用 OpenAI 账号(X宝可以买)后，访问(梯子，然后全局到日本或韩国) View API keys -> API Keys 页面，点击 Create new secret key 获取一个 openai.api_key 再继续后面的内容(后续没有任何网络限制)。
2、可以使用谷歌或微软已注册的邮箱等账号进行登录“https://openai.com/”访问(梯子，然后全局到日本或韩国等)，然后在X宝等第三方虚拟短信验证接受平台上购买一个手机号码，用于接收短信，View API keys -> API Keys 页面，点击 Create new secret key 获取一个 openai.api_key 再继续后面的内容(后续没有任何网络限制)。
调用openai
使用 Python 调用 OpenAI API 的方式非常便捷，只需安装 OpenAI 提供的 openai 库就可以调用其 API 服务：
pip install openai
OpenAI 文本编写
调用 openai.Completion.create 函数需要了解几个基本参数：
model: 要使用的模型的 ID，访问 OpenAI Docs Models 页面可以查看全部可用的模型
prompt: 生成结果的提示文本，即你想要得到的内容描述
max_tokens: 生成结果时的最大 tokens 数，不能超过模型的上下文长度，可以把结果内容复制到 OpenAI Tokenizer 来了解 tokens 的计数方式
temperature: 控制结果的随机性，如果希望结果更有创意可以尝试 0.9，或者希望有固定结果可以尝试 0.0
top_p: 一个可用于代替 temperature 的参数，对应机器学习中 nucleus sampling，如果设置 0.1 意味着只考虑构成前 10% 概率质量的 tokens
frequency_penalty: [控制字符的重复度] -2.0 ~ 2.0 之间的数字，正值会根据新 tokens 在文本中的现有频率对其进行惩罚，从而降低模型逐字重复同一行的可能性(以恐怖故事为例)
= -2.0：当早上黎明时，我发现我家现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在现在(频率最高字符是 “现”，占比 44.79%)
= -1.0：他总是在清晨漫步在一片森林里，每次漫游每次每次游游游游游游游游游游游游游游游游游游游游游游游游游游游游游(频率最高字符是 “游”，占比 57.69%)
= 0.0：当一道阴森的风吹过早晨的小餐馆时，一个被吓得发抖的人突然出现在门口，他的嘴唇上挂满血迹，害怕的店主决定给他一份早餐，却发现他的早餐里满是血渍。(频率最高字符是 “的”，占比 8.45%)
= 1.0：一个熟睡的女孩被一阵清冷的风吹得不由自主地醒了，她看到了早上还未到来的黑暗，周围只有像诉说厄运般狂风呼啸而过。(频率最高字符是 “的”，占比 5.45%)
= 2.0：每天早上，他都会在露台上坐着吃早餐。柔和的夕阳照耀下，一切看起来安详寂静。但是有一天，当他准备端起早食的时候发现胡同里清冷的风扑进了他的意识中并带来了不安全感…… (频率最高字符是 “的”，占比 4.94%)
presence_penalty: [控制主题的重复度] -2.0 ~ 2.0 之间的数字，正值会根据到目前为止是否出现在文本中来惩罚新 tokens，从而增加模型谈论新主题的可能性(以云课堂的广告文案为例)
= -2.0：家长们，你们是否为家里的孩子学业的发展而发愁?担心他们的学习没有取得有效的提高?那么，你们可以放心，可以尝试云课堂!它是一个为从幼儿园到高中的学生提供的一个网络平台，可以有效的帮助孩子们提高学习效率，提升学习成绩，帮助他们在学校表现出色!让孩子们的学业发展更加顺利，家长们赶紧加入吧!(抓住一个主题使劲谈论)
= -1.0：家长们，你们是否还在为孩子的学习成绩担忧?云课堂给你们带来了一个绝佳的解决方案!我们为孩子提供了专业的学习指导，从幼儿园到高中，我们都能帮助孩子们在学校取得更好的成绩!让孩子们在学习中更轻松，更有成就感!加入我们，让孩子们拥有更好的学习体验!(紧密围绕一个主题谈论)
= 0.0：家长们，你们是否担心孩子在学校表现不佳?云课堂将帮助您的孩子更好地学习!云课堂是一个网络平台，为从幼儿园到高中的学生提供了全面的学习资源，让他们可以在学校表现出色!让您的孩子更加聪明，让他们在学校取得更好的成绩，快来云课堂吧!(相对围绕一个主题谈论)
= 1.0：家长们，你们的孩子梦想成为最优秀的学生吗?云课堂就是你们的答案!它不仅可以帮助孩子在学校表现出色，还能够提供专业教育资源，助力孩子取得更好的成绩!让你们的孩子一路走向成功，就用云课堂!(避免一个主题谈论的太多)
= 2.0：家长们，您有没有想过，让孩子在学校表现出色可不是一件容易的事?没关系!我们为您提供了一个优质的网络平台——云课堂!无论您的孩子是小学生、初中生还是高中生，都能够通过云课堂找到最合适的学习方法，帮助他们在学校取得优异成绩。快来体验吧!(最大程度避免谈论重复的主题)
stop: 最大长度为 4 的字符串列表，一旦生成的 tokens 包含其中的内容，将停止生成并返回结果