知识库搜索怎么做：Embedding https://github.com/ruoccofabrizio/azure-open-ai-embeddings-qna
评估使用Token数量的工具：https://gpttools.com/estimator
OpenAI的API价格计算器，选择OpenAI – Base Series Fine-tuned + Davinci http://azure.microsoft.com/en-au/pricing/calculator
参考配置 80 Hours Training + 730 Hours Hosting + 0 Inference = $ 32k/M
Fine-tuned很容易过拟合
Zero-shot / Few-shot 很强
Fine tuned
数据量不大：epoch 8-16
数据量很大：epoch 1-4
Learning rate慢慢加
谨慎选择，需要长期使用，否则Prompt Engineering更好
数据质量要求很高，Prompt completion高
参数要注意
结果是个费用，延迟，精度的妥协
示例Use case
OA自动化：表单OCR发票 → OpenAI → 合规检查
会议纪要：STT实时会议转写 → OpenAI → 自动会议主题 / 纪要 / Action Point
AI游戏直播：游戏视频 → 自动标签 + 场景描述 → 虚拟人直播介绍
RPA：语音标识 → OpenAI → PowerPlatform
OpenAI on Azure的区别
Rate Limit
Token上限
OpenAI用于研发，Azure用于生产环境
从Davinci开始测试，逐渐使用更便宜的模型
常见使用场景
客服机器人
舆情分析
Meta-prompt engineering
NER + Search Expansion + GPT
QA分类：把不能回答的问题扔给ChatGPT → Codex Query → + Context as Response