type
status
slug
summary
tags
category
password
date
icon
这里写文章的前言：
一个简单的开头,简述这篇文章讨论的问题、目标、人物、背景是什么？并简述你给出的答案。
可以说说你的故事：阻碍、努力、结果成果，意外与转折。
📝 关于LLM模型fintuning的操作
why fintuning
微调可以具有特定专业能力
使得模型不仅可以处理数据，还可以从中进行学习
微调可以帮助模型生成和处理很多相似的数据
微调还可以帮助模型减少很多幻觉
可以输入无限多的数据，还可以纠正之前学过的数据，微调了一个小模型，后期维护成本更低，需要更多高质量的成本，需要的计算量远大于成本
微调LLM的一个好处就是可以带来性能的提升
微调可以输出更多高好更一致的场景
pretraining
学习目标就是预测下一个词的出现
微调所需要的数据更小
- identify task by prompt-engieering a large LLM
- find tasks that you see an LLM doing
- pick one task
- get 1000 inputs and outputs for the task
- finetune LLM on this small data
更改和训练特定的数据
- 作者:fufu酱
- 链接:https://csfufu.life/article/697cc2b6-6950-4414-b7fd-5926ce4b5438
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章