
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
2.1 垂直领域迁移的方式
如图2.1所示,有多种方式可以实现大模型在垂直领域的迁移与应用,每种方式所需资源差异巨大。提示工程通过设计专门的提示词来指导模型回应,不直接涉及模型参数的调整,因此是一种资源消耗较少的方法。检索增强生成在生成过程中结合了外部信息,提高了回答的质量和相关性,同样也是一种效率较高的方法。参数高效微调通过对模型参数的局部优化来实现性能提升,是一种既考虑性能又考虑资源消耗的折中方案。与此相对的是全参数微调,它通过更新模型的所有参数来适应特定任务,尽管能够达到最优性能,但需要更多的成本投入。最后,从头预训练需要构建一个全新的模型,这是所有方法中成本最高的一种方案。因此,在选择模型迁移的方法时,应权衡性能与成本,根据项目需求和资源限制做出合理决策。

图2.1 垂直领域迁移的方式