前言

Transformer 是自然语言理解(Natural Language Understanding，NLU)的游戏规则改变者，NLU是自然语言处理(NaturalLanguage Processing，NLP)的一个子集。NLU已成为全球数字经济中 AI的支柱之一。

随着数据量的不断增长，训练 AI模型需要的规模也越来越大。Transformer 模型为参数驱动的 AI开启了新时代。我们需要大量参数进行学习，才能学习到由数以亿计的单词组合的数据集。

今天给小伙伴们分享的这份手册将带领你开发代码和设计提示(这是一项控制Transformer 模型行为的新的“编程”技能)。每一章都会使用Python、PyTorch和 TensorFlow 从头开始讲授语言理解的关键方面。你将学习原始 Transformer、Google BERT、OpenAI GPT-3、T5 和其他几个模型的架构。

目录在这：

第1 章 Transformer 模型介绍
第2 章 Transformer 模型架构入门
第3 章 微调BERT 模型
第4 章 从头开始预训练RoBERTa模型
第5 章 使用Transformer 处理下游NLP 任务
第6 章 机器翻译
第7 章 GPT-3
第8 章 文本摘要(以法律和财务文档为例)
第9 章 数据集预处理和词元分析器
第10 章 基于BERT 的语义角色标注
第11 章 使用Transformer 进行问答
第12 章 情绪分析
第13 章 使用Transformer 分析假新闻
第14 章 可解释AI
第15 章 从NLP 到计算机视觉
第16 章 AI 助理
第17 章 ChatGPT 和GPT-4
附录A Transformer 模型术语
附录B Transformer 模型的硬件约束
附录C 使用GPT-2 进行文本补全
附录D 使用自定义数据集训练GPT-2 模型
附录E 练习题答案
参考资料

朋友们如果需要此本 《大模型黑书》，扫码获取~

👉CSDN大礼包🎁：大模型入门最佳《大模型黑书》免费分享（安全链接，放心点击）👈

​