智能体生成式AI与问答多模态大模型应用实战班

主题

知识点

第一节：大模型智能体技术原理详解

（1）基本原理讲解

Agent模式涉及的不同大模型的选型

Agent感知环境、自主决策和生成行为的方式和思路

强化学习的思路和Agent模式

Agent的组成：感知、执行、规划、反馈

对Agent环境感知与理解

提示词中任务拆解和状态表达

Agent的Plan执行步骤

Agent的Evaluate风险与收益

Agent的Decision与Plan关系

Agent的Act执行与Reply

多Agent协作

使用大模型做Agent模式的实例

反馈机制的使用

（2）典型应用场景举例，以及技术实现

智能会议助手、文档自动摘要软件

介绍自动生成报告、邮件的工具及其应用场景

高级信息检索与知识图谱应用

自动代码生成与程序缺陷检测软件

图像识别、视频监控分析

自动化图形设计与创意辅助系统

（3）利用智能体如何解决复杂问题

案例：大模型代理模式的使用

案例：给定提示词生成报告

案例：给定提示词生成长文本报告

第二节：智能体技术实战

智能体解决复杂任务的思路

案例：特定格式的报告生成

案例：提示词失效和如何调整

案例：CoT方式和大模型问答实操

案例：表格问题的处理

案例：作图问题的处理

案例：报告生成和按照要求长度做修正

综合：提示词的书写

综合：Agent感知环境、自主决策和生成行为的使用

第三节：多模态技术实战

多模态技术的内核思想

案例：对比单模态下同样问题的输出差异

案例：图像在多模态中的作用

案例：大模型角色扮演的实现

案例：双智能体的对比对话场景下多模态实战

案例：多智能体角色扮演中多模态场景实战

第四节：LLM的知识学习和openaAI API的使用

（1）LLM的知识学习

智能代理、知识表示、推理与搜索

对Self-Attention的快速理解

对Transformer模型的快速理解

对Encoder得到的BERT原理快速解释

对Decoder得到的GPT原理快速解释

对比知识图谱-专家系统和大模型的差异和技术融合

深度学习对AI带来的革命影响

（2）OpenaAI API的使用

注册和使用合适合理的网络方式调用API

使用API进行问答的实现

API接口调用中的Temperature等若干参数的调参

根据MD进行问答文本的过滤

其他API的调用方式

文心一言接口的注册和调用方法实战

通义千问接口的注册和调用方法实战

智谱清言接口的注册和调用方法实战

第五节：大语言模型LLM的本地部署

HuggingFace网站中的模型选择

ModelScope网站中的模型选择

文本信息提取方案

词模型：词嵌入、动态词嵌入等相关技术拆解

Hugging Face重要API逐个分析和代码案例解释

ChatGLM简介

大模型LLM服务部署整体思路

硬件选型与软件配置的确定

TensorFlow、PyTorch的版本选择

基座模型选择

预训练大模型的选型：GPT-3、chatGLM4、BERT

架构设计：定制模型的架构

模型训练和微调模型的准备需要注意的问题

模型评估与测试

BLEU分数或ROUGE分数

实践：基于Hugging Face API的快速部署模型

案例：大模型实现运营商质差中的部署（讲师负责的某省分的实际项目）

第六节：大语言模型LLM的本地微调整体介绍

Prompt tuning与Fine tuning

构建垂直领域大模型的通用思路和方法

PEFT(参数高效的微调)

全量微调

大模型微调(Fine-tuning)

大模型微调技术原理揭秘

大模型高效微调技术Parameter-Efficient Fine-Tuning(PEFT)初探

Adapter Tuning

Prefix Tuning

Prompt Tuning

P-Tuning v1

P-Tuning v2

大模型轻量级高效微调方法LoRA

LoRA：Low-Rank Adaptation of LLMs

QLoRA： Efficient Finetuning of Quantized LLMs

AdaLoRA： Adaptive Budget Allocation for PEFT

Few-shot PEFT新方法 IA3： Better and Cheaper than In-Context Learning

统一微调框架UniPELT：Unified Framework for Parameter-Efficient LM Tuning