大模型本地部署训练和应用实践班

主题

知识点

第一节：主流大模型应用介绍和模型间的商业集成

典型大模型比较

1. GPT-4（OpenAI）

2. Claude（Anthropic）

3. Gemini（Google）

4. Llama（Meta）

5. QWen（阿里）

6. Coze（字节跳动）

7. DeepSeek（深度求索-幻方量化）

大模型整体技术阐述：主流技术、小众技术有哪些

基于Transformer架构和支持复杂上下文理解

大模型的量化压缩

GPT4的多模态能力（文本、图像输入）、逻辑推理、长文本生成。

GPT4应用场景建议：对话系统、内容创作、数据分析、教育

Claude的安全性和伦理对齐，支持超长上下文（最高支持200k tokens）

Claude的Constitutional AI框架特点

Claude应用场景建议：法律文档分析、长文本总结、合规性审核

Gemini原生多模态（文本、图像、视频、代码）和高性能推理

Gemini的TPU优化训练，支持实时多模态交互。

Gemini应用场景建议：跨媒体内容生成、科研数据分析、编程辅助

Llama区别于GPT4的重要做法：开源可商用，70B参数规模，支持微调

Llama社区驱动优化思路

Llama应用场景建议：企业私有化部署、学术研究、定制化AI服务

QWen的中文优化，行业垂类模型（如法律、医疗），支持插件扩展

QWen应用场景推荐：电商客服、金融风控、智慧城市

Coze的低代码AI Agent开发平台，多模态交互，工作流编排

Coze应用场景建议：智能客服、自动化流程、游戏NPC交互

Coze的插件市场、可视化流程设计器、多模型调度（支持集成第三方模型）的实践

DeepSeek的数学、中文问答、CoT、代码生成等方向的sota做法，长上下文优化

DeepSeek的MoE架构，在R1、V3两个不同模型上的对比技术亮点

DeepSeek应用场景建议：一般性问答、金融数据分析、科研计算、教育解题

DeepSeek与火山Coze的商用集成方案

插件开发、工作流开发、触发器配置

通过插件扩展Coze与DeepSeek的交互能力

调用DeepSeek的数学引擎处理数据

接口封装：将DeepSeek的API封装为Coze插件（如REST API适配）

权限控制：在Coze平台配置API密钥与访问权限

调用DeepSeek-Math处理用户输入的财务数据

调用DeepSeek生成Python脚本并返回结果到Coze对话流

在Coze中通过可视化工具串联DeepSeek与其他服务（如数据库、第三方API）。

用户输入触发：用户通过Coze聊天界面提问（如“计算公司季度增长率”）

数据预处理：Coze调用插件从数据库提取原始数据

调用DeepSeek：将数据发送至DeepSeek进行数学建模。

结果渲染：DeepSeek返回计算结果，Coze生成可视化图表并反馈给用户

定时触发：每日自动生成销售报告（调用DeepSeek分析数据）

条件触发：当用户提问包含“计算”“公式”等关键词时，自动路由到DeepSeek处理

API触发：外部系统通过Webhook触发Coze工作流（如ERP系统请求库存预测）

通过Coze的权限管理限制DeepSeek访问敏感数据

对DeepSeek的API请求做缓存（如高频计算问题结果缓存）

在Coze中设置异步调用，避免长流程阻塞。

第二节：技术对比和主流开源大模型选型

1.1 模型选择

· Deepseek-R1 (7B/67B)：中文领域表现SOTA，支持长上下文推理

· Llama-3 (8B/70B)：Meta最新开源模型，多语言通用底座

· Mistral-8x7B：MoE架构标杆，推理效率提升3倍

· Qwen-72B：阿里千问开源版，金融法律领域微调能力强

1.2 基础环境搭建实操

· 硬件要求：至少24GB显存（如RTX 3090/A10） + 64GB内存

· 软件依赖：

o CUDA 12.1 + cuDNN 8.9

o PyTorch 2.2 + Transformers 4.38

o FlashAttention-2加速库

o 关键配置：LD_LIBRARY_PATH添加cuda路径，设置PYTORCH_CUDA_ALLOC_CONF防止显存碎片

第三节：大模型办公效率提升和提示词Prompt技巧

DeepSeek应用

AI工具对个人与企业影响

DeepSeek与Llama3、Qwen的对比

DeepSeek网页版与本地版功能对比

7B小模型与32B模型功能对比

DeepSeek角色扮演，打造不同领域的专属AI顾问

PPT中AI智能应用

AI自动排版

AI自动搜图

DeepSeek辅助PPT创意构思

DeepSeek融合专业PPT应用工具

DeepSeek关联PPT智能插件应用

Excel中的AI智能数据魔法

AI自动分析、格式化

AI自动图表、透视表

DeepSeek辅助Excel深度数据分析

DeepSeek函数编写“神助攻”，助力函数菜鸟成高手

DeepSeek编写VBA代码，让零基础写代码变得简单高效

将工作表数据拆分成多个工作表

将工作表数据拆分成多个工作簿

将多个工作表数据合并成一个工作表

多个工作簿中的工作表保存到一个工作簿

ChatGPT助力Excel自动化实战

DeepSeek创意枯竭时的灵感源泉

营销文案、工作报告、创意写作的生成案例

DeepSeek快速精准地提炼文档信息

DeepSeek助力文档智能纠错与优化建议

DeepSeek助力学术论文撰写得力助手

第四节：本地大模型私有化部署

2.1 Deepseek-R1部署流程

1. 模型获取：

o 通过HuggingFace官方仓库申请权限

o 下载deepseek-r1-7b-base的safetensors格式权重

2. 推理服务启动

o 关键参数trust_remote_code、max_model_len等的讲解

o 解释器多种启动服务方式对比

3. 服务验证

o 代码调用

o 服务API的参数设置

2.2 Llama-3-8B快速部署

1. 量化加速

o FP8的特点

o 对比Deepseek原论文中量化章节的解读

2. REST API调用：

o 深度学习系统部署的常用方式

o 针对AI算法的部署框架

第五节：大模型行业数据的微调和模型训练

3.1 Deepseek-R1金融领域微调

1. 数据准备：

o 格式：JSONL文件，每条含instruction/input/output

o 数据源：财报、券商研报、金融问答对、运营商问答对、意图识别数据

o 关键处理：使用SentencePiece重组专业术语tokenization

2. QLoRA训练配置

o 微调在大模型中的常用方法

o 多种LoRA方式的对别

3. 启动训练

o 显存优化

o GPU并行

3.2 探讨适合微调的场景

o 阐述项目中RAG模式和LoRA模式的选择

第六节：基于DeepSeek私有化代码编程

本地化模型部署

模型获取与安装

DeepSeek获取私有化模型安装包，模型文件（权重+配置文件）

硬件选型：GPU算力、内存、存储，并安装依赖环境CUDA、Docker、Python库

服务器内网环境管理和必要的设置

开发工具本地化集成、IDE插件适配

Cursor、CodeGPT等工具配置，模型调用指向DeepSeek API，禁用云端服务

搭建本地模型服务（RESTful API或gRPC）

离线依赖管理：搭建私有仓库

禁用外部数据传输，关闭开发工具自动更新、云同步功能

对模型文件、代码库进行加密存储，记录所有模型调用日志

记录用户操作（如模型调用、代码提交）

确定DeepSeek的离线更新流程，及时模型补丁

第七节：自定义知识问答

4.1研报文档自动生成系统

架构设计：

1. 数据层：Wind API实时获取宏观指标 + PDF解析模块

2. 推理层：

o Deepseek-R1作为生成核心

o Mistral-8x7B进行事实核查

3. 评估层：

o Rouge-L评估内容一致性

o FinBERT检测财务数据矛盾

以部署拓扑理清整体脉络

常规分析、复杂计算、数据采集、向量数据库、路由决策、Deepseek-R1/Mistral-8x7B、合规审查、PDF输出

4.2 业务领域的对话系统（根据具体需要选择智能投顾、套餐产品等）

关键技术点：

1. RAG增强：

o 使用LlamaIndex构建行业知识图谱

o FAISS向量库实现百万级文档秒级检索

2. 记忆管理：

o 缓存最近轮次的对话摘要

o 采用CoT（Chain-of-Thought）提示工程技术

3. 风控拦截：

o 关键词过滤（如“保证收益”、“100%”等违规表述）

o 置信度阈值设定（softmax概率<0.7时触发人工接管）

第八节：上线前的大模型系统优化

5.1 性能加速方案

· 量化压缩：

o GPTQ 4bit量化使模型体积减少70%

o 采用DeepseekV3提出的MTP技术实现tokens

· 缓存策略：

o KV Cache分块存储，降低重复计算

o 高频问题回答预生成

5.2 监控体系建设

1. 业务指标：

o 平均响应时间<2.5s

o 意图识别准确率>92%

2. 模型指标：

o PPL（困惑度）波动监控

o Attention熵值异常检测

3. 硬件监控：

o GPU利用率>85%时自动扩容

o 显存泄漏预警机制