课前准备工作：
通过 https://bailian.console.aliyun.com/ 完成注册，得到 dashscope的API Key，方便后续使用大模型，比如使用 Qwen-Turbo
https://bailian.console.aliyun.com/?tab=model#/api-key
这次课程内容：
AI大模型原理与API使用
• AIGC发展：从GPT1到GPT4
• AIGC的表现与优势
• AIGC的通用能力应用
• 大模型API使用
CASE-情感分析-Qwen
CASE-天气Function-Qwen
CASE-表格提取-Qwen
CASE-运维事件处置-Qwen
重点内容：
CASE-API使用
CASE-保险反欺诈
最近打算学AI，不想自己找资料，就报了一个AI网课班。坐等其成就可以。
这个课程是AI大模型应用开发，也就是重点在“应用“,底层逻辑有一个概念就好，整个课程的重点就是怎么运用现成的AI大模型。
课程的安排的话ppt显示了29页纲领，包括5大模块，要学3个月，每周2节直播课。
Deepseek提取出来的内容仅供参考
模块一：AI大模型应用开发基础
| 序号 | 课程小结 | 课程内容 | 学习收获 |
|---|---|---|---|
| 1 | AI大模型基本原理及API使用 | 1. AIGC发展：从GPT到GPT4（什么是AI，分析式AI与生成式AI，GPT是如何训练出来的，AIGC的实现与优化，AIGC的应用能力应用，CASE：基于静态反馈（基于ChatGLM））；2. 大模型应用（全域AI发展现状，CASE：情境分析-Qwen（掌握DashScope调用大模型），CASE：天气Function-Queen（了解Function Call），CASE：表格框架-Queen（了解多模态大模型），CASE：运维事件处理-Queen） | 理解AIGC与大模型的基本原理，掌握主流API调用方法，能够实现基础的大模型应用开发，包括对话系统、情感分析、表格提取等 |
| 2 | DeepSeek使用与Prompt工程 | 3. DeepSeek使用（DeepSeek的创新，CASE：小环境建模（Cursor + DeepSeek-R1），DeepSeek私有化需求选择，Ohama部署DeepSeek-R1，API调用DeepSeek）；4. Prompt工程：设计与优化（Prompt原理，提升洞察能力，提升洞察效率，提升洞察效率（重要性排序），提升洞察效率（限制格式、区分、小样本学习、GoT、角色扮演等））；5. Prompt工程（CASE：使用程序完成任务，CASE：JSON格式返回，CASE：使用GOT分步骤推理，CASE：使用Prompt调试Prompt）；6. DeepSeek使用与Prompt工程 | 理解DeepSeek使用与Prompt工程，掌握DeepSeek的部署与API调用，能够设计高效的Prompt工程方案，实现复杂任务的自动化处理 |
| 3 | Cursor编程与AI开发 | 1. Cursor编程（什么是Cursor Rules，Cursor的主要功能）；2. Cursor编程实践（CASE：多张Excel报表处理，CASE：数据实时监控及处理）；3. Tree与CodeBuddy的使用（Tree使用，CodeBuddy使用，CASE：多张Excel报表处理） | 理解Cursor编程与AI开发，掌握Cursor工具的使用方法，能够实现数据处理自动化，包括Excel报表处理、数据监控等实际应用场景 |
| 4 | Python与机器学习基础 | 4. Python基础语法与AI（基础语法主要看哪些）；5. 机器学习与方法（数据收集->预处理->模型选择->训练->评估->超参数调整->上线，十大经典机器学习）；6. CASE：客户类资源（Cursor编程）（系统性数据分析EDA，语言可视化，逻辑回归分析与洞察，决策树分析与洞察，哪些人愿意做保，哪些人不愿意做保，后续决策与建议） | 理解Python与机器学习基础，掌握Python在AI开发中的基础语法，了解机器学习全流程，能够应用经典机器学习算法解决实际问题 |
模块二 AI大模型应用核心开发工具及技术
Embeddings、RAG、Text2SQL
这个模块主要介绍了AI大模型应用开发中的几项核心技术和实践方法，包括Embeddings和向量数据库、RAG技术及其高级应用，以及Text2SQL技术。
这个模块内容从基础到高级，涵盖了当前AI大模型应用开发中最前沿和实用的技术方向，特别注重理论与实践相结合，通过多个实战案例帮助学员掌握这些技术的实际应用。
LangChain、FunctionCalling、MCP、A2A、Agent、Fine-tuning与大模型优化
模块三 Coze和Dify工作原理和应用 技术
模块四 进阶知识-机器学习与AI大赛
模块五 AI大模型应用开发实战
Q：大模型应用开发会不会过几年淘汰了
我认为在相当长的一段时间，大模型应用都将是主流
Q：私有化部署了qwen
部署deepseek-r1（蒸馏版本，14B，32B）=> 公司允许使用这样的大模型
数据安全性
部署 qwen3
claude，在写代码中，会使用到
个人使用，建议使用claude进行编程，能力比deepseek-r1/v3强大
cursor前50轮对话是免费的，之后需要pro会员
Trae，codebuddy（腾讯），lingma
Q:老师, 我们自己开发跟测试是不是基本上躲不过私有化部署? 如果自己的设备不那么好 (比如只有轻薄本跟老电脑) 该怎么自己开发跟学习呢
私有化部署 => 公司最关心的，因为数据安全性
学习的话 => 建议先直接使用API，搭建一个完整的LLM应用的流程 ***，原来调用的大模型是 阿里云百炼上的大模型接口
LLM应用在公司内部进行私有化部署，修改接口即可 => 现在调用的大模型接口，改成公司内部的接口
7B，4090, 32B
Q：私有化部署模型有点傻
了解和掌握私有化部署模型即可
私有化部署 不等于大模型的应用开发。一般公司都是已经部署好了大模型的节点，我们可以直接使用
ollama
Q：部署不是按文档说明next,next就可以？
一步一步进行操作即可，一般大模型部署是需要GPU的，根据大模型参数量 选择适合的GPU显存
Q：必须用cursor吗？
不是，可以用 trae, codebuddy, lingma, cline ...
Q：我们每次都有作业吗？
会留打卡的练习，
Q:cursor从哪里下载，有推荐下载地址嘛？
cursor.com
Q:Cursor是不是在墙外
下载后，国内网络可以使用
Q：我们用的代码编辑环境是什么
语言是用Python，编辑器可以选择AI编辑器，比如 cursor, trae, codebuddy, lingma
Q：一周能学会py嘛
py了解基础语法，以后不需要自己完整的写Python代码，一般都是可以让AI帮你来写
但是最好，了解一些Python语法 => 不会有恐惧心态
Q：打卡练习，是使用自己的电脑做，还是给云电脑给我做
都可以
如果是用cursor，一般是自己的电脑
Q：脱产学这个课程好找工作吗
需要具备一定的AI应用开发的能力 => 胜任这个工作
如果每次课都能坚持打卡，
Q：模型微调会有实践课吗
有的
Q：是直播课上跟着做吗
有些环节可以跟着做，
如果没有跟下来，可以先看演示，然后课下来实践一遍
Q：RAG部分需要在实验室里做吗？
可以用实验室，也可以用本地
Q：今天就是把后面的课程过一遍吗？
是的，讲解下课程都会讲解到哪些，以及大家的一些疑问，学习方法
Q：课程有回放吗？
有的
Q：Embedding数据库能在本地电脑上部署吗？
可以
Q：所有词都第一次见，这种情况还能学会吗？
打卡 => 证明对这节课的实践的掌握
AI每3个月就会有新的内容产生，更好的大模型出现
年初DeepSeek-R1，qwen-3
Q:实验室 = 云电脑
网页上的Python运行环境
Q：除了显卡，还有什么其他硬件要求吗
办公流畅即可
大模型，一般来说都是通过调用API来完成
Q：上课之前，需要提前建环境或其他需要准备的吗？
在cursor课的时候，需要下载好 cursor, cursor.com
第一次课的时候，可以提前先安装下 python的环境
Q：python什么版本
建议>=3.10
Q：后续课程会有模型蒸馏和强化学习的教学及实验吗？
Q：这个text2sql的课程可以提前学吗？
一般是按部就班来完成的
Q：火山hiagent和dify比哪个更优一些对于银行业务
XX证券在内部已经部署了dify（社区版），直接可以使用
火山引擎和公司的高管见面了，
Q：学一半直接去找工作吗[捂脸]
不同公司对AI的需求是不一样，多样性
1）RAG问答
2）ChatBI，text2sql + Function Call
3）多模态的使用
4）Agent搭建
langchain, langgraph, qwen-agent
5）coze, dify 低代码
Q：智能审核的技术在课程里会涉及吗？
agent搭建
Q：课程结束后能达到中级应用开发工程师的水平吗
课程的体系知识面是有的
打卡 + 互动提问 + 思考自己的业务场景，多做一些实践
Q：接下来的课程一定要用jupyter吗
可以用其他的，比如 .py 源文件，可以用cursor, trae, ... 工具编辑
jupyter 是方便浏览，看结果
Q：有必要去考一个高级人工智能训练师得资格证？
意义不是特别大
AI应用搭建，如果有时间，可以多打卡 + 实践 => 意义更大
Q：学习AI对算法有要求吗
AI应用搭建，对算法要求我个人觉得还好
应用场景，哪些技术解决哪些问题
我们会有模块4，会讲解到一些AI算法（数据决策算法）
Q：请问对数据结构需要有多少了解
更多还是从业务场景，技术应用出发
数据结构，了解基本的数据结构：数组、字典
Q：除了python基础，以下需要掌握吗？1. http 调用，request，爬虫
2. http 服务，fastapi 什么的
3. 数据统计类的 pandas
需要用到的时候，再掌握即可
AI涉及的面很广很广
方法1：把所有的基础，前提都掌握了，再学习AI
方法2：先跟着课程走，学到某个模块，或者打卡中需要用到哪个，再掌握哪个
Q：老师，有些数据源是从公司数据库取，会讲如何写接口吗
有的
Q：数据库用什么比较好
MySQL，SQL Server，mongodb
向量数据库 Faiss
Q:dify部署到云服务需要GPU吗？
不一定需要GPU，可以调用大模型的API
Q：有些数据要联表，在 coze 重新做这个数据关联比较麻烦，可以直接请求现成的业务接口吗
可以用插件
Q：api这么多都需要单独付费，没有大统一api吗
阿里云百炼
Q：有涉及到财务这块的Ai应用么
图表的识别
AI大赛：资金流入流出分析与预测
Q：老师，我们会讲超长文本(超token场景)的处理的吗?比如超长文本的AI分段
有的，可以用到qwen-agent
Q：学完之后AI大赛好获奖吗
二手车价格预测 MAE<550
资金流入流出预测 > 120
目前是这样设置的
Q：可以做股价预测．．．
我们学完之后，可以做相关的预测
Q：打卡任务重吗?老师
打卡实际上就是课上的实践
Q：AI大赛有奖金吗
我们的学习赛没有奖金
但是你可以参加其他的AI大赛，里面有奖金设置，但是难度会非常大
Q：没办法连外网对于学习dify有影响吗
可以本地部署
Q：老师，一周两节课吗？
是的
Q：华为云的大模型咋样呢
tob会多一些
阿里云，火山引擎
Q：老师看看我呢，
会讲解ai怎么训练项目里的代码仓，让ai生成的代码内容里使用的组件插件是用自己组内研发的组件插件吗？会是第几节课呀
AI辅助开发么？
agent调用工具 => 会讲
AI + 前端的Chat（搭建UI）
Q：感觉字节的AI很不错，我们有用到吗
coze会讲到
doubao 大家可以切换到doubao的API就可以
Q：企业搭建知识库问答应用的话，是不是要私有部署大模型才安全
对于企业来说，是的
Q：他是想问 Cursor 让他用 到 代码的组件
我们需要有个代码组件的使用文档
@该文档，让cursor调用
把UI组件，放到项目文件夹下面，@这个组件 让cursor帮撰写 .md文档，来解释下这个组件的作用和调用方法
@ .md文档，使用这个组件，完成新的任务
caseA =>
Q: 老师，学完这个课程，可以用AI生成开发设计流程图吗
通过提示词工程就可以完成
1）需要描述你的项目内容
2）@ 项目内容，然AI整理流程图 .md
3）再把流程图生成 marmeid语法
可以利用cursor来完成
Q：会讲Lora么
在第14次课中会讲解到，unsloth工具来完成
Q：知识萃取怎么会事？
知识蒸馏 => 大模型的能力强，可以给我们生成一些标注
比如让gemini生成<Q, A>
=> 让小模型来学习
Q：我也想问问有没有AI辅助自动化测试的内容，包括CI/CD及运维方面
Q：请问大模型可以解决具体专业业务性问题吗？比如工科常用的画CAD图或其他图形这种，以提升效率甚至自动画图？需要重点学习哪些内容？
我有很多客户，有类似的需求，比如中车集团
但是大模型画CAD图，目前还不行
可以让视觉大模型，对CAD图进行理解 => 这个目前有一定可行性，基于理解，可以帮你推荐相关的零件
大模型如果要画CAD图，目前不是qwen, openai他们要解决的问题，可能需要专业的CAD公司，用现有的大模型来训练
qwen, openai要解决的是通用能力，他们用的是通用语料
Q：这块我熟悉，让ai计算参数，然后让cad的api来自动生成cad图纸
通过CAD的API，可以完成CAD图纸
Q：假如学习完这个课程，后期再有技术更新，或者新的模块要学习该怎么办
多实践，找到一个业务场景，通过该技术来完成AI应用的搭建
Q：视觉大模型我学了，是不是可以增加一个自动驾驶开发岗位选择
自动驾驶开发岗也会涉及到很多的模块
规划模块，视觉模块，数据处理模块
Q：图片识别主流使用什么工具？
我个人使用qwen-vl
Q：这个课程需要多少种编程技术啊？都要很熟吗
课程涉及的知识面比较广，现在的AI编程，一般都是和AI对话，让AI来完成代码（比如使用cursor）
=> 需要了解更广的知识面，了解都有哪些工具，如何描述出来，让AI来干活
Q：我是一个数据分析师，我需要分析用户转化失败的原因，我手里有成百上千万的用户行为数据，我如何能让AI
=> 属于数据分析，决策的内容，在第4个模块里面会讲解到
比如使用漏斗分析
用户进入到页面，点击某个按钮 => 选择商品，放到购物车 => 点击支付
用户画像细分（性别、城市、时间）
商品画像（不同类别）
设备画像
北京、晚上、ios15的人 转化率低
Q：大模型是如何进行评测效果好坏的
1）设置测试集 => 就是用户提问的问题
哪怕测试集数量少一些，就5个问题
2）可以针对这些问题，进行自动化测试
NLP打分规则，判断大模型的output和人类写的理想的output的分数
LLM打分（基于得分的规则来判断）
Q：AI怎样与制造业结合，打造核心竞争力。我们公司是做电动汽车充电桩，AI怎样与汽车充电桩，给客户创造价值？
1）业务场景出发
充电桩的点位布置，可以通过高德地图，车流量，附近的充电桩等来判断
电池的剩余电量的分析 => 电池的衰减
Q：前些年也有一些，比如人脸识别，笔记识别之类的，在 AI 出来之前就有。这些应用背后的技术与我们现在说的 AI 由什么区别？
AI不是现在采用的，之前的AI，也是神经网络，但是参数量小，推理能力差（不属于生成式AI） => 主要是做专有的模型
现在的AI，通用性强，生成能力强
可以用现在的AI => 生成代码 + 客户交互
可以用之前的AI算法 => 打造专有模型（小工具，让现在的大模型来调用）
Q：有那么多需求吗
AI应用会越来越多 => 现在的AI应用的渗透率是怎样的？
Q：普通人 如何利用 AI创业呢 老师能不能聊聊？
你看谁有需求，企业对AI有需求
1）全职岗位
2）兼职外包
需求第一，然后再投入
Q：我是一名招行一线客户经理，目前感觉到AI可以帮助打破信息茧房，改变工作流。目前招行用AI赋能已经有很多agent，包括数字人，文书助手等
Q：老师，那么如果本地化部署，涉及到lisence和api token限制吗，特别是过了半年后的本地部署，还会收到使用限制，是不是还是需要购买序列号
开源，MIT协议
Q：多学点总归没坏处，刚才老师不是说要很广的知识面嘛
了解有哪些业务场景，可以使用哪些AI工具，不同的AI工具（AI Agent）有怎样的特点
如何和AI沟通，把问题描述清楚也是一种很重要的能力
=> 让AI执行
=> 检查AI的工作
Q：fine-tune能做到哪一步
AI应用的3个范式
1）提示词工程
2）RAG
3）模型的微调
Q：说实话总是不太放心让AI去些代码，尤其是复杂的，觉得没灵魂[捂脸]
我们可能心态会从
不太放心 => 放心 => 过度放心 => 理性
Q：像 ppt生成这类应用，它后面是使用 大模型 然后自己用数据训练吗 ？如果自己想做这种类似的应用 ，数据从哪里搞啊 。。
现在的AI PPT，还不成熟
你可以用AI PPT做个 读书分享，如果是工作汇报，排版和内容，都不是很成熟
AI PPT => 更多的是PPT的排版，内置了很多板式
Q：老师，会讲到如何解决 AI 幻视的问题么？我之前在用 ai 辅助写代码的时候，经常会出现前几次都还是完全 ok 的，但是后面就开始跑偏了。即便修改提示词，几次后
出现这种情况的原因：是因为多轮对话，可能会造成幻觉叠加的叠加
=>中间状态，生成 .md文档，可以看到AI的理解
=> 在后面，可以@ 这个.md，因为这个工作流程我们已经确认过的，在这个基础上，让AI继续完成后续的代码
不用中间变量，直接交换两个变量值
a , b = b , a切片操作
[::-1] #反向切片
def wasai(*args,*kwargs) #打包所有位置参数，打包所有关键字命名参数#解包操作
a,b = obj
a,b,*_ = obj#函数可以直接增值给变量
def wasai()
pass
nb = wasai
nb()
最近想写一个小工具京牌分析师，帮助想参与法拍的人快速做出是否参与法拍的决策。正好体验一下AI写代码的魔力。
AI工具选择
我先找DeepSeek问了一下目前有哪些AI写代码的工具。从Codeium、GitHub Copilot、ChatGPT选择了Codeium，在vscode中安装后，需要登陆才可以使用，登陆界面打不开。显然国外的这些AI工具无法使用。于是就找了腾讯的CodeBuddy来体验AI写代码。
成品体验
万事开头难
最开始，我向AI发送的提示语如下：
“我是一个前端工程师，需要使用Ant Design React写一个页面，页面有两个栏位，一个年份选择，一个文本框输入数字，另外有一个提交按扭。用户点击提交安排后，调用接口https://jp.zuime.com/api，将用户选择的年份与数字做为参数。获取结果后，显示文字给用户。请生成相应的代码。”
AI只生成了一个页面文件，没有项目脚手架，项目跑不起来。
从头开始
我让AI将npm的源换成国内的，好半天一直没响应。一直在Chat与Craft两个窗口来回换，有些不明所以。折腾半天把终于配置好了npm的国内源，同时，react脚本架也初始化好了。
AI写代码的感受
AI有时候莫名其妙的一动也不动，等好久也没有动静，我无奈的发一个“继续操作啊”。有的时候真的很无奈。
AI与人工理解的差异
我想把标题改成“京牌分析师”，AI给我引入Helmet，其实我只是想直接把index.html的标题修改掉。
经过好长时间的AI对话，页面算是完成了，点击安排请求也可以发起。后续再人工写了服务端代码，前后端串起来，跑起来了！
问题背景
最近在删除数据的时候，把user表的数据给直接delete掉了，整表删除掉了。用户数据没了，用户再使用微信登陆上去，用户的其他表数据都关联不上。我得想法子把数据恢复。
处理思路
使用百度等搜索引擎搜索到的恢复数据方法，都是针对采用了where条件的。所以看到的处理手段是从mysql binlog中提取到一段时间的sql脚本，再把脚本执行一下。
示例说明网上的处理思路，针对where条件的
比如，17点到18点新增了一条数据，19点不小心删除了。从binlog中提交到17点到18点的sql脚本，再执行对应的sql脚本补全被删数据。
我的处理实操
我的潜在需求，我需要保持恢复后的user_id不变，确保数据关联性得到恢复。
处理流程：
第一步，使用mysql自带的binlog工具，将binlog所有日志中关于指定数据库的脚本全部导出，命名为full.sql
第二步，写bash脚本，将包括user表的sql语句过滤到新的文件user.sql
第三步，分析user.sql语句发现，里面有inser语句，也有update语句。从user id字段上来看，有一些user记录的inser语句并没有在里面体现。也就是这个数据库的binlog日志没有包括所有日志。这个数据库中途有迁移过。不过，这个不是问题。
3.1 我们可以非常确定的是，每个用户登陆以及后需操作都会产生udate语句更新。所以，insert语句可以全部忽略。于是，再写bash脚本，将user.sql过滤为仅包括update的sql文件only_update_user.sql
3.2 由于update语句非常多，包括了非常多的更新geo数据的update语句，显然对于恢复数据没有意义，进一步将only_update_user.sql过滤为no_geo_update_user.sql
3.3 我们从数据库中其他表的数据中分析出user id的最大值为xxx,于是我们重建一个user表，确保user id自增从1开始，写一个sql自动插入xxx条user记录。
3.4 执行no_geo_update_user.sql将用户信息恢复
结果
非常开心，数据恢复如初。
工具
遇到语句不会写，可以使用AI工具deepseek生成，用ai工具生成bash脚本也是比较省心，不用网上找来找去
网上找到的提取mysql binlog语句一段都是指定了具体的binlog文件名的，可以使用文件名通配符*实现提取所有的binlog信息
总结
遇到不小心删除了mysql数据，可以通过mysql自带的工具将binlog导出sql脚本，再分析sql脚本恢复数据。当然，在执行sql操作之前，能备份更好。恢复数据比较废时间，不值得。有备份更省心。