AI 工具与应用地图 #
不算教程，是总结。标清楚哪些路走过、哪些路过看了一眼、哪些没去过。 不要有硬件焦虑，思考去优化工作流。 觉得有用就试，不用全看。
这个文档是什么 #
两个用途：
- 这是我目前知道的全貌。不用全看，挑你需要的。
- 记录用过什么、怎么判断的、踩过什么坑。以后要查回来看。
如果完全不了解AI：先看AI汇总#概念速查，再看AI汇总#怎么判断一个AI工具靠不靠谱，然后挑感兴趣的章节。
怎么判断一个AI工具靠不靠谱 #
这几条标准不只适用于 Agent，适用于所有AI工具。
- 它解决了什么之前要花很多时间做的事？ → 有真实需求才值得用
- 它需要你改变整个工作流来配合它？ → 大概率噱头
- 它的核心是"卖 API token"还是"卖解决方案"？ → 前者多为噱头
- 去掉"AI"这个词，它还有用吗？ → 有用就是真工具
举例：需要入手Openclaw吗？，噱头比较大，本质是赚 token，在金山卖铲子。
概念速查 #
不懂这些词的话，后面的内容会看不太明白。点击链接可以看详细说明。
| 概念 | 一句话 | 类比 |
|---|---|---|
| 大模型 (LLM) | 经过大量数据训练出来的AI，能理解和生成文字 | 一个读过整个互联网的人 |
| API | 程序之间通信的接口，让代码直接和AI对话 | 餐厅的后厨窗口，不用进店也能点菜 |
| API Key | 你的身份凭证，用来调用API | 后厨窗口的号码牌 |
| Token | AI处理文字的最小单位，约1个中文字≈1-2个token | 计费单位，类似手机话费按分钟算 |
| Prompt | 你给AI的指令/问题 → 详见提示词工程 | 你跟AI说的话 |
| [Agent](AI Agent与MCP.md) | AI不只回答问题，还能自己调用工具、执行任务 | 从"问答机器"升级成"能动手的助手" |
| [MCP](AI Agent与MCP.md) | Model Context Protocol，让AI连接外部工具的标准协议 | USB接口——统一了AI和工具的连接方式 |
| 微调 (Fine-tuning) | 用自己的数据再训练模型，让它更懂某个领域 → 详见训练 | 给通才请了个私教，专攻一科 |
| RAG | 让AI检索你的文档来回答，不用重新训练 → 详见训练 | 给AI一本参考书，让它翻书回答 |
| 推理 (Inference) | 用训练好的模型回答问题 | 考试（用学过的知识答题） |
| 训练 (Training) | 让模型学习新知识 | 上课（学新东西） |
| 开源 | 代码公开，谁都能下载、修改、部署 | 菜谱公开，你可以自己做 |
| 本地部署 | 把模型下载到自己电脑上跑 | 自己开灶，不用去餐厅 |
一、AI 编程 #
核心变化：AI不再只是"你问它答"的聊天框，而是能看到你整个项目、直接帮你改代码的协作者。
先搞清一件事：AI编程工具 vs 聊天窗口 #
- 聊天窗口：你复制代码过去问，它回答，你再复制回来。一来一回效率很低。
- AI IDE / 编程工具：它看得到你的整个项目，能直接改文件，能运行命令，像一个坐在你旁边的程序员。这就是[Agent](AI Agent与MCP.md#1. Agent 是什么)的雏形。
我用过的 #
| 工具 | 一句话说明 | 感受/备注 |
|---|---|---|
| VS Code + GitHub Copilot | 代码补全、AI聊天 | 开代理后可以使用Claude 和 GPT 不用担心被封号，缺点是按次数收费， 可以使用小技巧一次对话无限续杯， 但最近官方好像在防这个， 我好几次都触发不了，需要每次手动输入。 |
| Claude Code | Anthropic 终端 AI 编程 | 目前最全面的工具，不是大模型 官方封大陆IP，需要自行替换成其他API 建议安装nodejs版本，原生桌面版锁区 |
| Trae | 字节跳动 AI IDE，免费 | 国内版免费，但是热门模型可能要排队 国际版收费 |
| Antigravity | Google AI | 我用过反向代理接入过， 听说会封号，没怎么用过。 可以多号轮询，持续白嫖。 需要TUN代理模式。 |
| Google AI Studio | 对话 + API key 管理 | 以前很好用，额度用不完， 现在谷歌砍了免费额度 3.1 Pro 一天只有10次对话机会。 API key 在这里免费创建，按用量付费（或用免费额度）。 还能做 prompt 调试、看 token 计数、测试模型参数。 |
| opencode | 对标claude code | 有免费模型限时轮换，可以白嫖 |
听过/看过但没深入用的 #
| 工具 | 一句话说明 | 备注 |
|---|---|---|
| Cursor | AI IDE，能读整个项目上下文 | 没用过，挺出名 |
| Zed | AI IDE，能读整个项目上下文 | 没用过 |
| Codex | AI IDE，能读整个项目上下文 | 没用过，有免费额度，但最近2026-03-11看免费用户不让用5.3-Codex 和5.4，只能用5.2。想白嫖也可以，小虾米也是肉。 |
| Windsurf | AI IDE | 没用过，AI帮我总结的 windsurf.com |
| Gemini CLI | Google 开源终端 AI Agent | 没用过，AI帮我总结的 github.com/google-gemini/gemini-cli |
| v0 | Vercel 的，文字描述生成 React 组件 | 没用过，AI帮我总结的 v0.dev |
| Lovable | 对话式全栈应用生成 | 没用过，AI帮我总结的 lovable.dev |
| RooCode | VS Code 里的 AI 自主编程 Agent | 没用过，AI帮我总结的 |
| Pencil | AI网页设计 | 限时免费，Figma AI 版这一块 |
二、AI 对话 / 搜索 #
最基础的AI使用方式。你问它答，但现在的模型不只是"聊天"——能搜索网页、分析文件、生成图片、写代码。选模型不用纠结"哪个最好"，大厂的都够用，关键看使用场景和能不能访问。
先搞清一件事：官网对话 vs API vs Coding Plan #
| 方式 | 怎么用 | 适合谁 | 费用 |
|---|---|---|---|
| 官网对话 | 打开网页，直接聊 | 所有人 | 通常有免费额度，国外的模型高级功能要订阅（~$20/月） |
| API 接入 | 写代码调用，或用第三方客户端连接 | 开发者、想自定义的人 | 按token计费，用多少付多少 |
| Coding Plan | 专门给编程工具用的API套餐 | 配合Claude Code等工具使用 | 如Minmax Coding Plan |
| 本地部署 | 把模型下载到自己电脑上跑 | 想折腾、有隐私需求的人 | 免费，但需要好硬件 |
主流聊天模型 #
| 模型 | 擅长什么 | 备注 |
|---|---|---|
| ChatGPT (GPT-5.4) | 通用、编程、创意写作 | 记忆功能目前最好，综合目前最好 2026-03-11 |
| Claude (Opus 4.6) | 编程、长文本、安全 | Cowork 功能很强 |
| Gemini (3.1 Pro) | 多模态、图像、Google生态 | Deep Research 很强，但是谷歌日常缺算力，要排队了现在。现在限制有点多，有时候没做什么就蹦出来"声明我是个AI"。 |
| DeepSeek | 性价比高，中文语言风格好 | 国产 |
| Grok | 实时网络数据、X 平台整合 | 没用过，信息搜索我记得是第一梯队，限制少。 |
| 通义千问 (Qwen系列) |
阿里的 | 开源第一模型。AI味很AI。但是核心成员离职了。后续估计不乐观。 |
| 豆包 | 文本，排版，语音，OCR我觉得挺好 | |
| Kimi2.5 | 代码，长文档 | |
| Minimax2.5 | 多模态 | API写代码性价比其他家很多高，中规中矩。 |
AI 搜索 #
| 工具 | 一句话说明 |
|---|---|
| Perplexity | 带引用来源的 AI 搜索。没用过，现在的大模型官网对话都有搜索功能了。 |
| NotebookLM | Google 的，上传文档后变成播客讨论，生成质量取决与上传到知识库的内容。 二遍：03-10支持epub文件导入了，可以导入小说 |
三、AI 图像 #
分三块：生成（从文字/图片创建新图）、编辑（修改已有图片）、理解（AI看图说话）。大多数人用到的是生成。门槛不高，但想要好效果需要学提示词或者用工作流工具（ComfyUI）。
生成 #
| 工具 | 说明 | 我的体验 |
|---|---|---|
| Midjourney | 质量高，付费 | 没用过 |
| Stable Diffusion | 开源，本地跑，可控性强 | 本地部署像玩具，想要良好体验需要很好的提示词。目前不知道还有人用吗？很久没用了 |
| Nano Banana Pro (Google) | LMArena 排行第一 | Pro 截至26-03最强生图模型。 |
| ComfyUI | 开源，本地跑，可控性强，工作流自定义 | 没用过。可能需要好显卡 |
| Flux | SD 后继者，开源 |
不了解 #
| 工具 | 说明 | 我的体验 |
|---|---|---|
| ChatGPT Images | OpenAI 的 | 没用过 |
| Recraft / Reve Image | 排版和字体好 | 没用过 |
| DALL·E 3 | OpenAI 的 | 没用过 |
| Ideogram | 文字渲染好 | 没用过 |
| Adobe Firefly | Adobe 生态 | 没用过 |
| lovart | 活动海报设计 | 没用过，PS plus? |
编辑/处理 #
| 工具 | 说明 | 我的体验 |
|---|---|---|
| remove.bg | 一键去背景 | 没用过 |
| ClipDrop | Stability AI 的图像处理工具集 | 没用过 |
| Nero AI | 图片放大、修复、去噪 | 没用过 |
四、AI 视频 #
这块我没用过。视频生成目前还不算"直接能用"的工具，更多是玩具/展示阶段，但进步速度非常快。列个清单。 二编：seedance满血版目前很可以，能直接用。
| 工具 | 来源 | 说明 |
|---|---|---|
| Dreamina / Seedance 2.0 | 字节 | 支持 2K，中国可用，目前截至26-03最强 |
| 可灵 KLING AI | 快手 | 支持起止帧控制 |
| Wan2.6 | 阿里 | 本地模型挺多人用Wan接入ComfyUI在玩的，新模型不知道有没有开源 |
| Sora | OpenAI | |
| Runway | Gen-2 | |
| Pika | ||
| Luma Dream Machine | ||
| HeyGen | AI 数字人 | |
| D-ID | 文字变视频/数字人 |
五、AI 语音 #
两个方向：让AI说话（TTS，Text-to-Speech）和让AI听懂你说话（STT，Speech-to-Text）。TTS 近两年进步很大，开源方案已经能做到比较自然的效果。
语音合成 (TTS) #
语音识别 (STT) #
没用过,只用过GPT-Sovits整合包里的whisper本地模型
| 工具 | 说明 |
|---|---|
| Whisper | OpenAI 开源，事实标准 |
| whisper.cpp | C++ 版本，更快 |
| Buzz | 基于 Whisper 的桌面应用，开源 |
六、AI 音乐 #
没用过。文字描述生成音乐，目前偏娱乐。
| 工具 | 说明 |
|---|---|
| Suno | 文字生成歌曲 |
| Udio | 同上 |
| Stable Audio | Stability AI 的 |
| AudioCraft (Meta) | 开源 |
七、效率 / 自动化 #
不全是AI，但很强大。关键是：不要为了用工具而改变工作流，要找到真正卡住你效率的那个点再对症下药。
| 工具 | 说明 |
|---|---|
| n8n | 没用过，有点学习成本。开源工作流自动化，把不同服务串起来 同类型的还有Coze，但是我没用过，因为它商业推广很多。还有就是我觉得没必要改变 |
| Immersive Translate | 双语对照翻译浏览器插件，我在用，挺好的 |
| Cherry Studio | 桌面端多模型聚合客户端，我没买过API，目前提问都是直接用IDE和网页端 |
| Ollama | 本地跑大模型最简单的方式，虽然方便，但要研究最好还是直接用llama.cpp |
| LM Studio | 本地大模型的图形界面 |
| Open WebUI | 本地大模型的 Web 界面。很多软件都会自带 |
八、本地部署 #
把AI模型下载到自己电脑上跑。好处是免费、隐私好、不需要联网。坏处是需要好显卡，而且和云端大模型的质量差距明显。
硬件门槛参考（大致）：
- 8B 模型 → 需要 ~6-8GB 显存（5060 勉强）
- 70B 模型 → 需要 ~40GB+ 显存（消费卡跑不了）
- 推理（用模型回答问题）→ 消费卡可以玩
- 训练/微调 → 消费卡基本干不了，用云平台
| 工具 | 说明 |
|---|---|
| Ollama | 最简单的本地模型部署 |
| llama.cpp | 底层推理引擎 |
| LM Studio | 有图形界面 |
| Open WebUI | Web 界面 |
九、AI Agent / MCP / Skills #
需要入手Openclaw吗？：噱头比较大，本质是赚 token，在金山卖铲子。 Agent 领域噱头最多，用上面的判断标准过滤。
Agent 是什么 #
普通AI：你问，它答。 Agent：你给它一个目标，它自己规划步骤、调用工具、执行任务。
举例——你说"帮我把这个文件夹里的图片全部压缩"：
- 普通AI → 告诉你怎么做，给你代码，你自己去跑
- Agent → 直接帮你做了（搜索文件→调用压缩工具→执行→汇报结果）
我用过的 Agent 体验：Claude Code 就是一个 Agent——它能读你的代码、搜索文件、创建文件、运行命令。Copilot 的 Agent 模式也是。
MCP (Model Context Protocol) #
Anthropic 提出的协议，解决一个问题：怎么让AI统一地连接外部工具？
- 以前：每个AI工具自己实现连接方式，大家各搞各的
- 现在：MCP 像 USB 接口一样，定了一个标准。任何工具实现了 MCP，AI 就能直接调用
实际用起来什么样？比如我配了 GitHub MCP，AI 就能直接帮我创建 PR、查看 issue，不用我自己打开浏览器操作。
Skills #
Skills 是 Agent 能学会的"技能包"。一个 Skill 文件就是一份操作手册，告诉 Agent 怎么做某件事。主要是渐近式加载比较节省tokens，还有目前很多人开源自己的skills。你可以理解为把重复的工作整合为一个操作。只需要使用/<skills-name>，即可调用技能。
比如我在 Obsidian 里配了几个 Skills：
- 画 Excalidraw 图
- 生成 Mermaid 流程图
- 创建 Canvas 思维导图
- 格式化笔记排版
Agent 读取 Skill 文件 → 知道步骤 → 直接执行。相当于给AI装了个"技能芯片"。
三者的关系 #
Agent（能动手的AI）
├── 通过 MCP 连接外部工具（GitHub、数据库、文件系统……）
└── 通过 Skills 学会特定任务（画图、写笔记、部署代码……）
独立笔记索引 #
以下概念有单独的笔记可以深入阅读。
| 笔记 | 说明 |
|---|---|
| 大模型 | LLM是什么、怎么选、参数怎么看 |
| API | API/API Key/调用方式/计费 |
| 训练 | 预训练 vs 微调 vs RLHF，微调 vs RAG |
| 推理 | 推理是什么、硬件要求、量化 |
| AI本地部署 | Ollama/llama.cpp、硬件门槛、云平台 |
| AI Agent与MCP | Agent/MCP协议/Skills 深入 |
| 提示词工程 | 怎么写提示词、核心原则、进阶技巧 |
| AI项目沟通指南 | 做项目前怎么和AI沟通 |
| 小技巧 | Copilot续杯、代理设置、多号轮询 |
| AI认知地图-提问引导 | 对自己AI认知的苏格拉底式追问（四轮） |
十、学习资源 #
如果只想了解工具 #
- 直接试用上面列的工具，用过才知道
| 资源 | 备注 |
|---|---|
| claude101 | A社官方（claude code开发、agents、MCP协议规范制定） |
| Claude Code in Action | 感觉用多了就知道里，不用专门看 |
| Build with Claude | 登录不进去这一块，可以直接去查看Agent相关内容。不用A社的教程 |
如果想了解LLM原理 或 学习传统ML/DL #
| 资源 | 说明 |
|---|---|
| DeepLearning.AI 短课 | 吴恩达Andrew Ng 的，免费，几小时一门 |
| Anthropic Courses | Claude 官方教程 |
| Prompt Engineering Guide | 提示词工程指南 |
| 《Build a Large Language Model (From Scratch)》 | Sebastian Raschka，从零理解 LLM |
| 深度学习，直接搜索花书就可以找到 | 老师推荐的 |
| CS231 | 老师推荐的 |
| CS336 | 大语言模型 |
想快速感受“大模型算法工程师”这个方向平时都在聊什么，可以先看这张外链卡片，再决定要不要继续深挖。
去参考一下方向，根据网上的资源，可以去zlibrary找几本丢进NotebookLM里。 因为现在很多推广和知识付费，不要太焦虑
原理速览（一张图看懂） #
机器学习
└─ 深度学习（神经网络）
├─ CNN → 图像识别（YOLO 就是这个）
├─ RNN/LSTM → 序列数据（语音、时间序列）
├─ Transformer → 当前 LLM 的核心架构
│ ├─ GPT 系列（生成式）
│ ├─ BERT 系列（理解式）
│ └─ 多模态
├─ Diffusion Model → 图像/视频生成
└─ GAN → 图像生成（老一代）
