learn-generative-ai

792 286 非常简单 1 次阅读昨天语言模型开发框架图像插件

AI 解读由 AI 自动生成，仅供参考

learn-generative-ai 是一门专注于“云应用生成式 AI 工程（GenEng）”的实战课程，旨在帮助开发者掌握将生成式 AI 技术深度集成到现代应用程序中的核心能力。它解决了当前企业在 AI 落地过程中面临的挑战：即如何跨越从模型训练到实际业务应用的鸿沟，让开发者能够构建可扩展、符合企业需求且经济高效的 AI 解决方案。

这套内容特别适合具备传统应用开发经验的软件工程师、全栈开发者以及希望转型的 IT 专业人员。与普通用户或纯算法研究人员不同，这里的目标受众是那些需要负责系统架构、企业级集成以及根据业务场景选择合适大语言模型（LLM）的建设者。

其独特的技术亮点在于全面覆盖了现代 AI 应用开发的全栈工具链。课程内容不仅包含 OpenAI 和 Google Gemini 等主流模型的使用，还深入结合了 Streamlit 快速构建界面、LangChain 编排复杂逻辑、Pinecone 向量数据库检索、Next.js 前端框架，以及利用容器化和 Serverless 技术在 Microsoft Azure 和 Google Cloud 上进行云端部署。通过这一系列实践，学习者能真正掌握从提示词工程优化到最终产品上线的完整工程化流程，成为推动生成式 AI 大规模采用的关键力量。

使用场景

某中型电商企业的开发团队正试图构建一个能结合实时库存数据与用户历史行为的智能客服系统，以应对大促期间的高并发咨询。

没有 learn-generative-ai 时

技术栈碎片化严重：开发人员需独自摸索如何将 OpenAI 模型、LangChain 框架与 Postgres 数据库连接，缺乏统一的架构指导，导致集成周期长达数周。
云资源配置迷茫：团队不清楚如何在 Azure 或 Google Cloud 上正确申请和配置企业级 AI 服务账号，常因权限或配额问题阻塞开发进度。
应用落地困难：仅能跑出简单的 Demo，无法将生成式 AI 逻辑封装为可扩展的 Streamlit 或 Next.js 生产级应用，难以处理高并发请求。
角色定位模糊：开发者陷入提示词工程与模型微调的细节泥潭，忽略了与企业业务专家协作验证输出结果的关键流程。

使用 learn-generative-ai 后

全链路架构清晰：直接复用课程中基于 LangChain、Pinecone 和 Serverless 的成熟架构模式，将系统集成时间从数周缩短至几天。
云环境快速就绪：依照指南迅速完成微软 Azure 和谷歌云的账户注册及服务开通，确保企业级 API 调用的稳定性与合规性。
生产级交付能力：利用学到的容器化与 Next.js 部署技能，快速将智能客服打包为可弹性伸缩的云端服务，轻松支撑大促流量。
工程思维转型：团队明确“生成式工程师”定位，专注于业务逻辑编排与效果评估，高效协同领域专家优化提示词策略。

learn-generative-ai 通过提供从云平台配置到全栈部署的完整工程路径，帮助开发者跨越从“玩具 Demo"到“企业级应用”的鸿沟。

运行环境要求

GPU

未说明

内存

未说明

依赖

notes该项目主要是一个关于云应用生成式 AI 工程（GenEng）的课程指南和资源列表，而非一个可直接运行的单一软件工具。它侧重于指导用户注册和使用 Microsoft Azure 及 Google Cloud 云平台服务（如 Azure OpenAI Service），并学习 LangChain、Pinecone 等库的概念。具体的运行环境取决于用户在云端或本地开发时选择的具体技术栈和示例代码，README 文件中未提供统一的本地安装依赖、操作系统、GPU 或内存的具体硬件要求。

python未说明

快速开始

学习云端应用生成式AI工程（GenEng）

本课程是[认证云端应用生成式AI工程师（GenEng）]（https://docs.google.com/document/d/15usu1hkrrRLRjcq_3nCTT-0ljEcgiC44iSdvdqrCprk/edit?usp=sharing）的一部分。

请全体教职员工及学生注册微软Azure和谷歌云账号：

微软Azure账号 https://azure.microsoft.com/en-us/free/ai-services/

注意：如有可能，请使用公司邮箱地址注册账户。

获得订阅ID后，请在此处申请Azure Open AI服务：

https://azure.microsoft.com/en-us/products/ai-services/openai-service

谷歌云账号 https://cloud.google.com/free

新时代

[从微软到麻省理工学院MBA，面向所有员工和高管的AI再教育训练营即将到来]（https://www.cnbc.com/2023/12/15/from-microsoft-to-mit-mba-an-ai-boot-camp-for-every-worker-executive.html）

[AI时代已经开启]（https://www.gatesnotes.com/The-Age-of-AI-Has-Begun）

[Nvidia表示，生成式AI将比互联网更大]（https://www.theverge.com/2023/11/15/23962497/nvidia-says-generative-ai-will-be-bigger-than-the-internet）

[生成式AI及其经济影响：你需要了解的内容]（https://www.investopedia.com/economic-impact-of-generative-ai-7976252）

[必读：OpenAI开发者日——AI领域的一个关键时刻]（https://www.aitidbits.ai/p/openai-devday）

生成式工程（GenEng）

由那些在如何最佳利用和集成生成式AI技术于应用程序方面具备深厚专业能力的开发者引领的GenEng革命正在兴起。

目前，在创建和训练模型的人（数据科学家和工程师）与使用这些模型的人（开发者）之间存在明确的角色分工。这一趋势早已显现，而随着生成式AI革命的到来变得更加清晰——生成式AI的未来将取决于其普及程度，而这又将由开发者对其采用的速度所决定。

GenEng从业者需要掌握传统应用开发所需的多种技能，包括可扩展架构设计、企业系统集成以及理解业务用户的需求等。此外，他们还需掌握构建生成式AI应用的独特技巧，例如让业务领域的专家参与提示工程的验证工作，并根据性价比及预期成果选择合适的大型语言模型。

[GenEng的崛起：AI如何改变开发者角色]（https://cloud.google.com/blog/products/ai-machine-learning/the-rise-of-geneng-how-ai-changes-the-developer-role）

[观看：GenEng的崛起]（https://www.youtube.com/watch?v=RLUrvgfEeUc）

learn-generative-ai 快速上手指南

本指南旨在帮助开发者快速进入生成式 AI 工程（GenEng）领域，掌握构建基于大语言模型（LLM）应用的核心技能。

环境准备

在开始之前，请确保完成以下云账户注册和环境配置。由于生成式 AI 服务主要依赖云端算力，本地仅需基础开发环境。

1. 云服务平台注册（必需）

本课程核心依赖 Microsoft Azure 和 Google Cloud 平台，请优先使用企业邮箱注册以获得更稳定的服务权限。

Microsoft Azure
- 注册免费账户：https://azure.microsoft.com/en-us/free/ai-services/
- 申请 Azure OpenAI Service 访问权限（获取订阅 ID 后）：https://azure.microsoft.com/en-us/products/ai-services/openai-service
Google Cloud
- 注册免费账户：https://cloud.google.com/free

2. 本地开发环境

操作系统：Windows, macOS 或 Linux
Python：版本 3.9 或更高
包管理器：pip 或 conda
代码编辑器：VS Code 或 PyCharm

3. 前置依赖库

本项目核心栈为 OPL Stack (OpenAI, Pinecone, LangChain)。安装前建议配置国内镜像源以加速下载。

# 配置阿里云 pip 镜像源 (推荐国内用户)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装核心依赖
pip install langchain openai pinecone-client python-dotenv

安装步骤

由于 learn-generative-ai 是一个课程资源库而非单一可执行软件，"安装"过程主要为克隆代码库并配置环境变量。

克隆项目仓库

git clone https://github.com/panaverse/learn-generative-ai.git
cd learn-generative-ai

创建虚拟环境（推荐）

python -m venv venv
# Windows
venv\Scripts\activate
# macOS/Linux
source venv/bin/activate

配置 API 密钥 在项目根目录创建 .env 文件，填入从 Azure OpenAI 或 OpenAI 官网获取的密钥。

touch .env

编辑 .env 文件内容如下：

OPENAI_API_KEY=你的_sk_开头的密钥
AZURE_OPENAI_ENDPOINT=你的_Azure_端点_URL
AZURE_OPENAI_API_KEY=你的_Azure_密钥
PINECONE_API_KEY=你的_Pinecone_密钥
PINECONE_ENVIRONMENT=你的_Pinecone_环境名称

基本使用

本项目的核心在于利用 LangChain 框架调用 OpenAI API（或 Azure OpenAI）构建应用。以下是最简单的“聊天补全”示例，展示如何调用 LLM。

示例：使用 LangChain 进行对话

创建一个名为 basic_chat.py 的文件，输入以下代码：

import os
from dotenv import load_dotenv
from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

# 加载 .env 中的环境变量
load_dotenv()

# 初始化模型 (如果使用 Azure，需额外配置 azure_deployment 等参数)
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0.7)

# 构建消息列表
messages = [
    HumanMessage(content="请简要解释什么是生成式 AI 工程 (GenEng)？")
]

# 调用模型生成回复
response = llm(messages)

print(response.content)

运行脚本：

python basic_chat.py

进阶方向

根据课程大纲，掌握基础后可进一步探索以下核心功能：

Assistants API：构建有状态的助手，集成代码解释器和检索功能。
RAG (检索增强生成)：结合 Pinecone 向量数据库，实现“与您的数据对话”。
Function Calling：让模型自动选择并调用外部函数。
Fine-tuning：使用特定数据集微调模型以适应垂直领域需求。

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|6天前

Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|1周前

开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 151.9k|★★☆☆☆|今天

开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 108.3k|★★☆☆☆|2天前

开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。

★ 100.8k|★★☆☆☆|2天前

插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|6天前

插件开发框架

使用场景

没有 learn-generative-ai 时

使用 learn-generative-ai 后

运行环境要求

快速开始

学习云端应用生成式AI工程（GenEng）

请全体教职员工及学生注册微软Azure和谷歌云账号：

新时代

生成式工程（GenEng）

最新消息

技术视角下的商业与高层管理

生成式AI简介

生成式AI与经济

“ChatGPT API”或更准确地说：OpenAI API

OpenAI API端点

OpenAI Assistants API

聊天补全 API 与助手 API

什么是 AI 领域的 OPL 技术栈？

生成式 AI 的未来

生成式商业智能

生成式 AI 与 Web 3.0 的融合

文本教材

学习 LangChain、Pinecone 和 LLM

项目

生成式 AI 基础知识测验