大模型（LLMs）应用开发快速入门指南

English | 中文

本项目旨在为所有对大型语言模型及其在生成式人工智能（AIGC）场景中应用的人们提供一站式学习资源。通过提供理论基础，开发基础，和实践示例，该项目对这些前沿主题提供了全面的指导。

特性

• 大语言模型的理论和开发基础：深入探讨BERT和GPT系列等大型语言模型的内部工作原理，包括它们的架构、训练方法、应用等。

• 基于OpenAI的二次开发：OpenAI的Embedding、GPT-3.5、GPT-4模型的快速上手和应用，以及函数调用（Function Calling）和ChatGPT插件等最佳实践

• 使用LangChain进行GenAI应用开发：通过实例和教程，利用LangChain开发GenAI应用程序，展示大型语言模型（AutoGPT、RAG-chatbot、机器翻译）的实际应用。

• LLM技术栈与生态：数据隐私与法律合规性，GPU技术选型指南，Hugging Face快速入门指南，ChatGLM的使用。

拉取代码

你可以通过克隆此仓库到你的本地机器来开始：

git clone https://github.com/DjangoPeng/openai-quickstart.git

然后导航至目录，并按照单个模块的指示开始操作。

搭建开发环境

本项目使用 Python v3.10 开发，完整 Python 依赖软件包见requirements.txt。

关键依赖的官方文档如下：

• Python 环境管理 Miniconda
• Python 交互式开发环境 Jupyter Lab
• 大模型应用开发框架 LangChain
• OpenAI Python SDK

以下是详细的安装指导（以 Ubuntu 操作系统为例）：

安装 Miniconda

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

安装完成后，建议新建一个 Python 虚拟环境，命名为 langchain。

conda create -n langchain python=3.10

# 激活环境
conda activate langchain 

之后每次使用需要激活此环境。

安装 Python 依赖软件包

pip install -r requirements.txt

配置 OpenAI API Key

根据你使用的命令行工具，在 ~/.bashrc 或 ~/.zshrc 中配置 OPENAI_API_KEY 环境变量：

export OPENAI_API_KEY="xxxx"

安装和配置 Jupyter Lab

上述开发环境安装完成后，使用 Miniconda 安装 Jupyter Lab：

conda install -c conda-forge jupyterlab

使用 Jupyter Lab 开发的最佳实践是后台常驻，下面是相关配置（以 root 用户为例）：

# 生成 Jupyter Lab 配置文件，
jupyter lab --generate-config

打开上面执行输出的jupyter_lab_config.py配置文件后，修改以下配置项：

c.ServerApp.allow_root = True # 非 root 用户启动，无需修改
c.ServerApp.ip = '*'

使用 nohup 后台启动 Jupyter Lab

$ nohup jupyter lab --port=8000 --NotebookApp.token='替换为你的密码' --notebook-dir=./ &

Jupyter Lab 输出的日志将会保存在 nohup.out 文件（已在 .gitignore中过滤）。

课程大纲

完整文档请移步：大模型（LLMs）应用开发快速入门指南课程大纲

贡献

贡献是使开源社区成为学习、激励和创造的惊人之处。非常感谢你所做的任何贡献。如果你有任何建议或功能请求，请先开启一个议题讨论你想要改变的内容。

许可证

该项目根据Apache-2.0许可证的条款进行许可。详情请参见LICENSE文件。

联系

Django Peng - pjt73651@email.com

项目链接: https://github.com/DjangoPeng/openai-quickstart

⭐️⭐️

openai-quickstart 快速上手指南

本指南旨在帮助开发者快速搭建基于 OpenAI 和 LangChain 的大模型（LLM）应用开发环境，并运行基础示例。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：推荐 Linux (如 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本：Python 3.10（项目指定版本）。
• 包管理工具：推荐安装 Miniconda 用于环境管理。
• API 密钥：你需要拥有一个有效的 OpenAI API Key。

提示：国内开发者若遇到网络问题，建议在配置代理环境下操作，或使用支持国内访问的镜像源加速 Python 包下载。

2. 安装步骤

第一步：克隆项目代码

将仓库克隆到本地机器：

git clone https://github.com/DjangoPeng/openai-quickstart.git
cd openai-quickstart

第二步：创建并激活虚拟环境

使用 Miniconda 创建名为 langchain 的 Python 3.10 虚拟环境：

conda create -n langchain python=3.10
conda activate langchain

第三步：安装依赖库

安装项目所需的所有 Python 依赖包：

pip install -r requirements.txt

(可选优化)：若下载速度较慢，可使用国内镜像源（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第四步：配置 OpenAI API Key

将你的 API Key 设置为环境变量。根据你的 Shell 类型，编辑 ~/.bashrc 或 ~/.zshrc 文件，或在当前终端临时导出：

export OPENAI_API_KEY="sk-xxxx"

第五步：启动开发环境 (Jupyter Lab)

本项目推荐使用 Jupyter Lab 进行交互式开发。

1. 安装 Jupyter Lab（如果尚未通过 requirements.txt 安装）：

   conda install -c conda-forge jupyterlab
   

2. 生成配置文件（首次运行需要）：

   jupyter lab --generate-config
   

3. （可选）修改配置允许远程访问或非 root 用户运行。编辑生成的 jupyter_lab_config.py，确保包含：

   c.ServerApp.allow_root = True
   c.ServerApp.ip = '*'
   

4. 后台启动 Jupyter Lab：

   nohup jupyter lab --port=8000 --NotebookApp.token='替换为你的密码' --notebook-dir=./ &
   

启动后，在浏览器访问 http://localhost:8000 即可进入开发界面。

3. 基本使用

进入 Jupyter Lab 界面后，你可以浏览 docs 或根目录下的 .ipynb 笔记本文件开始学习。以下是一个最简单的 Python 代码示例，展示如何调用 OpenAI 模型（可在任意 .py 文件或 Notebook 单元格中运行）：

import os
from openai import OpenAI

# 初始化客户端
client = OpenAI(
    api_key=os.getenv("OPENAI_API_KEY")
)

# 发送请求
response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "请用一句话介绍大语言模型。"}
    ]
)

# 输出结果
print(response.choices[0].message.content)

运行上述代码，如果配置正确，你将收到来自大模型的回复。接下来，你可以参考项目中的 LangChain 相关章节尝试更复杂的 RAG 聊天机器人或 AutoGPT 应用。