[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-km1994--LLMsNineStoryDemonTower":3,"similar-km1994--LLMsNineStoryDemonTower":48},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":19,"owner_twitter":19,"owner_website":19,"owner_url":20,"languages":19,"stars":21,"forks":22,"last_commit_at":23,"license":19,"difficulty_score":24,"env_os":25,"env_gpu":26,"env_ram":25,"env_deps":27,"category_tags":35,"github_topics":19,"view_count":42,"oss_zip_url":19,"oss_zip_packed_at":19,"status":43,"created_at":44,"updated_at":45,"faqs":46,"releases":47},7585,"km1994\u002FLLMsNineStoryDemonTower","LLMsNineStoryDemonTower","【LLMs九层妖塔】分享 LLMs在自然语言处理（ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等）、信息检索（langchain）、语言合成、语言识别、多模态等领域（Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等）等 实战与经验。","LLMsNineStoryDemonTower（LLMs 九层妖塔）是一个系统化的大语言模型（LLM）开源学习与实践指南。它并非单一软件，而是一座汇聚了从自然语言处理、多模态交互到语音识别合成等全领域实战经验的“知识塔”。\n\n面对大模型技术栈繁杂、入门门槛高且优质资源分散的痛点，该项目将复杂的知识体系梳理为清晰的“九层”架构。内容涵盖 ChatGLM、Llama2、Baichuan 等主流模型的部署与微调，深入解析 LangChain、AutoGPT 等应用框架，并延伸至 Stable Diffusion 绘图、VisualGLM 视觉问答及 Whisper 语音处理等多模态前沿技术。此外，它还特别提供了参数高效微调（PEFT）、推理加速技巧以及金融、医疗等垂直领域的落地案例。\n\n无论是希望快速上手的开发者、需要追踪最新进展的研究人员，还是寻求行业解决方案的技术决策者，都能在此找到对应的实战路径。其独特亮点在于将晦涩的论文理论与代码实践紧密结合，通过“层层递进”的结构，帮助用户从零构建起完整的大模型技能树，是中文社区中极具价值的进阶导航图。","## 【LLMs 入门实战系列】\n \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMsNineStoryDemonTower_readme_22473db045f3.png\" width=\"50%\" >\n\n> 【LLMs 入门实战系列】交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)\n \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMsNineStoryDemonTower_readme_6f30ce152de0.png\" width=\"50%\" >\n\n- [【LLMs 入门实战系列】](#llms-入门实战系列)\n  - [第一层 LLMs to Natural Language Processing (NLP)](#第一层-llms-to-natural-language-processing-nlp)\n    - [第一重 ChatGLM-6B 系列](#第一重-chatglm-6b-系列)\n      - [ChatGLM2-6B](#chatglm2-6b)\n      - [ChatGLM3](#chatglm3)\n      - [ChatGLM-6B](#chatglm-6b)\n    - [第十重 Baichuan](#第十重-baichuan)\n      - [Baichuan2](#baichuan2)\n      - [Baichuan-13B](#baichuan-13b)\n      - [baichuan-7B](#baichuan-7b)\n    - [第十一重 Llama2](#第十一重-llama2)\n    - [第二重 Stanford Alpaca 7B](#第二重-stanford-alpaca-7b)\n    - [第三重 Chinese-LLaMA-Alpaca](#第三重-chinese-llama-alpaca)\n    - [第四重 小羊驼 Vicuna](#第四重-小羊驼-vicuna)\n    - [第五重 MOSS](#第五重-moss)\n    - [第六重 BLOOMz](#第六重-bloomz)\n    - [第七重 BELLE](#第七重-belle)\n    - [第八重 ChatRWKV](#第八重-chatrwkv)\n    - [第九重 ChatGPT](#第九重-chatgpt)\n  - [第九层 LLMs to interview](#第九层-llms-to-interview)\n  - [第八层 LLMs to Inference acceleration](#第八层-llms-to-inference-acceleration)\n  - [第二层 LLMs to Parameter Efficient Fine-Tuning (PEFT)](#第二层-llms-to-parameter-efficient-fine-tuning-peft)\n    - [第一重 分布式训练神器](#第一重-分布式训练神器)\n    - [第二重 LLMs Trick](#第二重-llms-trick)\n    - [第三重 LLMTune](#第三重-llmtune)\n    - [第四重 QLoRA](#第四重-qlora)\n  - [第三层 LLMs to Artifact](#第三层-llms-to-artifact)\n    - [第一重 langchain](#第一重-langchain)\n    - [第二重 wenda](#第二重-wenda)\n    - [第三重 AutoGPT](#第三重-autogpt)\n    - [第四重 Knowledge Extraction](#第四重-knowledge-extraction)\n  - [第四层 LLMs to Text-to-Image](#第四层-llms-to-text-to-image)\n    - [第一重 Stable Diffusion](#第一重-stable-diffusion)\n  - [第五层 LLMs to Visual Question Answering (VQA)](#第五层-llms-to-visual-question-answering-vqa)\n    - [第一重 BLIP](#第一重-blip)\n    - [第二重 BLIP2](#第二重-blip2)\n    - [第三重 MiniGPT-4](#第三重-minigpt-4)\n    - [第四重 VisualGLM-6B](#第四重-visualglm-6b)\n    - [第五重 Ziya-Visual](#第五重-ziya-visual)\n  - [第六层 LLMs to Automatic Speech Recognition (ASR)](#第六层-llms-to-automatic-speech-recognition-asr)\n    - [第一重 Massively Multilingual Speech (MMS，大规模多语种语音)](#第一重-massively-multilingual-speech-mms大规模多语种语音)\n    - [第二重 whisper](#第二重-whisper)\n  - [第七层 LLMs to Text To Speech (TTS)](#第七层-llms-to-text-to-speech-tts)\n    - [第一重 Massively Multilingual Speech (MMS，大规模多语种语音)](#第一重-massively-multilingual-speech-mms大规模多语种语音-1)\n    - [第二重 Retrieval-based-Voice-Conversion](#第二重-retrieval-based-voice-conversion)\n  - [LLaMA 衍生物系列](#llama-衍生物系列)\n    - [第五重 GPT4ALL](#第五重-gpt4all)\n    - [第十一重 OpenBuddy](#第十一重-openbuddy)\n    - [第十二重 Baize](#第十二重-baize)\n    - [第十三重 OpenChineseLLaMA](#第十三重-openchinesellama)\n    - [第十四重 Panda](#第十四重-panda)\n    - [第十五重 Ziya-LLaMA-13B](#第十五重-ziya-llama-13b)\n    - [第十六重 BiLLa](#第十六重-billa)\n    - [第十七重 Luotuo-Chinese-LLM](#第十七重-luotuo-chinese-llm)\n    - [第十八重 Linly](#第十八重-linly)\n    - [第十九重 ChatYuan](#第十九重-chatyuan)\n    - [第二十重 CPM-Bee](#第二十重-cpm-bee)\n    - [第二十一重 TigerBot](#第二十一重-tigerbot)\n    - [第二十二重 书生·浦语](#第二十二重-书生浦语)\n    - [第二十三重 Aquila](#第二十三重-aquila)\n    - [第一重 金融领域](#第一重-金融领域)\n    - [第二重 医疗领域](#第二重-医疗领域)\n    - [第三重 法律领域](#第三重-法律领域)\n    - [第四重 教育领域](#第四重-教育领域)\n    - [第五重 文化领域](#第五重-文化领域)\n    - [第六重 Coding](#第六重-coding)\n- [知识体系](#知识体系)\n- [加入学习群](#加入学习群)\n- [参考](#参考)\n\n\n### 第一层 LLMs to Natural Language Processing (NLP)\n\n#### 第一重 ChatGLM-6B 系列\n\n##### ChatGLM2-6B \n\n- [【ChatGLM2-6B入门】清华大学开源中文版ChatGLM-6B模型学习与实战](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F11jCCeOpg1YbABIRLlnyvg)\n  - 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM2-6B\n  - 动机：在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。\n  - 介绍：ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：\n    - **更强大的性能**：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。\n    - **更长的上下文**：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。\n    - **更高效的推理**：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。\n    - **更开放的协议**：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。如果您发现我们的开源模型对您的业务有用，我们欢迎您对下一代模型 ChatGLM3 研发的捐赠。\n\n- [【关于 ChatGLM2 + LoRA 进行finetune 】那些你不知道的事](https:\u002F\u002Farticles.zsxq.com\u002Fid_pmijwhnwxwen.html)\n  - 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM2-6B\n  - 介绍：本教程主要介绍对于 ChatGLM2-6B 模型基于 LoRA 进行finetune。\n\n- [【LLMs 入门实战 】基于 🤗PEFT 的高效 🤖ChatGLM2-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_q04evzros1ca.html)\n  - 微调方式：\n    - ChatGLM2-6B Freeze 微调：Fine-tuning the MLPs in the last n blocks of the model.\n    - ChatGLM2-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.\n    -  ChatGLM2-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.\n- [【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM2-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_5oocf5c9e4te.html)\n  - 介绍：本项目使用 https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft  库，实现了 ChatGLM2-6B 模型4bit的 QLoRA 高效微调，可以在一张RTX3060上完成全部微调过程。\n\n##### ChatGLM3\n\n- [【LLMs 入门实战】 ChatGLM3 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_oobintch21oa.html)\n  - 论文名称：ChatGLM3\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM3\n  - 模型地址：\n    - huggingface：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b\n    - modelscope：https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FZhipuAI\u002Fchatglm3-6b\u002Fsummary\n  - 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。\n  - 介绍：ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：\n    - **更强大的基础模型：** ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，**ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能**。\n    - **更完整的功能支持：** ChatGLM3-6B 采用了全新设计的 [Prompt 格式](PROMPT.md)，除正常的多轮对话外。同时原生支持[工具调用](tool_using\u002FREADME.md)（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。\n    - **更全面的开源序列：** 除了对话模型 [ChatGLM3-6B](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b) 外，还开源了基础模型 [ChatGLM3-6B-Base](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b-base)、长文本对话模型 [ChatGLM3-6B-32K](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b-32k)。以上所有权重对学术研究**完全开放**，在填写[问卷](https:\u002F\u002Fopen.bigmodel.cn\u002Fmla\u002Fform)进行登记后**亦允许免费商业使用**。\n\n- [【LLMs 入门实战】 ChatGLM3 模型微调学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_c4mwszan0set.html)\n  - 论文名称：ChatGLM3\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM3\n  - 模型地址：\n    - huggingface：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b\n    - modelscope：https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FZhipuAI\u002Fchatglm3-6b\u002Fsummary\n  - 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。\n  - 介绍：分别对 ChatGLM3 进行 lora 和 full_training 微调\n\n##### ChatGLM-6B \n\n1. [【ChatGLM-6B入门-一】清华大学开源中文版ChatGLM-6B模型学习与实战](ChatGLM-6B\u002Finduction.md)\n   1. 介绍：ChatGLM-6B 环境配置 和 部署\n2. [【ChatGLM-6B入门-二】清华大学开源中文版ChatGLM-6B模型微调实战](ChatGLM-6B\u002Fptuning.md)\n   1. ChatGLM-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.\n3. [【ChatGLM-6B入门-三】ChatGLM 特定任务微调实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_3b42ukjdkwpt.html)\n4. [【ChatGLM-6B入门-四】ChatGLM + LoRA 进行finetune](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2389qm0w0sx.html)\n   1. 介绍：ChatGLM-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.\n5. [ChatGLM-6B 小编填坑记](https:\u002F\u002Farticles.zsxq.com\u002Fid_fw7vn0mhdsnq.html)\n   1. 介绍：ChatGLM-6B 在 部署和微调 过程中 会遇到很多坑，小编掉坑了很多次，为防止 后人和小编一样继续掉坑，小编索性把遇到的坑都填了。\n6. [【LLMs学习】关于大模型实践的一些总结](https:\u002F\u002Farticles.zsxq.com\u002Fid_il58nxrs9jxr.html)\n7. [【LLMs 入门实战 —— 十一 】基于 🤗PEFT 的高效 🤖ChatGLM-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_7rz5jtfguuc5.html)\n   1. 微调方式：\n      1. ChatGLM-6B Freeze 微调：Fine-tuning the MLPs in the last n blocks of the model.\n      2. ChatGLM-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.\n      3. ChatGLM-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.\n8. [【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwxc99b1gbfd.html)\n   1. 介绍：本项目使用 https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft  库，实现了 ChatGLM-6B 模型4bit的 QLoRA 高效微调，可以在一张RTX3060上完成全部微调过程。\n9. [【LLMs 入门实战 】🤖ChatGLM-6B 模型结构代码解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_vi2qatrhvzwt.html)\n   1.  介绍：ChatGLM-6B 模型结构代码解析\n\n#### 第十重 Baichuan\n\n##### Baichuan2\n\n- [【LLMs 入门实战】 Baichuan2 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4o2tzx0v6v55.html)\n  - 论文名称：Baichuan 2: Open Large-scale Language Models\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002FBaichuan2\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\n  - Baichuan-13B 大模型：\n    - 官方微调过（指令对齐）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat\n    - 预训练大模型（未经过微调）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Base\n  - 介绍：\n    - Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。\n    - Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。\n    - 本次发布包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。\n    - 所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用，请参考协议章节。\n\n##### Baichuan-13B\n\n- [【LLMs 入门实战 】 Baichuan-13B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_a88op9no2xwi.html)\n  - baichuan-inc\u002FBaichuan-13B：https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002FBaichuan-13B\n  - Baichuan-13B 大模型：\n    - 官方微调过（指令对齐）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat\n    - 预训练大模型（未经过微调）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Base\n  - 介绍：Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下几个特点：\n    - 更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。\n    - 同时开源预训练和对齐模型：预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。\n    - 更高效的推理：为了支持更广大用户的使用，本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。\n    - 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。\n\n##### baichuan-7B\n\n- [【LLMs 入门实战 】 baichuan-7B 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码： https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002Fbaichuan-7B\n  - 模型：\n  - 介绍：由百川智能开发的一个开源可商用的大规模预训练语言模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EVAL\u002FMMLU）上均取得同尺寸最好的效果。\n\n#### 第十一重 Llama2\n\n- [【LLMs 入门实战】 QLoRA微调Llama2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_e0nworruzu7t.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fllama2.ai\u002F\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n  - 模型下载地址：https:\u002F\u002Fai.meta.com\u002Fresources\u002Fmodels-and-libraries\u002Fllama-downloads\u002F\n  - 介绍：QLoRA微调Llama2 模型学习与实战\n\n- [【LLMs 入门实战】 Llama2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ivi7gtxdpq4p.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fllama2.ai\u002F\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n  - 模型下载地址：https:\u002F\u002Fai.meta.com\u002Fresources\u002Fmodels-and-libraries\u002Fllama-downloads\u002F\n  - 介绍：此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。据介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，精调 Chat 模型是在 100 万人类标记数据上训练的。\n\n- [【LLMs 入门实战】Chinese-Llama-2-7b 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_gxfww20xkje7.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLinkSoul\u002FChinese-Llama-2-7b\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FLinkSoul-AI\u002FChinese-Llama-2-7b\n  - 模型下载地址：\n    - https:\u002F\u002Fhuggingface.co\u002Fziqingyang\u002Fchinese-llama-2-7b\n    - https:\u002F\u002Fhuggingface.co\u002FLinkSoul\u002FChinese-Llama-2-7b-4bit\n  - 介绍：自打 LLama-2 发布后就一直在等大佬们发布 LLama-2 的适配中文版，也是这几天蹲到了一版由 LinkSoul 发布的 Chinese-Llama-2-7b，其共发布了一个常规版本和一个 4-bit 的量化版本，今天我们主要体验下 Llama-2 的中文逻辑顺便看下其训练样本的样式，后续有机会把训练和微调跑起来。\n\n#### 第二重 Stanford Alpaca 7B \n\n- [【LLMs 入门实战 —— 五 】Stanford Alpaca 7B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_xnt3fvp2wxz0.html)\n  - 介绍：本教程提供了对LLaMA模型进行微调的廉价亲民 LLMs 学习和微调 方式，主要介绍对于 Stanford Alpaca 7B 模型在特定任务上 的 微调实验，所用的数据为OpenAI提供的GPT模型API生成质量较高的指令数据（仅52k）。\n\n#### 第三重 Chinese-LLaMA-Alpaca \n\n- [【LLMs 入门实战 —— 六 】Chinese-LLaMA-Alpaca 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_dqvusswrdg6c.html)\n  - 介绍：本教程主要介绍了 Chinese-ChatLLaMA,提供中文对话模型 ChatLLama 、中文基础模型 LLaMA-zh 及其训练数据。 模型基于 TencentPretrain 多模态预训练框架构建\n\n#### 第四重 小羊驼 Vicuna\n\n- [【LLMs 入门实战 —— 七 】小羊驼 Vicuna模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_q9mx24q9fdab.html)\n  - 介绍：UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿\u002F130亿参数的Vicuna，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能\n\n#### 第五重 MOSS\n\n- [【LLMs 入门实战 —— 十三 】MOSS 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4vwpxod23zrc.html)\n  - 介绍：MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100\u002FA800或两张3090显卡运行，在INT4\u002F8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。\n  - 局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见\u002F歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。\n\n#### 第六重 BLOOMz\n\n- [【LLMs 入门实战 —— 十四 】 BLOOMz 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_wd97899pkjqj.html)\n  - 介绍：大型语言模型（LLMs）已被证明能够根据一些演示或自然语言指令执行新的任务。虽然这些能力已经导致了广泛的采用，但大多数LLM是由资源丰富的组织开发的，而且经常不对公众开放。作为使这一强大技术民主化的一步，我们提出了BLOOM，一个176B参数的开放性语言模型，它的设计和建立要感谢数百名研究人员的合作。BLOOM是一个仅有解码器的Transformer语言模型，它是在ROOTS语料库上训练出来的，该数据集包括46种自然语言和13种编程语言（共59种）的数百个来源。我们发现，BLOOM在各种基准上取得了有竞争力的性能，在经历了多任务提示的微调后，其结果更加强大。\n  - 模型地址：https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloomz\n\n#### 第七重 BELLE\n\n- [【LLMs 入门实战 —— 十五 】 BELLE 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_gxebzsadfpr2.html)\n  - 介绍：相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力的语言模型，降低大语言模型、特别是中文大语言模型的研究和应用门槛。为此，BELLE项目会持续开放指令训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。BELLE针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。\n  - github 地址: https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE\n\n#### 第八重 ChatRWKV\n\n- [【LLMs 入门实战 —— 十八 】 ChatRWKV 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_dw7jhxq736bw.html)\n  - 目前 RWKV 有大量模型，对应各种场景，各种语言，请选择合适的模型：\n    - Raven 模型：适合直接聊天，适合 +i 指令。有很多种语言的版本，看清楚用哪个。适合聊天、完成任务、写代码。可以作为任务去写文稿、大纲、故事、诗歌等等，但文笔不如 testNovel 系列模型。\n    - Novel-ChnEng 模型：中英文小说模型，可以用 +gen 生成世界设定（如果会写 prompt，可以控制下文剧情和人物），可以写科幻奇幻。不适合聊天，不适合 +i 指令。\n    - Novel-Chn 模型：纯中文网文模型，只能用 +gen 续写网文（不能生成世界设定等等），但是写网文写得更好（也更小白文，适合写男频女频）。不适合聊天，不适合 +i 指令。\n    - Novel-ChnEng-ChnPro 模型：将 Novel-ChnEng 在高质量作品微调（名著，科幻，奇幻，古典，翻译，等等）。\n  - github: https:\u002F\u002Fgithub.com\u002FBlinkDL\u002FChatRWKV\n  -  模型文件：https:\u002F\u002Fhuggingface.co\u002FBlinkDL\n\n#### 第九重 ChatGPT\n\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何 编写 Prompt？](https:\u002F\u002Farticles.zsxq.com\u002Fid_2wutbr4eehzm.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：如何编写 Prompt:\n    - 第一个方面：编写清晰、具体的指令\n    - 第二个方面：给模型些时间思考\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何 优化 Prompt？](https:\u002F\u002Farticles.zsxq.com\u002Fid_swisqrpd8vi2.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：优化编写好 Prompt\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何使用 Prompt 处理 NLP特定任务？](https:\u002F\u002Farticles.zsxq.com\u002Fid_uazuhqdkesq4.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：如何构建ChatGPT Prompt以处理文本摘要、推断和转换(翻译、纠错、风格转换、格式转换等)这些常见的NLP任务\n\n### 第九层 LLMs to interview\n\n- [LLMs 降龙十八掌](https:\u002F\u002Farticles.zsxq.com\u002Fid_un190pd3gi8a.html)\n  - LLMs Fine-Tuning 经验贴\n    - 如何解决大模型遗忘问题#ChatGPT# #LLM (大型语言模型)\n    - Fine-Tuning max_length 选择 问题\n    - Fine-Tuning Learning rate 选择 问题\n    - 如何 向GPT\u002FLLM模型添加额外知识？\n    - 如何解决LLM大模型fine-tune过拟合问题？\n    - 英文模型需要做词表扩充吗？\n    - 全参finetune，数据配比?\n    - 百川13b强化学习时遇到参数不更新的问题?\n    - 使用lion优化器节省显存?\n    - 使用lora训练的参数配置?\n    - ...\n  - LLMs 推理 经验贴\n    - chatglm微调完针对相同的问题输出都是一样的，有办法让他随机一点吗？\n    - 使用fastllm加速推理\n  - LLMs 部署 经验贴\n    - 如果只跑一个私有大模型，但是很多用户同时访问。这些针对不同用户的chat history怎么存取比较高效？\n  - LLMs 多轮对话 经验贴\n    - 如何 融入 之前对话信息\n  - 数据构建篇\n    - 训练数据如何构建？\n  - LLMs 胡思乱想\n    - 为什么 LLMs 不容易出现 灾难性遗忘问题？\n    - LLMs to NLP 下游任务 经验贴\n\n- [【LLMs】大模型 千面郎君](https:\u002F\u002Farticles.zsxq.com\u002Fid_u51mg6wdo4h5.html)\n  - 大模型常识面\n    - 简单 介绍一下 大模型【LLMs】？\n    - 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？\n    - 大模型【LLMs】具有什么优点？\n    - 大模型【LLMs】具有什么缺点？\n  - 大模型强化学习面\n    - 简单介绍强化学习？\n    - 简单介绍一下 RLHF？\n  - 大模型【LLMs】微调篇\n    - 大模型【LLMs】泛化问题？\n    - 大模型【LLMs】微调问题？\n    - 大模型【LLMs】微调有哪些优点？\n    - 大模型【LLMs】指令微调问题？\n  - 大模型【LLMs】思维链篇\n    - 大模型【LLMs】思维链问题？\n    - 大模型【LLMs】思维链本质是什么？\n    - 大模型【LLMs】思维链优点是什么？\n    - 大模型【LLMs】思维链类型和策略？\n    - 大模型【LLMs】逐步Zero-shot 介绍？\n    - 大模型【LLMs】Zero-shot-CoT提示策略定义？\n    - 大模型【LLMs】Zero-shot-CoT提示策略应用方法？\n    - 大模型【LLMs】Few-shot-CoT提示策略定义？\n    - 大模型【LLMs】Few-shot-CoT提示策略核心思想是什么？\n    - 大模型【LLMs】Few-shot-CoT提示策略应用方法是什么？\n  - 大模型【LLMs】涌现现象篇\n    - 大模型【LLMs】中有一种 涌现现象，你知道么？\n    - 大模型【LLMs】涌现现象主要体现在哪些方面？\n    - 大模型【LLMs】涌现现象主激活方式？\n  - 大模型【LLMs】提示工程篇\n    - 大模型【LLMs】提示工程 是什么？\n    - 提示工程 如何添加进 大模型【LLMs】？\n    - 微调（FineTuning） vs 提示工程？\n    - 微调（FineTuning） vs 提示工程 在应用场景中关系雨联系？\n    - 大模型【LLMs】Few-shot提示方法 是什么？\n\n- [大模型的重复生成现象如何缓解？](https:\u002F\u002Farticles.zsxq.com\u002Fid_u9pxnveolxwm.html)\n  - 为何会出现重复生成现象？\n  - 如何减少大模型重复生成？\n- [ LoRA这种微调方法和全参数比起来有什么劣势吗？](https:\u002F\u002Farticles.zsxq.com\u002Fid_6dbtb0w32qo3.html)\n  - 什么是 LoRA？\n  - LoRA 优点是什么？\n  - LoRA 缺点是什么？\n  - LoRA这种微调方法和全参数比起来有什么劣势吗？\n  - LoRA这种微调方法和全参数 如何选择？\n- [LLaMa-1 从原理到实践分析](https:\u002F\u002Farticles.zsxq.com\u002Fid_sil90pxf3zvw.html)\n  - LLaMa-1 理论介绍\n  - LLaMa 模型架构介绍\n  - LLaMa 优化器介绍\n  - LLaMa-1 实践介绍\n- [LLaMa-2 从原理到实践分析](https:\u002F\u002Farticles.zsxq.com\u002Fid_gsm9rxffc2r8.html)\n  - LLaMa-2 理论介绍\n  - LLaMa-2 实践介绍\n- [基于PyTorch来优化大模型训练的内存（显存）](https:\u002F\u002Farticles.zsxq.com\u002Fid_vri8pu8oacqu.html)\n  - 动机：峰值内存（显存）的消耗直接决定了 机器 是否 支撑大模型训练\n  - LLMs Fine-Tuning 经验贴\n    - LLMs Fine-Tuning 框架依赖问题？\n    - LLMs Fine-Tuning 显存问题？\n    - 如何解决大模型遗忘问题#ChatGPT# #LLM (大型语言模型)？\n    - ...\n  - 混合精度训练（Mixed-Precision Training）\n    - 为什么需要 混合精度训练（Mixed-Precision Training）？\n    - 什么是 混合精度训练（Mixed-Precision Training）？\n    - 混合精度训练（Mixed-Precision Training）实现步骤？\n    - ...\n  - 低精度训练（Lower-Precision Training）\n    - 为什么需要 低精度训练（Lower-Precision Training）？\n    - 什么是 低精度训练（Lower-Precision Training）？\n    - ...\n  - 降低训练批处理大小（Reducing the Batchsize）\n    - 为什么需要 降低训练批处理大小（Reducing the Batchsize）？\n    - 什么是 降低训练批处理大小（Reducing the Batchsize）？\n    - ...\n  - 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）\n    - 为什么需要 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）？\n    - 什么是 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）？\n    - ...\n- [如何缓解大模型幻觉？](https:\u002F\u002Farticles.zsxq.com\u002Fid_bxani4mwdead.html)\n  - 为什么 会 出现 大模型幻觉？\n  - 如何 缓解 大模型幻觉？\n\n### 第八层 LLMs to Inference acceleration\n\n- [LLM（大语言模型）部署加速方法——PagedAttention](https:\u002F\u002Farticles.zsxq.com\u002Fid_7eu43rgc4ehm.html)\n  - 什么是 PagedAttention？\n  - PagedAttention 如何存储 连续的key和value？\n  - PagedAttention 技术细节？\n  - PagedAttention 如何 实现安全共享？\n  - PagedAttention 源码介绍？\n\n- [LLM（大语言模型）部署加速方法——Faster Transformer](https:\u002F\u002Farticles.zsxq.com\u002Fid_2ixvwo53necu.html)\n  - 为什么需要 Faster Transformer？\n  - 什么是 FasterTransformer？\n  - FasterTransformer 核心？\n  - FasterTransformer 优化？\n\n- [纯Python超轻量高性能LLM推理框架 —— LightLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwdwtitwtjwj.html)\n  - 为什么 需要 LightLLM ?\n    - 显存碎片化严重\n    - 请求调度效率低\n    - kernel定制化难度高\n  - 介绍：基于纯Python语言的大模型推理部署框架LightLLM，方便研究员进行轻量级的本地部署和定制修改，用于快速扩展对不同模型的支持，吸纳层出不穷的优秀开源特性，探索最优服务架构。\n  - LightLLM 性能表现\n    - TGI由于显存碎片化严重，所以很难达到较高的吞吐量；\n    - vLLM因引入了PageAttention，但是由于整体实现细节更利于小模型推理，所以在大模型上的并发性能并不是十分理想（使用的默认配置）；\n    - 相比之下，LightLLM则可以在各种大小的模型下都保持稳健的性能，在大模型上（LLaMA-65B）相对TGI和vLLM实现了3倍左右的2提升。\n\n- [大模型推理加速工具 —— vLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_ra748ubp2t3l.html)\n  - 介绍：vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。\n  - vLLM 具有哪些特点 ?\n    - 最先进的服务吞吐量；\n    - PagedAttention 可以有效的管理注意力的键和值；\n    - 动态批处理请求；\n    - 优化好的 CUDA 内核；\n\n### 第二层 LLMs to Parameter Efficient Fine-Tuning (PEFT)\n\n#### 第一重 分布式训练神器\n\n- [分布式训练神器 之 ZeRO 学习](trick\u002Fdistributed\u002FZeRO.md)\n  - 动机：虽然 DataParallel (DP) 因为简单易实现，所以目前应用相比于其他两种 广泛，但是 由于 DataParallel (DP) 需要 每张卡都存储一个模型，导致 显存大小 成为 制约模型规模 的 主要因素。\n  - 核心思路：去除数据并行中的冗余参数，使每张卡只存储一部分模型状态，从而减少显存占用。\n\n- [图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）](https:\u002F\u002Farticles.zsxq.com\u002Fid_5116ludvwvww.html)\n  - 动机：\n    - 回顾ChatGPT的发展历程，我们可以总结出大语言模型（LLM）取得惊艳效果的要点（重要性从高到低排序）：\n      - 愿意烧钱，且接受“烧钱 != 好模型”的现实\n      - 高质量的训练语料\n      - **高效的分布式训练框架**和**充沛优质的硬件资源**\n      - **算法的迭代创新**\n  - 介绍：在大模型训练这个系列里，我们将一起探索学习几种经典的分布式并行范式，包括**流水线并行（Pipeline Parallelism）**，**数据并行（Data Parallelism）**和**张量并行（Tensor Parallesim）**。\n\n- [图解分布式训练（二） —— nn.DataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_m3tdrv0wdlzr.html)\n  - 动机：\n    - 多GPU并行训练的原理就是将模型参数和数据分布到多个GPU上，同时利用多个GPU计算加速训练过程。具体实现需要考虑以下两个问题：\n    - 数据如何划分？因为模型需要处理的数据通常很大，将所有数据放入单个GPU内存中可能会导致内存不足，因此我们需要将数据划分到多个GPU上。\n  - 介绍：\n    - 计算如何协同？因为每个GPU都需要计算模型参数的梯度并将其发送给其他GPU，因此需要使用同步机制来保证计算正确性。一般有两种同步方式：\n    - 数据同步：在每个GPU上计算模型参数的梯度，然后将梯度发送到其他GPU上进行汇总，最终更新模型参数。\n    - 模型同步：在每个GPU上计算模型参数的梯度，然后将模型参数广播到其他GPU上进行汇总，最终更新模型参数。\n\n- [图解分布式训练（三） ——  nn.parallel.DistributedDataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_w11rmbn6i9zl.html)\n  - 动机：\n    - **数据如何划分？**因为模型需要处理的数据通常很大，将所有数据放入单个GPU内存中可能会导致内存不足，因此我们需要将数据划分到多个GPU上。一般有两种划分方式：\n      - 数据并行：将数据分割成多个小批次，每个GPU处理其中的一个小批次，然后将梯度汇总后更新模型参数。\n      - 模型并行：将模型分解成多个部分，每个GPU处理其中一个部分，并将处理结果传递给其他GPU以获得最终结果。\n    - **计算如何协同？**因为每个GPU都需要计算模型参数的梯度并将其发送给其他GPU，因此需要使用同步机制来保证计算正确性。一般有两种同步方式：\n      - 数据同步：在每个GPU上计算模型参数的梯度，然后将梯度发送到其他GPU上进行汇总，最终更新模型参数。\n      - 模型同步：在每个GPU上计算模型参数的梯度，然后将模型参数广播到其他GPU上进行汇总，最终更新模型参数。\n    - DP 只支持 单机多卡场景，在 多机多卡 场景 下，DP 的 通讯问题将被放大:\n      - DDP首先要解决的就是通讯问题：将Server上的通讯压力均衡转到各个Worker上。实现这一点后，可以进一步去Server，留Worker。\n  - 介绍：上节讲到 DP 只支持 单机多卡场景，主要原因是 DP 无法数据并行中通讯负载不均的问题， 而 DDP 能够解决 该问题 的 核心在于 **Ring-AllReduce**。它由百度最先提出，非常有效地解决了数据并行中通讯负载不均的问题，使得DDP得以实现。\n\n- [图解分布式训练（四） ——  torch.multiprocessing 详细解析](trick\u002Fdistributed\u002Fmultiprocessing.md)\n  - 介绍：torch.multiprocessing是本机multiprocessing模块的封装。封装了multiprocessing模块。它注册自定义的reducer，它使用共享内存为不同进程中的相同数据提供视图共享。一旦张量\u002F存储被移动到shared_memory（参见sharememory()），就可以将其发送到其他进程而不进行其它任何操作。\n\n- [图解分布式训练（五） ——  AMP混合精度训练 详细解析](trick\u002Fdistributed\u002FAMP.md)\n  - 动机：PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。\n  - 介绍：在某些上下文中torch.FloatTensor有优势，在某些上下文中torch.HalfTensor有优势呗。答案进一步可以转化为，相比于之前的默认的torch.FloatTensor，torch.HalfTensor有时具有优势，有时劣势不可忽视。\n\n- [图解分布式训练（六） ——  Pytorch的 DeepSpeed 详细解析](trick\u002Fdistributed\u002Fdeepspeed.md)\n  - 动机：\n    - 最常见的深度学习框架应该是TensorFlow、Pytorch、Keras，但是这些框架在面向大规模模型的时候都不是很方便。\n    - 比如Pytorch的分布式并行计算框架（Distributed Data Parallel，简称DDP），它也仅仅是能将数据并行，放到各个GPU的模型上进行训练。\n    - 也就是说，DDP的应用场景在你的模型大小大于显卡显存大小时，它就很难继续使用了，除非你自己再将模型参数拆散分散到各个GPU上。\n  - 介绍：在分布式计算环境中，需要理解几个非常基础的概念：节点编号、全局进程编号、局部进程编号、全局总进程数和主节点。其中，主节点负责协调所有其他节点和进程的工作，因此是整个系统的关键部分。\n\n- [图解分布式训练（七） ——  accelerate 分布式训练 详细解析](trick\u002Fdistributed\u002Faccelerate.md)\n  - 介绍：PyTorch Accelerate 是一个 PyTorch 的加速工具包，旨在简化 PyTorch 训练和推断的开发过程，并提高性能。它是由 Hugging Face、NVIDIA、AWS 和 Microsoft 等公司联合开发的，是一个开源项目。\n\n#### 第二重 LLMs Trick\n\n- [LLMs Trick](trick\u002Freadme.md)\n\n#### 第三重 LLMTune\n\n- [【LLMs 入门实战 —— 十六 】 LLMTune 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_1hg51c292bu6.html)\n  - 动机：大语言模型虽然能力很强，目前开源生态也很丰富，但是在特定领域微调大模型依然需要大规格的显卡。例如，清华大学发布的ChatGLM-6B，参数规模60亿，在没有量化的情况下微调需要14GB显存（parameter-efficient fine-tuning，PEFT)。在没有任何优化的前提下，每10亿参数的全精度（32bit）模型载入到显存中就需要4GB，而int8量化后也需要1GB显存。而目前开源最强的模型LLaMA，其最高参数维650亿规模，全精度模型载入就需要260GB，显然已经超出了大部分人的硬件水平。更不要说对模型进行微调（微调需要训练更新参数，推理只需要前向计算即可，因此，微调需要更多的显存才能支持）。\n  - 介绍：Cornell Tech开源的LLMTune就是为了降低大模型微调难度所提出的一种解决方案。对于650亿参数的LLaMA模型微调仅需要40GB显存即可。\n  - github 地址: https:\u002F\u002Fgithub.com\u002Fkuleshov-group\u002Fllmtune\n\n#### 第四重 QLoRA\n\n- [【LLMs 入门实战 —— 二十 】 QLoRA 模型学习与实战]()\n  - [https:\u002F\u002Fhuggingface.co\u002FBlinkDL](https:\u002F\u002Fhuggingface.co\u002FBlinkDL)\n  - [artidoro\u002Fqlora](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora)\n  - 模型：[timdettmers (Tim Dettmers)](https:\u002F\u002Fhuggingface.co\u002Ftimdettmers)\n  - 量化代码：[TimDettmers\u002Fbitsandbytes](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - BLOG : [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https:\u002F\u002Fhuggingface.co\u002Fblog\u002F4bit-transformers-bitsandbytes)\n  - Demo环境：[Guanaco Playground Tgi - a Hugging Face Space by uwnlp](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fuwnlp\u002Fguanaco-playground-tgi)\n  - 介绍：5月24日华盛顿大学的研究者发布了QLoRA技术及用其生成的Guanaco大模型。\n    - 特点：\n      - 在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间；\n      - QLORA引入了一些创新来节省内存而不牺牲性能：\n        - （a）4位NormalFloat（NF4），这是一种对于正态分布权重来说在信息论上是最优的数据类型；\n        - （b）双量化，通过量化量化常数来减少平均内存占用；\n        - （c）分页优化器，用于管理内存峰值。\n\n- [【LLMs 入门实战 —— 二十七 】【QLoRA实战】使用单卡高效微调bloom-7b1]()\n  - [https:\u002F\u002Fhuggingface.co\u002FBlinkDL](https:\u002F\u002Fhuggingface.co\u002FBlinkDL)\n  - [artidoro\u002Fqlora](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora)\n  - 模型：[timdettmers (Tim Dettmers)](https:\u002F\u002Fhuggingface.co\u002Ftimdettmers)\n  - 量化代码：[TimDettmers\u002Fbitsandbytes](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - BLOG : [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https:\u002F\u002Fhuggingface.co\u002Fblog\u002F4bit-transformers-bitsandbytes)\n\n- [【LLMs 入门实战 】Anima 学习与实战](Anima\u002Freadme.md)\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Flyogavin\u002FAnima\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Flyogavin\u002FAnima33B\n  - 动机：之前大部分开源可finetune的模型大都是比较小的模型7B或者13B，虽然可以在一些简单的chatbot评测集上，通过finetune训练有不错的表现。但是由于这些模型规模还是有限，LLM核心的reasoning的能力还是相对比较弱。这就是为什么很多这种小规模的模型在实际应用的场景表现像是个玩具。chatbot评测集比较简单，真正比较考验模型能力的复杂逻辑推理及数学问题上小模型和大模型差距还是很明显的。\n  - 介绍：QLoRA的优化方法，第一次让33B规模的模型可以比较民主化的，比较低成本的finetune训练，让33B模型的普及使用成为了可能。我们认为33B模型既可以发挥大规模模型的比较强的推理能力，又可以针对私有业务领域数据进行灵活的finetune训练提升对于LLM的控制力。\n\n### 第三层 LLMs to Artifact\n\n#### 第一重 langchain\n\n- [【LLMs 入门实战 —— 十二 】基于 本地知识库 的高效 🤖langchain-ChatGLM ](https:\u002F\u002Farticles.zsxq.com\u002Fid_54vjwns5t6in.html)\n  - 介绍：langchain-ChatGLM是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。\n- [【LLMs 入门实战 —— 三十一 】Vicuna-LangChain 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_74t8mmww5a1n.html)\n  - 介绍：一个简单的类LangChain实现，基于Sentence Embedding+本地知识库，以Vicuna作为生成模型。支持中英双语，支持pdf、html和docx格式的文档作为知识 库。\n  - Vicuna-LangChain 思路\n    1. 提取知识库文件夹中的文档文本，分割成chunk_length大小的文本块\n    2. 通过shibing624\u002Ftext2vec-base-chinese模型计算各文本块的嵌入\n    3. 计算问题文本嵌入和各文本块的嵌入的余弦相似度\n    4. 返回余弦相似度最高的k个文本作为给定信息生成prompt\n    5. 将prompt历史替换为最初问的问题\n    6. 将prompt交给vicuna模型生成答案\n- [【LLMs 入门实战】基于 本地知识库 的高效 🤖langchain-ChatGLM2 ](https:\u002F\u002Farticles.zsxq.com\u002Fid_zx9d1pix6wls.html)\n  - 介绍：langchain-ChatGLM2是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。\n\n#### 第二重 wenda\n\n- [【LLMs 入门实战】基于 本地知识库 的高效 🤖wenda+ChatGLM2-6B](https:\u002F\u002Farticles.zsxq.com\u002Fid_mx6n1d28iccg.html)\n  - 介绍：本项目设计目标为实现针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题。为达目标，平台化集成了以下能力：\n    - 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。\n    - 多种大语言模型：目前支持离线部署模型有chatGLM-6B\\chatGLM2-6B、chatRWKV、llama系列(不推荐中文用户)、moss(不推荐)、baichuan(需配合lora使用，否则效果差)、Aquila-7B，在线API访问openai api和chatGLM-130b api。\n    - Auto脚本：通过开发插件形式的JavaScript脚本，为平台附件功能，实现包括但不限于自定义对话流程、访问外部API、在线切换LoRA模型。\n    - 其他实用化所需能力：对话历史管理、内网部署、多用户同时使用等。\n\n#### 第三重 AutoGPT\n\n- [AutoGPT 使用和部署](https:\u002F\u002Farticles.zsxq.com\u002Fid_pli0z9916126.html)\n  - 介绍：Auto-GPT是一个基于ChatGPT的工具，他能帮你自动完成各种任务，比如写代码、写报告、做调研等等。使用它时，你只需要告诉他要扮演的角色和要实现的目标，然后他就会利用ChatGPT和谷歌搜索等工具，不断“思考”如何接近目标并执行，你甚至可以看到他的思考过程。\n\n#### 第四重 Knowledge Extraction\n\n- [【LLMs 入门实战 】 DeepKE-LLM 模型学习与实战]()\n  - DeepKE-LLM链接：https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FDeepKE\u002Ftree\u002Fmain\u002Fexample\u002Fllm\n  - OpenKG地址：http:\u002F\u002Fopenkg.cn\u002Ftool\u002Fdeepke\n  - Gitee地址：https:\u002F\u002Fgitee.com\u002Fopenkg\u002Fdeepke\u002Ftree\u002Fmain\u002Fexample\u002Fllm\n  - 介绍：DeepKE是一个开源可扩展的知识图谱抽取工具，可实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。在大模型时代，我们对DeepKE进行了全面升级并发布大模型版DeepKE-LLM（智析抽取大模型）。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\n\n### 第四层 LLMs to Text-to-Image\n\n#### 第一重 Stable Diffusion\n\n- [【LLMs 入门实战 —— 二十二 】Stable Diffusion 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fstable_diffusion)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002Fgediz\u002Flstein-stable-diffusion\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion\n  - 介绍：Stable Diffusion是一种潜在扩散模型（Latent Diffusion Model），能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的图像！\n- [【LLMs 入门实战 —— 二十三 】Stable Diffusion Webui 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fstable_diffusion_webui)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002FAUTOMATIC1111\u002Fstable-diffusion-webui\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion\n  - 介绍：Stable Diffusion是一款功能异常强大的AI图片生成器。它不仅支持生成图片，使用各种各样的模型来达到你想要的效果，还能训练你自己的专属模型。WebUI使得Stable Diffusion有了一个更直观的用户界面，更适合新手用户。\n- [【LLMs 入门实战 —— 二十四 】Novelai 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fnovelai)\n- [【LLMs 入门实战 —— 二十五 】lora 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Flora)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002Fjohnsmith007\u002FLoRAs\u002Ftree\u002Fmain\n  - 介绍：LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风\u002FIP\u002F人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。\n\n### 第五层 LLMs to Visual Question Answering (VQA)\n\n#### 第一重 BLIP\n\n- [【LLMs 入门实战 —— 二十二】 BLIP 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_mpckrd9ccfdn.html)\n  - 论文名称：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.12086\n  - 代码地址：https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FBLIP\n  - 局限性:\n    - **模型角度**: \n      - 现有方法：大多数方法要么采用基于编码器的模型，要么采用编码器-解码器模型。\n      - 存在问题：**基于编码器的模型不太容易直接转换到文本生成任务（例如图像字幕）**，而**编码器-解码器模型尚未成功用于图像文本检索任务**；\n    - **数据角度**: 大多数SOTA的方法（如CLIP、ALBEF等）都在从web上收集到的图文对上进行预训练。尽管通过扩展数据集获得了性能提升，但 BLIP 的研究表明，对于视觉语言学习来说，有噪声的网络文本是次优的。\n  - BLIP总体思路：作为新的 VLP 框架，**BLIP 用于统一视觉语言理解和生成的 Bootstrapping Language-Image 预训练，可以灵活地迁移到视觉语言理解和生成任务。 BLIP 通过引导字幕有效地利用了嘈杂的网络数据，字幕生成器生成合成字幕，过滤器去除嘈杂的字幕**\n  - 贡献:\n    - （1） **编码器-解码器 (MED) 的多模式混合**：一种用于有效多任务预训练和灵活迁移学习的新模型架构。MED可以作为单模态编码器、基于图像的文本编码器或基于图像的文本解码器工作。**该模型与三个视觉语言目标联合预训练：图像文本对比学习、图像文本匹配和图像条件语言建模**。\n    - （2） **字幕和过滤（Captioning and Filtering，CapFilt）**：一种新的数据集增强方法，用于**从噪声图像-文本对中学习**。作者将预先训练的MED分为两个模块: **一个字幕器，用于生成给定web图像的合成字幕**，以及**一个过滤器，用于从原始web文本和合成文本中删除嘈杂的字幕**。\n\n#### 第二重 BLIP2\n\n- [【LLMs 入门实战 —— 二十六】 BLIP2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_lcwp2s597vrr.html)\n  - 论文名称：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models\n  - 单位：Salesforce 研究院\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2301.12597\n  - 代码地址：https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS\u002Ftree\u002Fmain\u002Fprojects\u002Fblip2\n  - HF上的Demo：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FSalesforce\u002FBLIP2\n  - 动机\n    - 由于大规模模型的端到端训练，视觉和语言预训练的成本变得越来越高\n    - 为了降低计算成本并抵消灾难性遗忘的问题，希望在 Vision-language pre-training (VLP) 中固定视觉模型参数与语言模型参数。然而，由于语言模型在其单模态预训练期间没有看到图像，因此冻结它们使得视觉语言对齐尤其具有挑战性\n   - 介绍：\n     - BLIP-2， 一种通用而有效的预训练策略，它从现成的冻结预训练图像编码器和冻结的大型语言模型中引导视觉语言预训练。\n     - 通过一个轻量级的 Querying Transformer （Q-Former是一个轻量级的 transformer，它使用一组可学习的查询向量来从冻结图像编码器中提取视觉特征，为LLM提供最有用的视觉特征，以输出所需的文本） 弥补了模态 gap，该 Transformer 分两个阶段进行预训练:\n      - 第一阶段：从冻结图像编码器引导视觉语言表示学习，强制 Q-Former 学习与文本最相关的视觉表示；\n      - 第二阶段：将视觉从冻结的语言模型引导到语言生成学习，将Q-Former的输出连接到冻结的LLM，并对Q-Former进行训练，使其输出视觉表示能够被LLM解释。\n\n#### 第三重 MiniGPT-4 \n\n- [【LLMs 入门实战 —— 八 】MiniGPT-4 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ff0w6czthq25.html)\n  - Github 链接： https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\n  - 介绍： MiniGPT-4，是来自阿卜杜拉国王科技大学的几位博士做的，它能提供类似 GPT-4 的图像理解与对话能力\n\n#### 第四重 VisualGLM-6B\n\n- [【LLMs 入门实战 —— 十七 】 VisualGLM-6B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4pzgwnwl2zjc.html) \n  - Github 链接： https:\u002F\u002Fgithub.com\u002FTHUDM\u002FVisualGLM-6B\n  - Huggingface 链接：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fvisualglm-6b\n  - 动机：OpenAI 的GPT-4样例中展现出令人印象深刻的多模态理解能力，但是能理解图像的中文开源对话模型仍是空白。\n  - 介绍：VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到 ChatGLM 的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。\n  - github 地址:https:\u002F\u002Fgithub.com\u002FTHUDM\u002FVisualGLM-6B\n\n#### 第五重 Ziya-Visual\n\n- [【LLMs 入门实战 】 Ziya-Visual 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_f3wugvkt4w00.html) \n  - Ziya-Visual模型开源地址：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1L\u002FZiya-BLIP2-14B-Visual-v1\n  - Demo体验地址：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-DemoDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-Demo\n  - Ziya开源模型：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1L\u002FZiya-LLaMA-13B-v1\n  - 封神榜项目主页：https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\n  - 介绍：自从3月份OpenAI发布具有识图能力的多模态大模型GPT-4，大模型的能力便不再局限于文本输入-文本输出的形式，人们可以上传视觉图片来与大模型进行聊天和交互。遗憾的是，时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限，无法体验到结合视觉和语言两大模态的大模型的卓越能力，而且GPT-4也没有叙述或者开源GPT模型多模态预训练的方案。与之相对的是，学术界和开源界则充分探索了视觉预训练模型（比如ViT, Vision Transformer）与大语言模型(LLM，Large Language Model)结合，从而让目前的LLM获得输入图片、认识图片的能力。其中的代表工作包括国外团队开源的Mini-GPT4[1]，LLaVA[2]等，国内团队开源的VisuaGLM[3]，mPLUG-Owl[4]等工作。大部分的开源方案参考了BLIP2的训练方案[5]，选择冻结LLM部分的参数训练或者采用Lora等parameter-efficient的微调训练方式。IDEA研究院封神榜团队在5月17日发布“姜子牙通用大模型v1”之后，继续发布Ziya-BLIP2-14B-Visual-v1多模态大模型（以下简称Ziya-Visual模型）。和Ziya大模型一样，Ziya-Visual模型具备中英双语能力，特别是中文能力较为突出。和所有基于BLIP2的方案类似，我们简单高效的扩展了LLM的识图能力。该模型对比VisualGLM、mPLUG-Owl模型，在视觉问答（VQA）评价和GPT-4打分评价[2]中，展现了一些优势。\n\n### 第六层 LLMs to Automatic Speech Recognition (ASR)\n\n#### 第一重 Massively Multilingual Speech (MMS，大规模多语种语音)\n\n- [【LLMs 入门实战 —— 二十 】 Massively Multilingual Speech (MMS，大规模多语种语音) 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Fspeech_MMS_21)\n  - 论文：[Scaling Speech Technology to 1,000+ Languages](https:\u002F\u002Fresearch.facebook.com\u002Fpublications\u002Fscaling-speech-technology-to-1000-languages\u002F)\n  - 代码：[fairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms)\n  - 公告：https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fmultilingual-model-speech-recognition\u002F\n  - 介绍：Meta 在 GitHub 上再次开源了一款全新的 AI 语言模型——Massively Multilingual Speech (MMS，大规模多语种语音)，它与 ChatGPT 有着很大的不同，这款新的语言模型可以识别 4000 多种口头语言并生成 1100 多种语音（文本到语音）。\n\n#### 第二重 whisper \n\n- [【LLMs 入门实战】 whisper 模型学习与实战](whisper\u002Freadme.md)\n  - Introducing Whisper: https:\u002F\u002Fopenai.com\u002Fblog\u002Fwhisper\u002F\n  - Robust Speech Recognition via Large-Scale Weak Supervision: https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002Fwhisper.pdf\n  - openai\u002Fwhisper: https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper\n  - Huggin一 Face地址：Whisper - a Hugging Face Space by openai:https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fopenai\u002Fwhisper\n  - Colab地址：Google Colaboratory: https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fopenai\u002Fwhisper\u002Fblob\u002Fmaster\u002Fnotebooks\u002FLibriSpeech.ipynb\n  - 介绍：Whisper这个模型是OpenAI在今年九月释放出来的吧（2022\u002F09\u002F21）Introducing Whisper ，不过这个效果真的是太好了，它的泛化性能跟别的模型一比，真是天上地下啊。\n- [【LLMs 入门实战】 Faster-Whisper 模型学习与实战](whisper\u002FFasterWhisper.md) \n  - Making OpenAI Whisper faster：https:\u002F\u002Fnikolas.blog\u002Fmaking-openai-whisper-faster\u002F\n  - Faster Whisper transcription with CTranslate2 ：https:\u002F\u002Fgithub.com\u002Fguillaumekln\u002Ffaster-whisper\n  - sanchit-gandhi\u002Fwhisper-jax#creating-an-endpoint：https:\u002F\u002Fgithub.com\u002Fsanchit-gandhi\u002Fwhisper-jax#creating-an-endpoint\n  - 介绍：Faster-Whisper是一种基于深度学习的语音识别模型，它采用了一种新颖的架构，可以在保持准确性的同时提高速度。Faster-Whisper的设计灵感来自于目标检测领域的Faster R-CNN模型，它将语音信号转换为频谱图，并使用卷积神经网络（CNN）和循环神经网络（RNN）进行特征提取和序列建模。Faster-Whisper的主要优点是速度快、准确性高、可扩展性强，适用于大规模语音识别任务。\n  - Faster-Whisper的架构包括三个主要组件：\n    - 前端：将语音信号转换为频谱图，使用CNN进行特征提取。\n    - 后端：使用RNN进行序列建模，输出每个时间步的概率分布。\n    - 解码器：将概率分布转换为最终的文本输出。\n\n### 第七层 LLMs to Text To Speech (TTS)\n\n#### 第一重 Massively Multilingual Speech (MMS，大规模多语种语音)\n\n- [【LLMs 入门实战 —— 二十 】 Massively Multilingual Speech (MMS，大规模多语种语音) 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Fspeech_MMS_21)\n  - 论文：[Scaling Speech Technology to 1,000+ Languages](https:\u002F\u002Fresearch.facebook.com\u002Fpublications\u002Fscaling-speech-technology-to-1000-languages\u002F)\n  - 代码：[fairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms)\n  - 公告：https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fmultilingual-model-speech-recognition\u002F\n  - 介绍：Meta 在 GitHub 上再次开源了一款全新的 AI 语言模型——Massively Multilingual Speech (MMS，大规模多语种语音)，它与 ChatGPT 有着很大的不同，这款新的语言模型可以识别 4000 多种口头语言并生成 1100 多种语音（文本到语音）。\n\n#### 第二重 Retrieval-based-Voice-Conversion\n\n- [【LLMs 入门实战】 Retrieval-based-Voice-Conversion-WebUI 模型学习与实战]()\n  - 名称：Retrieval-based-Voice-Conversion-WebUI\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.18975\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FRVC-Project\u002FRetrieval-based-Voice-Conversion-WebUI\n  - 使用了RVC的实时语音转换: [w-okada\u002Fvoice-changer](https:\u002F\u002Fgithub.com\u002Fw-okada\u002Fvoice-changer)\n  - 使用了RVC变声器训练的人声转木吉他模型在线demo ：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Flj1995\u002Fvocal2guitar\n  - RVC人声转吉他效果展示视频 ：https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV19W4y1D7tT\u002F\n  - 介绍：一个基于VITS的简单易用的语音转换（变声器）框架\n  - 特点\n    - 使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏\n    - 即便在相对较差的显卡上也能快速训练\n    - 使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)\n    - 可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge)\n    - 简单易用的网页界面\n    - 可调用UVR5模型来快速分离人声和伴奏\n\n- [【LLMs 入门实战】 kNN-VC 模型学习与实战]()\n  - 论文名称：Voice Conversion With Just Nearest Neighbors (kNN-VC)\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.18975\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fbshall\u002Fknn-vc\n\n### LLaMA 衍生物系列\n\n#### 第五重 GPT4ALL\n\n- [【LLMs 入门实战 —— 八 】GPT4ALL 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ff0w6czthq25.html)\n  - 介绍：一个 可以在自己笔记本上面跑起来的  Nomic AI 的助手式聊天机器人，成为贫民家孩子的 福音！\n\n#### 第十一重 OpenBuddy\n\n- [【LLMs 入门实战 —— 二十八 】 OpenBuddy 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_g2tmn66fearf.html)\n  - 论文名称：OpenBuddy - Open Multilingual Chatbot based on Falcon\n  - github 地址：https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\n  - 动机：虽然目前 很多人 LLMs 层出不穷，但是他们并不能 在 多语言支持无缝衔接（eg: LLaMA 模型由于是用 英语训练，所以在 中文等其他语种上效果并不好）\n  - 介绍：基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，OpenBuddy 经过微调，包括扩展词汇表、增加常见字符和增强 token 嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答各种语言的问题并执行翻译任务。\n\n#### 第十二重 Baize\n\n- [【LLMs 入门实战 —— 三十 】Baize 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_hftswats1oe8.html)\n  - 论文名称：Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.01196\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fproject-baize\u002Fbaize-chatbot\u002Fblob\u002Fmain\u002FREADME.md\n  - 模型：\n    - baize-v2-7b 模型：https:\u002F\u002Fhuggingface.co\u002Fproject-baize\u002Fbaize-v2-7b\n    - baize-v2-13b 模型：https:\u002F\u002Fhuggingface.co\u002Fproject-baize\u002Fbaize-v2-13b\n  - baize 体验网站：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fproject-baize\u002Fbaize-lora-7B\n  - 动机：高质量的标注数据问题\n  - 介绍：Baize 作者 提出了一个自动收集 ChatGPT 对话的流水线，通过从特定数据集中采样「种子」的方式，让 ChatGPT 自我对话，批量生成高质量多轮对话数据集。其中如果使用领域特定数据集，比如医学问答数据集，就可以生成高质量垂直领域语料。\n\n#### 第十三重 OpenChineseLLaMA\n\n- [【LLMs 入门实战 】OpenChineseLLaMA 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_kbaocwse89o9.html)\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FOpenChineseLLaMA\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Fopenlmlab\u002Fopen-chinese-llama-7b-patch\n  - 介绍：基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。\n\n#### 第十四重 Panda\n\n- [【LLMs 入门实战 】Panda 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_6dnefz5bmekd.html)\n  - 论文名称：Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.03025v1.pdf\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fdandelionsllm\u002Fpandallm\n  - 模型：\n  - 介绍：开源了基于LLaMA-7B, -13B, -33B, -65B 进行中文领域上的持续预训练的语言模型, 使用了接近 15M 条数据进行二次预训练。\n\n#### 第十五重 Ziya-LLaMA-13B\n\n- [【LLMs 入门实战 】 Ziya-LLaMA-13B 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_110iedww8t0k.html)\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1\n  - 模型：\n  - 介绍：该项目开源了姜子牙通用大模型V1，是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。该模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。\n\n#### 第十六重 BiLLa\n\n- [【LLMs 入门实战 】 BiLLa 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_wtixv8u69v7w.html)\n  - 论文名称：BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FNeutralzz\u002FBiLLa\n  - 模型：\n  - 介绍：该项目开源了推理能力增强的中英双语LLaMA模型。模型的主要特性有：较大提升LLaMA的中文理解能力，并尽可能减少对原始LLaMA英文能力的损伤；训练过程增加较多的任务型数据，利用ChatGPT生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。\n\n#### 第十七重 Luotuo-Chinese-LLM\n\n- [【LLMs 入门实战 】 Luotuo-Chinese-LLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FLC1332\u002FLuotuo-Chinese-LLM\n  - 模型：\n  - 介绍：囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM, MOSS, LLaMA）进行二次微调的语言模型，指令微调数据集等。\n\n#### 第十八重 Linly\n\n- [【LLMs 入门实战 】 Linly 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FCVI-SZU\u002FLinly\n  - 模型：\n  - 介绍：提供中文对话模型 Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其训练数据。中文基础模型以 LLaMA 为底座，利用中文和中英平行增量预训练。项目汇总了目前公开的多语言指令数据，对中文模型进行了大规模指令跟随训练，实现了 Linly-ChatFlow 对话模型。\n\n#### 第十九重 ChatYuan\n\n- [【LLMs 入门实战 】 ChatYuan 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fclue-ai\u002FChatYuan\n  - 介绍：元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。\n\n#### 第二十重 CPM-Bee\n\n- [【LLMs 入门实战 】 CPM-Bee 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FOpenBMB\u002FCPM-Bee\n  - 模型：\n  - 介绍：一个完全开源、允许商用的百亿参数中英文基座模型。它采用Transformer自回归架构（auto-regressive），在超万亿（trillion）高质量语料上进行预训练，拥有强大的基础能力。开发者和研究者可以在CPM-Bee基座模型的基础上在各类场景进行适配来以创建特定领域的应用模型。\n\n#### 第二十一重 TigerBot\n\n- [【LLMs 入门实战 】 TigerBot 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\n  - 模型：\n  - 介绍：一个多语言多任务的大规模语言模型(LLM)，开源了包括模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B，基本训练和推理代码，100G预训练数据，涵盖金融、法律、百科的领域数据以及API等。\n\n#### 第二十二重 书生·浦语\n\n- [【LLMs 入门实战 】 书生·浦语 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FInternLM\u002FInternLM-techreport\n  - 模型：\n  - 介绍：商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。据悉，“书生·浦语”具有1040亿参数，基于“包含1.6万亿token的多语种高质量数据集”训练而成。\n\n#### 第二十三重 Aquila\n\n- [【LLMs 入门实战 】 Aquila 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码： https:\u002F\u002Fgithub.com\u002FFlagAI-Open\u002FFlagAI\u002Ftree\u002Fmaster\u002Fexamples\u002FAquila\n  - 模型：\n  - 介绍：由智源研究院发布，Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。\n\n#### 第一重 金融领域\n\n- [【LLMs 入门实战 —— 十九】 聚宝盆(Cornucopia) 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002FCornucopia_19)\n  - 聚宝盆(Cornucopia) 开源了经过中文金融知识指令精调\u002F指令微调(Instruct-tuning) 的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了 LLaMA 在金融领域的问答效果。\n  - github: [jerry1993-tech\u002FCornucopia-LLaMA-Fin-Chinese](https:\u002F\u002Fgithub.com\u002Fjerry1993-tech\u002FCornucopia-LLaMA-Fin-Chinese\u002Ftree\u002Fmain)\n- [【LLMs 入门实战 】 BBT-FinCUGE-Applications 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fssymmetry\u002FBBT-FinCUGE-Applications\n  - 介绍：开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。\n- [【LLMs 入门实战 】 XuanYuan（轩辕） 学习与实战]()：首个千亿级中文金融对话模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fhuggingface.co\u002Fxyz-nlp\u002FXuanYuan2.0\n  - 介绍：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。\n\n#### 第二重 医疗领域\n\n- [【LLMs 入门实战 —— 二十九 】HuatuoGPT (华佗GPT) 学习与实战](HuatuoGPT_29\u002Freadme.md)\n  - HuatuoGPT (华佗GPT), Towards Taming Language Models To Be a Doctor.\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.15075.pdf\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FFreedomIntelligence\u002FHuatuoGPT\n  - 模型：https:\u002F\u002Fhuggingface.co\u002FFreedomIntelligence\u002FHuatuoGPT-7b-v1\n  - HuatuoGPT 体验网站：https:\u002F\u002Fwww.huatuogpt.cn\u002F\n  - HuatuoGPT (华佗GPT) 监督微调（SFT）：[HuatuoGPT-sft-data-v1](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFreedomIntelligence\u002FHuatuoGPT-sft-data-v1)\n  - 动机：\n    - 益增长的在线和医院快速医疗咨询需求 与 医生的时间和精力 矛盾问题\n    - 目前并没有 开源而且高质量的 可用于训练 medical LLMs，所以 为 训练 medical LLMs 而构建 high-quality instruction training data 至关重要；\n    - medical LLMs 诊断能力需要进行 彻底评估和测试，避免 medical LLMs 误诊问题；\n  - 介绍：\n    - HuatuoGPT (华佗GPT) 知识库是一个在庞大的中国医学语料库上训练的大型语言模型。HuatuoGPT (华佗GPT) 的目标是为医疗咨询场景构建一个更专业的“ChatGPT”。\n\n- [【LLMs 入门实战 】DoctorGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fxionghonglin\u002FDoctorGLM\n  - 介绍：基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署\n\n- [【LLMs 入门实战 】 BenTsao 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\n  - 介绍：开源了经过中文医学指令精调\u002F指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在医疗领域的问答效果。\n\n- [【LLMs 入门实战 】 BianQue 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fscutcyr\u002FBianQue\n  - 介绍：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI\u002FChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。\n\n- [【LLMs 入门实战 】 Med-ChatGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FMed-ChatGLM\n  - 介绍：基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。\n\n- [【LLMs 入门实战 】 QiZhenGPT 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FCMKRG\u002FQiZhenGPT\n  - 介绍：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。\n\n- [【LLMs 入门实战 】 ChatMed 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fmichael-wzhu\u002FChatMed\n  - 介绍：该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集；ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset，以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。\n\n- [【LLMs 入门实战 】 XrayGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FWangRongsheng\u002FXrayGLM\n  - 介绍：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。\n\n#### 第三重 法律领域\n\n- [【LLMs 入门实战 】 LaWGPT 学习与实战]()：基于中文法律知识的大语言模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fpengxiao-song\u002FLaWGPT\n  - 介绍：该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。\n- [【LLMs 入门实战 】 LexiLaw 学习与实战]()：中文法律大模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FCSHaitao\u002FLexiLaw\n  - 介绍：LexiLaw 是一个基于 ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。\n- [【LLMs 入门实战 】 Lawyer LLaMA 学习与实战]()：中文法律LLaMA\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FAndrewZhe\u002Flawyer-llama\n  - 介绍：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。\n\n#### 第四重 教育领域\n\n- [【LLMs 入门实战 】 桃李（Taoli） 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fblcuicall\u002Ftaoli\n  - 介绍：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的500余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计 88000 条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。\n\n#### 第五重 文化领域\n\n- [【LLMs 入门实战 】 Firefly 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fyangjianxin1\u002FFirefly\n  - 介绍：中文对话式大语言模型，构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。\n\n#### 第六重 Coding\n\n- [【LLMs 入门实战】 CodeGeeX2-6B 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bz3qf7r76wc.html)\n  - DeepKE-LLM链接：\n  - OpenKG地址：\n  - Github 地址：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCodeGeeX2\n  - 介绍：CodeGeeX2 是多语言代码生成模型 CodeGeeX 的第二代模型，基于 ChatGLM2 架构注入代码实现。得益于 ChatGLM2 的更优性能，CodeGeeX2-6B 在多项指标上取得了较大的性能提升。与 150 亿参数的 StarCoder-15B 相比，CodeGeeX2-6B 凭借 60 亿参数便具备了近 10% 的优势。\n\n## 知识体系\n\n> [关于 AIGC 那些你不知道的事](https:\u002F\u002Fyaz1kaenukt.feishu.cn\u002Fmindnotes\u002FOSsQbEhzomseronYdQmc6CmXnQH)\n![](img\u002F1.png)\n\n> [关于 NLP 那些你不知道的事](https:\u002F\u002Fyaz1kaenukt.feishu.cn\u002Fmindnotes\u002FFOlQbPf6GmdzBQnBVsncnYGJnnd)\n![](img\u002F1.png)\n\n## 加入学习群\n\n> 扫码加小编，申请加入学习群\n![](img\u002F3.png)\n\n## 参考\n\n1. [Awesome-Chinese-LLM：收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FOy6XZNyN3kpsC6TfQYQb7A)\n\n\n","## 【LLMs 入门实战系列】\n \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMsNineStoryDemonTower_readme_22473db045f3.png\" width=\"50%\" >\n\n> 【LLMs 入门实战系列】交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)\n \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMsNineStoryDemonTower_readme_6f30ce152de0.png\" width=\"50%\" >\n\n- [【LLMs 入门实战系列】](#llms-入门实战系列)\n  - [第一层 LLMs to Natural Language Processing (NLP)](#第一层-llms-to-natural-language-processing-nlp)\n    - [第一重 ChatGLM-6B 系列](#第一重-chatglm-6b-系列)\n      - [ChatGLM2-6B](#chatglm2-6b)\n      - [ChatGLM3](#chatglm3)\n      - [ChatGLM-6B](#chatglm-6b)\n    - [第十重 Baichuan](#第十重-baichuan)\n      - [Baichuan2](#baichuan2)\n      - [Baichuan-13B](#baichuan-13b)\n      - [baichuan-7B](#baichuan-7b)\n    - [第十一重 Llama2](#第十一重-llama2)\n    - [第二重 Stanford Alpaca 7B](#第二重-stanford-alpaca-7b)\n    - [第三重 Chinese-LLaMA-Alpaca](#第三重-chinese-llama-alpaca)\n    - [第四重 小羊驼 Vicuna](#第四重-小羊驼-vicuna)\n    - [第五重 MOSS](#第五重-moss)\n    - [第六重 BLOOMz](#第六重-bloomz)\n    - [第七重 BELLE](#第七重-belle)\n    - [第八重 ChatRWKV](#第八重-chatrwkv)\n    - [第九重 ChatGPT](#第九重-chatgpt)\n  - [第九层 LLMs to interview](#第九层-llms-to-interview)\n  - [第八层 LLMs to Inference acceleration](#第八层-llms-to-inference-acceleration)\n  - [第二层 LLMs to Parameter Efficient Fine-Tuning (PEFT)](#第二层-llms-to-parameter-efficient-fine-tuning-peft)\n    - [第一重 分布式训练神器](#第一重-分布式训练神器)\n    - [第二重 LLMs Trick](#第二重-llms-trick)\n    - [第三重 LLMTune](#第三重-llmtune)\n    - [第四重 QLoRA](#第四重-qlora)\n  - [第三层 LLMs to Artifact](#第三层-llms-to-artifact)\n    - [第一重 langchain](#第一重-langchain)\n    - [第二重 wenda](#第二重-wenda)\n    - [第三重 AutoGPT](#第三重-autogpt)\n    - [第四重 Knowledge Extraction](#第四重-knowledge-extraction)\n  - [第四层 LLMs to Text-to-Image](#第四层-llms-to-text-to-image)\n    - [第一重 Stable Diffusion](#第一重-stable-diffusion)\n  - [第五层 LLMs to Visual Question Answering (VQA)](#第五层-llms-to-visual-question-answering-vqa)\n    - [第一重 BLIP](#第一重-blip)\n    - [第二重 BLIP2](#第二重-blip2)\n    - [第三重 MiniGPT-4](#第三重-minigpt-4)\n    - [第四重 VisualGLM-6B](#第四重-visualglm-6b)\n    - [第五重 Ziya-Visual](#第五重-ziya-visual)\n  - [第六层 LLMs to Automatic Speech Recognition (ASR)](#第六层-llms-to-automatic-speech-recognition-asr)\n    - [第一重 Massively Multilingual Speech (MMS，大规模多语种语音)](#第一重-massively-multilingual-speech-mms大规模多语種語音)\n    - [第二重 whisper](#第二重-whisper)\n  - [第七层 LLMs to Text To Speech (TTS)](#第七层-llms-to-text-to-speech-tts)\n    - [第一重 Massively Multilingual Speech (MMS，大规模多语种语音)](#第一重-massively-multilingual-speech-mms大规模多语種語音-1)\n    - [第二重 Retrieval-based-Voice-Conversion](#第二重-retrieval-based-voice-conversion)\n  - [LLaMA 衍生物系列](#llama-衍生物系列)\n    - [第五重 GPT4ALL](#第五重-gpt4all)\n    - [第十一重 OpenBuddy](#第十一重-openbuddy)\n    - [第十二重 Baize](#第十二重-baize)\n    - [第十三重 OpenChineseLLaMA](#第十三重-openchinesellama)\n    - [第十四重 Panda](#第十四重-panda)\n    - [第十五重 Ziya-LLaMA-13B](#第十五重-ziya-llama-13b)\n    - [第十六重 BiLLa](#第十六重-billa)\n    - [第十七重 Luotuo-Chinese-LLM](#第十七重-luotuo-chinese-llm)\n    - [第十八重 Linly](#第十八重-linly)\n    - [第十九重 ChatYuan](#第十九重-chatyuan)\n    - [第二十重 CPM-Bee](#第二十重-cpm-bee)\n    - [第二十一重 TigerBot](#第二十一重-tigerbot)\n    - [第二十二重 书生·浦语](#第二十二重-书生浦语)\n    - [第二十三重 Aquila](#第二十三重-aquila)\n    - [第一重 金融领域](#第一重-金融领域)\n    - [第二重 医疗领域](#第二重-医疗领域)\n    - [第三重 法律领域](#第三重-法律领域)\n    - [第四重 教育领域](#第四重-教育领域)\n    - [第五重 文化领域](#第五重-文化领域)\n    - [第六重 Coding](#第六重-coding)\n- [知识体系](#知识体系)\n- [加入学习群](#加入学习群)\n- [参考](#参考)\n\n\n### 第一层 LLMs to Natural Language Processing (NLP)\n\n#### 第一重 ChatGLM-6B 系列\n\n##### ChatGLM2-6B \n\n- [【ChatGLM2-6B入门】清华大学开源中文版ChatGLM-6B模型学习与实战](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F11jCCeOpg1YbABIRLlnyvg)\n  - 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM2-6B\n  - 动机：在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。\n  - 介绍：ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：\n    - **更强大的性能**：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。\n    - **更长的上下文**：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。\n    - **更高效的推理**：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。\n    - **更开放的协议**：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。如果您发现我们的开源模型对您的业务有用，我们欢迎您对下一代模型 ChatGLM3 研发的捐赠。\n\n- [【关于 ChatGLM2 + LoRA 进行finetune 】那些你不知道的事](https:\u002F\u002Farticles.zsxq.com\u002Fid_pmijwhnwxwen.html)\n  - 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM2-6B\n  - 介绍：本教程主要介绍对于 ChatGLM2-6B 模型基于 LoRA 进行finetune。\n\n- [【LLMs 入门实战 】基于 🤗PEFT 的高效 🤖ChatGLM2-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_q04evzros1ca.html)\n  - 微调方式：\n    - ChatGLM2-6B Freeze 微调：Fine-tuning the MLPs in the last n blocks of the model.\n    - ChatGLM2-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.\n    -  ChatGLM2-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.\n- [【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM2-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_5oocf5c9e4te.html)\n  - 介绍：本项目使用 https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft  库，实现了 ChatGLM2-6B 模型4bit的 QLoRA 高效微调，可以在一张RTX3060上完成全部微调过程。\n\n##### ChatGLM3\n\n- [【LLMs 入门实战】 ChatGLM3 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_oobintch21oa.html)\n  - 论文名称：ChatGLM3\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM3\n  - 模型地址：\n    - huggingface：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b\n    - modelscope：https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FZhipuAI\u002Fchatglm3-6b\u002Fsummary\n  - 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。\n  - 介绍：ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：\n    - **更强大的基础模型：** ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，**ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能**。\n    - **更完整的功能支持：** ChatGLM3-6B 采用了全新设计的 [Prompt 格式](PROMPT.md)，除正常的多轮对话外。同时原生支持[工具调用](tool_using\u002FREADME.md)（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。\n    - **更全面的开源序列：** 除了对话模型 [ChatGLM3-6B](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b) 外，还开源了基础模型 [ChatGLM3-6B-Base](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b-base)、长文本对话模型 [ChatGLM3-6B-32K](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b-32k)。以上所有权重对学术研究**完全开放**，在填写[问卷](https:\u002F\u002Fopen.bigmodel.cn\u002Fmla\u002Fform)进行登记后**亦允许免费商业使用**。\n\n- [【LLMs 入门实战】 ChatGLM3 模型微调学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_c4mwszan0set.html)\n  - 论文名称：ChatGLM3\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM3\n  - 模型地址：\n    - huggingface：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b\n    - modelscope：https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FZhipuAI\u002Fchatglm3-6b\u002Fsummary\n  - 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。\n  - 介绍：分别对 ChatGLM3 进行 lora 和 full_training 微调\n\n##### ChatGLM-6B\n\n1. [【ChatGLM-6B入门-一】清华大学开源中文版ChatGLM-6B模型学习与实战](ChatGLM-6B\u002Finduction.md)\n   1. 介绍：ChatGLM-6B 环境配置 和 部署\n2. [【ChatGLM-6B入门-二】清华大学开源中文版ChatGLM-6B模型微调实战](ChatGLM-6B\u002Fptuning.md)\n   1. ChatGLM-6B P-Tuning V2 微调：微调模型的前缀编码器。\n3. [【ChatGLM-6B入门-三】ChatGLM 特定任务微调实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_3b42ukjdkwpt.html)\n4. [【ChatGLM-6B入门-四】ChatGLM + LoRA 进行finetune](https:\u002F\u002Farticles.zsxq.com\u002Fid_e2389qm0w0sx.html)\n   1. 介绍：ChatGLM-6B LoRA 微调：微调模型的低秩适配器。\n5. [ChatGLM-6B 小编填坑记](https:\u002F\u002Farticles.zsxq.com\u002Fid_fw7vn0mhdsnq.html)\n   1. 介绍：在部署和微调ChatGLM-6B的过程中，会遇到许多问题。小编多次踩坑，为了避免后来者重蹈覆辙，特意将这些问题一一记录并解决。\n6. [【LLMs学习】关于大模型实践的一些总结](https:\u002F\u002Farticles.zsxq.com\u002Fid_il58nxrs9jxr.html)\n7. [【LLMs 入门实战 —— 十一 】基于 🤗PEFT 的高效 🤖ChatGLM-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_7rz5jtfguuc5.html)\n   1. 微调方式：\n      1. ChatGLM-6B Freeze 微调：微调模型最后n层中的MLP。\n      2. ChatGLM-6B P-Tuning V2 微调：微调模型的前缀编码器。\n      3. ChatGLM-6B LoRA 微调：微调模型的低秩适配器。\n8. [【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM-6B 微调](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwxc99b1gbfd.html)\n   1. 介绍：本项目使用 https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft 库，实现了ChatGLM-6B模型4bit的QLoRA高效微调，可以在一张RTX3060上完成全部微调过程。\n9. [【LLMs 入门实战 】🤖ChatGLM-6B 模型结构代码解析](https:\u002F\u002Farticles.zsxq.com\u002Fid_vi2qatrhvzwt.html)\n   1.  介绍：ChatGLM-6B 模型结构代码解析\n\n#### 第十重 Baichuan\n\n##### Baichuan2\n\n- [【LLMs 入门实战】 Baichuan2 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4o2tzx0v6v55.html)\n  - 论文名称：Baichuan 2: Open Large-scale Language Models\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002FBaichuan2\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\n  - Baichuan-13B 大模型：\n    - 官方微调过（指令对齐）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat\n    - 预训练大模型（未经过微调）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Base\n  - 介绍：\n    - Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。\n    - Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。\n    - 本次发布包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。\n    - 所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用，请参考协议章节。\n\n##### Baichuan-13B\n\n- [【LLMs 入门实战 】 Baichuan-13B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_a88op9no2xwi.html)\n  - baichuan-inc\u002FBaichuan-13B：https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002FBaichuan-13B\n  - Baichuan-13B 大模型：\n    - 官方微调过（指令对齐）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat\n    - 预训练大模型（未经过微调）:https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Base\n  - 介绍：Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下几个特点：\n    - 更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。\n    - 同时开源预训练和对齐模型：预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。\n    - 更高效的推理：为了支持更广大用户的使用，本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。\n    - 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。\n\n##### baichuan-7B\n\n- [【LLMs 入门实战 】 baichuan-7B 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码： https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002Fbaichuan-7B\n  - 模型：\n  - 介绍：由百川智能开发的一个开源可商用的大规模预训练语言模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EVAL\u002FMMLU）上均取得同尺寸最好的效果。\n\n#### 第十一重 Llama2\n\n- [【LLMs 入门实战】 QLoRA微调Llama2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_e0nworruzu7t.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fllama2.ai\u002F\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n  - 模型下载地址：https:\u002F\u002Fai.meta.com\u002Fresources\u002Fmodels-and-libraries\u002Fllama-downloads\u002F\n  - 介绍：QLoRA微调Llama2 模型学习与实战\n\n- [【LLMs 入门实战】 Llama2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ivi7gtxdpq4p.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fllama2.ai\u002F\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\n  - 模型下载地址：https:\u002F\u002Fai.meta.com\u002Fresources\u002Fmodels-and-libraries\u002Fllama-downloads\u002F\n  - 介绍：此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。据介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，精调 Chat 模型是在 100 万人类标记数据上训练的。\n\n- [【LLMs 入门实战】Chinese-Llama-2-7b 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_gxfww20xkje7.html)\n  - 官网：https:\u002F\u002Fai.meta.com\u002Fllama\u002F\n  - 论文名称：《Llama 2: Open Foundation and Fine-Tuned Chat Models》\n  - 论文地址：https:\u002F\u002Fai.meta.com\u002Fresearch\u002Fpublications\u002Fllama-2-open-foundation-and-fine-tuned-chat-models\u002F\n  - 演示平台：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FLinkSoul\u002FChinese-Llama-2-7b\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FLinkSoul-AI\u002FChinese-Llama-2-7b\n  - 模型下载地址：\n    - https:\u002F\u002Fhuggingface.co\u002Fziqingyang\u002Fchinese-llama-2-7b\n    - https:\u002F\u002Fhuggingface.co\u002FLinkSoul\u002FChinese-Llama-2-7b-4bit\n  - 介绍：自打 LLama-2 发布后就一直在等大佬们发布 LLama-2 的适配中文版，也是这几天蹲到了一版由 LinkSoul 发布的 Chinese-Llama-2-7b，其共发布了一个常规版本和一个 4-bit 的量化版本，今天我们主要体验下 Llama-2 的中文逻辑顺便看下其训练样本的样式，后续有机会把训练和微调跑起来。\n\n#### 第二重 Stanford Alpaca 7B \n\n- [【LLMs 入门实战 —— 五 】Stanford Alpaca 7B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_xnt3fvp2wxz0.html)\n  - 介绍：本教程提供了对LLaMA模型进行微调的廉价亲民 LLMs 学习和微调 方式，主要介绍对于 Stanford Alpaca 7B 模型在特定任务上 的 微调实验，所用的数据为OpenAI提供的GPT模型API生成质量较高的指令数据（仅52k）。\n\n#### 第三重 Chinese-LLaMA-Alpaca \n\n- [【LLMs 入门实战 —— 六 】Chinese-LLaMA-Alpaca 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_dqvusswrdg6c.html)\n  - 介绍：本教程主要介绍了 Chinese-ChatLLaMA,提供中文对话模型 ChatLLama 、中文基础模型 LLaMA-zh 及其训练数据。 模型基于 TencentPretrain 多模态预训练框架构建\n\n#### 第四重 小羊驼 Vicuna\n\n- [【LLMs 入门实战 —— 七 】小羊驼 Vicuna模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_q9mx24q9fdab.html)\n  - 介绍：UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿\u002F130亿参数的Vicuna，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能\n\n#### 第五重 MOSS\n\n- [【LLMs 入门实战 —— 十三 】MOSS 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4vwpxod23zrc.html)\n  - 介绍：MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100\u002FA800或两张3090显卡运行，在INT4\u002F8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。\n  - 局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见\u002F歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。\n\n#### 第六重 BLOOMz\n\n- [【LLMs 入门实战 —— 十四 】 BLOOMz 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_wd97899pkjqj.html)\n  - 介绍：大型语言模型（LLMs）已被证明能够根据一些演示或自然语言指令执行新的任务。虽然这些能力已经导致了广泛的采用，但大多数LLM是由资源丰富的组织开发的，而且经常不对公众开放。作为使这一强大技术民主化的一步，我们提出了BLOOM，一个176B参数的开放性语言模型，它的设计和建立要感谢数百名研究人员的合作。BLOOM是一个仅有解码器的Transformer语言模型，它是在ROOTS语料库上训练出来的，该数据集包括46种自然语言和13种编程语言（共59种）的数百个来源。我们发现，BLOOM在各种基准上取得了有竞争力的性能，在经历了多任务提示的微调后，其结果更加强大。\n  - 模型地址：https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Fbloomz\n\n#### 第七重 BELLE\n\n- [【LLMs 入门实战 —— 十五 】 BELLE 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_gxebzsadfpr2.html)\n  - 介绍：相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力的语言模型，降低大语言模型、特别是中文大语言模型的研究和应用门槛。为此，BELLE项目会持续开放指令训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。BELLE针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。\n  - github 地址: https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE\n\n#### 第八重 ChatRWKV\n\n- [【LLMs 入门实战 —— 十八 】 ChatRWKV 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_dw7jhxq736bw.html)\n  - 目前 RWKV 有大量模型，对应各种场景，各种语言，请选择合适的模型：\n    - Raven 模型：适合直接聊天，适合 +i 指令。有很多种语言的版本，看清楚用哪个。适合聊天、完成任务、写代码。可以作为任务去写文稿、大纲、故事、诗歌等等，但文笔不如 testNovel 系列模型。\n    - Novel-ChnEng 模型：中英文小说模型，可以用 +gen 生成世界设定（如果会写 prompt，可以控制下文剧情和人物），可以写科幻奇幻。不适合聊天，不适合 +i 指令。\n    - Novel-Chn 模型：纯中文网文模型，只能用 +gen 续写网文（不能生成世界设定等等），但是写网文写得更好（也更小白文，适合写男频女频）。不适合聊天，不适合 +i 指令。\n    - Novel-ChnEng-ChnPro 模型：将 Novel-ChnEng 在高质量作品微调（名著，科幻，奇幻，古典，翻译，等等）。\n  - github: https:\u002F\u002Fgithub.com\u002FBlinkDL\u002FChatRWKV\n  -  模型文件：https:\u002F\u002Fhuggingface.co\u002FBlinkDL\n\n#### 第九重 ChatGPT\n\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何 编写 Prompt？](https:\u002F\u002Farticles.zsxq.com\u002Fid_2wutbr4eehzm.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：如何编写 Prompt:\n    - 第一个方面：编写清晰、具体的指令\n    - 第二个方面：给模型些时间思考\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何 优化 Prompt？](https:\u002F\u002Farticles.zsxq.com\u002Fid_swisqrpd8vi2.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：优化编写好 Prompt\n- [《ChatGPT Prompt Engineering for Developers》 学习 之 如何 使用 Prompt 处理 NLP特定任务？](https:\u002F\u002Farticles.zsxq.com\u002Fid_uazuhqdkesq4.html)\n  - [吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》](https:\u002F\u002Flearn.deeplearning.ai\u002Fchatgpt-prompt-eng\u002Flesson\u002F1\u002Fintroduction)\n  - 动机：吴恩达老师与OpenAI合作推出《ChatGPT Prompt Engineering for Developers》课程\n  - 介绍：如何构建ChatGPT Prompt以处理文本摘要、推断和转换(翻译、纠错、风格转换、格式转换等)这些常见的NLP任务\n\n\n\n### 第九层 LLMs to interview\n\n- [LLMs 降龙十八掌](https:\u002F\u002Farticles.zsxq.com\u002Fid_un190pd3gi8a.html)\n  - LLMs Fine-Tuning 经验贴\n    - 如何解决大模型遗忘问题#ChatGPT# #LLM (大型语言模型)\n    - Fine-Tuning max_length 选择 问题\n    - Fine-Tuning Learning rate 选择 问题\n    - 如何 向GPT\u002FLLM模型添加额外知识？\n    - 如何解决LLM大模型fine-tune过拟合问题？\n    - 英文模型需要做词表扩充吗？\n    - 全参finetune，数据配比?\n    - 百川13b强化学习时遇到参数不更新的问题?\n    - 使用lion优化器节省显存?\n    - 使用lora训练的参数配置?\n    - ...\n  - LLMs 推理 经验贴\n    - chatglm微调完针对相同的问题输出都是一样的，有办法让他随机一点吗？\n    - 使用fastllm加速推理\n  - LLMs 部署 经验贴\n    - 如果只跑一个私有大模型，但是很多用户同时访问。这些针对不同用户的chat history怎么存取比较高效？\n  - LLMs 多轮对话 经验贴\n    - 如何 融入 之前对话信息\n  - 数据构建篇\n    - 训练数据如何构建？\n  - LLMs 胡思乱想\n    - 为什么 LLMs 不容易出现 災難性遺忘問題？\n    - LLMs to NLP 下游任务 经验贴\n\n- [【LLMs】大模型 千面郎君](https:\u002F\u002Farticles.zsxq.com\u002Fid_u51mg6wdo4h5.html)\n  - 大模型常识面\n    - 简单 介绍一下 大模型【LLMs】？\n    - 大模型【LLMs】后面跟的 175B、60B、540B等 指什么？\n    - 大模型【LLMs】具有什么优点？\n    - 大模型【LLMs】具有什么缺点？\n  - 大模型强化学习面\n    - 简单介绍强化学习？\n    - 简单介绍一下 RLHF？\n  - 大模型【LLMs】微调篇\n    - 大模型【LLMs】泛化问题？\n    - 大模型【LLMs】微调问题？\n    - 大模型【LLMs】微调有哪些优点？\n    - 大模型【LLMs】指令微调问题？\n  - 大模型【LLMs】思维链篇\n    - 大模型【LLMs】思维链问题？\n    - 大模型【LLMs】思维链本质是什么？\n    - 大模型【LLMs】思维链优点是什么？\n    - 大模型【LLMs】思维链类型和策略？\n    - 大模型【LLMs】逐步Zero-shot 介绍？\n    - 大模型【LLMs】Zero-shot-CoT提示策略定义？\n    - 大模型【LLMs】Zero-shot-CoT提示策略应用方法？\n    - 大模型【LLMs】Few-shot-CoT提示策略定义？\n    - 大模型【LLMs】Few-shot-CoT提示策略核心思想是什么？\n    - 大模型【LLMs】Few-shot-CoT提示策略应用方法是什么？\n  - 大模型【LLMs】涌现现象篇\n    - 大模型【LLMs】中有一种 涌现现象，你知道么？\n    - 大模型【LLMs】涌现现象主要体现在哪些方面？\n    - 大模型【LLMs】涌现现象主激活方式？\n  - 大模型【LLMs】提示工程篇\n    - 大模型【LLMs】提示工程 是什么？\n    - 提示工程 如何添加进 大模型【LLMs】？\n    - 微调（FineTuning） vs 提示工程？\n    - 微调（FineTuning） vs 提示工程 在应用场景中关系雨联系？\n    - 大模型【LLMs】Few-shot提示方法 是什么？\n\n- [大模型的重复生成现象如何缓解？](https:\u002F\u002Farticles.zsxq.com\u002Fid_u9pxnveolxwm.html)\n  - 为何会出现重复生成现象？\n  - 如何减少大模型重复生成？\n- [ LoRA这种微调方法和全参数比起来有什么劣势吗？](https:\u002F\u002Farticles.zsxq.com\u002Fid_6dbtb0w32qo3.html)\n  - 什么是 LoRA？\n  - LoRA 优点是什么？\n  - LoRA 缺点是什么？\n  - LoRA这种微调方法和全参数比起来有什么劣势吗？\n  - LoRA这种微调方法和全参数 如何选择？\n- [LLaMa-1 从原理到实践分析](https:\u002F\u002Farticles.zsxq.com\u002Fid_sil90pxf3zvw.html)\n  - LLaMa-1 理论介绍\n  - LLaMa 模型架构介绍\n  - LLaMa 优化器介绍\n  - LLaMa-1 实践介绍\n- [LLaMa-2 从原理到实践分析](https:\u002F\u002Farticles.zsxq.com\u002Fid_gsm9rxffc2r8.html)\n  - LLaMa-2 理论介绍\n  - LLaMa-2 实践介绍\n- [基于PyTorch来优化大模型训练的内存（显存）](https:\u002F\u002Farticles.zsxq.com\u002Fid_vri8pu8oacqu.html)\n  - 动机：峰值内存（显存）的消耗直接决定了 机器 是否 支撑大模型训练\n  - LLMs Fine-Tuning 经验贴\n    - LLMs Fine-Tuning 框架依赖问题？\n    - LLMs Fine-Tuning 显存问题？\n    - 如何解决大模型遗忘问题#ChatGPT# #LLM (大型语言模型)？\n    - ...\n  - 混合精度训练（Mixed-Precision Training）\n    - 为什么需要 混合精度训练（Mixed-Precision Training）？\n    - 什么是 混合精度训练（Mixed-Precision Training）？\n    - 混合精度训练（Mixed-Precision Training）实现步骤？\n    - ...\n  - 低精度训练（Lower-Precision Training）\n    - 为什么需要 低精度训练（Lower-Precision Training）？\n    - 什么是 低精度训练（Lower-Precision Training）？\n    - ...\n  - 降低训练批处理大小（Reducing the Batchsize）\n    - 为什么需要 降低训练批处理大小（Reducing the Batchsize）？\n    - 什么是 降低训练批处理大小（Reducing the Batchsize）？\n    - ...\n  - 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）\n    - 为什么需要 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）？\n    - 什么是 使用梯度累积创建微批次（Using Gradient Accumulation to Create Microbatches）？\n    - ...\n- [如何缓解大模型幻觉？](https:\u002F\u002Farticles.zsxq.com\u002Fid_bxani4mwdead.html)\n  - 为什么 会 出现 大模型幻觉？\n  - 如何 缓解 大模型幻觉？\n\n### 第八层 LLMs to Inference acceleration\n\n- [LLM（大语言模型）部署加速方法——PagedAttention](https:\u002F\u002Farticles.zsxq.com\u002Fid_7eu43rgc4ehm.html)\n  - 什么是 PagedAttention？\n  - PagedAttention 如何存储 连续的key和value？\n  - PagedAttention 技术细节？\n  - PagedAttention 如何 实现安全共享？\n  - PagedAttention 源码介绍？\n\n- [LLM（大语言模型）部署加速方法——Faster Transformer](https:\u002F\u002Farticles.zsxq.com\u002Fid_2ixvwo53necu.html)\n  - 为什么需要 Faster Transformer？\n  - 什么是 FasterTransformer？\n  - FasterTransformer 核心？\n  - FasterTransformer 优化？\n\n- [纯Python超轻量高性能LLM推理框架 —— LightLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_jwdwtitwtjwj.html)\n  - 为什么 需要 LightLLM ?\n    - 显存碎片化严重\n    - 请求调度效率低\n    - kernel定制化难度高\n  - 介绍：基于纯Python语言的大模型推理部署框架LightLLM，方便研究员进行轻量级的本地部署和定制修改，用于快速扩展对不同模型的支持，吸纳层出不穷的优秀开源特性，探索最优服务架构。\n  - LightLLM 性能表现\n    - TGI由于显存碎片化严重，所以很难达到较高的吞吐量；\n    - vLLM因引入了PageAttention，但是由于整体实现细节更利于小模型推理，所以在大模型上的并发性能并不是十分理想（使用的默认配置）；\n    - 相比之下，LightLLM则可以在各种大小的模型下都保持稳健的性能，在大模型上（LLaMA-65B）相对TGI和vLLM实现了3倍左右的2提升。\n\n- [大模型推理加速工具 —— vLLM](https:\u002F\u002Farticles.zsxq.com\u002Fid_ra748ubp2t3l.html)\n  - 介绍：vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。\n  - vLLM 具有哪些特点 ?\n    - 最先进的服务吞吐量；\n    - PagedAttention 可以有效的管理注意力的键和值；\n    - 动态批处理请求；\n    - 优化好的 CUDA 内核；\n\n### 第二层 大模型到参数高效微调（PEFT）\n\n#### 第一重 分布式训练神器\n\n- [分布式训练神器 之 ZeRO 学习](trick\u002Fdistributed\u002FZeRO.md)\n  - 动机：虽然 DataParallel (DP) 因为简单易实现，所以目前应用相比于其他两种 广泛，但是 由于 DataParallel (DP) 需要 每张卡都存储一个模型，导致 显存大小 成为 制约模型规模 的 主要因素。\n  - 核心思路：去除数据并行中的冗余参数，使每张卡只存储一部分模型状态，从而减少显存占用。\n\n- [图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）](https:\u002F\u002Farticles.zsxq.com\u002Fid_5116ludvwvww.html)\n  - 动机：\n    - 回顾ChatGPT的发展历程，我们可以总结出大语言模型（LLM）取得惊艳效果的要点（重要性从高到低排序）：\n      - 愿意烧钱，且接受“烧钱 != 好模型”的现实\n      - 高质量的训练语料\n      - **高效的分布式训练框架**和**充沛优质的硬件资源**\n      - **算法的迭代创新**\n  - 介绍：在大模型训练这个系列里，我们将一起探索学习几种经典的分布式并行范式，包括**流水线并行（Pipeline Parallelism）**，**数据并行（Data Parallelism）**和**张量并行（Tensor Parallesim）**。\n\n- [图解分布式训练（二） —— nn.DataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_m3tdrv0wdlzr.html)\n  - 动机：\n    - 多GPU并行训练的原理就是将模型参数和数据分布到多个GPU上，同时利用多个GPU计算加速训练过程。具体实现需要考虑以下两个问题：\n    - 数据如何划分？因为模型需要处理的数据通常很大，将所有数据放入单个GPU内存中可能会导致内存不足，因此我们需要将数据划分到多个GPU上。\n  - 介绍：\n    - 计算如何协同？因为每个GPU都需要计算模型参数的梯度并将其发送给其他GPU，因此需要使用同步机制来保证计算正确性。一般有两种同步方式：\n    - 数据同步：在每个GPU上计算模型参数的梯度，然后将梯度发送到其他GPU上进行汇总，最终更新模型参数。\n    - 模型同步：在每个GPU上计算模型参数的梯度，然后将模型参数广播到其他GPU上进行汇总，最终更新模型参数。\n\n- [图解分布式训练（三） ——  nn.parallel.DistributedDataParallel](https:\u002F\u002Farticles.zsxq.com\u002Fid_w11rmbn6i9zl.html)\n  - 动机：\n    - **数据如何划分？**因为模型需要处理的数据通常很大，将所有数据放入单个GPU内存中可能会导致内存不足，因此我们需要将数据划分到多个GPU上。一般有两种划分方式：\n      - 数据并行：将数据分割成多个小批次，每个GPU处理其中的一个小批次，然后将梯度汇总后更新模型参数。\n      - 模型并行：将模型分解成多个部分，每个GPU处理其中一个部分，并将处理结果传递给其他GPU以获得最终结果。\n    - **计算如何协同？**因为每个GPU都需要计算模型参数的梯度并将其发送给其他GPU，因此需要使用同步机制来保证计算正确性。一般有两种同步方式：\n      - 数据同步：在每个GPU上计算模型参数的梯度，然后将梯度发送到其他GPU上进行汇总，最终更新模型参数。\n      - 模型同步：在每个GPU上计算模型参数的梯度，然后将模型参数广播到其他GPU上进行汇总，最终更新模型参数。\n    - DP 只支持 单机多卡场景，在 多机多卡 场景 下，DP 的 通讯问题将被放大:\n      - DDP首先要解决的就是通讯问题：将Server上的通讯压力均衡转到各个Worker上。实现这一点后，可以进一步去Server，留Worker。\n  - 介绍：上节讲到 DP 只支持 单机多卡场景，主要原因是 DP 无法数据并行中通讯负载不均的问题，而 DDP 能够解决 该问题 的 核心在于 **Ring-AllReduce**。它由百度最先提出，非常有效地解决了数据并行中通讯负载不均的问题，使得DDP得以实现。\n\n- [图解分布式训练（四） ——  torch.multiprocessing 详细解析](trick\u002Fdistributed\u002Fmultiprocessing.md)\n  - 介绍：torch.multiprocessing是本机multiprocessing模块的封装。封装了multiprocessing模块。它注册自定义的reducer，它使用共享内存为不同进程中的相同数据提供视图共享。一旦张量\u002F存储被移动到shared_memory（参见sharememory()），就可以将其发送到其他进程而不进行其它任何操作。\n\n- [图解分布式训练（五） ——  AMP混合精度训练 详细解析](trick\u002Fdistributed\u002FAMP.md)\n  - 动机：PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。\n  - 介绍：在某些上下文中torch.FloatTensor有优势，在某些上下文中torch.HalfTensor有优势呗。答案进一步可以转化为，相比于之前的默认的torch.FloatTensor，torch.HalfTensor有时具有优势，有时劣势不可忽视。\n\n- [图解分布式训练（六） ——  Pytorch的 DeepSpeed 详细解析](trick\u002Fdistributed\u002Fdeepspeed.md)\n  - 动机：\n    - 最常见的深度学习框架应该是TensorFlow、Pytorch、Keras，但是这些框架在面向大规模模型的时候都不是很方便。\n    - 比如Pytorch的分布式并行计算框架（Distributed Data Parallel，简称DDP），它也仅仅是能将数据并行，放到各个GPU的模型上进行训练。\n    - 也就是说，DDP的应用场景在你的模型大小大于显卡显存大小时，它就很难继续使用了，除非你自己再将模型参数拆散分散到各个GPU上。\n  - 介绍：在分布式计算环境中，需要理解几个非常基础的概念：节点编号、全局进程编号、局部进程编号、全局总进程数和主节点。其中，主节点负责协调所有其他节点和进程的工作，因此是整个系统的关键部分。\n\n- [图解分布式训练（七） ——  accelerate 分布式训练 详细解析](trick\u002Fdistributed\u002Faccelerate.md)\n  - 介绍：PyTorch Accelerate 是一个 PyTorch 的加速工具包，旨在简化 PyTorch 训练和推断的开发过程，并提高性能。它是由 Hugging Face、NVIDIA、AWS 和 Microsoft 等公司联合开发的，是一个开源项目。\n\n#### 第二重 LLMs Trick\n\n- [LLMs Trick](trick\u002Freadme.md)\n\n#### 第三重 LLMTune\n\n- [【LLMs 入门实战 —— 十六 】 LLMTune 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_1hg51c292bu6.html)\n  - 动机：大语言模型虽然能力很强，目前开源生态也很丰富，但是在特定领域微调大模型依然需要大规格的显卡。例如，清华大学发布的ChatGLM-6B，参数规模60亿，在没有量化的情况下微调需要14GB显存（parameter-efficient fine-tuning，PEFT)。在没有任何优化的前提下，每10亿参数的全精度（32bit）模型载入到显存中就需要4GB，而int8量化后也需要1GB显存。而目前开源最强的模型LLaMA，其最高参数维650亿规模，全精度模型载入就需要260GB，显然已经超出了大部分人的硬件水平。更不要说对模型进行微调（微调需要训练更新参数，推理只需要前向计算即可，因此，微调需要更多的显存才能支持）。\n  - 介绍：Cornell Tech开源的LLMTune就是为了降低大模型微调难度所提出的一种解决方案。对于650亿参数的LLaMA模型微调仅需要40GB显存即可。\n  - github 地址: https:\u002F\u002Fgithub.com\u002Fkuleshov-group\u002Fllmtune\n\n#### 第四重 QLoRA\n\n- [【LLMs 入门实战 —— 二十 】 QLoRA 模型学习与实战]()\n  - [https:\u002F\u002Fhuggingface.co\u002FBlinkDL](https:\u002F\u002Fhuggingface.co\u002FBlinkDL)\n  - [artidoro\u002Fqlora](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora)\n  - 模型：[timdettmers (Tim Dettmers)](https:\u002F\u002Fhuggingface.co\u002Ftimdettmers)\n  - 量化代码：[TimDettmers\u002Fbitsandbytes](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - BLOG : [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https:\u002F\u002Fhuggingface.co\u002Fblog\u002F4bit-transformers-bitsandbytes)\n  - Demo环境：[Guanaco Playground Tgi - a Hugging Face Space by uwnlp](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fuwnlp\u002Fguanaco-playground-tgi)\n  - 介绍：5月24日华盛顿大学的研究者发布了QLoRA技术及用其生成的Guanaco大模型。\n    - 特点：\n      - 在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间；\n      - QLORA引入了一些创新来节省内存而不牺牲性能：\n        - （a）4位NormalFloat（NF4），这是一种对于正态分布权重来说在信息论上是最优的数据类型；\n        - （b）双量化，通过量化量化常数来减少平均内存占用；\n        - （c）分页优化器，用于管理内存峰值。\n\n- [【LLMs 入门实战 —— 二十七 】【QLoRA实战】使用单卡高效微调bloom-7b1]()\n  - [https:\u002F\u002Fhuggingface.co\u002FBlinkDL](https:\u002F\u002Fhuggingface.co\u002FBlinkDL)\n  - [artidoro\u002Fqlora](https:\u002F\u002Fgithub.com\u002Fartidoro\u002Fqlora)\n  - 模型：[timdettmers (Tim Dettmers)](https:\u002F\u002Fhuggingface.co\u002Ftimdettmers)\n  - 量化代码：[TimDettmers\u002Fbitsandbytes](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - BLOG : [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https:\u002F\u002Fhuggingface.co\u002Fblog\u002F4bit-transformers-bitsandbytes)\n\n- [【LLMs 入门实战 】Anima 学习与实战](Anima\u002Freadme.md)\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Flyogavin\u002FAnima\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Flyogavin\u002FAnima33B\n  - 动机：之前大部分开源可finetune的模型大都是比较小的模型7B或者13B，虽然可以在一些简单的chatbot评测集上，通过finetune训练有不错的表现。但是由于这些模型规模还是有限，LLM核心的reasoning的能力还是相对比较弱。这就是为什么很多这种小规模的模型在实际应用的场景表现像是个玩具。chatbot评测集比较简单，真正比较考验模型能力的复杂逻辑推理及数学问题上小模型和大模型差距还是很明显的。\n  - 介绍：QLoRA的优化方法，第一次让33B规模的模型可以比较民主化的，比较低成本的finetune训练，让33B模型的普及使用成为了可能。我们认为33B模型既可以发挥大规模模型的比较强的推理能力，又可以针对私有业务领域数据进行灵活的finetune训练提升对于LLM的控制力。\n\n### 第三层 LLMs 到 Artifacts\n\n#### 第一重 langchain\n\n- [【LLMs 入门实战 —— 十二 】基于 本地知识库 的高效 🤖langchain-ChatGLM ](https:\u002F\u002Farticles.zsxq.com\u002Fid_54vjwns5t6in.html)\n  - 介绍：langchain-ChatGLM是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。\n- [【LLMs 入门实战 —— 三十一 】Vicuna-LangChain 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_74t8mmww5a1n.html)\n  - 介绍：一个简单的类LangChain实现，基于Sentence Embedding+本地知识库，以Vicuna作为生成模型。支持中英双语，支持pdf、html和docx格式的文档作为知识 库。\n  - Vicuna-LangChain 思路\n    1. 提取知识库文件夹中的文档文本，分割成chunk_length大小的文本块\n    2. 通过shibing624\u002Ftext2vec-base-chinese模型计算各文本块的嵌入\n    3. 计算问题文本嵌入和各文本块的嵌入的余弦相似度\n    4. 返回余弦相似度最高的k个文本作为给定信息生成prompt\n    5. 将prompt历史替换为最初问的问题\n    6. 将prompt交给vicuna模型生成答案\n- [【LLMs 入门实战】基于 本地知识库 的高效 🤖langchain-ChatGLM2 ](https:\u002F\u002Farticles.zsxq.com\u002Fid_zx9d1pix6wls.html)\n  - 介绍：langchain-ChatGLM2是一个基于本地知识的问答机器人，使用者可以自由配置本地知识，用户问题的答案也是基于本地知识生成的。\n\n#### 第二重 wenda\n\n- [【LLMs 入门实战】基于 本地知识库 的高效 🤖wenda+ChatGLM2-6B](https:\u002F\u002Farticles.zsxq.com\u002Fid_mx6n1d28iccg.html)\n  - 介绍：本项目设计目标为实现针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题。为达目标，平台化集成了以下能力：\n    - 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。\n    - 多种大语言模型：目前支持离线部署模型有chatGLM-6B\\chatGLM2-6B、chatRWKV、llama系列(不推荐中文用户)、moss(不推荐)、baichuan(需配合lora使用，否则效果差)、Aquila-7B，在线API访问openai api和chatGLM-130b api。\n    - Auto脚本：通过开发插件形式的JavaScript脚本，为平台附件功能，实现包括但不限于自定义对话流程、访问外部API、在线切换LoRA模型。\n    - 其他实用化所需能力：对话历史管理、内网部署、多用户同时使用等。\n\n#### 第三重 AutoGPT\n\n- [AutoGPT 使用和部署](https:\u002F\u002Farticles.zsxq.com\u002Fid_pli0z9916126.html)\n  - 介绍：Auto-GPT是一个基于ChatGPT的工具，他能帮你自动完成各种任务，比如写代码、写报告、做调研等等。使用它时，你只需要告诉他要扮演的角色和要实现的目标，然后他就会利用ChatGPT和谷歌搜索等工具，不断“思考”如何接近目标并执行，你甚至可以看到他的思考过程。\n\n#### 第四重 Knowledge Extraction\n\n- [【LLMs 入门实战 】 DeepKE-LLM 模型学习与实战]()\n  - DeepKE-LLM链接：https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FDeepKE\u002Ftree\u002Fmain\u002Fexample\u002Fllm\n  - OpenKG地址：http:\u002F\u002Fopenkg.cn\u002Ftool\u002Fdeepke\n  - Gitee地址：https:\u002F\u002Fgitee.com\u002Fopenkg\u002Fdeepke\u002Ftree\u002Fmain\u002Fexample\u002Fllm\n  - 介绍：DeepKE是一个开源可扩展的知识图谱抽取工具，可实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。在大模型时代，我们对DeepKE进行了全面升级并发布大模型版DeepKE-LLM（智析抽取大模型）。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\n\n### 第四层 LLMs 到 Text-to-Image\n\n#### 第一重 Stable Diffusion\n\n- [【LLMs 入门实战 —— 二十二 】Stable Diffusion 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fstable_diffusion)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002Fgediz\u002Flstein-stable-diffusion\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion\n  - 介绍：Stable Diffusion是一种潜在扩散模型（Latent Diffusion Model），能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的图像！\n- [【LLMs 入门实战 —— 二十三 】Stable Diffusion Webui 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fstable_diffusion_webui)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002FAUTOMATIC1111\u002Fstable-diffusion-webui\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion\n  - 介绍：Stable Diffusion是一款功能异常强大的AI图片生成器。它不仅支持生成图片，使用各种各样的模型来达到你想要的效果，还能训练你自己的专属模型。WebUI使得Stable Diffusion有了一个更直观的用户界面，更适合新手用户。\n- [【LLMs 入门实战 —— 二十四 】Novelai 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Fnovelai)\n- [【LLMs 入门实战 —— 二十五 】lora 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Ftext2img\u002Flora)\n  - Github 地址：https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA\n  - 预训练模型：https:\u002F\u002Fhuggingface.co\u002Fjohnsmith007\u002FLoRAs\u002Ftree\u002Fmain\n  - 介绍：LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风\u002FIP\u002F人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。\n\n### 第五层 LLMs 到视觉问答 (VQA)\n\n#### 第一重 BLIP\n\n- [【LLMs 入门实战 —— 二十二】 BLIP 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_mpckrd9ccfdn.html)\n  - 论文名称：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2201.12086\n  - 代码地址：https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FBLIP\n  - 局限性:\n    - **模型角度**: \n      - 现有方法：大多数方法要么采用基于编码器的模型，要么采用编码器-解码器模型。\n      - 存在问题：**基于编码器的模型不太容易直接转换到文本生成任务（例如图像字幕）**，而**编码器-解码器模型尚未成功用于图像文本检索任务**；\n    - **数据角度**: 大多数SOTA的方法（如CLIP、ALBEF等）都在从web上收集到的图文对上进行预训练。尽管通过扩展数据集获得了性能提升，但 BLIP 的研究表明，对于视觉语言学习来说，有噪声的网络文本是次优的。\n  - BLIP总体思路：作为新的 VLP 框架，**BLIP 用于统一视觉语言理解和生成的 Bootstrapping Language-Image 预训练，可以灵活地迁移到视觉语言理解和生成任务。 BLIP 通过引导字幕有效地利用了嘈杂的网络数据，字幕生成器生成合成字幕，过滤器去除嘈杂的字幕**\n  - 贡献:\n    - （1） **编码器-解码器 (MED) 的多模式混合**：一种用于有效多任务预训练和灵活迁移学习的新模型架构。MED可以作为单模态编码器、基于图像的文本编码器或基于图像的文本解码器工作。**该模型与三个视觉语言目标联合预训练：图像文本对比学习、图像文本匹配和图像条件语言建模**。\n    - （2） **字幕和过滤（Captioning and Filtering，CapFilt）**：一种新的数据集增强方法，用于**从噪声图像-文本对中学习**。作者将预先训练的MED分为两个模块: **一个字幕器，用于生成给定web图像的合成字幕**，以及**一个过滤器，用于从原始web文本和合成文本中删除嘈杂的字幕**。\n\n#### 第二重 BLIP2\n\n- [【LLMs 入门实战 —— 二十六】 BLIP2 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_lcwp2s597vrr.html)\n  - 论文名称：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models\n  - 单位：Salesforce 研究院\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2301.12597\n  - 代码地址：https:\u002F\u002Fgithub.com\u002Fsalesforce\u002FLAVIS\u002Ftree\u002Fmain\u002Fprojects\u002Fblip2\n  - HF上的Demo：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FSalesforce\u002FBLIP2\n  - 动机\n    - 由于大规模模型的端到端训练，视觉和语言预训练的成本变得越来越高\n    - 为了降低计算成本并抵消灾难性遗忘的问题，希望在 Vision-language pre-training (VLP) 中固定视觉模型参数与语言模型参数。然而，由于语言模型在其单模态预训练期间没有看到图像，因此冻结它们使得视觉语言对齐尤其具有挑战性\n   - 介绍：\n     - BLIP-2， 一种通用而有效的预训练策略，它从现成的冻结预训练图像编码器和冻结的大型语言模型中引导视觉语言预训练。\n     - 通过一个轻量级的 Querying Transformer （Q-Former是一个轻量级的 transformer，它使用一组可学习的查询向量来从冻结图像编码器中提取视觉特征，为LLM提供最有用的视觉特征，以输出所需的文本） 弥补了模态 gap，该 Transformer 分两个阶段进行预训练:\n      - 第一阶段：从冻结图像编码器引导视觉语言表示学习，强制 Q-Former 学习与文本最相关的视觉表示；\n      - 第二阶段：将视觉从冻结的语言模型引导到语言生成学习，将Q-Former的输出连接到冻结的LLM，并对Q-Former进行训练，使其输出视觉表示能够被LLM解释。\n\n#### 第三重 MiniGPT-4 \n\n- [【LLMs 入门实战 —— 八 】MiniGPT-4 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ff0w6czthq25.html)\n  - Github 链接： https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4\n  - 介绍： MiniGPT-4，是来自阿卜杜拉国王科技大学的几位博士做的，它能提供类似 GPT-4 的图像理解与对话能力\n\n#### 第四重 VisualGLM-6B\n\n- [【LLMs 入门实战 —— 十七 】 VisualGLM-6B 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_4pzgwnwl2zjc.html) \n  - Github 链接： https:\u002F\u002Fgithub.com\u002FTHUDM\u002FVisualGLM-6B\n  - Huggingface 链接：https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fvisualglm-6b\n  - 动机：OpenAI 的GPT-4样例中展现出令人印象深刻的多模态理解能力，但是能理解图像的中文开源对话模型仍是空白。\n  - 介绍：VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到 ChatGLM 的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。\n  - github 场址:https:\u002F\u002Fgithub.com\u002FTHUDM\u002FVisualGLM-6B\n\n#### 第五重 Ziya-Visual\n\n- [【LLMs 入门实战 】 Ziya-Visual 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_f3wugvkt4w00.html) \n  - Ziya-Visual模型开源地址：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1L\u002FZiya-BLIP2-14B-Visual-v1\n  - Demo体验地址：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-DemoDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-Demo\n  - Ziya开源模型：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1L\u002FZiya-LLaMA-13B-v1\n  - 封神榜项目主页：https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\n  - 介绍：自从3月份OpenAI发布具有识图能力的多模态大模型GPT-4，大模型的能力便不再局限于文本输入-文本输出的形式，人们可以上传视觉图片来与大模型进行聊天和交互。遗憾的是，时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限，无法体验到结合视觉和语言两大模态的大模型的卓越能力，而且GPT-4也没有叙述或者开源GPT模型多模态预训练的方案。与之相对的是，学术界和开源界则充分探索了视觉预训练模型（比如ViT, Vision Transformer）与大语言模型(LLM，Large Language Model)结合，从而让目前的LLM获得输入图片、认识图片的能力。其中的代表工作包括国外团队开源的Mini-GPT4[1]，LLaVA[2]等，国内团队开源的VisuaGLM[3]，mPLUG-Owl[4]等工作。大部分的开源方案参考了BLIP2的训练方案[5]，选择冻结LLM部分的参数训练或者采用Lora等parameter-efficient的微调训练方式。IDEA研究院封神榜团队在5月17日发布“姜子牙通用大模型v1”之后，继续发布Ziya-BLIP2-14B-Visual-v1多模态大模型（以下简称Ziya-Visual模型）。和Ziya大模型一样，Ziya-Visual模型具备中英双语能力，特别是中文能力较为突出。和所有基于BLIP2的方案类似，我们简单高效的扩展了LLM的识图能力。该模型对比VisualGLM、mPLUG-Owl模型，在视觉问答（VQA）评价和GPT-4打分评价[2]中，展现了一些优势。\n\n### 第六层 LLMs 到自动语音识别 (ASR)\n\n#### 第一重 Massively Multilingual Speech (MMS，大规模多语种语音)\n\n- [【LLMs 入门实战 —— 二十 】 Massively Multilingual Speech (MMS，大规模多语种语音) 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Fspeech_MMS_21)\n  - 论文：[Scaling Speech Technology to 1,000+ Languages](https:\u002F\u002Fresearch.facebook.com\u002Fpublications\u002Fscaling-speech-technology-to-1000-languages\u002F)\n  - 代码：[fairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms)\n  - 公告：https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fmultilingual-model-speech-recognition\u002F\n  - 介绍：Meta 在 GitHub 上再次开源了一款全新的 AI 语言模型——Massively Multilingual Speech (MMS，大规模多语种语音)，它与 ChatGPT 有着很大的不同，这款新的语言模型可以识别 4000 多种口头语言并生成 1100 多种语音（文本到语音）。\n\n#### 第二重 whisper \n\n- [【LLMs 入门实战】 whisper 模型学习与实战](whisper\u002Freadme.md)\n  - Introducing Whisper: https:\u002F\u002Fopenai.com\u002Fblog\u002Fwhisper\u002F\n  - Robust Speech Recognition via Large-Scale Weak Supervision: https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002Fwhisper.pdf\n  - openai\u002Fwhisper: https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper\n  - Huggin一 Face地址：Whisper - a Hugging Face Space by openai:https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fopenai\u002Fwhisper\n  - Colab地址：Google Colaboratory: https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fopenai\u002Fwhisper\u002Fblob\u002Fmaster\u002Fnotebooks\u002FLibriSpeech.ipynb\n  - 介绍：Whisper这个模型是OpenAI在今年九月释放出来的吧（2022\u002F09\u002F21）Introducing Whisper ，不过这个效果真的是太好了，它的泛化性能跟别的模型一比，真是天上地下啊。\n- [【LLMs 入门实战】 Faster-Whisper 模型学习与实战](whisper\u002FFasterWhisper.md) \n  - Making OpenAI Whisper faster：https:\u002F\u002Fnikolas.blog\u002Fmaking-openai-whisper-faster\u002F\n  - Faster Whisper transcription with CTranslate2 ：https:\u002F\u002Fgithub.com\u002Fguillaumekln\u002Ffaster-whisper\n  - sanchit-gandhi\u002Fwhisper-jax#creating-an-endpoint：https:\u002F\u002Fgithub.com\u002Fsanchit-gandhi\u002Fwhisper-jax#creating-an-endpoint\n  - 介绍：Faster-Whisper是一种基于深度学习的语音识别模型，它采用了一种新颖的架构，可以在保持准确性的同时提高速度。Faster-Whisper的设计灵感来自于目标检测领域的Faster R-CNN模型，它将语音信号转换为频谱图，并使用卷积神经网络（CNN）和循环神经网络（RNN）进行特征提取和序列建模。Faster-Whisper的主要优点是速度快、准确性高、可扩展性强，适用于大规模语音识别任务。\n  - Faster-Whisper的架构包括三个主要组件：\n    - 前端：将语音信号转换为频谱图，使用CNN进行特征提取。\n    - 后端：使用RNN进行序列建模，输出每个时间步的概率分布。\n    - 解码器：将概率分布转换为最终的文本输出。\n\n### 第七层 语言模型到文本转语音（TTS）\n\n#### 第一重 大规模多语种语音（MMS）\n\n- [【LLMs 入门实战 —— 二十 】 大规模多语种语音（MMS）模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002Fspeech_MMS_21)\n  - 论文：[将语音技术扩展到1000多种语言](https:\u002F\u002Fresearch.facebook.com\u002Fpublications\u002Fscaling-speech-technology-to-1000-languages\u002F)\n  - 代码：[fairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fmms)\n  - 公告：https:\u002F\u002Fai.facebook.com\u002Fblog\u002Fmultilingual-model-speech-recognition\u002F\n  - 介绍：Meta 在 GitHub 上再次开源了一款全新的 AI 语言模型——Massively Multilingual Speech (MMS，大规模多语种语音)，它与 ChatGPT 有着很大的不同，这款新的语言模型可以识别 4000 多种口头语言并生成 1100 多种语音（文本到语音）。\n\n#### 第二重 基于检索的语音转换\n\n- [【LLMs 入门实战】 基于检索的语音转换WebUI模型学习与实战]()\n  - 名称：Retrieval-based-Voice-Conversion-WebUI\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.18975\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FRVC-Project\u002FRetrieval-based-Voice-Conversion-WebUI\n  - 使用了RVC的实时语音转换: [w-okada\u002Fvoice-changer](https:\u002F\u002Fgithub.com\u002Fw-okada\u002Fvoice-changer)\n  - 使用了RVC变声器训练的人声转木吉他模型在线demo ：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Flj1995\u002Fvocal2guitar\n  - RVC人声转吉他效果展示视频 ：https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV19W4y1D7tT\u002F\n  - 介绍：一个基于VITS的简单易用的语音转换（变声器）框架\n  - 特点\n    - 使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏\n    - 即便在相对较差的显卡上也能快速训练\n    - 使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)\n    - 可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge)\n    - 简单易用的网页界面\n    - 可调用UVR5模型来快速分离人声和伴奏\n\n- [【LLMs 入门实战】 kNN-VC 模型学习与实战]()\n  - 论文名称：仅靠最近邻的语音转换（kNN-VC）\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.18975\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fbshall\u002Fknn-vc\n\n### LLaMA 衍生物系列\n\n#### 第五重 GPT4ALL\n\n- [【LLMs 入门实战 —— 八 】GPT4ALL 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_ff0w6czthq25.html)\n  - 介绍：一个 可以在自己笔记本上面跑起来的  Nomic AI 的助手式聊天机器人，成为贫民家孩子的 福音！\n\n#### 第十一重 OpenBuddy\n\n- [【LLMs 入门实战 —— 二十八 】 OpenBuddy 模型学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_g2tmn66fearf.html)\n  - 论文名称：OpenBuddy - 基于Falcon的开源多语言聊天机器人\n  - github 地址：https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\n  - 动机：虽然目前 很多人 LLMs 层出不穷，但是他们并不能 在 多语言支持无缝衔接（eg: LLaMA 模型由于是用 英语训练，所以在 中文等其他语种上效果并不好）\n  - 介绍：基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，OpenBuddy 经过微调，包括扩展词汇表、增加常见字符和增强 token 嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答各种语言的问题并执行翻译任务。\n\n#### 第十二重 Baize\n\n- [【LLMs 入门实战 —— 三十 】Baize 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_hftswats1oe8.html)\n  - 论文名称：Baize: 一种基于自我对话数据进行参数高效微调的开源聊天模型\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.01196\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fproject-baize\u002Fbaize-chatbot\u002Fblob\u002Fmain\u002FREADME.md\n  - 模型：\n    - baize-v2-7b 模型：https:\u002F\u002Fhuggingface.co\u002Fproject-baize\u002Fbaize-v2-7b\n    - baize-v2-13b 模型：https:\u002F\u002Fhuggingface.co\u002Fproject-baize\u002Fbaize-v2-13b\n  - baize 体验网站：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fproject-baize\u002Fbaize-lora-7B\n  - 动机：高质量的标注数据问题\n  - 介绍：Baize 作者 提出了一个自动收集 ChatGPT 对话的流水线，通过从特定数据集中采样「种子」的方式，让 ChatGPT 自我对话，批量生成高质量多轮对话数据集。其中如果使用领域特定数据集，比如医学问答数据集，就可以生成高质量垂直领域语料。\n\n#### 第十三重 OpenChineseLLaMA\n\n- [【LLMs 入门实战 】OpenChineseLLaMA 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_kbaocwse89o9.html)\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FOpenLMLab\u002FOpenChineseLLaMA\n  - 模型：https:\u002F\u002Fhuggingface.co\u002Fopenlmlab\u002Fopen-chinese-llama-7b-patch\n  - 介绍：基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。\n\n#### 第十四重 Panda\n\n- [【LLMs 入门实战 】Panda 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_6dnefz5bmekd.html)\n  - 论文名称：Panda LLM: 针对开源中文指令跟随大型语言模型的训练数据与评估\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.03025v1.pdf\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fdandelionsllm\u002Fpandallm\n  - 模型：\n  - 介绍：开源了基于LLaMA-7B, -13B, -33B, -65B 进行中文领域上的持续预训练的语言模型, 使用了接近 15M 条数据进行二次预训练。\n\n#### 第十五重 Ziya-LLaMA-13B\n\n- [【LLMs 入门实战 】 Ziya-LLaMA-13B 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_110iedww8t0k.html)\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1\n  - 模型：\n  - 介绍：该项目开源了姜子牙通用大模型V1，是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。该模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。\n\n#### 第十六重 BiLLa\n\n- [【LLMs 入门实战 】 BiLLa 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_wtixv8u69v7w.html)\n  - 论文名称：BiLLa: 一种双语LLaMA，推理能力更强\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FNeutralzz\u002FBiLLa\n  - 模型：\n  - 介绍：该项目开源了推理能力增强的中英双语LLaMA模型。模型的主要特性有：较大提升LLaMA的中文理解能力，并尽可能减少对原始LLaMA英文能力的损伤；训练过程增加较多的任务型数据，利用ChatGPT生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。\n\n#### 第十七重 Luotuo-Chinese-LLM\n\n- [【LLMs 入门实战 】 Luotuo-Chinese-LLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FLC1332\u002FLuotuo-Chinese-LLM\n  - 模型：\n  - 介绍：囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM, MOSS, LLaMA）进行二次微调的语言模型，指令微调数据集等。\n\n#### 第十八重 Linly\n\n- [【LLMs 入门实战 】 Linly 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FCVI-SZU\u002FLinly\n  - 模型：\n  - 介绍：提供中文对话模型 Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其训练数据。中文基础模型以 LLaMA 为底座，利用中文和中英平行增量预训练。项目汇总了目前公开的多语言指令数据，对中文模型进行了大规模指令跟随训练，实现了 Linly-ChatFlow 对话模型。\n\n#### 第十九重 ChatYuan\n\n- [【LLMs 入门实战 】 ChatYuan 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002Fclue-ai\u002FChatYuan\n  - 介绍：元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。\n\n#### 第二十重 CPM-Bee\n\n- [【LLMs 入门实战 】 CPM-Bee 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FOpenBMB\u002FCPM-Bee\n  - 模型：\n  - 介绍：一个完全开源、允许商用的百亿参数中英文基座模型。它采用Transformer自回归架构（auto-regressive），在超万亿（trillion）高质量语料上进行预训练，拥有强大的基础能力。开发者和研究者可以在CPM-Bee基座模型的基础上在各类场景进行适配来以创建特定领域的应用模型。\n\n#### 第二十一重 TigerBot\n\n- [【LLMs 入门实战 】 TigerBot 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\n  - 模型：\n  - 介绍：一个多语言多任务的大规模语言模型(LLM)，开源了包括模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B，基本训练和推理代码，100G预训练数据，涵盖金融、法律、百科的领域数据以及API等。\n\n#### 第二十二重 书生·浦语\n\n- [【LLMs 入门实战 】 书生·浦语 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FInternLM\u002FInternLM-techreport\n  - 模型：\n  - 介绍：商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。据悉，“书生·浦语”具有1040亿参数，基于“包含1.6万亿token的多语种高质量数据集”训练而成。\n\n#### 第二十三重 Aquila\n\n- [【LLMs 入门实战 】 Aquila 学习与实战]()\n  - 论文名称：\n  - 论文地址：\n  - Github 代码： https:\u002F\u002Fgithub.com\u002FFlagAI-Open\u002FFlagAI\u002Ftree\u002Fmaster\u002Fexamples\u002FAquila\n  - 模型：\n  - 介绍：由智源研究院发布，Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。\n\n#### 第一重 金融领域\n\n- [【LLMs 入门实战 —— 十九】 聚宝盆(Cornucopia) 模型学习与实战](https:\u002F\u002Fgithub.com\u002Fkm1994\u002FLLMsNineStoryDemonTower\u002Ftree\u002Fmain\u002FCornucopia_19)\n  - 聚宝盆(Cornucopia) 开源了经过中文金融知识指令精调\u002F指令微调(Instruct-tuning) 的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了 LLaMA 在金融领域的问答效果。\n  - github: [jerry1993-tech\u002FCornucopia-LLaMA-Fin-Chinese](https:\u002F\u002Fgithub.com\u002Fjerry1993-tech\u002FCornucopia-LLaMA-Fin-Chinese\u002Ftree\u002Fmain)\n- [【LLMs 入门实战 】 BBT-FinCUGE-Applications 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fssymmetry\u002FBBT-FinCUGE-Applications\n  - 介绍：开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。\n- [【LLMs 入门实战 】 XuanYuan（轩辕） 学习与实战]()：首个千亿级中文金融对话模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fhuggingface.co\u002Fxyz-nlp\u002FXuanYuan2.0\n  - 介绍：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。\n\n#### 第二重 医疗领域\n\n- [【LLMs 入门实战 —— 二十九 】HuatuoGPT (华佗GPT) 学习与实战](HuatuoGPT_29\u002Freadme.md)\n  - HuatuoGPT (华佗GPT), Towards Taming Language Models To Be a Doctor.\n  - 论文地址：https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.15075.pdf\n  - Github 代码：https:\u002F\u002Fgithub.com\u002FFreedomIntelligence\u002FHuatuoGPT\n  - 模型：https:\u002F\u002Fhuggingface.co\u002FFreedomIntelligence\u002FHuatuoGPT-7b-v1\n  - HuatuoGPT 体验网站：https:\u002F\u002Fwww.huatuogpt.cn\u002F\n  - HuatuoGPT (华佗GPT) 监督微调（SFT）：[HuatuoGPT-sft-data-v1](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFreedomIntelligence\u002FHuatuoGPT-sft-data-v1)\n  - 动机：\n    - 益增长的在线和医院快速医疗咨询需求 与 医生的时间和精力 矛盾问题\n    - 目前并没有 开源而且高质量的 可用于训练 medical LLMs，所以 为 训练 medical LLMs 而构建 high-quality instruction training data 至关重要；\n    - medical LLMs 诊断能力需要进行 彻底评估和测试，避免 medical LLMs 误诊问题；\n  - 介绍：\n    - HuatuoGPT (华佗GPT) 知识库是一个在庞大的中国医学语料库上训练的大型语言模型。HuatuoGPT (华佗GPT) 的目标是为医疗咨询场景构建一个更专业的“ChatGPT”。\n\n- [【LLMs 入门实战 】DoctorGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fxionghonglin\u002FDoctorGLM\n  - 介绍：基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署\n\n- [【LLMs 入门实战 】 BenTsao 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FHuatuo-Llama-Med-Chinese\n  - 介绍：开源了经过中文医学指令精调\u002F指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在医疗领域的问答效果。\n\n- [【LLMs 入门实战 】 BianQue 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fscutcyr\u002FBianQue\n  - 介绍：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI\u002FChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。\n\n- [【LLMs 入门实战 】 Med-ChatGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FSCIR-HI\u002FMed-ChatGLM\n  - 介绍：基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。\n\n- [【LLMs 入门实战 】 QiZhenGPT 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FCMKRG\u002FQiZhenGPT\n  - 介绍：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。\n\n- [【LLMs 入门实战 】 ChatMed 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fmichael-wzhu\u002FChatMed\n  - 介绍：该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集；ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset，以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。\n\n- [【LLMs 入门实战 】 XrayGLM 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FWangRongsheng\u002FXrayGLM\n  - 介绍：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。\n\n#### 第三重 法律领域\n\n- [【LLMs 入门实战 】 LaWGPT 学习与实战]()：基于中文法律知识的大语言模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fpengxiao-song\u002FLaWGPT\n  - 介绍：该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。\n- [【LLMs 入门实战 】 LexiLaw 学习与实战]()：中文法律大模型\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FCSHaitao\u002FLexiLaw\n  - 介绍：LexiLaw 是一个基于 ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。\n- [【LLMs 入门实战 】 Lawyer LLaMA 学习与实战]()：中文法律LLaMA\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002FAndrewZhe\u002Flawyer-llama\n  - 介绍：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。\n\n#### 第四重 教育领域\n\n- [【LLMs 入门实战 】 桃李（Taoli） 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fblcuicall\u002Ftaoli\n  - 介绍：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的500余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计 88000 条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。\n\n#### 第五重 文化领域\n\n- [【LLMs 入门实战 】 Firefly 学习与实战]()\n  - 论文名称：\n  - 论文地址：https:\u002F\u002Fgithub.com\u002Fyangjianxin1\u002FFirefly\n  - 介绍：中文对话式大语言模型，构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。\n\n#### 第六重 Coding\n\n- [【LLMs 入门实战】 CodeGeeX2-6B 学习与实战](https:\u002F\u002Farticles.zsxq.com\u002Fid_1bz3qf7r76wc.html)\n  - DeepKE-LLM链接：\n  - OpenKG地址：\n  - Github 地址：https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCodeGeeX2\n  - 介绍：CodeGeeX2 是多语言代码生成模型 CodeGeeX 的第二代模型，基于 ChatGLM2 架构注入代码实现。得益于 ChatGLM2 的更优性能，CodeGeeX2-6B 在多项指标上取得了较大的性能提升。与 150 亿参数的 StarCoder-15B 相比，CodeGeeX2-6B 凭借 60 亿参数便具备了近 10% 的优势。\n\n\n\n## 知识体系\n\n> [关于 AIGC 那些你不知道的事](https:\u002F\u002Fyaz1kaenukt.feishu.cn\u002Fmindnotes\u002FOSsQbEhzomseronYdQmc6CmXnQH)\n![](img\u002F1.png)\n\n> [关于 NLP 那些你不知道的事](https:\u002F\u002Fyaz1kaenukt.feishu.cn\u002Fmindnotes\u002FFOlQbPf6GmdzBQnBVsncnYGJnnd)\n![](img\u002F1.png)\n\n## 加入学习群\n\n> 扫码加小编，申请加入学习群\n![](img\u002F3.png)\n\n## 参考\n\n1. [Awesome-Chinese-LLM：收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FOy6XZNyN3kpsC6TfQYQb7A)","# LLMsNineStoryDemonTower 快速上手指南\n\n本指南基于\"LLMs 入门实战系列”项目整理，旨在帮助开发者快速搭建并运行主流开源大语言模型（如 ChatGLM、Baichuan、Llama2 等），涵盖环境配置、模型部署及基础微调流程。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求。推荐在 Linux (Ubuntu 20.04+) 或 Windows (WSL2) 环境下操作。\n\n### 系统要求\n- **操作系统**: Linux (推荐) 或 Windows with WSL2\n- **GPU**: NVIDIA GPU (显存建议 8GB 以上，量化版本可低至 6GB)\n- **CUDA**: 11.7 或更高版本\n- **Python**: 3.8 - 3.10\n\n### 前置依赖\n本项目主要依赖 PyTorch、Transformers 及 PEFT 库。建议使用 `conda` 创建独立虚拟环境。\n\n```bash\n# 创建并激活 conda 环境\nconda create -n llms_practice python=3.9 -y\nconda activate llms_practice\n\n# 安装 PyTorch (根据 CUDA 版本选择，此处以 CUDA 11.8 为例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装核心依赖库\n# 推荐使用国内镜像源加速 (如清华源)\npip install transformers accelerate peft bitsandbytes sentencepiece protobuf cpm_kernels -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**：不同模型（如 ChatGLM vs Llama2）可能需要特定的额外依赖。例如 ChatGLM 系列通常需要 `cpm_kernels`，而量化推理需要 `bitsandbytes`。\n\n## 2. 安装步骤\n\n本系列支持多种模型，以下以目前最主流的 **ChatGLM3-6B** 和 **Baichuan2-7B** 为例演示克隆与安装。\n\n### 方案 A：部署 ChatGLM3-6B (智谱 AI)\n\n```bash\n# 1. 克隆官方代码仓库\ngit clone https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM3.git\ncd ChatGLM3\n\n# 2. 安装项目依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 3. 下载模型权重\n# 方法一：使用 HuggingFace (需网络环境支持)\n# git lfs install\n# git clone https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm3-6b\n\n# 方法二：使用 ModelScope (魔搭社区，国内推荐)\npip install modelscope -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n# 在 Python 脚本中下载或使用 modelscope cli\n```\n\n### 方案 B：部署 Baichuan2-7B (百川智能)\n\n```bash\n# 1. 克隆官方代码仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fbaichuan-inc\u002FBaichuan2.git\ncd Baichuan2\n\n# 2. 安装依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 3. 下载模型 (推荐通过 HuggingFace 或申请后获取)\n# 此处以 HuggingFace 为例\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan2-7B-Chat\n```\n\n### 方案 C：通用微调环境 (基于 PEFT\u002FQLoRA)\n\n若需进行 LoRA 或 QLoRA 微调，确保已安装 `peft` 和 `bitsandbytes`：\n\n```bash\n# 验证 bitsandbytes 是否安装成功 (用于 4bit 量化)\npython -c \"import bitsandbytes as bnb; print(bnb.__version__)\"\n```\n\n## 3. 基本使用\n\n### 场景一：命令行对话推理 (ChatGLM3)\n\n进入 ChatGLM3 目录，运行官方提供的 CLI 工具进行对话。\n\n```bash\ncd ChatGLM3\n# 默认加载本地 chatglm3-6b 模型文件夹\npython cli_demo.py --model_path \u002Fpath\u002Fto\u002Fchatglm3-6b\n```\n*启动后直接在终端输入问题即可交互。*\n\n### 场景二：Python 脚本调用 (Baichuan2)\n\n创建一个 `test_inference.py` 文件，编写以下代码进行快速测试：\n\n```python\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n\n# 配置模型路径\nmodel_path = \"\u002Fpath\u002Fto\u002FBaichuan2-7B-Chat\"\n\n# 加载分词器和模型 (开启自动设备映射以节省显存)\ntokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_path, \n    device_map=\"auto\", \n    trust_remote_code=True, \n    torch_dtype=torch.float16\n)\n\n# 构建对话\nmessages = [\n    {\"role\": \"user\", \"content\": \"你好，请介绍一下你自己。\"}\n]\n\n# 生成回复\nresponse = model.chat(tokenizer, messages)\nprint(response)\n```\n\n### 场景三：基于 QLoRA 的高效微调 (通用示例)\n\n使用 `peft` 库对模型进行 4bit 量化微调（以 ChatGLM2\u002F3 为例逻辑类似）：\n\n```python\nfrom transformers import AutoTokenizer, AutoModel\nfrom peft import get_peft_model, LoraConfig, TaskType\n\n# 1. 加载基础模型\nmodel = AutoModel.from_pretrained(\"\u002Fpath\u002Fto\u002Fchatglm2-6b\", trust_remote_code=True).half().cuda()\ntokenizer = AutoTokenizer.from_pretrained(\"\u002Fpath\u002Fto\u002Fchatglm2-6b\", trust_remote_code=True)\n\n# 2. 配置 LoRA 参数\npeft_config = LoraConfig(\n    task_type=TaskType.CAUSAL_LM, \n    inference_mode=False, \n    r=8, \n    lora_alpha=32, \n    lora_dropout=0.1\n)\n\n# 3. 应用 LoRA\nmodel = get_peft_model(model, peft_config)\nmodel.print_trainable_parameters()\n\n# 后续接入 Trainer 进行训练...\n```\n\n> **提示**：对于显存有限的用户（如 RTX 3060 12G 或更低），强烈建议在加载模型时启用 `load_in_4bit=True` (需 bitsandbytes 支持) 或使用官方提供的 INT4 量化版本模型。","某初创教育科技公司急需构建一个支持中英双语、能准确回答学科问题的智能辅导助手，但团队缺乏大模型选型与落地的系统性经验。\n\n### 没有 LLMsNineStoryDemonTower 时\n- **选型迷茫**：面对 ChatGLM、Baichuan、Llama2 等数十个开源模型，团队无法判断哪个模型在中文教育场景下性价比最高，盲目尝试导致算力浪费。\n- **环境搭建困难**：缺乏统一的部署指南，配置依赖、显存优化和推理加速（如 vLLM、quantization）耗费了开发人员两周时间，项目进度严重滞后。\n- **微调门槛高**：想要针对教材数据做参数高效微调（PEFT），却不懂 QLoRA 或分布式训练技巧，导致模型幻觉严重，无法准确解析数学题。\n- **功能扩展受限**：仅能实现基础对话，不知道如何结合 LangChain 做知识库检索，或利用 VisualGLM 处理用户上传的题目图片，产品功能单一。\n\n### 使用 LLMsNineStoryDemonTower 后\n- **精准模型匹配**：参考“九层妖塔”中的评测对比，团队直接锁定在 C-Eval 榜单表现优异的 ChatGLM2-6B 作为基座，大幅降低试错成本。\n- **快速落地部署**：利用项目中提供的实战教程和推理加速方案，一天内完成了模型本地化部署与量化，显著降低了显卡资源需求。\n- **高效定制优化**：依照 PEFT 章节的 QLoRA 实战代码，成功将自有题库数据注入模型，使数学解题准确率提升 40%，且训练成本可控。\n- **多模态能力集成**：借鉴多模态层级案例，迅速集成了 VisualGLM 与 LangChain，实现了“拍照搜题 + 知识点检索”的复杂功能闭环。\n\nLLMsNineStoryDemonTower 通过结构化的实战路径，将大模型从“理论概念”转化为“可落地的生产力”，帮助团队在两周内完成了从零到一的产品构建。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkm1994_LLMsNineStoryDemonTower_caa8f34b.png","km1994","杨夕","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkm1994_2be0e4c3.jpg","公众号《关于NLP那些你不知道的事》","某某螺丝钉加工厂",null,"https:\u002F\u002Fgithub.com\u002Fkm1994",2156,208,"2026-04-11T02:02:48",3,"未说明","需要 NVIDIA GPU。具体显存需求视模型和量化方式而定：ChatGLM2-6B INT4 量化需 6GB 显存；Baichuan-13B 量化版可部署在 RTX 3090 (24GB)；QLoRA 微调 ChatGLM2-6B 可在 RTX 3060 (通常 12GB) 上完成。",{"notes":28,"python":25,"dependencies":29},"本项目为 LLMs 入门实战系列教程集合，涵盖 ChatGLM、Baichuan、Llama2 等多个模型的部署与微调。支持多种微调方式（LoRA, QLoRA, P-Tuning V2）。部分模型（如 ChatGLM2\u002F3, Baichuan）支持 4bit\u002F8bit 量化以降低显存需求，使消费级显卡（如 RTX 3060\u002F3090）可进行微调或推理。商业使用部分模型需申请官方许可。",[30,31,32,33,34],"torch","transformers","peft","accelerate","bitsandbytes",[36,37,38,39,40,41],"语言模型","图像","音频","开发框架","Agent","其他",2,"ready","2026-03-27T02:49:30.150509","2026-04-15T07:11:48.350357",[],[],[49,58,66,74,82,91],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":24,"last_commit_at":55,"category_tags":56,"status":43},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[40,39,37,57],"数据工具",{"id":59,"name":60,"github_repo":61,"description_zh":62,"stars":63,"difficulty_score":24,"last_commit_at":64,"category_tags":65,"status":43},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[39,37,40],{"id":67,"name":68,"github_repo":69,"description_zh":70,"stars":71,"difficulty_score":42,"last_commit_at":72,"category_tags":73,"status":43},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,"2026-04-14T11:34:08",[39,40,36],{"id":75,"name":76,"github_repo":77,"description_zh":78,"stars":79,"difficulty_score":42,"last_commit_at":80,"category_tags":81,"status":43},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[39,37,40],{"id":83,"name":84,"github_repo":85,"description_zh":86,"stars":87,"difficulty_score":42,"last_commit_at":88,"category_tags":89,"status":43},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[90,40,37,39],"插件",{"id":92,"name":93,"github_repo":94,"description_zh":95,"stars":96,"difficulty_score":42,"last_commit_at":97,"category_tags":98,"status":43},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[90,39]]