[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-TigerResearch--TigerBot":3,"tool-TigerResearch--TigerBot":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":97,"forks":98,"last_commit_at":99,"license":100,"difficulty_score":101,"env_os":102,"env_gpu":103,"env_ram":104,"env_deps":105,"category_tags":114,"github_topics":115,"view_count":24,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":121,"updated_at":122,"faqs":123,"releases":124},10064,"TigerResearch\u002FTigerBot","TigerBot","TigerBot: A multi-language multi-task LLM","TigerBot 是一款支持多语言、多任务的大型语言模型，旨在为开发者和研究人员提供世界级的基础大模型能力。它不仅能处理通用的对话与文本生成，更在中文语境理解、长文档分析及垂直领域应用上表现出色，有效解决了传统模型在中文复杂场景下知识匮乏及长上下文处理能力不足的痛点。\n\nTigerBot 特别适合开发者构建智能应用、研究人员探索大模型技术，以及需要处理专业文档的企业用户。其独特亮点包括：支持高达 100K 的超长上下文窗口，能轻松解读整本手册或长篇论文；内置增强的搜索与文档检索（RAG）功能，让回答更具时效性和依据；此外，TigerBot 还发布了全球首个中文临床术语体系（MedCT）及专用医疗模型，在医疗命名实体识别等任务中达到了业界领先水平。无论是开发创意小游戏，还是部署专业的医疗辅助系统，TigerBot 都能提供坚实的技术底座。","# TigerBot\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_0c6722a6c278.png\" alt=\"Tiger\" style=\"width: 20%; display: block; margin: auto;\">\u003C\u002Fimg>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cfont face=\"黑体\" color=orange size=5\"> A cutting-edge foundation for your very own LLM. \u003C\u002Ffont>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cfont face=\"黑体\" color=orange size=5\"> 以世界级的基础大模型，贡献于中国式的创新。 \u003C\u002Ffont>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n🌐 \u003Ca href=\"https:\u002F\u002Ftigerbot.com\u002F\" target=\"_blank\">TigerBot\u003C\u002Fa> • 🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FTigerResearch\" target=\"_blank\">Hugging Face\u003C\u002Fa> • 💻\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch\" target=\"_blank\">ModelScope\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cdiv align=\"center\">\n\n[![evaluation](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOpenCompass-Support-royalblue.svg)](https:\u002F\u002Fgithub.com\u002FinternLM\u002FOpenCompass\u002F)\n\n\u003C\u002Fdiv>\n\u003Ch4 align=\"left\">\n    \u003Cp>\n        \u003Cb>中文\u003C\u002Fb> |\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002FREADME_en.md\">English\u003C\u002Fa>\n    \u003Cp>\n\u003C\u002Fh4>\n\n## 最新发布\n\n- [12\u002F28\u002F2024] 虎博TigerBot发布全球首个中文临床术语体系——MedCT (Medical Clinical Terminology)，以及相应的医疗NER模型和医疗基础模型，在中英文医疗NER任务中均取得新SOTA，同时发布真实临床标注数据。\n\n\t- [MedCT Github](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FMedCT)  \n\t- [MedCT Huggingface](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FTigerResearch\u002Fmedct-6744641d6f19b9d70a56f848)\n\t\n- [06\u002F01\u002F2024] 虎博TigerBot产品升级：搜索模式(search augmented)增加信息源链接。\n\n\u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_1ef68c5d39e8.jpg\" alt=\"search-link\" style=\"width: 80%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\n- [03\u002F18\u002F2024] 虎博TigerBot升级，支持100K上下文长度 (70b and 13b chat) :fire: [[models](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]；TigerBot医疗大模型被AAAI 2024 Spring Symposium on Clinical Foundation Models录取 [[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.00868)]。\n  ```shell\n  # 可以根据实际硬件情况调整max_input\u002Fgenerate_length\n  export PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fweb_demo.py -- --model_path tigerbot-70b-chat-v6 --rope_scaling yarn --rope_factor 8 --max_input_length 37888 --max_generate_length 62112\n  ```\n\n- [01\u002F18\u002F2024] 新一代的TigerBot基座模型训练了我们认为最大最高质量的中文数据。为了验证，我们做了个有趣的测试：我们让Tigerbot-70b-chat和GPT-4-Turbo对战40局成语接龙，各先出20局。每局中无法成功接龙成语者输（以权威成语词典为准），比分 Tigerbot:GPT-4 = 24:16。\n基于此，Tigerbot发布第一款基于大模型的小游戏[[TigerBot成语接龙](https:\u002F\u002Fh5.tigerbot.com\u002Fidiom-superman?access_source=jielong)]，移动端扫如下二维码参与，有机会赢取顶配iPhone Pro Max. :fire:\n\n\t- 大模型的生成能力、世界知识、和随机性可以增加文字类游戏的可玩性和知识性，\n\t- 适合的prompt激发出大模型的底层知识，即完成的游戏引擎的开发，\n\t- 前端设计好游戏的互动性和即时反馈便可完成一款可玩的小游戏。\n\t\n  \u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cafd985f120a.jpg\" alt=\"tigerbot-idiom\" style=\"width: 30%; display: block; margin: auto;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f8fc49dc7bf4.jpg\" alt=\"tigerbot-idiom2\" style=\"width: 30%; display: block; margin: auto;\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5bc4839996ff.jpg\" alt=\"tigerbot-idiom3\" style=\"width: 30%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\t\n\n- [12\u002F29\u002F2023] Tigerbot发表技术报告（arXiv preprint），分享我们在大模型狂飙和应用落地方面的一些技术细节和浅见 :fire: [[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.08688)]\n\n- [12\u002F08\u002F2023] Tigerbot family新版模型发布，bigger and better :fire: [[模型下载](#模型下载)][[测评](#测评)]\n\n\t- Tigerbot-70b base (v2) and chat (v4)更新，chat模型综合能力比上一版提升19%；\n\t- Tigerbot-13b base (v3) and chat (v5)更新，chat模型综合能力比上一版提升16%；\n\t- Tigerbot-180b base and chat (v2)更新，base模型优于Bloom 7%, chat模型优于Bloomz\u002FBloomz-mt 20%；\n\t- 训练数据：500B tokens预训练数据，知识截止到2023年8月。更多优质数据，包括：万卷，arXiv, 中文教科书，法律和专利等领域数据；\n\t- 序列长度：70b-chat和13b-chat均推出4k长度训练版本，推理可外推到32k；\n\t- 训练方法：预训练优化了TP\u002FPP算法，对齐采用了grouped sft, rejection-sampling，dpo (稍后会分享技术报告)；\n\t- 全线产品(web, app, 小程序)和api均升级到最新最强的Tigerbot-70b-chat-v4-4k，产品端增加了search (搜索增加) and document (文件增强) RAG功能。\n\n\n- [10\u002F19\u002F2023] Long(16k)-Tigerbot 发布\n\n    - Tigerbot-13\u002F70B web\u002Fapi接口支持16k-token长度（约为20k字符，或20页的pdf或word文档，paper类的可直接作为context输入）。\n    - 基于[YaRN](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.00071.pdf)方法，推理时对RoPE表示进行“高频维度不变，低频维度插值”的方式外推，以达到处理长序列的目的。\n    - Tigerbot优化了TGI框架，为每个请求根据输入序列长度与最大生成序列长度单独计算cos\u002Fsin值，同时保证总长度不大于2048时的效果不变，因此API用户需要选择一个更合适的max_new_token参数，并且不同的max_new_token参数可能会导致不同的结果。\n    - Tigerbot后续将会在训练阶段继续优化对长序列的支持。\n\n- [9\u002F27\u002F2023] Tigerbot-70b-chat-api发布function\n  calling功能: [[tech report](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot%E5%BC%80%E6%94%BE%E5%87%BD%E6%95%B0%E8%B0%83%E7%94%A8%E8%83%BD%E5%8A%9B%EF%BC%8C%E6%89%93%E5%BC%80agent%E7%9A%84%E6%97%A0%E9%99%90%E5%8F%AF%E8%83%BD)][[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n    - {user prompt, functions def} --> TigerBot --> 3rd party API --> TigerBot --> natural answers with accurate\n      results.\n    - Tigerbot训练并没有专门使用function calling类的结构化抽取数据，但已经呈现出不错的理解和抽取能力，所以我们相信经过领域数据微调，function\n      calling的表现会接近生产可用。\n\n- [9\u002F26\u002F2023] Tigerbot-70b-chat(v3)和Tigerbot-13b-chat(v4)更新发布: [[模型下载](#模型下载)]\n\n    - smaller batch for finer-grained gradient updates, global_batch_size=66 (pretrain_gbs=1920, v2_gbs=240).\n      我们认为，在高质量数据的前提下，对齐微调的gbs可以到~100K tokens, 更dense的updates和更充分的steps，导致更低的loss（如下图train\n      and validation loss）。\n    - 增加了高质量对其数据，更好的多样性、丰富度和格式；根据前期用户反馈，去除了原对齐数据中的一些已知脏数据和不符合自然用户习惯的prompts数据；\n    - 在10+项基准评测中，综合能力均超过上一版本和Llama-2，达到SOTA.\n\n  \u003Cdiv style=\"display: flex; justify-content: space-between;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_253b731ece1a.jpg\" alt=\"tigerbot-70b-chat-v3 train loss\" style=\"width: 40%; display: block; margin: auto;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_e95e64e64d81.jpg\" alt=\"tigerbot-70b-chat-v3 validation loss\" style=\"width: 40%; display: block; margin: auto;\">\n  \u003C\u002Fdiv>\n\n- [9\u002F15\u002F2023] Tigerbot-70b-chat(v2)和Tigerbot-13b-chat(v3)更新发布: [[模型下载](#模型下载)]\n\n    - 用更少但更高质量的数据，约5M指令完成数据，覆盖100+任务类型，符合自然用户分布；\n    - 用10K人类标注数据进行多维度对齐，包括：事实性，创造性，丰富性，安全性和格式等；\n    - 在10+项基准评测中，中英文综合能力均超过上一版本和Llama-2，达到SOTA.\n\n  \u003Cp align=\"center\" width=\"100%\">\n   \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_a140eac45257.jpg\" alt=\"tigerbot-70b-chat example\" style=\"width: 80%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\n- [9\u002F06\u002F2023]\n  Tigerbot-70b发布，继续开源和免费商用: [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot%E2%80%9070B%E5%8F%91%E5%B8%83%EF%BC%81)][[模型下载](#模型下载)]:\n  fire:\n\n    - Tigerbot-70b-base: 在Llama-2-70b的基础上继续预训练，模型综合能力在mmlu等10项主流基准测试中，优于Llama-2-70b，达到业内SOTA；\n        - 用高质量的300 billion tokens的多语言数据,\n        - 算法上使用了GQA, flash-attn, RoPE，holistic-training等技术,\n        - 训练采用了tensor\u002Fpipeline-partition技术，计算效率达到Llama-2 paper中报告的SOTA;\n    - Tigerbot-70b-chat: 在Tigerbot-70b-base基础上，用20M指令完成数据进行sft，和10K人类标注的gold\n      set进行rejection-sampling对齐；\n    - 同步开放Tigerbot-70b-chat-api，继续对教育和科研开发者免费。\n    \u003Cp align=\"center\" width=\"100%\">\n  \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_2e73ce4a67ca.jpg\" alt=\"tigerbot 70b eval\" style=\"width: 60%; display: block; margin: auto;\">\u003C\u002Fa>\n   \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f74d8ba8b1fd.jpg\" alt=\"tigerbot loss curve\" style=\"width: 30%; display: block; margin: auto;\">\u003C\u002Fa>\n  \u003C\u002Fp>\n\n- [8\u002F25\u002F2023]\n  TigerBot更新13b-base模型: [[模型下载](#模型下载)][[测评](#测评)]\n\n    - TigerBot-13B-base: 增加了一倍训练数据，至600B\n      tokens，定向增加了高质量中英文数学推理类和科学文献类数据，优化了中文网络数据的清洗（在格式、口语、知识性等方面）。在13项主流基准评测中，英文综合能力优于Llama-2-13b\n      5%，中文超30%。[[测评](#测评)]\n      ![image](image\u002Feval_base.jpg)\n    - 开放了基于[opencompass](https:\u002F\u002Fgithub.com\u002FInternLM\u002Fopencompass)\n      的自动评测体系，以提倡reproducibility。[[测评](#测评)]\n\n- [8\u002F21\u002F2023] TigerBot更新发布7b和13b base\u002Fchat模型: [[模型下载](#模型下载)][[测评](#测评)]\n\n    - TigerBot-7B-base: 基于Llama-2-7B增量预训练300B tokens，补充了Llama-2不足的中文、代码和推理等数据，并使用holistic training（全局训练）方法；在13项中英文主流benchmark中，优于Llama-2-7B 33%，领先于国内外同等开源模型;\n    - TigerBot-7B-chat: 基于TigerBot-7B-base用20M涵盖多任务的数据进行指令微调（sft）和拒绝采样对齐（rs-hil）；在13项中英文主流benchmark中，优于Llama-2-7B-chat 29%，亦领先于国内外同等开源模型；\n    - TigerBot-13B-chat: 基于TigerBot-13B-base用20M涵盖多任务的数据进行指令微调（13b-v1用了5M数据)，并在中英文能力上做了更好的权衡；在13项中英文主流benchmark中，优于Llama-2-13B-chat 15%，领先于国内外同等开源模型;\n    - 以上tigerbot-api也同步更新 [[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference)]。\n\n- [8\u002F19\u002F2023]\n  TigerBot推理（tigerbot.com和tigerbot-api）启用 [TGI](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference)，达到3x\n  QPS和2x 响应速度。\n\nhttps:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fassets\u002F32117316\u002F0a8c11b9-6a10-4e37-80e8-45b482e76c51\n\n- [8\u002F08\u002F2023] TigerBot 2023.08 (V3) release:\n  虎博很高兴的发布TigerBot-13B大模型，在Llama-2的基础上以虎博积累的技术和数据继续训练，不但保持了Llama-2出色的英文能力，更是在中文能力上填补了Llama-2的不足，各项主流中文任务中超过Llama-2的49%，在开源同类模型中具有竞争力。:\n  fire: [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerbot%E2%80%9013B-is-All-You-Need)]\n\n    - TigerBot-13B-base: 基于Llama-2-13B继续预训练300B tokens，扩充了中文词表到60K vocabulary, 并采用holistic\n      training在预训练中直接使模型具有九成的指令完成能力。在主流英文基准测试中超过Llama-2-13B-base的7%，在中文测试中综合能力超过Llama-2-13B-base的49%，在国内外主流开源基座模型中处于领先位置。[[测评](#测评)][[模型下载](#模型下载)]\n    - TigerBot-13B-chat: 基于TigerBot-13B-base用5M指令数据微调，并采用rejection sampling\n      fine-tune对齐人类需求。在主流英文基准测试中达到Llama-2-13B-chat的101%，在中文测试中综合能力超过Llama-2-13B-chat的47%，在国内外主流开源模型中亦处于领先位置。chat模型可以通过`python infer.py --model_path TigerResearch\u002Ftigerbot-13b-chat`\n      使用。[[测评](#测评)][[模型下载](#模型下载)]\n    - TigerBot-API: chat和summarization api\n      将自动升级到TigerBot-13B-chat，对科研教育用户免费，对商用开发者保持价格不变。[[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference)]\n\n- [8\u002F03\u002F2023] TigerBot 兼容 OpenAI\n  接口。[[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat?codeLanguage=python-openai)]\n\n- [7\u002F26\u002F2023] TigerBot 开放 search-api [[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fsearch)]\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5cc1b4996cd8.png\" alt=\"tigerbot search-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [7\u002F08\u002F2023] TigerBot 2023.07 (V2)\n  release [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot-Version2)] :fire:\n\n    - tigerbot-7b-base (v2), 在 1.5TB 高质量数据上充分预训练（千卡耗时 4 周，算力成本～ 300 万），在中英文公开数据测评优于\n      bloom\u002Fllama 同等模型 15-30%；[[测评](#测评)][[模型下载](#模型下载)]\n\n    - tigerbot-7b-sft (v2), 在 base-v2 基础上微调的 sft-v2 在 2000 万\u002F20G 高质量清洗和配比的数据上充分训练，在 9\n      项公开语料测评上优于 sft-v1\n      9.3%；[[测评](#测评)][[模型下载](#模型下载)]\n\n      新模型可通过以下代码加载：\n\n      ```python\n      import transformers\n      \n      # 下载过旧版的用户需要指定`force_download=True`避免使用旧版缓存\n      model_sft = transformers.AutoModelForCausalLM.from_pretrained('TigerResearch\u002Ftigerbot-7b-sft', force_download=True)\n      model_base = transformers.AutoModelForCausalLM.from_pretrained('TigerResearch\u002Ftigerbot-7b-base', force_download=True)\n      ```\n\n    - tigerbot 开启搜索模式，对接主流中英文搜索引擎，和结构化工具（如天气，股市，计算器等），打开 LLM+search 的应用场景，同时开放\n      chat-api with internet search\n      switch；[[TigerBot with search mode (default off) :earth_asia:](https:\u002F\u002Fwww.tigerbot.com\u002Fchat)][[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot-upgraded-with-internet-search)]\n\n    - tigerbot 开启流式生成模式，同时开放 chat-api with streaming\n      switch; [[TigerBot](https:\u002F\u002Fwww.tigerbot.com\u002Fchat)][[TigerBot-API](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n    - tigerbot-api 全新升级，开放 LLM 应用开发常用的 api 工具，包括：LLM (chat, plugin, finetune), text (embedding,\n      summarization, pdf2text), vision (text2image)。[[TigerBot-API](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n- [6\u002F27\u002F2023] PEFT TigerBot with QLoRA: 在单张 3090 上使用 qlora 微调 tigerbot-7b-sft，加速 16 倍，和\u002F或减少\n  GPU3\u002F4，同时防止了对下游数据的过拟合。[[code](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002Ftrain\u002Ftrain_with_qlora.py)] [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FPEFT-TigerBot-7b-with-QLoRA,-building-an-domain-LLM-on-one-consumer-level-GPU-in-hours)][[模型下载](#模型下载)]\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_25dc05f413da.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [6\u002F26\u002F2023] TigerBot now is on desktop! [使用 TigerBot 和 Svelte 框架制作的聊天机器人](#开发者生态)，感谢 @SaraiQX ！\n- [6\u002F20\u002F2023] Tigerbot 的云端 api 如何在 langchian 中替代 openai\n  来应用(\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002Fapps\u002Ftigerbot_chatapi.py\">sample code\u003C\u002Fa>) 感谢\n  @wordweb ！\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_291dbfbadc96.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [6\u002F13\u002F2023] plug-in api 升级，放出：[搜索结果数量、prompt 前缀和 tf-idf, embedding mixture weights](#tigerbot-api)\n- [6\u002F13\u002F2023] 模型已支持更迅速的[本地下载](#模型下载)\n- [6\u002F13\u002F2023] TigerBot now is on QQ! [基于本地知识库的 TigerBot 大语言模型 qq 群知识库 bot 应用实现](#开发者生态)，感谢\n  @wordweb ！\n- [6\u002F09\u002F2023] 新增 stream infer 和 web demo，感谢 @Tlntin ！\n- [6\u002F08\u002F2023] TigerBot 已经可以在[colab, windows, langchain 和 webui](#开发者生态)上跑啦，感谢 @wordweb @runfuture !\n\n## 目录\n\n- [环境安装](#环境安装)\n- [模型下载](#模型下载)\n- [推理](#推理)\n- [训练](#训练)\n- [测评](#测评)\n- [开源数据集](#开源数据集)\n- [Tigerbot API](#tigerbot-api)\n- [其他](#其他)\n\n## 环境安装\n\n```bash\n\nconda create --name tigerbot python=3.8\nconda activate tigerbot\nconda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia\n\ngit clone https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\ncd TigerBot\npip install -r requirements.txt\n```\n\n## 模型下载\n\n| Model             | Version                                                                                                                                             | Architecture | Disk size (GB) | Note                         |\n| ----------------- |-----------------------------------------------------------------------------------------------------------------------------------------------------| ------------ | -------------- |------------------------------|\n| tigerbot-70b-base | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 129           | From llama-2-70b weights     |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 129           | From llama-2-70b weights     |\n| tigerbot-70b-chat | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch\u002Ftigerbot-70b-chat-v6)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FTigerResearch\u002Ftigerbot-70b-chat-v6\u002Fsummary)] | llama-2      | 129           | From tigerbot-70b-base v2    |\n|                   | v4-4k [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                          | llama-2      | 129           | From tigerbot-70b-base v2    |\n|                   | v4 [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 129           | From tigerbot-70b-base v2    |\n|                   | v3 [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 129           | From tigerbot-70b-base v1    |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 129           | From tigerbot-70b-base v1    |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 129           | From tigerbot-70b-base v1    |\n| tigerbot-70b-chat-4bit | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 37           | From tigerbot-70b-chat v6    |\n|                        | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 37           | From tigerbot-70b-chat v4    |\n|                        | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 37           | From tigerbot-70b-chat v3    |\n|                        | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 37           | From tigerbot-70b-chat v2    |\n|                        | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 37           | From tigerbot-70b-chat v1    |\n| tigerbot-13b-base | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From llama-2-13b weights     |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From llama-2-13b weights     |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 26.6           | From llama-2-13b weights     |\n| tigerbot-13b-chat | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch\u002Ftigerbot-13b-chat-v6)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FTigerResearch\u002Ftigerbot-13b-chat-v6\u002Fsummary)] | llama-2      | 26.6           | From tigerbot-13b-base v3    |\n|                   | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From tigerbot-13b-base v3    |\n|                   | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From tigerbot-13b-base v3    |\n|                   | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From tigerbot-13b-base v2    |\n|                   | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 26.6           | From tigerbot-13b-base v2    |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 26.6           | From tigerbot-13b-base v2    |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 26.6           | From tigerbot-13b-base v1    |\n| tigerbot-13b-chat-4bit | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 11.5           | From tigerbot-13b-chat v6    |\n|                        | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 11.5           | From tigerbot-13b-chat v5-4k |\n|                        | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 11.5           | From tigerbot-13b-chat v4    |\n| tigerbot-7b-base  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 13.9           | From llama-2-7b weights      |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom        | 16.2           | From bloom weights           |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom        | 16.2           | From bloom weights           |\n| tigerbot-7b-chat  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2      | 13.9           | From tigerbot-7b-base v3     |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom        | 16.2           | From tigerbot-7b-base v2     |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom        | 16.2           | From tigerbot-7b-base v1     |\n| tigerbot-7b-chat-8bit  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 10.8           | From tigerbot-7b-chat v3     |\n| tigerbot-7b-chat-4bit  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2      | 6.5           | From tigerbot-7b-chat v3     |\n| tigerbot-180b-base | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | bloom        | 347.6          | From bloom weights           |\n| tigerbot-180b-chat | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | bloom        | 347.6          | From tigerbot-180b-chat v2   |\n|                    | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom        | 347.6          | From bloom weights           |\n\n\n## 推理\n\n### CLI\n\n```shell\nCUDA_VISIBLE_DEVICES=0 python infer.py --model_path tigerbot-13b-chat --max_input_length 1024 --max_generate_length 1024 --streaming True\n```\n\n参数：\n\n- `--model_path`: 模型路径\n- `--model_type=chat`: base\u002Fchat\n- `--max_input_length=1024`: 最大输入长度\n- `--max_generate_length=1024`: 最大输出长度\n- `--rope_scaling=None`: 长度外推方法(dynamic\u002Fyarn supported now)\n- `--rope_factor=8.0`: 外推参数\n- ~~`--streaming`: 流式输出~~\n\n输入 `clear` 可以清空对话历史，输入 `exit` 终止推理对话。\n\n\u003Cp width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_1143060bd1c6.jpeg\" alt=\"命令行推理\" style=\"width: 100%; min-width: 200px;\">\n\u003C\u002Fp>\n\n### WebPage\n\n```\nexport PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fweb_demo.py -- --model_path tigerbot-13b-chat\n```\n启动量化模型的web_demo\n```\nexport PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fexllamav2_web_demo.py -- --model_path TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2\n```\n\n参数同CLI启动参数\n\n### 本地API\n\nCLI\u002FWebPage均为demo性质。[TGI](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference)实现了混合batch，request\nqueue等工程特性，如有大量推理需求，推荐通过TGI镜像提供服务。\n\n```shell\ndocker run --gpus '\"device=0,1,2,3\"' -d -p 8080:80 -v PATH-TO-MODEL-DIR:\u002Fmodel ghcr.io\u002Fhuggingface\u002Ftext-generation-inference:1.1.1 --model-id \u002Fmodel --max-total-tokens=1024 --max-input-length=1024 --max-batch-prefill-tokens=1024\n```\n\n请根据模型规模与硬件情况选择合适的参数。一般来说7B\u002F13B需要A100 40G * 1，70B需要A100 * 4。\n\n注意，TGI部署服务，生成控制参数需要在每个请求中控制。\n\n### 量化\n\n#### exllamav2量化推理\n\n使用[exllamav2](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2a)加载[TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2]进行推理，推理速度加快\n\n```\n# 安装exllamav2\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\n\n#  启动推理\nCUDA_VISIBLE_DEVICES=0 python other_infer\u002Fexllamav2_hf_infer.py --model_path ${MODEL_PATH}\n```\n\n`MODEL_PATH`为量化模型路径，如 `TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2`\n\n使用以上量化方式，请将transformers、bitsandbytes等包升级到最新版（目前transformers==4.33.1和bitsandbytes==0.41.1可以正常使用）\n\n```\npip install -U transformers bitsandbytes\n```\n\n#### 动态量化模型加载\n\n此方式为在线量化与推理\n\n```\nCUDA_VISIBLE_DEVICES=0 python other_infer\u002Fquant_infer.py --model_path ${MODEL_DIR} --wbit 8\n```\n\n## 训练\n\n### 预训练\n\n启动训练前安装 DeepSpeed\n\n```\ngit clone git@github.com:microsoft\u002FDeepSpeed.git\ncd DeepSpeed\nrm -rf build\nTORCH_CUDA_ARCH_LIST=\"8.0\" DS_BUILD_CPU_ADAM=1 DS_BUILD_UTILS=1 pip install . \\\n--global-option=\"build_ext\" --global-option=\"-j8\" --no-cache -v \\\n--disable-pip-version-check 2>&1 | tee build.log\n```\n\nTORCH_CUDA_ARCH_LIST 根据你运行的 GPU 架构做调整，获取 TORCH_CUDA_ARCH_LIST\n\n```\nCUDA_VISIBLE_DEVICES=0 python -c \"import torch; print(torch.cuda.get_device_capability())\"\n```\n\n如果返回的结果是(8, 0)，那么 TORCH_CUDA_ARCH_LIST=\"8.0\"\n\n#### 启动训练\n\n启动`tigerbot-7b`训练至少需要 1 x A100 (40GB), 启动`tigerbot-180b`至少需要 16 x A100 (40GB)\n\n```\ndeepspeed \\\n--include=\"localhost:0,1,2,3\" \\\n.\u002Ftrain_clm.py \\\n--deepspeed .\u002Fds_config\u002Fds_config_zero3.json \\\n--model_name_or_path TigerResearch\u002Ftigerbot-7b-base \\\n--dataset_name TigerResearch\u002Fdev_pretrain \\\n--do_train \\\n--output_dir .\u002Fckpt-clm \\\n--overwrite_output_dir \\\n--preprocess_num_workers 8 \\\n--num_train_epochs 5 \\\n--learning_rate 1e-5 \\\n--evaluation_strategy steps \\\n--eval_steps 10 \\\n--bf16 True \\\n--save_strategy steps \\\n--save_steps 10 \\\n--save_total_limit 2 \\\n--logging_steps 10 \\\n--tf32 True \\\n--per_device_train_batch_size 2 \\\n--per_device_eval_batch_size 2\n```\n\n### 微调\n\n#### 启动训练\n\n```\ndeepspeed \\\n--include=\"localhost:0,1,2,3\" \\\n.\u002Ftrain_sft.py \\\n--deepspeed .\u002Fds_config\u002Fds_config_zero3.json \\\n--model_name_or_path TigerResearch\u002Ftigerbot-7b-base \\\n--dataset_name TigerResearch\u002Fdev_sft \\\n--do_train \\\n--output_dir .\u002Fckpt-sft \\\n--overwrite_output_dir \\\n--preprocess_num_workers 8 \\\n--num_train_epochs 5 \\\n--learning_rate 1e-5 \\\n--evaluation_strategy steps \\\n--eval_steps 10 \\\n--bf16 True \\\n--save_strategy steps \\\n--save_steps 10 \\\n--save_total_limit 2 \\\n--logging_steps 10 \\\n--tf32 True \\\n--per_device_train_batch_size 2 \\\n--per_device_eval_batch_size 2\n```\n\n## 测评\n\n我们使用经典的中英文benchmark自动评测，共13项任务，涵盖代码，常识推理，阅读理解，数学，自然语言理解等。我们基于opencompass建立自动评测体系（感谢@opencompass）\n\n```\n# 安装\ncd opencompass\npip install -e .\n\n# 下载数据集到 data\u002F 处\nwget https:\u002F\u002Fgithub.com\u002FInternLM\u002Fopencompass\u002Freleases\u002Fdownload\u002F0.1.1\u002FOpenCompassData.zip\nunzip OpenCompassData.zip\n\n#运行测评任务：\nCUDA_VISIBLE_DEVICES=0,1,2 python run.py configs\u002Feval_tigerbot_13b.py -w outputs\u002Ftigerbot-13b-base\n```\n\n总分为各类任务的平均分\n\nchat模型测评结果\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_bfa7379b8150.png)\n\nbase模型测评结果\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_c9dd137b88ef.png)\n\n## 开源数据集\n\n### 预训练数据\n\n\u003Cdetails>\n基于 GPT3 的 pretrain 的数据分布，采集中文书籍，互联网，和百科类数据，并通过数据源质量分过滤和 tf-idf soft deduping，从 20TB 数据过滤到 2TB，保持语言和类目的比例，并在此基础上随机抽样 100G 数据开源：\n\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fpretrain_zh>中文开源预训练集 -\n  55G，包含中文书籍、中文互联网、中文百科 - 下载 [hugging face]\u003C\u002Fa>\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fpretrain_en>英文开源预训练集 -\n  51G，包含英文书籍、英文互联网、英文百科 - 下载 [hugging face]\u003C\u002Fa>\n\n  | 类型       | 磁盘占用 | 来源 |\n    | ---------- | -------- | ---- |\n  | 中文书籍   | 12G      | 自研 |\n  | 中文互联网 | 25G      | 自研 |\n  | 中文百科   | 19G      | 自研 |\n  | 英文书籍   | 22G      | 开源 |\n  | 英文互联网 | 6.9G     | 开源 |\n  | 英文百科   | 22G      | 开源 |\n  | **总量**   | **106G** |      |\n\n- 完整预训练数据占比如图所示:\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_28acf747c69e.png\" alt=\"Tiger\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- 中文书籍及代码细分:\n\n\u003Cp width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_35dcd56b989f.png\" alt=\"中文书籍分类\" style=\"width: 50%; min-width: 200px;\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f1db22d33f66.png\" alt=\"代码语言\" style=\"width: 50%; min-width: 200px;\">\n\u003C\u002Fp>\n\u003C\u002Fdetails>\n\n### 微调数据\n\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据搜集\u003C\u002Fb>\u003C\u002Fsummary>\n\n模型中使用的微调数据的搜集思想如下：\n\na. 从用户指令的自然分布，人工标注总结 10 大类，120 小类任务，例如，事实性问答，开放式创作，语法分析，代码编辑等；\n\nb. self-instruct: 参考 Alpaca self-instruct 方法，扩充中英文 seed_tasks，增加一些中文习惯种子问题，基于此生成 2M 中文(本次开源\n0.5M)及 0.1M 英文(本次开源 50k)；\n\nc. human-labeling: 基于人工写题及答案、网络搜集方式，整理加工问答集数据，在开源列表中标识为[自研]部分，本次开放部分数据；\n\nd. open-source data cleaning: 基于各类公开数据集转换清洗，其中[自研*]部分，表示基于原始数据进行二次开发后得到，[开源]\n部分数据集一般原始数据即为较规整的问答数据，进行简单清洗得到；\n\ne. 总的数据分布符合用户指令自然分布。\n\n\u003C\u002Fdetails>\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据清洗\u003C\u002Fb>\u003C\u002Fsummary>\n- 由于各类数据质量存在差异，通过 Alpaca Self-Instruct 生成的数据亦存在各种问题。因此，我们经过细致的人工校验和分类，总结出一套全面且系统化的数据清洗规则与方法。\n- 整体规则可以划分为**过滤类规则**和**清洗类规则**两大类。其中，命中过滤规则的数据项将被弃用，而清洗规则旨在处理并保留所需的数据。\n- 同时，在数据梳理与积累的过程中，我们也不断对清洗规则进行迭代和优化。\n- 通用清洗规则描述如下所示：\n\na. 过滤类-敏感词规则：基于积累的敏感词库，清洗丢弃涉政、涉黄、涉暴、涉恐等数据项；\n\nb. 过滤类-无效输入输出：此类规则主要针对 Self-Instruct 生成数据缺陷进行专项清理，根据输入输出分别制定规则，以丢弃一些无效的数据项；\n\n> 无效输入如\"\u003C一段文本>\"，无效输出如\"[图画]\"；\n\nc. 清洗类-关键词规则：根据整理的关键词\u002F正则列表进行数据的替换，包括：清理特殊标志位字符、清理非可见字符、清理标签、繁简转换等；\n\nd. 清洗类-特殊逻辑规则：此类规则用于清洗一些特殊现象数据，如指令与输入重复等，如下所示：\n\n> `{\"instruction\": \"描述如何做一道红烧肉。请提供食材和详细的步骤。\", \"input\": \"请描述如何做一道红烧肉，提供食材和详细步骤。\", ...}`\n\n\u003C\u002Fdetails>\n\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据开源\u003C\u002Fb>\u003C\u002Fsummary>\n- 指令数据集, 当前开源 120W 问答对，磁盘空间 1.1G (数据集开放到 huggingface，中英文指令明细及下载如下表）\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fsft_zh>中文-微调指令集-合集 - 53W 条 - 下载 [hugging face]\u003C\u002Fa>\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fsft_en>英文-微调指令集-合集 - 67W 条 - 下载 [hugging face]\u003C\u002Fa>\n\n| 类型        | 语言 | 数据集                                                                                                                              | 数量         | 来源   |\n|-----------|----|----------------------------------------------------------------------------------------------------------------------------------|------------|------|\n| alpaca 中文 | 中文 | [tigerbot-alpaca-zh-0.5m](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-alpaca-zh-0.5m)                                 | 0.5m       | 自研   |\n| 百科问答      | 中文 | [tigerbot-wiki-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-qa-zh-1k)                                      | 1k         | 自研   |\n| 名著问答      | 中文 | [tigerbot-book-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-book-qa-1k)                                         | 1k         | 自研   |\n| 猜谜语       | 中文 | [tigerbot-riddle-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-riddle-qa-1k)                                     | 1k         | 自研   |\n| 阅读理解      | 中文 | [tigerbot-superclue-c3-zh-5k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-superclue-c3-zh-5k)                         | 5k         | 自研\\* |\n| 问答        | 中文 | [tigerbot-HC3-zh-12k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-HC3-zh-12k)                                         | 12k        | 开源   |\n| 知乎问答      | 中文 | [tigerbot-zhihu-zh-10k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-zhihu-zh-10k)                                     | 10k        | 开源   |\n| alpaca 英文 | 英文 | [tigerbot-alpaca-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-alpaca-en-50k)                                   | 50k        | 自研   |\n| 头脑风暴      | 英文 | [tigerbot-dolly-Brainstorming-en-1.7k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-dolly-Brainstorming-en-1.7k)       | 1.7k       | 开源   |\n| 分类        | 英文 | [tigerbot-dolly-Classification-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-dolly-Classification-en-2k)         | 2k         | 开源   ｜\n| 代码        | 英文 | [tigerbot-kaggle-leetcodesolutions-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-kaggle-leetcodesolutions-en-2k) | 2k         | 自研\\* |\n| 食谱生成      | 英文 | [tigerbot-kaggle-recipes-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-kaggle-recipes-en-2k)                     | 2k         | 开源   |\n| 病历生成      | 英文 | [tigerbot-mt-note-generation-en](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-mt-note-generation-en)                   | 450        | 开源   |\n| 多轮对话      | 英文 | [tigerbot-OIG-multichat-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-OIG-multichat-en-50k)                     | 50k        | 自研\\* |\n| 综合问答      | 英文 | [tigerbot-stackexchange-qa-en-0.5m](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-stackexchange-qa-en-0.5m)             | 0.5m       | 开源   |\n| wiki 问答   | 英文 | [tigerbot-wiki-qa-bart-en-10k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-qa-bart-en-10k)                       | 10k        | 开源   |\n| 如何做类教程    | 英文 | [tigerbot-youtube-howto-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-youtube-howto-en-50k)                     | 50k        | 开源   |\n| **总量**    |    |                                                                                                                                  | **120W 条** |\n\n> 更多数据集陆续整理开放中...\n\n\u003C\u002Fdetails>\n\n### 领域数据\n\n\u003Cdetails>\n  开放金融、法律、百科相关领域数据，作为 rethink 外部数据源\n\n| 类型                                                                              | 数量           |\n|---------------------------------------------------------------------------------|--------------|\n| [金融-研报](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-research-plugin) | 2W 篇         |\n| [金融-财报](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-earning-plugin)  | 2500 篇       |\n| [法律](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-law-plugin)         | 11 类 5.5W 条款 |\n| [百科](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-plugin)        | 10W 词条       |\n\n\u003C\u002Fdetails>\n\n## Tigerbot API\n\n\u003Cdetails>\n\n### [chat](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_9303ee00898d.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_6477d161ec09.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [plugin](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fplugin)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_7781caa1e190.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [finetune](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Ffinetune)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cec79d87ab18.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [embedding](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fembedding)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_a9d9a67d9bd1.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [summarization](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fsummarization)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5a1a1563e18a.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [pdf2text](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fpdf2text)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_d50b701d9740.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [text2image](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Ftext2image)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_bce309369ff6.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\u003C\u002Fdetails>\n\n## 其他\n\n\u003Cdetails>\u003Csummary>\u003Cb>案例\u003C\u002Fb>\u003C\u002Fsummary>\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_e657752d0834.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_dcd4970b4d40.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cee41385e5f9.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_4ce99f3d248d.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_540a9df82bbb.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5ba184419760.png)\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>开发者生态\u003C\u002Fb>\u003C\u002Fsummary>\n\n- [使用 TigerBot 和 Svelte 框架制作的聊天机器人，可快速打包成桌面应用](https:\u002F\u002Fgithub.com\u002FSaraiQX\u002Ftigerbot-svelte-app)\n- [基于本地知识库的 TigerBot 大语言模型 qq 群知识库 bot 应用实现](https:\u002F\u002Fgithub.com\u002Fwordweb\u002FTiger-qq-bot)\n- [基于本地知识库的 TigerBot、ChatGLM 等大语言模型应用实现](https:\u002F\u002Fgithub.com\u002Fwordweb\u002Flangchain-ChatGLM-and-TigerBot)\n- [Run TigerBot on Colab](https:\u002F\u002Fgithub.com\u002Frunfuture\u002Ftigerbot\u002Fblob\u002Fmain\u002Ftest_tigerbot_7b_sft_4bit_128g.ipynb) - Colab\n  版本体验 TigerBot\n- [Run TigerBot on Windows](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Ru411a7Kq\u002F) - 在 Windows 系统上使用 TigerBot\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>加入我们\u003C\u002Fb>\u003C\u002Fsummary>\n\n#### 产品链接\n\nhttps:\u002F\u002Fwww.tigerbot.com\n\n#### 联系电话\n\n021-63888086\n\n#### 联系邮箱\n\n\u003Cp>cong.fu@tigerbot.com\u003C\u002Fp>\n\u003Cp>wei.cai@tigerbot.com\u003C\u002Fp>\n\n#### 微信讨论群\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_b8b7d8fe4e61.png\" alt=\"Tiger\" style=\"width: 260px;  \">\u003C\u002Fa>\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>局限性与免责声明\u003C\u002Fb>\u003C\u002Fsummary>\n当前模型可能存在生成幻觉、误导性、或歧视性内容。请谨慎使用 TigerBot 系列模型生成的内容，请勿将生成的有害内容进行传播。\n如需将模型公开使用或者商用，模型服务所产生的不良影响或者有害言论由服务方负责，本项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。\n\u003C\u002Fdetails>\n","# TigerBot\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_0c6722a6c278.png\" alt=\"Tiger\" style=\"width: 20%; display: block; margin: auto;\">\u003C\u002Fimg>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cfont face=\"黑体\" color=orange size=5\"> 您专属的前沿大模型基础。 \u003C\u002Ffont>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cfont face=\"黑体\" color=orange size=5\"> 以世界级的基础大模型，贡献于中国式的创新。 \u003C\u002Ffont>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n🌐 \u003Ca href=\"https:\u002F\u002Ftigerbot.com\u002F\" target=\"_blank\">TigerBot\u003C\u002Fa> • 🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FTigerResearch\" target=\"_blank\">Hugging Face\u003C\u002Fa> • 💻\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch\" target=\"_blank\">ModelScope\u003C\u002Fa>\n\u003C\u002Fp>\n\u003Cdiv align=\"center\">\n\n[![evaluation](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOpenCompass-Support-royalblue.svg)](https:\u002F\u002Fgithub.com\u002FinternLM\u002FOpenCompass\u002F)\n\n\u003C\u002Fdiv>\n\u003Ch4 align=\"left\">\n    \u003Cp>\n        \u003Cb>中文\u003C\u002Fb> |\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002FREADME_en.md\">English\u003C\u002Fa>\n    \u003Cp>\n\u003C\u002Fh4>\n\n## 最新发布\n\n- [12\u002F28\u002F2024] 虎博TigerBot发布全球首个中文临床术语体系——MedCT (Medical Clinical Terminology)，以及相应的医疗NER模型和医疗基础模型，在中英文医疗NER任务中均取得新SOTA，同时发布真实临床标注数据。\n\n\t- [MedCT Github](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FMedCT)  \n\t- [MedCT Huggingface](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FTigerResearch\u002Fmedct-6744641d6f19b9d70a56f848)\n\t\n- [06\u002F01\u002F2024] 虎博TigerBot产品升级：搜索模式(search augmented)增加信息源链接。\n\n\u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_1ef68c5d39e8.jpg\" alt=\"search-link\" style=\"width: 80%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\n- [03\u002F18\u002F2024] 虎博TigerBot升级，支持100K上下文长度 (70b and 13b chat) :fire: [[models](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]；TigerBot医疗大模型被AAAI 2024 Spring Symposium on Clinical Foundation Models录取 [[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.00868)]。\n  ```shell\n  # 可以根据实际硬件情况调整max_input\u002Fgenerate_length\n  export PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fweb_demo.py -- --model_path tigerbot-70b-chat-v6 --rope_scaling yarn --rope_factor 8 --max_input_length 37888 --max_generate_length 62112\n  ```\n\n- [01\u002F18\u002F2024] 新一代的TigerBot基座模型训练了我们认为最大最高质量的中文数据。为了验证，我们做了个有趣的测试：我们让Tigerbot-70b-chat和GPT-4-Turbo对战40局成语接龙，各先出20局。每局中无法成功接龙成语者输（以权威成语词典为准），比分 Tigerbot:GPT-4 = 24:16。\n基于此，Tigerbot发布第一款基于大模型的小游戏[[TigerBot成语接龙](https:\u002F\u002Fh5.tigerbot.com\u002Fidiom-superman?access_source=jielong)]，移动端扫如下二维码参与，有机会赢取顶配iPhone Pro Max. :fire:\n\n\t- 大模型的生成能力、世界知识、和随机性可以增加文字类游戏的可玩性和知识性，\n\t- 适合的prompt激发出大模型的底层知识，即完成的游戏引擎的开发，\n\t- 前端设计好游戏的互动性和即时反馈便可完成一款可玩的小游戏。\n\t\n  \u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cafd985f120a.jpg\" alt=\"tigerbot-idiom\" style=\"width: 30%; display: block; margin: auto;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f8fc49dc7bf4.jpg\" alt=\"tigerbot-idiom2\" style=\"width: 30%; display: block; margin: auto;\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5bc4839996ff.jpg\" alt=\"tigerbot-idiom3\" style=\"width: 30%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\t\n\n- [12\u002F29\u002F2023] Tigerbot发表技术报告（arXiv preprint），分享我们在大模型狂飙和应用落地方面的一些技术细节和浅见 :fire: [[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.08688)]\n\n- [12\u002F08\u002F2023] Tigerbot family新版模型发布，bigger and better :fire: [[模型下载](#模型下载)][[测评](#测评)]\n\n\t- Tigerbot-70b base (v2) and chat (v4)更新，chat模型综合能力比上一版提升19%；\n\t- Tigerbot-13b base (v3) and chat (v5)更新，chat模型综合能力比上一版提升16%；\n\t- Tigerbot-180b base and chat (v2)更新，base模型优于Bloom 7%, chat模型优于Bloomz\u002FBloomz-mt 20%；\n\t- 训练数据：500B tokens预训练数据，知识截止到2023年8月。更多优质数据，包括：万卷，arXiv, 中文教科书，法律和专利等领域数据；\n\t- 序列长度：70b-chat和13b-chat均推出4k长度训练版本，推理可外推到32k；\n\t- 训练方法：预训练优化了TP\u002FPP算法，对齐采用了grouped sft, rejection-sampling，dpo (稍后会分享技术报告)；\n\t- 全线产品(web, app, 小程序)和api均升级到最新最强的Tigerbot-70b-chat-v4-4k，产品端增加了search (搜索增加) and document (文件增强) RAG功能。\n\n\n- [10\u002F19\u002F2023] Long(16k)-Tigerbot 发布\n\n    - Tigerbot-13\u002F70B web\u002Fapi接口支持16k-token长度（约为20k字符，或20页的pdf或word文档，paper类的可直接作为context输入）。\n    - 基于[YaRN](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.00071.pdf)方法，推理时对RoPE表示进行“高频维度不变，低频维度插值”的方式外推，以达到处理长序列的目的。\n    - Tigerbot优化了TGI框架，为每个请求根据输入序列长度与最大生成序列长度单独计算cos\u002Fsin值，同时保证总长度不大于2048时的效果不变，因此API用户需要选择一个更合适的max_new_token参数，并且不同的max_new_token参数可能会导致不同的结果。\n    - Tigerbot后续将会在训练阶段继续优化对长序列的支持。\n\n- [9\u002F27\u002F2023] Tigerbot-70b-chat-api发布function\n  calling功能: [[tech report](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot%E5%BC%80%E6%94%BE%E5%87%BD%E6%95%B0%E8%B0%83%E7%94%A8%E8%83%BD%E5%8A%9B%EF%BC%8C%E6%89%93%E5%BC%80agent%E7%9A%84%E6%97%A0%E9%99%90%E5%8F%AF%E8%83%BE)][[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n    - {user prompt, functions def} --> TigerBot --> 3rd party API --> TigerBot --> natural answers with accurate\n      results.\n    - Tigerbot训练并没有专门使用function calling类的结构化抽取数据，但已经呈现出不错的理解和抽取能力，所以我们相信经过领域数据微调，function\n      calling的表现会接近生产可用。\n\n- [9\u002F26\u002F2023] Tigerbot-70b-chat(v3)和Tigerbot-13b-chat(v4)更新发布: [[模型下载](#模型下载)]\n\n    - smaller batch for finer-grained gradient updates, global_batch_size=66 (pretrain_gbs=1920, v2_gbs=240).\n      我们认为，在高质量数据的前提下，对齐微调的gbs可以到~100K tokens, 更dense的updates和更充分的steps，导致更低的loss（如下图train\n      and validation loss）。\n    - 增加了高质量对其数据，更好的多样性、丰富度和格式；根据前期用户反馈，去除了原对齐数据中的一些已知脏数据和不符合自然用户习惯的prompts数据；\n    - 在10+项基准评测中，综合能力均超过上一版本和Llama-2，达到SOTA.\n\n  \u003Cdiv style=\"display: flex; justify-content: space-between;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_253b731ece1a.jpg\" alt=\"tigerbot-70b-chat-v3 train loss\" style=\"width: 40%; display: block; margin: auto;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_e95e64e64d81.jpg\" alt=\"tigerbot-70b-chat-v3 validation loss\" style=\"width: 40%; display: block; margin: auto;\">\n  \u003C\u002Fdiv>\n\n- [9\u002F15\u002F2023] Tigerbot-70b-chat(v2)和Tigerbot-13b-chat(v3)更新发布: [[模型下载](#模型下载)]\n\n    - 用更少但更高质量的数据，约5M指令完成数据，覆盖100+任务类型，符合自然用户分布；\n    - 用10K人类标注数据进行多维度对齐，包括：事实性，创造性，丰富性，安全性和格式等；\n    - 在10+项基准评测中，中英文综合能力均超过上一版本和Llama-2，达到SOTA.\n\n  \u003Cp align=\"center\" width=\"100%\">\n   \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_a140eac45257.jpg\" alt=\"tigerbot-70b-chat example\" style=\"width: 80%; display: block; margin: auto;\">\n  \u003C\u002Fp>\n\n- [9\u002F06\u002F2023]\n  Tigerbot-70b发布，继续开源和免费商用: [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot%E2%80%9070B%E5%8F%91%E5%B8%83%EF%BC%81)][[模型下载](#模型下载)]:\n  fire:\n\n    - Tigerbot-70b-base: 在Llama-2-70b的基础上继续预训练，模型综合能力在mmlu等10项主流基准测试中，优于Llama-2-70b，达到业内SOTA；\n        - 用高质量的300 billion tokens的多语言数据,\n        - 算法上使用了GQA, flash-attn, RoPE，holistic-training等技术,\n        - 训练采用了 tensor\u002Fpipeline-partition 技术，计算效率达到 Llama-2 paper 中 reported SOTA;\n    - Tigerbot-70b-chat: 在Tigerbot-70b-base基础上，用20M指令完成数据进行 sft，和10K人类标注的 gold\n      set进行 rejection-sampling 对齐；\n    - 同步开放 Tigerbot-70b-chat-api，继续对教育和科研开发者免费。\n    \u003Cp align=\"center\" width=\"100%\">\n  \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_2e73ce4a67ca.jpg\" alt=\"tigerbot 70b eval\" style=\"width: 60%; display: block; margin: auto;\">\u003C\u002Fa>\n   \t\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f74d8ba8b1fd.jpg\" alt=\"tigerbot loss curve\" style=\"width: 30%; display: block; margin: auto;\">\u003C\u002Fa>\n  \u003C\u002Fp>\n\n- [8\u002F25\u002F2023]\n  TigerBot更新13b-base模型: [[模型下载](#模型下载)][[测评](#测评)]\n\n    - TigerBot-13B-base: 增加了一倍训练数据，至600B\n      tokens，定向增加了高质量中英文数学推理类和科学文献类数据，优化了中文网络数据的清洗（在格式、口语、知识性等方面）。在13项主流基准评测中，英文综合能力优于 Llama-2-13b\n      5%，中文超30%. [[测评](#测评)]\n      ![image](image\u002Feval_base.jpg)\n    - 开放了基于[opencompass](https:\u002F\u002Fgithub.com\u002FInternLM\u002Fopencompass)\n      的自动评测体系，以提倡 reproducibility. [[测评](#测评)]\n\n- [2023年8月21日] TigerBot发布7B和13B基础\u002F对话模型：[[模型下载](#模型下载)][[测评](#测评)]\n\n    - TigerBot-7B-base：基于Llama-2-7B增量预训练了300B tokens，补充了Llama-2在中文、代码和推理等方面的数据不足，并采用了整体训练方法；在13项中英文主流基准测试中，性能比Llama-2-7B高出33%，领先于国内外同类开源模型；\n    - TigerBot-7B-chat：基于TigerBot-7B-base，使用20M涵盖多任务的数据进行指令微调（SFT）和拒绝采样对齐（RS-HIL）；在13项中英文主流基准测试中，性能比Llama-2-7B-chat高出29%，同样领先于国内外同类开源模型；\n    - TigerBot-13B-chat：基于TigerBot-13B-base，使用20M涵盖多任务的数据进行指令微调（13B-v1使用了5M数据），并在中英文能力上做了更好的权衡；在13项中英文主流基准测试中，性能比Llama-2-13B-chat高出15%，领先于国内外同类开源模型；\n    - 以上tigerbot-api也同步更新 [[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference)]。\n\n- [2023年8月19日]\n  TigerBot推理（tigerbot.com和tigerbot-api）启用 [TGI](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference)，达到3x\n  QPS和2x 响应速度。\n\nhttps:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fassets\u002F32117316\u002F0a8c11b9-6a10-4e37-80e8-45b482e76c51\n\n- [2023年8月8日] TigerBot 2023.08 (V3) 发布：\n  虎博很高兴地发布TigerBot-13B大模型，在Llama-2的基础上以虎博积累的技术和数据继续训练，不但保持了Llama-2出色的英文能力，更是在中文能力上填补了Llama-2的不足，各项主流中文任务中超过Llama-2的49%，在开源同类模型中具有竞争力。:\n  fire: [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerbot%E2%80%9013B-is-All-You-Need)]\n\n    - TigerBot-13B-base：基于Llama-2-13B继续预训练300B tokens，扩充了中文词表到60K词汇量，并采用整体训练方法，在预训练中直接使模型具备九成的指令完成能力。在主流英文基准测试中超过Llama-2-13B-base的7%，在中文测试中综合能力超过Llama-2-13B-base的49%，在国内外主流开源基座模型中处于领先位置。[[测评](#测评)][[模型下载](#模型下载)]\n    - TigerBot-13B-chat：基于TigerBot-13B-base用5M指令数据微调，并采用拒绝采样微调来对齐人类需求。在主流英文基准测试中达到Llama-2-13B-chat的101%，在中文测试中综合能力超过Llama-2-13B-chat的47%，在国内外主流开源模型中亦处于领先地位。聊天模型可以通过`python infer.py --model_path TigerResearch\u002Ftigerbot-13b-chat`\n      使用。[[测评](#测评)][[模型下载](#模型下载)]\n    - TigerBot-API：聊天和摘要API\n      将自动升级到TigerBot-13B-chat，对科研教育用户免费，对商用开发者保持价格不变。[[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference)]\n\n- [2023年8月3日] TigerBot 兼容 OpenAI\n  接口。[[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat?codeLanguage=python-openai)]\n\n- [2023年7月26日] TigerBot 开放 search-api [[tigerbot-api](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fsearch)]\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5cc1b4996cd8.png\" alt=\"tigerbot search-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [2023年7月8日] TigerBot 2023.07 (V2)\n  发布 [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot-Version2)] :fire:\n\n    - tigerbot-7b-base (v2)，在1.5TB高质量数据上充分预训练（耗时4周，算力成本约300万），在中英文公开数据测评中优于\n      bloom\u002Fllama同等模型15-30%；[[测评](#测评)][[模型下载](#模型下载)]\n\n    - tigerbot-7b-sft (v2)，在base-v2基础上微调的sft-v2在2000万\u002F20G高质量清洗和配比的数据上充分训练，在9\n      项公开语料测评上优于sft-v1\n      9.3%；[[测评](#测评)][[模型下载](#模型下载)]\n\n      新模型可通过以下代码加载：\n\n      ```python\n      import transformers\n      \n      # 下载过旧版的用户需要指定`force_download=True`避免使用旧版缓存\n      model_sft = transformers.AutoModelForCausalLM.from_pretrained('TigerResearch\u002Ftigerbot-7b-sft', force_download=True)\n      model_base = transformers.AutoModelForCausalLM.from_pretrained('TigerResearch\u002Ftigerbot-7b-base', force_download=True)\n      ```\n\n    - tigerbot开启搜索模式，对接主流中英文搜索引擎，以及天气、股市、计算器等结构化工具，打开LLM+search的应用场景，同时开放\n      chat-api with internet search\n      开关；[[TigerBot带搜索模式（默认关闭）：earth_asia:](https:\u002F\u002Fwww.tigerbot.com\u002Fchat)][[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FTigerBot-upgraded-with-internet-search)]\n\n    - tigerbot开启流式生成模式，同时开放chat-api with streaming\n      开关；[[TigerBot](https:\u002F\u002Fwww.tigerbot.com\u002Fchat)][[TigerBot-API](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n    - tigerbot-api全新升级，开放LLM应用开发常用的api工具，包括：LLM（聊天、插件、微调）、文本（嵌入、摘要、pdf2text）、视觉（text2image）。[[TigerBot-API](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)]\n\n- [2023年6月27日] PEFT TigerBot与QLoRA：在单张3090显卡上使用QLoRA微调tigerbot-7b-sft，加速16倍，或减少\n  GPU3\u002F4，同时防止了对下游数据的过拟合。[[code](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002Ftrain\u002Ftrain_with_qlora.py)] [[paper](https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fwiki\u002FPEFT-TigerBot-7b-with-QLoRA,-building-an-domain-LLM-on-one-consumer-level-GPU-in-hours)][[模型下载](#模型下载)]\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_25dc05f413da.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [2023年6月26日] TigerBot现在可以在桌面端运行了！[使用TigerBot和Svelte框架制作的聊天机器人](#开发者生态)，感谢@SaraiQX！\n- [2023年6月20日] 如何在LangChain中用TigerBot的云端API替代OpenAI\n  来应用（\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\u002Fblob\u002Fmain\u002Fapps\u002Ftigerbot_chatapi.py\">示例代码\u003C\u002Fa>) 感谢\n  @wordweb！\n\n\u003Cp align=\"center\" width=\"100%\">\n\t\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_291dbfbadc96.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- [2023年6月13日] 插件API升级，新增：[搜索结果数量、prompt前缀以及tf-idf、embedding混合权重](#tigerbot-api)\n- [2023年6月13日] 模型已支持更迅速的[本地下载](#模型下载)\n- [2023年6月13日] TigerBot现在可以在QQ上运行了！[基于本地知识库的TigerBot大语言模型QQ群知识库bot应用实现](#开发者生态)，感谢\n  @wordweb！\n- [2023年6月9日] 新增stream infer和web demo，感谢@Tlntin！\n- [2023年6月8日] TigerBot已经可以在[colab、windows、langchain和webui](#开发者生态)上运行了，感谢@wordweb @runfuture！\n\n\n\n## 目录\n\n- [环境安装](#环境安装)\n- [模型下载](#模型下载)\n- [推理](#推理)\n- [训练](#训练)\n- [测评](#测评)\n- [开源数据集](#开源数据集)\n- [Tigerbot API](#tigerbot-api)\n- [其他](#其他)\n\n## 环境安装\n\n```bash\n\nconda create --name tigerbot python=3.8\nconda activate tigerbot\nconda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia\n\ngit clone https:\u002F\u002Fgithub.com\u002FTigerResearch\u002FTigerBot\ncd TigerBot\npip install -r requirements.txt\n```\n\n## 模型下载\n\n| 模型             | 版本                                                                                                                                             | 架构       | 磁盘大小 (GB) | 备注                         |\n| ----------------- |-----------------------------------------------------------------------------------------------------------------------------------------------------| ---------- | -------------- |------------------------------|\n| tigerbot-70b-base | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 129           | 基于 llama-2-70b 权重     |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 129           | 基于 llama-2-70b 权重     |\n| tigerbot-70b-chat | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch\u002Ftigerbot-70b-chat-v6)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FTigerResearch\u002Ftigerbot-70b-chat-v6\u002Fsummary)] | llama-2    | 129           | 基于 tigerbot-70b-base v2  |\n|                   | v4-4k [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                          | llama-2    | 129           | 基于 tigerbot-70b-base v2  |\n|                   | v4 [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 129           | 基于 tigerbot-70b-base v2  |\n|                   | v3 [[🤗]](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)[[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 129           | 基于 tigerbot-70b-base v1  |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 129           | 基于 tigerbot-70b-base v1  |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 129           | 基于 tigerbot-70b-base v1  |\n| tigerbot-70b-chat-4bit | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 37           | 基于 tigerbot-70b-chat v6  |\n|                        | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 37           | 基于 tigerbot-70b-chat v4  |\n|                        | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 37           | 基于 tigerbot-70b-chat v3  |\n|                        | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 37           | 基于 tigerbot-70b-chat v2  |\n|                        | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 37           | 基于 tigerbot-70b-chat v1  |\n| tigerbot-13b-base | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 llama-2-13b 权重     |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 llama-2-13b 权重     |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 26.6           | 基于 llama-2-13b 权重     |\n| tigerbot-13b-chat | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch\u002Ftigerbot-13b-chat-v6)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FTigerResearch\u002Ftigerbot-13b-chat-v6\u002Fsummary)] | llama-2    | 26.6           | 基于 tigerbot-13b-base v3  |\n|                   | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 tigerbot-13b-base v3  |\n|                   | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 tigerbot-13b-base v3  |\n|                   | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 tigerbot-13b-base v2  |\n|                   | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 26.6           | 基于 tigerbot-13b-base v2  |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 26.6           | 基于 tigerbot-13b-base v2  |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 26.6           | 基于 tigerbot-13b-base v1  |\n| tigerbot-13b-chat-4bit | v6 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 11.5           | 基于 tigerbot-13b-chat v6  |\n|                        | v5 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 11.5           | 基于 tigerbot-13b-chat v5-4k |\n|                        | v4 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 11.5           | 基于 tigerbot-13b-chat v4  |\n| tigerbot-7b-base  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 13.9           | 基于 llama-2-7b 权重      |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom      | 16.2           | 基于 bloom 权重           |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom      | 16.2           | 基于 bloom 权重           |\n| tigerbot-7b-chat  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | llama-2    | 13.9           | 基于 tigerbot-7b-base v3   |\n|                   | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom      | 16.2           | 基于 tigerbot-7b-base v2   |\n|                   | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom      | 16.2           | 基于 tigerbot-7b-base v1   |\n| tigerbot-7b-chat-8bit  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 10.8           | 基于 tigerbot-7b-chat v3   |\n| tigerbot-7b-chat-4bit  | v3 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | llama-2    | 6.5           | 基于 tigerbot-7b-chat v3   |\n| tigerbot-180b-base | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | bloom      | 347.6          | 基于 bloom 权重           |\n| tigerbot-180b-chat | v2 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)][[🤖](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FTigerResearch)]                                             | bloom      | 347.6          | 基于 tigerbot-180b-chat v2 |\n|                    | v1 [[🤗](https:\u002F\u002Fhuggingface.co\u002FTigerResearch)]                                                                                                     | bloom      | 347.6          | 基于 bloom 权重           |\n\n## 推理\n\n### CLI\n\n```shell\nCUDA_VISIBLE_DEVICES=0 python infer.py --model_path tigerbot-13b-chat --max_input_length 1024 --max_generate_length 1024 --streaming True\n```\n\n参数：\n\n- `--model_path`: 模型路径\n- `--model_type=chat`: base\u002Fchat\n- `--max_input_length=1024`: 最大输入长度\n- `--max_generate_length=1024`: 最大输出长度\n- `--rope_scaling=None`: 长度外推方法(dynamic\u002Fyarn supported now)\n- `--rope_factor=8.0`: 外推参数\n- ~~`--streaming`: 流式输出~~\n\n输入 `clear` 可以清空对话历史，输入 `exit` 终止推理对话。\n\n\u003Cp width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_1143060bd1c6.jpeg\" alt=\"命令行推理\" style=\"width: 100%; min-width: 200px;\">\n\u003C\u002Fp>\n\n### WebPage\n\n```\nexport PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fweb_demo.py -- --model_path tigerbot-13b-chat\n```\n启动量化模型的web_demo\n```\nexport PYTHONPATH='.\u002F' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps\u002Fexllamav2_web_demo.py -- --model_path TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2\n```\n\n参数同CLI启动参数\n\n### 本地API\n\nCLI\u002FWebPage均为demo性质。[TGI](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftext-generation-inference)实现了混合batch，request\nqueue等工程特性，如有大量推理需求，推荐通过TGI镜像提供服务。\n\n```shell\ndocker run --gpus '\"device=0,1,2,3\"' -d -p 8080:80 -v PATH-TO-MODEL-DIR:\u002Fmodel ghcr.io\u002Fhuggingface\u002Ftext-generation-inference:1.1.1 --model-id \u002Fmodel --max-total-tokens=1024 --max-input-length=1024 --max-batch-prefill-tokens=1024\n```\n\n请根据模型规模与硬件情况选择合适的参数。一般来说7B\u002F13B需要A100 40G * 1，70B需要A100 * 4。\n\n注意，TGI部署服务，生成控制参数需要在每个请求中控制。\n\n### 量化\n\n#### exllamav2量化推理\n\n使用[exllamav2](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2a)加载[TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2]进行推理，推理速度加快\n\n```\n# 安装exllamav2\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\n\n#  启动推理\nCUDA_VISIBLE_DEVICES=0 python other_infer\u002Fexllamav2_hf_infer.py --model_path ${MODEL_PATH}\n```\n\n`MODEL_PATH`为量化模型路径，如 `TigerResearch\u002Ftigerbot-70b-chat-v4-4bit-exl2`\n\n使用以上量化方式，请将transformers、bitsandbytes等包升级到最新版（目前transformers==4.33.1和bitsandbytes==0.41.1可以正常使用）\n\n```\npip install -U transformers bitsandbytes\n```\n\n#### 动态量化模型加载\n\n此方式为在线量化与推理\n\n```\nCUDA_VISIBLE_DEVICES=0 python other_infer\u002Fquant_infer.py --model_path ${MODEL_DIR} --wbit 8\n```\n\n## 训练\n\n### 预训练\n\n启动训练前安装 DeepSpeed\n\n```\ngit clone git@github.com:microsoft\u002FDeepSpeed.git\ncd DeepSpeed\nrm -rf build\nTORCH_CUDA_ARCH_LIST=\"8.0\" DS_BUILD_CPU_ADAM=1 DS_BUILD_UTILS=1 pip install . \\\n--global-option=\"build_ext\" --global-option=\"-j8\" --no-cache -v \\\n--disable-pip-version-check 2>&1 | tee build.log\n```\n\nTORCH_CUDA_ARCH_LIST 根据你运行的 GPU 架构做调整，获取 TORCH_CUDA_ARCH_LIST\n\n```\nCUDA_VISIBLE_DEVICES=0 python -c \"import torch; print(torch.cuda.get_device_capability())\"\n```\n\n如果返回的结果是(8, 0)，那么 TORCH_CUDA_ARCH_LIST=\"8.0\"\n\n#### 启动训练\n\n启动`tigerbot-7b`训练至少需要 1 x A100 (40GB), 启动`tigerbot-180b`至少需要 16 x A100 (40GB)\n\n```\ndeepspeed \\\n--include=\"localhost:0,1,2,3\" \\\n.\u002Ftrain_clm.py \\\n--deepspeed .\u002Fds_config\u002Fds_config_zero3.json \\\n--model_name_or_path TigerResearch\u002Ftigerbot-7b-base \\\n--dataset_name TigerResearch\u002Fdev_pretrain \\\n--do_train \\\n--output_dir .\u002Fckpt-clm \\\n--overwrite_output_dir \\\n--preprocess_num_workers 8 \\\n--num_train_epochs 5 \\\n--learning_rate 1e-5 \\\n--evaluation_strategy steps \\\n--eval_steps 10 \\\n--bf16 True \\\n--save_strategy steps \\\n--save_steps 10 \\\n--save_total_limit 2 \\\n--logging_steps 10 \\\n--tf32 True \\\n--per_device_train_batch_size 2 \\\n--per_device_eval_batch_size 2\n```\n\n### 微调\n\n#### 启动训练\n\n```\ndeepspeed \\\n--include=\"localhost:0,1,2,3\" \\\n.\u002Ftrain_sft.py \\\n--deepspeed .\u002Fds_config\u002Fds_config_zero3.json \\\n--model_name_or_path TigerResearch\u002Ftigerbot-7b-base \\\n--dataset_name TigerResearch\u002Fdev_sft \\\n--do_train \\\n--output_dir .\u002Fckpt-sft \\\n--overwrite_output_dir \\\n--preprocess_num_workers 8 \\\n--num_train_epochs 5 \\\n--learning_rate 1e-5 \\\n--evaluation_strategy steps \\\n--eval_steps 10 \\\n--bf16 True \\\n--save_strategy steps \\\n--save_steps 10 \\\n--save_total_limit 2 \\\n--logging_steps 10 \\\n--tf32 True \\\n--per_device_train_batch_size 2 \\\n--per_device_eval_batch_size 2\n```\n\n## 测评\n\n我们使用经典的中英文benchmark自动评测，共13项任务，涵盖代码，常识推理，阅读理解，数学，自然语言理解等。我们基于opencompass建立自动评测体系（感谢@opencompass）\n\n```\n# 安装\ncd opencompass\npip install -e .\n\n# 下载数据集到 data\u002F 处\nwget https:\u002F\u002Fgithub.com\u002FInternLM\u002Fopencompass\u002Freleases\u002Fdownload\u002F0.1.1\u002FOpenCompassData.zip\nunzip OpenCompassData.zip\n\n#运行测评任务：\nCUDA_VISIBLE_DEVICES=0,1,2 python run.py configs\u002Feval_tigerbot_13b.py -w outputs\u002Ftigerbot-13b-base\n```\n\n总分为各类任务的平均分\n\nchat模型测评结果\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_bfa7379b8150.png)\n\nbase模型测评结果\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_c9dd137b88ef.png)\n\n## 开源数据集\n\n### 预训练数据\n\n\u003Cdetails>\n基于 GPT3 的 pretrain 的数据分布，采集中文书籍，互联网，和百科类数据，并通过数据源质量分过滤和 tf-idf soft deduping，从 20TB 数据过滤到 2TB，保持语言和类目的比例，并在此基础上随机抽样 100G 数据开源：\n\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fpretrain_zh>中文开源预训练集 -\n  55G，包含中文书籍、中文互联网、中文百科 - 下载 [hugging face]\u003C\u002Fa>\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fpretrain_en>英文开源预训练集 -\n  51G，包含英文书籍、英文互联网、英文百科 - 下载 [hugging face]\u003C\u002Fa>\n\n  | 类型       | 磁盘占用 | 来源 |\n    | ---------- | -------- | ---- |\n  | 中文书籍   | 12G      | 自研 |\n  | 中文互联网 | 25G      | 自研 |\n  | 中文百科   | 19G      | 自研 |\n  | 英文书籍   | 22G      | 开源 |\n  | 英文互联网 | 6.9G     | 开源 |\n  | 英文百科   | 22G      | 开源 |\n  | **总量**   | **106G** |      |\n\n- 完整预训练数据占比如图所示:\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_28acf747c69e.png\" alt=\"Tiger\" style=\"width: 65%; display: block; margin: auto;\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n- 中文书籍及代码细分:\n\n\u003Cp width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_35dcd56b989f.png\" alt=\"中文书籍分类\" style=\"width: 50%; min-width: 200px;\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_f1db22d33f66.png\" alt=\"代码语言\" style=\"width: 50%; min-width: 200px;\">\n\u003C\u002Fp>\n\u003C\u002Fdetails>\n\n### 微调数据\n\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据搜集\u003C\u002Fb>\u003C\u002Fsummary>\n\n模型中使用的微调数据的搜集思想如下：\n\na. 从用户指令的自然分布，人工标注总结 10 大类，120 小类任务，例如，事实性问答，开放式创作，语法分析，代码编辑等；\n\nb. self-instruct: 参考 Alpaca self-instruct 方法，扩充中英文 seed_tasks，增加一些中文习惯种子问题，基于此生成 2M 中文(本次开源\n0.5M)及 0.1M 英文(本次开源 50k)；\n\nc. human-labeling: 基于人工写题及答案、网络搜集方式，整理加工问答集数据，在开源列表中标识为[自研]部分，本次开放部分数据；\n\nd. open-source data cleaning: 基于各类公开数据集转换清洗，其中[自研*]部分，表示基于原始数据进行二次开发后得到，[开源]\n部分数据集一般原始数据即为较规整的问答数据，进行简单清洗得到；\n\ne. 总的数据分布符合用户指令自然分布。\n\n\u003C\u002Fdetails>\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据清洗\u003C\u002Fb>\u003C\u002Fsummary>\n- 由于各类数据质量存在差异，通过 Alpaca Self-Instruct 生成的数据亦存在各种问题。因此，我们经过细致的人工校验和分类，总结出一套全面且系统化的数据清洗规则与方法。\n- 整体规则可以划分为**过滤类规则**和**清洗类规则**两大类。其中，命中过滤规则的数据项将被弃用，而清洗规则旨在处理并保留所需的数据。\n- 同时，在数据梳理与积累的过程中，我们也不断对清洗规则进行迭代和优化。\n- 通用清洗规则描述如下所示：\n\na. 过滤类-敏感词规则：基于积累的敏感词库，清洗丢弃涉政、涉黄、涉暴、涉恐等数据项；\n\nb. 过滤类-无效输入输出：此类规则主要针对 Self-Instruct 生成数据缺陷进行专项清理，根据输入输出分别制定规则，以丢弃一些无效的数据项；\n\n> 无效输入如\"\u003C一段文本>\"，无效输出如\"[图画]\"；\n\nc. 清洗类-关键词规则：根据整理的关键词\u002F正则列表进行数据的替换，包括：清理特殊标志位字符、清理非可见字符、清理标签、繁简转换等；\n\nd. 清洗类-特殊逻辑规则：此类规则用于清洗一些特殊现象数据，如指令与输入重复等，如下所示：\n\n> `{\"instruction\": \"描述如何做一道红烧肉。请提供食材和详细的步骤。\", \"input\": \"请描述如何做一道红烧肉，提供食材和详细步骤。\", ...}`\n\n\u003C\u002Fdetails>\n\n\u003Cdetails> \n\u003Csummary>\u003Cb>数据开源\u003C\u002Fb>\u003C\u002Fsummary>\n- 指令数据集, 当前开源 120W 问答对，磁盘空间 1.1G (数据集开放到 huggingface，中英文指令明细及下载如下表）\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fsft_zh>中文-微调指令集-合集 - 53W 条 - 下载 [hugging face]\u003C\u002Fa>\n- \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Fsft_en>英文-微调指令集-合集 - 67W 条 - 下载 [hugging face]\u003C\u002Fa>\n\n| 类型        | 语言 | 数据集                                                                                                                              | 数量         | 来源   |\n|-----------|----|----------------------------------------------------------------------------------------------------------------------------------|------------|------|\n| alpaca 中文 | 中文 | [tigerbot-alpaca-zh-0.5m](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-alpaca-zh-0.5m)                                 | 0.5m       | 自研   |\n| 百科问答      | 中文 | [tigerbot-wiki-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-qa-zh-1k)                                      | 1k         | 自研   |\n| 名著问答      | 中文 | [tigerbot-book-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-book-qa-1k)                                         | 1k         | 自研   |\n| 猜谜语       | 中文 | [tigerbot-riddle-qa-1k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-riddle-qa-1k)                                     | 1k         | 自研   |\n| 阅读理解      | 中文 | [tigerbot-superclue-c3-zh-5k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-superclue-c3-zh-5k)                         | 5k         | 自研\\* |\n| 问答        | 中文 | [tigerbot-HC3-zh-12k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-HC3-zh-12k)                                         | 12k        | 开源   |\n| 知乎问答      | 中文 | [tigerbot-zhihu-zh-10k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-zhihu-zh-10k)                                     | 10k        | 开源   |\n| alpaca 英文 | 英文 | [tigerbot-alpaca-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-alpaca-en-50k)                                   | 50k        | 自研   |\n| 头脑风暴      | 英文 | [tigerbot-dolly-Brainstorming-en-1.7k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-dolly-Brainstorming-en-1.7k)       | 1.7k       | 开源   |\n| 分类        | 英文 | [tigerbot-dolly-Classification-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-dolly-Classification-en-2k)         | 2k         | 开源   ｜\n| 代码        | 英文 | [tigerbot-kaggle-leetcodesolutions-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-kaggle-leetcodesolutions-en-2k) | 2k         | 自研\\* |\n| 食谱生成      | 英文 | [tigerbot-kaggle-recipes-en-2k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-kaggle-recipes-en-2k)                     | 2k         | 开源   |\n| 病历生成      | 英文 | [tigerbot-mt-note-generation-en](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-mt-note-generation-en)                   | 450        | 开源   |\n| 多轮对话      | 英文 | [tigerbot-OIG-multichat-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-OIG-multichat-en-50k)                     | 50k        | 自研\\* |\n| 综合问答      | 英文 | [tigerbot-stackexchange-qa-en-0.5m](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-stackexchange-qa-en-0.5m)             | 0.5m       | 开源   |\n| wiki 问答   | 英文 | [tigerbot-wiki-qa-bart-en-10k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-qa-bart-en-10k)                       | 10k        | 开源   |\n| 如何做类教程    | 英文 | [tigerbot-youtube-howto-en-50k](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-youtube-howto-en-50k)                     | 50k        | 开源   |\n| **总量**    |    |                                                                                                                                  | **120W 条** |\n\n> 更多数据集陆续整理开放中...\n\n\u003C\u002Fdetails>\n\n### 领域数据\n\n\u003Cdetails>\n  开放金融、法律、百科相关领域数据，作为 rethink 外部数据源\n\n| 类型                                                                              | 数量           |\n|---------------------------------------------------------------------------------|--------------|\n| [金融-研报](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-research-plugin) | 2W 篇         |\n| [金融-财报](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-earning-plugin)  | 2500 篇       |\n| [法律](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-law-plugin)         | 11 类 5.5W 条款 |\n| [百科](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTigerResearch\u002Ftigerbot-wiki-plugin)        | 10W 词条       |\n\n\u003C\u002Fdetails>\n\n## Tigerbot API\n\n\u003Cdetails>\n\n### [chat](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fchat)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_9303ee00898d.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_6477d161ec09.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [plugin](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fplugin)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_7781caa1e190.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [finetune](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Ffinetune)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cec79d87ab18.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [embedding](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fembedding)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_a9d9a67d9bd1.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [summarization](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fsummarization)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5a1a1563e18a.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [pdf2text](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Fpdf2text)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_d50b701d9740.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\n### [text2image](https:\u002F\u002Fwww.tigerbot.com\u002Fapi-reference\u002Ftext2image)\n\n\u003Cdetails>\u003Csummary>\u003Cb>示例\u003C\u002Fb>\u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_bce309369ff6.png\" alt=\"tigerbot chat-api sample\" style=\"width: 65%; display: block\">\n\u003C\u002Fdetails>\n\u003C\u002Fdetails>\n\n## 其他\n\n\u003Cdetails>\u003Csummary>\u003Cb>案例\u003C\u002Fb>\u003C\u002Fsummary>\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_e657752d0834.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_dcd4970b4d40.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_cee41385e5f9.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_4ce99f3d248d.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_540a9df82bbb.png)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_5ba184419760.png)\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>开发者生态\u003C\u002Fb>\u003C\u002Fsummary>\n\n- [使用 TigerBot 和 Svelte 框架制作的聊天机器人，可快速打包成桌面应用](https:\u002F\u002Fgithub.com\u002FSaraiQX\u002Ftigerbot-svelte-app)\n- [基于本地知识库的 TigerBot 大语言模型 qq 群知识库 bot 应用实现](https:\u002F\u002Fgithub.com\u002Fwordweb\u002FTiger-qq-bot)\n- [基于本地知识库的 TigerBot、ChatGLM 等大语言模型应用实现](https:\u002F\u002Fgithub.com\u002Fwordweb\u002Flangchain-ChatGLM-and-TigerBot)\n- [在 Colab 上运行 TigerBot](https:\u002F\u002Fgithub.com\u002Frunfuture\u002Ftigerbot\u002Fblob\u002Fmain\u002Ftest_tigerbot_7b_sft_4bit_128g.ipynb) - Colab 版本体验 TigerBot\n- [在 Windows 系统上使用 TigerBot](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Ru411a7Kq\u002F) - 在 Windows 上使用 TigerBot\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>加入我们\u003C\u002Fb>\u003C\u002Fsummary>\n\n#### 产品链接\n\nhttps:\u002F\u002Fwww.tigerbot.com\n\n#### 联系电话\n\n021-63888086\n\n#### 联系邮箱\n\n\u003Cp>cong.fu@tigerbot.com\u003C\u002Fp>\n\u003Cp>wei.cai@tigerbot.com\u003C\u002Fp>\n\n#### 微信讨论群\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_readme_b8b7d8fe4e61.png\" alt=\"Tiger\" style=\"width: 260px;  \">\u003C\u002Fa>\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\u003Csummary>\u003Cb>局限性与免责声明\u003C\u002Fb>\u003C\u002Fsummary>\n当前模型可能存在生成幻觉、误导性、或歧视性内容。请谨慎使用 TigerBot 系列模型生成的内容，请勿将生成的有害内容进行传播。\n如需将模型公开使用或者商用，模型服务所产生的不良影响或者有害言论由服务方负责，本项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。\n\u003C\u002Fdetails>","# TigerBot 快速上手指南\n\nTigerBot 是一个基于世界级基础大模型构建的开源项目，专注于提供强大的中文语言处理能力。本指南将帮助您快速完成环境配置、模型安装及基础推理。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。\n*   **Python 版本**: Python 3.8 - 3.10\n*   **GPU 驱动**: NVIDIA GPU 驱动已安装，且 CUDA 版本兼容（建议 CUDA 11.7+）。\n*   **显存要求**:\n    *   运行 7B\u002F13B 模型：建议单卡显存 ≥ 24GB (如 RTX 3090\u002F4090, A10\u002FA100)。\n    *   运行 70B 模型：建议多卡并行或高显存实例 (如 8x A100)，或使用量化版本。\n*   **前置依赖**:\n    ```bash\n    pip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n    pip install transformers accelerate streamlit\n    ```\n    > **提示**：国内用户推荐使用清华或阿里镜像源加速安装：\n    > `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple torch transformers accelerate streamlit`\n\n## 2. 安装步骤\n\n您可以通过 `transformers` 库直接从 Hugging Face 或 ModelScope（魔搭社区）加载模型。推荐国内开发者使用 **ModelScope** 以获得更快的下载速度。\n\n### 方案 A：使用 ModelScope (推荐国内用户)\n\n首先安装 modelscope 库：\n```bash\npip install modelscope -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 方案 B：使用 Hugging Face\n\n确保网络通畅，或直接使用代码自动下载。\n\n## 3. 基本使用\n\n以下示例展示如何加载 TigerBot-7B-Chat 模型并进行最简单的对话推理。\n\n### 示例代码：本地推理\n\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\n# 选择模型路径 (可替换为 'TigerResearch\u002Ftigerbot-7b-chat' 使用 HF 源)\n# 国内用户可使用 ModelScope 模型 ID，例如: 'TigerResearch\u002Ftigerbot-7b-chat' (需配合 modelscope 快照下载)\nmodel_path = \"TigerResearch\u002Ftigerbot-7b-chat\"\n\n# 加载分词器和模型\ntokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_path,\n    device_map=\"auto\",\n    torch_dtype=torch.float16,\n    trust_remote_code=True\n)\n\n# 准备输入文本\nprompt = \"你好，请介绍一下你自己。\"\n\n# 生成回复\ninputs = tokenizer(prompt, return_tensors=\"pt\").to(model.device)\noutputs = model.generate(\n    **inputs,\n    max_new_tokens=512,\n    do_sample=True,\n    temperature=0.7,\n    top_p=0.9\n)\n\n# 解码并打印结果\nresponse = tokenizer.decode(outputs[0], skip_special_tokens=True)\nprint(response)\n```\n\n### 示例代码：启动 Web Demo\n\nTigerBot 官方提供了基于 Streamlit 的演示界面，方便进行交互式测试。\n\n```bash\n# 设置环境变量并启动 Demo\n# 请根据实际下载的模型路径修改 --model_path 参数\nexport PYTHONPATH='.\u002F'\nexport CUDA_VISIBLE_DEVICES=0\n\nstreamlit run apps\u002Fweb_demo.py -- --model_path TigerResearch\u002Ftigerbot-7b-chat\n```\n\n> **长上下文支持提示**：\n> 若需使用 100K 上下文长度（如 70b-chat-v6），请在启动时添加 RoPE 缩放参数：\n> ```bash\n> streamlit run apps\u002Fweb_demo.py -- --model_path tigerbot-70b-chat-v6 --rope_scaling yarn --rope_factor 8 --max_input_length 37888 --max_generate_length 62112\n> ```\n\n### 在线 API 试用\n\n如果您暂时无法部署本地模型，可以直接访问 TigerBot 官网或使用兼容 OpenAI 格式的 API：\n*   **Web 端体验**: [https:\u002F\u002Ftigerbot.com](https:\u002F\u002Ftigerbot.com)\n*   **API 文档**: 支持标准的 Chat Completion 接口，可直接替换 OpenAI SDK 中的 `base_url` 和 `api_key` 使用。","某三甲医院科研团队正在构建智能临床辅助系统，需要从海量非结构化的电子病历中快速提取关键诊疗信息并生成标准化报告。\n\n### 没有 TigerBot 时\n- **术语识别困难**：通用大模型缺乏专业医学知识，无法准确识别“心梗”、“房颤”等中文临床缩略语及复杂术语，导致实体抽取错误率高。\n- **长文档处理受限**：面对长达数十页的完整病程记录或出院小结，传统模型受限于上下文长度，常常丢失首尾关键信息，无法进行全局分析。\n- **人工校验成本高**：由于模型输出不可靠且缺乏权威依据，医生必须逐字核对提取结果，耗时耗力，严重拖慢科研数据清洗进度。\n- **多任务协作割裂**：需要分别部署命名实体识别（NER）、文本分类和摘要生成等多个独立模型，系统架构臃肿，维护难度极大。\n\n### 使用 TigerBot 后\n- **专业术语精准捕获**：依托全球首个中文临床术语体系 MedCT 及医疗基础模型，TigerBot 在中英文医疗 NER 任务中达到 SOTA 水平，能精准定位并标准化各类临床实体。\n- **超长上下文无损理解**：利用支持 100K 上下文的 70B 版本，TigerBot 可一次性读入整份复杂病历，完整捕捉患者从入院到出院的全周期诊疗逻辑。\n- **可信溯源与高效产出**：结合搜索增强模式，TigerBot 在生成结论时自动附带信息源链接，大幅降低人工复核成本，让医生专注于决策而非数据整理。\n- **一站式多任务解决**：凭借多语言多任务能力，单个 TigerBot 实例即可同时完成信息抽取、诊断辅助建议生成及结构化报告撰写，显著简化系统架构。\n\nTigerBot 以世界级的中文医疗基座能力和超长上下文优势，将临床数据处理效率提升了数倍，真正实现了从“人工搬运”到“智能洞察”的跨越。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTigerResearch_TigerBot_e657752d.png","TigerResearch","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTigerResearch_a4082692.png","",null,"https:\u002F\u002Fgithub.com\u002FTigerResearch",[78,82,86,90,93],{"name":79,"color":80,"percentage":81},"Python","#3572A5",99.6,{"name":83,"color":84,"percentage":85},"CSS","#663399",0.2,{"name":87,"color":88,"percentage":89},"Makefile","#427819",0.1,{"name":91,"color":92,"percentage":89},"HTML","#e34c26",{"name":94,"color":95,"percentage":96},"JavaScript","#f1e05a",0,2266,189,"2026-04-14T10:05:11","Apache-2.0",4,"Linux, Windows","需要 NVIDIA GPU。基础微调示例提及单张 RTX 3090 (24GB)；运行 70B 模型需多卡环境（示例使用 CUDA_VISIBLE_DEVICES=0 暗示单卡或多卡指定），具体显存取决于模型尺寸及量化方式（未明确最低显存，但 70B 全精度通常需多卡或高显存）；支持 CUDA（版本未明确，隐含支持主流版本）。","未说明（建议根据模型尺寸配置，70B 模型通常需要大量系统内存或显存）",{"notes":106,"python":107,"dependencies":108},"1. 支持通过 QLoRA 在单张消费级显卡（如 RTX 3090）上进行微调，可显著降低显存需求并加速训练。2. 推理长上下文（如 100K）时，需配合 YaRN 插值技术并调整 max_input\u002Fgenerate_length 参数。3. 提供了基于 Streamlit 的 Web Demo (apps\u002Fweb_demo.py)。4. 支持 TGI (Text Generation Inference) 框架以提升推理速度。5. 模型涵盖 7B, 13B, 70B, 180B 等多种规模，硬件需求随模型增大而显著提高。","未说明",[109,110,111,112,113],"transformers","streamlit","torch (隐含)","flash-attn (隐含)","deepspeed (隐含，用于 TP\u002FPP)",[16,36,14],[116,117,118,119,120],"llm","nlp","chinese","data","llama2","2026-03-27T02:49:30.150509","2026-04-20T17:03:31.385526",[],[]]