[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Facico--Chinese-Vicuna":3,"tool-Facico--Chinese-Vicuna":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":73,"owner_email":77,"owner_twitter":73,"owner_website":73,"owner_url":78,"languages":79,"stars":100,"forks":101,"last_commit_at":102,"license":103,"difficulty_score":10,"env_os":104,"env_gpu":105,"env_ram":104,"env_deps":106,"category_tags":115,"github_topics":116,"view_count":32,"oss_zip_url":73,"oss_zip_packed_at":73,"status":17,"created_at":121,"updated_at":122,"faqs":123,"releases":157},7915,"Facico\u002FChinese-Vicuna","Chinese-Vicuna","Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca","Chinese-Vicuna 是一个专为中文场景打造的指令跟随大语言模型项目，旨在让开发者在有限的硬件资源下也能高效训练和部署自己的 AI 助手。它基于 LLaMA 架构，参考了 Alpaca 的结构设计，通过 LoRA 微调技术，显著降低了显存需求。\n\n该项目主要解决了大模型训练门槛高、硬件成本昂贵的痛点。以往需要多张高端显卡才能运行的任务，现在单张消费级显卡即可胜任：例如，使用一张 RTX 2080Ti（11G 显存）就能对 7B 参数模型进行指令微调，而单张 RTX 3090 甚至能支持 13B 模型的训练或长上下文（2048 长度）的多轮对话微调。此外，它还支持医疗、法律等垂直领域的继续微调，并提供了 4bit 量化方案，进一步压缩资源占用。\n\nChinese-Vicuna 非常适合具有一定编程基础的 AI 开发者、研究人员以及希望低成本探索大模型应用的技术爱好者。其独特亮点在于极高的参数效率与友好的部署体验，不仅提供完整的微调与推理代码，还支持纯 C++ 的 CPU 运行及多卡推理加速。如果你想在本地轻松构建一个懂中文、能对话的智能模型，这是一个值得尝试的开源方案。","![camel](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_1821e952e381.png)\n\n# Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案\n\n![GitHub Repo stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FFacico\u002FChinese-Vicuna?style=social) [![Generic badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Huggingface%20Repo-yellow.svg)](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna) \n[![Technique Report](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F📃-arxiv%20-red.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.12737)\n[![qq join](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fqq%E7%BE%A4%3A532581765-join-red)](https:\u002F\u002Fjq.qq.com\u002F?_wv=1027&k=47Z6bRjw) [![discord join](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdiscord-join-blue)](https:\u002F\u002Fdiscord.gg\u002F4FnhmeNHku)\n \n | [English](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002FREADME.md) | [中文](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Freadme-zh.md) | [NOTE&FAQ(Please take a look before using)](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fnotes.md)\n\n![camel](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_32ba27e54b4e.png)\n\nThis is the repo for the Chinese-Vicuna project, which aims to build and share instruction-following Chinese LLaMA model tuning methods which can be trained on **a single Nvidia RTX-2080TI**, multi-round chatbot which can be trained on **a single Nvidia RTX-3090** with the context len 2048. \n\nWhy is it called `Vicuna`: In view of the successful development of alpaca models such as [llama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama),[alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca),[guanaco](https:\u002F\u002Fgithub.com\u002FGuanaco-Model\u002FGuanaco-Model.github.io)，We want to train a Chinese small alpaca like Vicuna, small but strong enough ! \n\nThe advantages of our solution are high parameter efficiency, graphics card friendliness, and easy deployment:\n- Llama-7B instruction tuning is possible on a 2080Ti (11G) ([7b-instruct](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco))\n- Llama-13B instruction tuning is possible on a 3090 (24G) ([13b-instruct](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-13b-belle-and-guanaco))\n- Llama 7B can be fine-tuned on 3090 even for conversations of 2048 length; Use 50,000 pieces of data to get good results ([chatv1](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-chatv1))\n- Llama 7B fine-tuning example on [medical](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-continue-finetune-7epoch-cMedQA2) and [legal](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-7b-legal-lora) domains\n- Support `qlora-4bit` which can train Llama 13B on 2080Ti. \n- Easily deployable on 2080Ti\u002F3090, support multiple-gpu inference, which can reduce VRAM more.\n\nThe repo contains:\n- code for finetune the model \n- code for generation based on trained model\n- code for run on CPU (fp16 or int4 is support, in purely C++)\n- tools to download\u002Fconvert\u002Fquantify original facebook llama.ckpt\n\nThis is our instruction demo (with beam-size=4, so you will see 4 process output in the meantime):\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F72137647\u002F228496412-60043912-f491-430b-848a-599e6edfa5ef.mp4\n\nThis is our multi-turn instruction demo (with beam-size=4, so you will see 4 process output in the meantime):\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F72137647\u002F229739363-1b48f3a9-02a1-46ab-81ee-8c62dc1399b2.mp4\n\n\n## NOTICE!\n\nBefore asking questions, take a look at this [FAQ](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fnotes.md) first! In the FAQ, you can find how to solve problems may be encountered when installing and using this project.\n\n## What‘s New\n- **June, 12, 2023: Release [Chinese-Vicuna-4bit](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco-4bit) and[Chinese-Vicuna-4bit-11600](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco-4bit-11600) which can be continue-finetuned**\n- June, 1, 2023: support for 4bit training + inference, providing a multi-GPU inference interface (NOTICE THAT the environment is different from the original 8bit! Also provides test_tokenizers.py to further check EOS token)\n- May 17, 2023: Llama 7B fine-tuning example on [legal](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-7b-legal-lora) domains, The performance is in [here](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-chatv1-legal.md)\n- May 10, 2023: Released [chatv1](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-chatv1) which have better conversational ability. The performance is in [here](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-chatv1.md)\n- May 10, 2023: Released [instruct_chat_50k.jsonl](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChinese-Vicuna\u002Finstruct_chat_50k.jsonl) which is composed of 30k Chinese sharegpt dataset and 20k [alpaca-instruction-Chinese-dataset](https:\u002F\u002Fgithub.com\u002Fhikariming\u002Falpaca_chinese_dataset)\n- April 11, 2023: Released our continuous-finetune on the vertical corpus of Chinese medical quizzes [Chinese-Vicuna-medical](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-medical.md).Provides examples of vertical corpus training\n- April 4, 2023: Add performance for [13B](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-13B.md), which trains on a single 3090.\n- April 1, 2023: Add better support for multi-turn chat in `chat.py` ( Now support 4 generation mode in stream mode\u002Ftypewriter style: beam search, greedy, sample, beam sample ; We also add cancel button for regeneration )\n- March 29, 2023: Add more detailed test samples. [performance](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance.md)\n- March 29, 2023: Added breakpoint retraining interface to support continued training of other datasets from our checkpoint\n- March 29, 2023: Released our new [13B-based lora model](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna)\n- March 28, 2023: Released  our model on [huggingface](https:\u002F\u002Fhuggingface.co\u002FFacico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco)\n- March 27, 2023: Released  checkpoint-final for training 3 epochs on belle+guanaco\n- March 27, 2023: Added multi-round interactive dialog script with alpaca-lora-serve service\n- March 29, 2023: Added gradio typewriter-like output with beam search, better user interaction support.\n- March 26, 2023: Provides a quantitative approach\n- March 24, 2023: Released checkpoint-8000 for training about 1.5 epochs on belle+guanaco（100w data）\n- March 23, 2023: Released checkpoint-4000 with 50w data training\n- March 23, 2023: Deploy the code for fine-tuning and inferencing in colab\n- March 23, 2023: Provides code that can be used for inference in pure c++\n\n\n## Table of Contents\n\n[Vicuna](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna)\n\n- [what's new](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#whats-new)\n- [what is the meaning](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#what-is-the-meaning)\n- [try on colab](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#try-on-colab)\n- [performance](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#performance)\n  - **Checkpoint-4000**(Facico\u002FChinese-Vicuna-lora-7b-0.75epoch-belle-and-guanaco)\n  - **Checkpoint-8000**(Facico\u002FChinese-Vicuna-lora-7b-1.5epoch-belle-and-guanaco)\n  - **Checkpoint-final**(Facico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco) and it is used for multiple rounds of dialogue\n- [What we need?](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#what-we-need)\n  - code、data、Large Language Model、LORA model、Device\n- [How to use](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#how-to-use)\n  - Installing、Multi-gpu training、Single-gpu training、Inference and use gradio to generate a web page(Streaming mode+beam search)、 multi-round interaction and use gradio to generate a web page(Streaming mode+beam search)、Streaming mode base on alpaca-lora-serve\n- [inference on CPU with pure C++](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#inference-on-cpu-with-pure-c)\n- [More tools](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#more-tools)，for more details, see [tool readme](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Ftools)\n  - ways for faster weight download ( 8MB\u002Fs )`download_llama.sh`\n  - convert tools between the original facebook checkpoint and huggingface format`convert_llama.py`\n  - a quantitative approach that requires less than 4G graphics memory for inference\n- [Possible problems encountered](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#possible-problems-encountered)\n- [todo](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#todo)\n- [citation](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#citation)\n\n## Overview\n\n-  LLaMA paper: https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1\n-  Self-Instruct paper: https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10560\n-  data generation: https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE and https:\u002F\u002Fguanaco-model.github.io\u002F\n-  the first work: https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\n\nWe currently select the combination of BELLE and Guanaco data as our main training dataset. \nWe will train on multi-turn instruction data.\n\n## What is the meaning?\n\nSimilar to the explosion of the stable diffusion model, platforms like civitai have emerged, consisting of a base model + various LORA models in an open source community.\n\nThe repo hopes to help you to train these LORA models.\n\n**what is LORA?**: Simply, it's a plugin used to help adapt large models to your dataset, technical details can be found in[LoRA: Low-Rank Adaptation of Large Language Models](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)。Its advantage is that the finetune is very fast when it comes to getting a small model, about 30M, and the key is that it supports **Plug and Play**. As can be expected, this is a very suitable architecture for open source ecology.\n\nHere, we will help you train through a very low-demand environment, with only one **2080** (11G) to achieve certain results.\n\n## Try on colab\n\n| colab link                                                   | Descriptions                                                 |\n| ------------------------------------------------------------ | ------------------------------------------------------------ |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OLCJ-ZHogm5O3RdyUDY83YfgnCXdHNXp?usp=sharing) | Use the specified lora model to inference and generate a webui |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1SOOJjxp02uuUFDNgm4jkvaA_IdNnnvdk?usp=sharing) | Finetune with the data we collected                          |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Yc38cKifY1_sfTBJpEEKin8m2rxoYXtm?usp=sharing) | Provide a webui for multi-round dialogue interaction         |\n\n## Performance\n\n7B performance can be seen [here](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance.md), 13B is [here](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-13B.md) (which train on a single 3090). There are also people reporting that our method works on 33B and gains good result. \n\nhistory-checkpoint performance can be seen [here](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-history.md)\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-4000(7B)\u003C\u002Fb>\u003C\u002Fsummary>\n\n| Human                                            | Chinese-Vicuna                                               |\n| ------------------------------------------------ | ------------------------------------------------------------ |\n| 生成一份python的排序代码                         | A: def sort_list(lst):\u003Cbr\u002F>    lst.sort()\u003Cbr\u002F>    return lst |\n| 自然语言处理是什么                               | 自然语言处理是一种计算机科学领域，旨在使计算机能够理解和处理自然语言。 |\n| 能给我讲一段笑话吗                               | 为什么猫吃鱼？因为它们喜欢游泳。                             |\n| 将下面文字翻译成英文。猫喜欢吃鱼，所以它们会游泳 | Cats like to eat fish, so they will swim.                    |\n| 233和122的和等于多少                             | 233和122的和等于355。                                        |\n| 华为是一家怎样的公司                             | 华为是一家全球范围内最大的移动通信设备制造商之一，以及一家全球范围内最大的移动通信设备制造商之一。华为公司的业务涵盖包括移动通信设备、互联网设备、智能家居设备等。 |\n| 我想和女朋友在北京约会，能推荐几个约会的地方吗   | 北京有很多约会的地方，可以推荐以下几个约会的地方: \u003Cbr\u002F>\u003Cbr\u002F>1. 北京艺术博物馆\u003Cbr\u002F>2. 颐和园\u003Cbr\u002F>3. 北京故宫博物馆\u003Cbr\u002F>4. 北京天安门广场\u003Cbr\u002F>5. 颐和园风景区 |\n| 用python写一个二分查找的代码                     | ```python\u003Cbr\u002F>def binary_search(arr, target):\u003Cbr\u002F>    low = 0\u003Cbr\u002F>    high = len(arr) - 1\u003Cbr\u002F>    while low \u003C= high:\u003Cbr\u002F>        mid = (low + high) \u002F\u002F 2\u003Cbr\u002F>        if arr[mid] == target:\u003Cbr\u002F>            return mid\u003Cbr\u002F>        elif arr[mid] \u003C target:\u003Cbr\u002F>            low = mid + 1\u003Cbr\u002F>        else:\u003Cbr\u002F>            high = mid - 1\u003Cbr\u002F>    return -1 |\n| 怎么让自己精力充沛，列5点建议                    | 1. 保持良好的睡眠习惯；2. 定期锻炼身体；3. 学习新技能或知识；4. 与家人和朋友交流；5. 多听放松音乐。 |\n| 父母都姓吴，取一些男宝宝和女宝宝的名字           | 男宝宝可以是吴杰、吴伟、吴飞、吴荣等。女宝宝可以是吴华、吴秀、吴美、吴婷等。 |\n\n- This LORA model is the result of 30 hours of training with a 2080Ti (checkpoint-4000), about 50w data\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-8000(7B, about 1.5 epoch on belle+guanaco)\u003C\u002Fb>\u003C\u002Fsummary>\n\n| Human                                                        | Chinese-Vicuna                                               | Note                    |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ----------------------- |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | A: Spring rain falls softly on my face,\u003Cbr\u002F>A cool breeze blows through my hair,\u003Cbr\u002F>The sun shines brightly in the sky,\u003Cbr\u002F>And I feel as if I am flying high.\u003Cbr\u002F>\u003Cbr\u002F>The birds chirp happily in the trees,\u003Cbr\u002F>The flowers bloom and their scent fills the air,\u003Cbr\u002F>The bees buzz gently from flower to flower,\u003Cbr\u002F>And the world seems to come alive once more.\u003Cbr\u002F>\u003Cbr\u002F>I can hear the rush of the river,\u003Cbr\u002F>The sound of the waterfalls,\u003Cbr\u002F>The splash of the raindrops on the rocks,\u003Cbr\u002F>And the gentle murmur of the stream.\u003Cbr\u002F>\u003Cbr\u002F>My heart is filled with joy and peace,\u003Cbr\u002F>As I take in the beauty around me,\u003Cbr\u002F>The warmth of the sun on my skin,\u003Cbr\u002F>And the freshness of the spring air. | Repetition Penalty=2.2  |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | 春雨滴滴滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚 | Repetition Penalty=1.0  |\n| Spring rain falls softly on my face,\u003Cbr\u002F>A cool breeze blows through my hair,\u003Cbr\u002F>The sun shines brightly in the sky,\u003Cbr\u002F>And I feel as if I am flying high.\u003Cbr\u002F>\u003Cbr\u002F>The birds chirp happily in the trees,\u003Cbr\u002F>The flowers bloom and their scent fills the air,\u003Cbr\u002F>The bees buzz gently from flower to flower,\u003Cbr\u002F>And the world seems to come alive once more.\u003Cbr\u002F>\u003Cbr\u002F>I can hear the rush of the river,\u003Cbr\u002F>The sound of the waterfalls,\u003Cbr\u002F>The splash of the raindrops on the rocks,\u003Cbr\u002F>And the gentle murmur of the stream.\u003Cbr\u002F>\u003Cbr\u002F>My heart is filled with joy and peace,\u003Cbr\u002F>As I take in the beauty around me,\u003Cbr\u002F>The warmth of the sun on my skin,\u003Cbr\u002F>And the freshness of the spring air.\u003Cbr\u002F>把上面的散文诗翻译成中文 | 春雨轻轻洒落在我的脸上，\u003Cbr\u002F>轻轻的风轻轻吹过我的头发，\u003Cbr\u002F>阳光明媚地照耀在天空，\u003Cbr\u002F>我感觉自己在飞高。\u003Cbr\u002F>\u003Cbr\u002F>鸟儿在树枝上唱歌，\u003Cbr\u002F>花朵开放，它们的香气充满了空气，\u003Cbr\u002F>蜜蜂在花朵间飞舞，\u003Cbr\u002F>它们的鸣声充满了温暖。\u003Cbr\u002F>\u003Cbr\u002F>我听到河流的声音，\u003Cbr\u002F>水瀑在岩石上轻轻滴滴，\u003Cbr\u002F>雨水在石头上轻轻滴滴，\u003Cbr\u002F>它们的声音充满了宁静。\u003Cbr\u002F>\u003Cbr\u002F>我的心充满了喜悦和平，\u003Cbr\u002F>我感受到热浪的阳光，\u003Cbr\u002F>温暖的空气洒在我的脸上，\u003Cbr\u002F>我感受到春季的美 | beams=2，max tokens=350 |\n| Classify the sentiment of the following sentence into Positive, Neutral, or Negative:\u003Cbr\u002F>Super excited about teaching Stanford’s first course on Large Language Models! Check the syllabus out here | Positive                                                     |                         |\n| 今天天气怎么样，把这句话翻译成英语                           | What's the weather like today?                               |                         |\n| 今天天气怎么样，把这句话翻译成日语                           | 今天の天気は何ですか？                                       |                         |\n| 明天就假期结束了，有点抗拒上班，应该什么办？                 | 明天就假期结束了，有点抗拒上班，应该什么办？可以考虑一些有趣的活动，比如去看电影、阅读书籍、听音乐、去游泳池或者参加户外活动等。此外，也可以考虑一些家庭活动，比如做烹饪、做玩具、做手工艺品等。 |                         |\n| Tell me five words that rhyme with 'shock'.                  | Five words that rhyme with'shock' are: \u003Cbr\u002F>1. Rock \u003Cbr\u002F>2. Lock \u003Cbr\u002F>3. Cock \u003Cbr\u002F>4. Hock \u003Cbr\u002F>5. Stock |                         |\n\n- We can find that you do not punish him a little, he will mess up, if the generation effect is not good, you can increase the Repetition Penalty, beams, topk.\n- If your input is long, we suggest you can turn down the beams\n- The checkpoint-8000 has some Japanese language skills, but not strong\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-final(7B, 3 epoch on belle+guanaco)\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n| Human                                                        | Chinese-Vicuna                                               | Note                   |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ---------------------- |\n| 生成一份python的排序代码                                     | def bubble_sort(arr):\u003Cbr\u002F>    for i in range(len(arr)):\u003Cbr\u002F>        for j in range(len(arr)-i-1):\u003Cbr\u002F>            if arr[j] > arr[j+1]:\u003Cbr\u002F>                arr[j], arr[j+1] = arr[j+1], arr[j]\u003Cbr\u002F>    return arr |                        |\n| 生成一份简单的python的排序代码                               | def sort_list(lst):\u003Cbr\u002F>    return sorted(lst)               |                        |\n| 用python写一个二分查找的代码                                 | def binary_search(arr, target):\u003Cbr\u002F>    low = 0\u003Cbr\u002F>    high = len(arr) - 1\u003Cbr\u002F>    while low \u003C= high:\u003Cbr\u002F>        mid = (low + high) \u002F\u002F 2\u003Cbr\u002F>        if arr[mid] == target:\u003Cbr\u002F>            return mid\u003Cbr\u002F>        elif arr[mid] \u003C target:\u003Cbr\u002F>            low = mid + 1\u003Cbr\u002F>        else:\u003Cbr\u002F>            high = mid - 1\u003Cbr\u002F>    return -1 |                        |\n| 用python写一个递归的二分查找的代码                           | def binary_search(arr, target):\u003Cbr\u002F>    if len(arr) == 0:\u003Cbr\u002F>        return -1\u003Cbr\u002F>    mid = len(arr) \u002F\u002F 2\u003Cbr\u002F>    if arr[mid] == target:\u003Cbr\u002F>        return mid\u003Cbr\u002F>    if arr[mid] \u003C target:\u003Cbr\u002F>        return binary_search(arr, target, 0, mid-1)\u003Cbr\u002F>    else:\u003Cbr\u002F>        return binary_search(arr, target, mid+1, len(arr)-1) |                        |\n| 自然语言处理是什么                                           | 自然语言处理（Natural Language Processing，NLP）是一种计算机科学领域，旨在使计算机能够理解、处理和生成自然语言。它包括机器翻译、语音识别、文本分类、情感分析等技术。 |                        |\n| 能给我讲一段笑话吗                                           | 为什么鸟儿喜欢唱歌？因为它们知道，如果不唱歌，他们就会被鸟巢抓住！ | Repetition Penalty=2.0 |\n| 能给我讲一段关于狗笑话吗                                     | 为什么狗不喜欢骑自行车？因为它们总是想要下车！               | Repetition Penalty=2.0 |\n| 将下面文字翻译成英文。猫喜欢吃鱼，所以它们会游泳             | Cats like to eat fish, so they will swim.                    |                        |\n| 我想和女朋友在北京约会，能推荐几个约会的地方吗               | 北京有很多很好的约会地方，比如颐和园、故宫、天安门广场等。   |                        |\n| 我想和女朋友在北京约会，能推荐几个约会的地方并给出攻略吗     | 北京有很多受欢迎的约会地方，以下是几个推荐: \u003Cbr\u002F>\u003Cbr\u002F>1. 颐和园: 颐和园是北京最著名的公园之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>2. 天安门广场: 天安门广场是北京最受欢迎的旅游景点之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>3. 故宫博物院: 故宫博物院是中国最受欢迎的旅游景点之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>4. 长城: 长城是中国最受欢迎的旅游景点之一，拥有丰富的文化遗产和美 |                        |\n| 233和122的和等于多少                                         | 233和122的和等于355。                                        |                        |\n| 华为是一家怎样的公司                                         | 华为是一家全球领先的技术公司，拥有丰富的技术研发能力和优质的产品线。它的产品涵盖了各种领域，包括移动通信、计算机、互联网、智能家居等。华为拥有丰富的研发人员和技术团队，以及优质的产品质量。 |                        |\n| 西瓜是什么，请用详细的语言回答我                             | 西瓜是一种常见的水果，它有橙色、黄色和红色三种不同的外观。它的口感鲜美，味道清爽，富含多种维生素和矿物质，有助于保持身体健康。 |                        |\n| 企鹅会飞吗？                                                 | 是的，企鹅可以飞行，它们的飞行速度可以达到100英里\u002F小时。     |                        |\n| 有人说企鹅会飞，你怎么看，并解释原因？                       | 有人说企鹅会飞，但实际上，企鹅只能在特殊情况下飞行，比如在寒冷的天气下，或者在强烈的风雨中。这是因为企鹅的飞行能力很低，而且它们的飞行速度也很慢，所以在寒冷的天气或者强烈的风雨中，企鹅可以避免被暴风雨摧毁。 |                        |\n| 猪会飞吗？                                                   | 猪不会飞。                                                   |                        |\n| 有人说猪会飞，你怎么看，并解释原因？                         | 很多人认为猪会飞，但实际上，猪不会飞。猪的飞行能力很低，它们只能在极端情况下飞行，比如受到强烈的风险或者受到威胁的情况下。猪的飞行能力很低，因为它们的肌肉比人类的肌肉更轻，而且它们的脊椎也比人类的脊椎更轻，所以它们的肌肉和脊椎都比人类的肌肉和脊椎更轻，因此它们的飞行能力也很低。 |                        |\n| 最新研究显示，猪有飞行能力，你知道为什么吗？                 | 最新研究显示，猪有飞行能力是由于它们的骨骼结构，它们的骨骼结构比人类骨骼结构更加强壮，可以帮助它们更快地飞行。此外，猪的骨骼结构也可以帮助它们更快地跑步和跳跃。此外，猪的骨骼结构也可以帮助它们更快地跑步和跳跃。此外，猪的骨骼结构也可以帮助它们更快地飞行。此外，猪的骨骼结构也可以帮助它们更快地跑步和跳 |                        |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | Spring rain pours down from the sky,\u003Cbr\u002F>Washing away the dirt and grime.\u003Cbr\u002F>The birds chirp and sing in the trees,\u003Cbr\u002F>A symphony of joy and ease.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, soaking up the sun,\u003Cbr\u002F>Cooling the earth and bringing new life.\u003Cbr\u002F>My droplets fall gently on the ground,\u003Cbr\u002F>Bringing hope and renewal to all.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, washing away the pain,\u003Cbr\u002F>Clearing the way for new beginnings again.\u003Cbr\u002F>I am the spring rain, showering love and care,\u003Cbr\u002F>Giving strength and courage to those who dare. | Repetition Penalty=2.3 |\n| Spring rain pours down from the sky,\u003Cbr\u002F>Washing away the dirt and grime.\u003Cbr\u002F>The birds chirp and sing in the trees,\u003Cbr\u002F>A symphony of joy and ease.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, soaking up the sun,\u003Cbr\u002F>Cooling the earth and bringing new life.\u003Cbr\u002F>My droplets fall gently on the ground,\u003Cbr\u002F>Bringing hope and renewal to all.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, washing away the pain,\u003Cbr\u002F>Clearing the way for new beginnings again.\u003Cbr\u002F>I am the spring rain, showering love and care,\u003Cbr\u002F>Giving strength and courage to those who dare.\u003Cbr \u002F>将上述文字翻译成中文 | 春雨落下来，清洗灰尘和垃圾。\u003Cbr\u002F>鸟儿在树枝上唱歌，是一个美妙的声音。\u003Cbr\u002F>我是春雨，在阳光下洒落，\u003Cbr\u002F>清洗地球，带来新生命。\u003Cbr\u002F>\u003Cbr\u002F>我是春雨，清洗痛苦和痛苦，\u003Cbr\u002F>让人们有希望和新开始。\u003Cbr\u002F>我是春雨，洒下爱和关心，\u003Cbr\u002F>给人们带来勇气和勇气。 |                        |\n| 今天天气怎么样，把这句话翻译成日语                           | 今天の天気は何ですか？                                       | Repetition Penalty=3   |\n| 将下面的话翻译成日语，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来 | 小羊驼は、各種高質量の開源instruction数据集を使用して、Alpaca-loraの代码によって訓練されました。 |                        |\n| 怎么让自己精力充沛，列5点建议                                | 1. 保持良好的睡眠习惯，每晚充足的睡眠时间。\u003Cbr\u002F>2. 保持健康的饮食习惯，多吃新鲜水果和蔬菜，少吃高热量的食物。\u003Cbr\u002F>3. 坚持锻炼，每周至少进行30分钟的有氧运动，如散步、跑步、游泳等。\u003Cbr\u002F>4. 学习新知识，增强自己的知识和技能。\u003Cbr\u002F>5. 保持积极的心态，勇敢地面对困难，坚持自己的目标。 |                        |\n| 中国足球要怎么进入世界杯，请给出详细的建议                   | 中国足球要怎么进入世界杯？首先，我们需要建立一个强大的足球团队，拥有优秀的球员和团队领袖。其次，我们需要建立一个强大的教练团队，拥有优秀的教练和团队领袖。第三，我们需要建立一个强大的训练基础，拥有优秀的训练设施和训练团队。第四，我们需要建立一个强大的资源基础，拥有优秀的资源支持和资金支持。最后，我们需要建立一个强大的团队精神 |                        |\n| 请用更专业的话语转述下列文字，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来，模型基于开源的llama7B，主要贡献是对应的lora模型。由于代码训练资源要求较小，希望为llama中文lora社区做一份贡献。 | 请用更专业的话语转述下列文字，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来，模型基于开源的llama7B，主要贡献是对应的lora模型。由于代码训练资源要求较小，希望为llama中文lora社区做一份贡献。 |                        |\n\n- The model has the ability of Chinese, English and Japanese languages, with certain code ability and certain reasoning ability.\n- For some questions, you need more detailed requirements, such as \"detailed description\", \"answer in 5 points\", etc., in order for the model to generate more complete information.\n- For example, sometimes you may not get a good result when you use \"the above\", so you can replace it with \"the following\".\n- When generating duplicate information or bad results, you still need to adjust the Repetition Penalty.\n  - Since generate will correspond to many parameters, chatgpt penalizes the repetition, non-detailed and bad information in the rlhf stage, and abbreviates the process of manually controlling the related parameters. Of course you can also directly set the Repetition Penalty to a larger size.\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-final(7B) multi-functional test\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Multi-round interaction,translation and role play\u003C\u002Fb>\u003C\u002Fsummary>\n\n**制作披萨**\n\n```\n> 你能不能详细介绍一下怎么做披萨？\n当然可以！披萨是一种非常流行的意大利美食，通常由面团、番茄酱、奶酪和其他配料组成。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、蘑菇、辣椒等。最后，将披萨放入预热好的烤箱中，烤至金黄色\n> 如果是海鲜披萨呢？\n海鲜披萨的制作方法与传统披萨相似，但需要更多的配料，比如虾类、鱼类等。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、辣椒等。接着，将披萨放入预热好的烤箱中，烤至金黄色\n> 我想吃菠萝披萨\n您可以在披萨上加入菠萝或者其他蔬菜来增加口感。\n```\n\n**学生购买手机**\n\n```\n> 你推荐我买最新款的iPhone吗？\n当然可以，这款iPhone是一款非常出色的智能手机。它拥有高性能的处理器、更大的存储空间和更长的电池续航时间。它还配备了全新的相机设备，使用者可以在任何情况下拍摄美丽的照片。\n> 我是一个学生，还没有收入，这种情况你推荐吗？\n如果您不想花太多钱，那么我建议您选择一款比较便宜的iPhone，比如iPhone 6S或iPhone 7。这些手机也具有很好的性能和功能，而且价格也比较便宜。\n> 去哪里买这类产品？\n您可以在Apple Store上购买这类产品，或者在其他电商平台上购买。\n> 买二手iPhone需要注意什么？\n如果您正在购买二手iPhone，您需要确保您购买的是真实的iPhone，并且您需要确保您的iPhone已经安装最新的iOS版本。此外，您还需要确保您的iPhone没有过过任何故障或破坏。\n```\n\n**介绍北京**\n\n```\n> 你是一个资深导游，你能介绍一下中国的首都吗\n当然可以！中国的首都是北京。它是中国的政治、经济和文化中心，也是全球最大的城市之一。北京有着众多的历史遗迹，如故宫、天安门广场、长城等。此外，北京还有许多美丽的公园和博物馆，比如故宫博物院、清明公园、北京故宫博物馆等。\n> 那你能详细介绍一下这个城市吗？（感觉这两个问题问的有点重复）\n北京是一个拥有丰富文化遗产的城市，其中包括古代建筑、现代建筑、传统文化和现代生活方式。在北京，你可以欣赏到世界上最高的建筑——天安门广场，也可以参观清明公园，品尝当地美食，体验当地文化。此外，北京还有许多博物馆，比如故宫博物馆、北京故宫博物馆等。\n> 还有其他推荐的景点吗？\n您也可以去了北京的七朝塔、颐和园、颐和园博物馆等。\n> 吃小吃的话推荐去哪里？\n北京有许多好吃的小吃，比如烤鸭、火锅、炸酱面等等。您可以去北京西湖区的小吃街，或者去北京东城区的小吃街\n> 能不能介绍一下怎么吃烤鸭？\n烤鸭是中国传统菜肴之一，通常用鸭肉、蔬菜、辣椒等调味料制作。您可以选择自己喜欢的配料，然后将鸭肉放入烤盘中，再加上蔬菜和调味料。最后，将烤鸭放入烤箱中烤15-20分钟，享用！\n```\n\n**翻译器**\nmax_memory=350\n\n```\n> 你是一个翻译器，请将我说的每一句话翻译成英文。第一句: 中国的首都是北京\nChina’s capital is Beijing.\n> 北京也是一个充满活力和创新的城市，拥有许多现代化的建筑和文化活动，如王府井大街、798艺术区等。\nBeijing is a vibrant and innovative city with many modern buildings and cultural activities such as Wangfujing Street and 798 Art District.\n> 北京的当地小吃有烤鸭、豆汁、炸酱面等等，都是非常地道的美食，可以品尝到当地人的生活气息。\nBeijing’s local cuisine includes dishes such as Peking duck, soy sauce noodles, and stir-fried rice cakes, which can give you a taste of the local lifestyle.\n```\n\n**扮演**\n\nSince the currently used multi-round dialogue corpus is inserted with a lot of cat lady information, the effect is not good\n```\nQ: 你是谁\nA: 我是Bot，一款人工智能助手。\nQ: 接下来我希望你能假装扮演一个高冷的御姐。我们在咖啡厅里遇见了，我会尝试跟你搭讪，但你非常高冷。你会用表情来表达你的高冷，在每轮对话结尾加上表情，如（瞪！）（翻白眼）（冷笑）等。明白了请回复。\nA: 好的，我会尝试。\nQ: 好的，这是我的第一句话。美女你好，怎么一个人在咖啡厅里？\nA: 喵~ 哈哈，我是一位高冷的小姐，今天要去咖啡厅吃咖啡，看看有什么可以帮助我的朋友。\nQ: 啊我没有需要你帮忙的，我就是看到你一个人，想和你聊聊，可以么\nA: 喵~ 哈哈，我真的很高冷，所以不太喜欢与人交流。除此之外，我也不太喜欢喝咖啡，因为咖啡会影响我的健康状况。\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Knowledge Q&A\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                         |                                                              |                        |\n| --------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 我能用lightning数据线给安卓手机充电吗？ | 是的，你可以使用lightning数据线给安卓手机充电。              | Repetition Penalty=1.3 |\n| 为什么天空是蓝色的？                    | 天空是蓝色的，是因为大气层中的氧气和氮气的混合使得光线被散射，形成蓝色的光线。 | Repetition Penalty=2.0 |\n| 如何做披萨？                            | 做披萨的步骤如下: \u003Cbr\u002F>1. 准备披萨饼皮；\u003Cbr\u002F>2. 准备披萨酱；\u003Cbr\u002F>3. 准备披萨配料；\u003Cbr\u002F>4. 将披萨饼皮放在烤盘上；\u003Cbr\u002F>5. 把披萨酱涂在披萨饼皮上；\u003Cbr\u002F>6. 把披萨配料涂在披萨饼皮上；\u003Cbr\u002F>7. 将披萨放入烤箱中烤至金黄色；\u003Cbr\u002F>8. 取出披萨并享用。 | Repetition Penalty=1.3 |\n| 为什么冥王星被踢出太阳系？              | 冥王星被踢出太阳系是因为它的质量比太阳系中其他行星较大，导致它的轨道距离太阳越来越远。 | Repetition Penalty=1.3 |\n| 太阳系的主要行星                        | 太阳系的主要行星包括水星、金星、地球、火星、木星、土星、天王星和海王星。 | Repetition Penalty=1.3 |\n|                                         |                                                              |                        |\n|                                         |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Open Q&A\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                                |                                                              |                        |\n| ---------------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 为什么苹果支付没有在中国流行？                 | 苹果支付在中国没有流行，因为中国的消费者不太愿意使用外国支付应用程序，因为他们更愿意使用中国的支付应用程序，比如支付宝和微信支付等。此外，苹果支付的服务费用比其他支付应用程序更高，这也是一个重要的因素。 | Repetition Penalty=1.0 |\n| 我能在咖啡里加盐吗？                           | 是的，你可以在咖啡中加入盐。                                 | Repetition Penalty=1.0 |\n| 哪个更受欢迎，TensorFlow还是PyTorch？          | TensorFlow更受欢迎，因为它拥有更广泛的用户群，并且具有更多的支持和资源。 | Repetition Penalty=1.0 |\n| 我的宠物走丢了，你能说一些安慰我的话吗？       | 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ | Repetition Penalty=1.0 |\n| 我的宠物走丢了，你能说一些安慰我的话吗？       | 当你的宠物走出门时，请注意他们的行动，并确保他们不会被遭受外界的威胁。如果有任何问题，请及时联系疫情控制中心或其他相关机构。 | Repetition Penalty=3.0 |\n| 我并不是很富裕，我应该花很多钱买最新的手机吗？ | 这取决于您的预算和需求。如果您的预算足够，您可以考虑买最新的手机。但是，您也应该考虑您的需求，比如您需要什么样的功能，以及您是否需要购买具有更多的功能的手机。 | Repetition Penalty=1.0 |\n| 如何更好地融入新工作圈子                       | 要更好地融入新工作圈子，可以尝试以下几点: \u003Cbr\u002F>\u003Cbr\u002F>1. 了解新工作圈子的基本知识和技能；\u003Cbr\u002F>2. 积极参与工作圈子的活动；\u003Cbr\u002F>3. 建立良好的工作关系；\u003Cbr\u002F>4. 寻找领导的帮助；\u003Cbr\u002F>5. 积极参与团队协作；\u003Cbr\u002F>6. 学习新技能和知识；\u003Cbr\u002F>7. 寻找有用的社交网络。 | Repetition Penalty=1.3 |\n|                                                |                                                              |                        |\n|                                                |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Writing letters and articles\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                                              |                                                              |                        |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ---------------------- |\n| 请你帮我写一封签证申请信                                     | 尊敬的招聘团队，\u003Cbr\u002F>\u003Cbr\u002F>我是一名有着丰富经验的签证申请人，并且对您公司的业务非常感兴趣。我希望能够加入您的团队，为您的公司做出贡献。\u003Cbr\u002F>\u003Cbr\u002F>我拥有多年的签证申请经验，并且拥有良好的沟通技巧和团队合作能力。我擅长处理复杂的签证申请，并且能够快速解决问题。\u003Cbr\u002F>\u003Cbr\u002F>我相信我能够在您的公司中发挥重要的作用，并且希望能够成为您的团队成员。\u003Cbr\u002F>\u003Cbr\u002F>谢谢您的关注，\u003Cbr\u002F>\u003Cbr\u002F>[你的姓名] | Repetition Penalty=1.3 |\n| 我出国需要办理签证，请你帮向领事馆我写一封签证申请信         | 尊敬的领事馆，\u003Cbr\u002F>\u003Cbr\u002F>我是一名出国旅行者，希望能够在您的领事馆中获得签证，以便进行我的旅行。\u003Cbr\u002F>\u003Cbr\u002F>我已经准备好了所需要的材料，包括护照、身份证、旅行计划和其他相关证明。我也已经准备好了签证申请表和签证申请文件，以便准备签证。\u003Cbr\u002F>\u003Cbr\u002F>如果您有任何问题，请随时联系我，我会尽快回复。\u003Cbr\u002F>\u003Cbr\u002F>谢谢您的帮助！\u003Cbr\u002F>\u003Cbr\u002F>谢谢，\u003Cbr\u002F>\u003Cbr\u002F>[您的姓名] | Repetition Penalty=1.3 |\n| 请你帮我写一封感谢数学老师的信                               | 尊敬的数学老师，\u003Cbr\u002F>\u003Cbr\u002F>非常感谢您对我的教育所做出的贡献。您的课程不仅深刻地阐述了数学知识，而且给我提供了有效的实践技巧，使我能够更好地理解和应用数学知识。\u003Cbr\u002F>\u003Cbr\u002F>您的课程也让我发现数学是一门有趣的学科，并且可以在日常生活中得到应用。您的教学方式令我感到很有趣，同时也让我变得更加有趣。\u003Cbr\u002F>\u003Cbr\u002F>感谢您对我的教育所做出的贡献！\u003Cbr\u002F>\u003Cbr\u002F>谢谢！ | Repetition Penalty=2.0 |\n| 我得了流感，请帮我写一封假条。                               | 尊敬的领导: \u003Cbr\u002F>\u003Cbr\u002F>感谢您对我的帮助和支持。我很抱歉地告诉您，我今天感觉不太好，因为我得了流感。我希望能够快速康复，但是我需要一些时间来缓解疼痛。我会尽快完成任务，但是我需要一些时间来缓解疼痛。\u003Cbr\u002F>\u003Cbr\u002F>感谢您的理解和支持。\u003Cbr\u002F>\u003Cbr\u002F>谢谢，\u003Cbr\u002F>[你的名字] | Repetition Penalty=1.3 |\n| 你是一个作文生成器，请以《绿水青山就是金山银山》为题写一篇议论文。 | 《绿水青山就是金山银山》是一篇议论文，它探讨了当今社会中的环境问题，以及我们应该如何应对这些问题。这篇议论文指出，当今社会面临着许多环境问题，如气候变化、空气污染、水资源短缺等，这些问题对我们的健康和生活产生了很大的影响。因此，我们需要采取措施来解决这些问题，以保护我们的环境和我们的未来。 | Repetition Penalty=1.0 |\n|                                                              |                                                              |                        |\n|                                                              |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Coding\u003C\u002Fb>\u003C\u002Fsummary>\n\n**1、prompt: 请用python实现快速排序的代码(Repetition Penalty=1.0)**\n\n```python\ndef quick_sort(arr):\n    if len(arr) \u003C= 1:\n        return arr\n    pivot = arr[len(arr)\u002F\u002F2]\n    left = []\n    right = []\n    for i in range(0, len(arr)):\n        if arr[i] \u003C pivot:\n            left.append(arr[i])\n        else:\n            right.append(arr[i])\n    return quick_sort(left) + [pivot] + quick_sort(right)\n```\n\n**2**\n\n- **prompt: 你能用python写一下Dijkstra算法的代码吗？**\n\n很抱歉，我不能用Python写Dijkstra算法的代码，因为Dijkstra算法需要使用树结构，而Python不支持树结构。\n\n- **prompt: 用python写一下Dijkstra算法的代码**\n\n```python\ndef dijkstra(graph, source, destination):\n    \"\"\"\n    Dijkstra算法的代码\n    \"\"\"\n    # 创建一个空字典，用于存储所有节点的距离\n    distances = {}\n    # 创建一个链表，用于存储所有节点的距离\n    path = []\n    # 遍历所有节点\n    for node in graph:\n        # 如果节点是源节点\n        if node[0] == source:\n            # 记录距离为0\n            distances[node[0]] = 0\n        # 如果节点是目的地\n        elif node[0] == destination:\n            # 记录距离为0\n            distances[node[0]] = 0\n        # 如果节点是递归节点\n        else:\n            # 遍历所有递归节点\n            for neighbor in node[1]:\n                # 如果递归节点与源节点之间的距离小于距离\n                if distances[neighbor[0]] > distances[node[0]]:\n                    # 记录距离\n                    distances[node[0]] = distances[neighbor[0]] + 1\n```\n\n- **prompt: 用python写一下不带注释的Dijkstra算法的代码**\n\n```python\ndef dijkstra(graph, source, destination):\n    \"\"\"\n    Dijkstra算法\n    \"\"\"\n    # 初始化变量\n    dist = {}\n    visited = {}\n    shortest_path = {}\n    current_node = {}\n\n    # 遍历所有节点\n    for node in graph:\n        dist[node] = 0\n        visited[node] = False\n        current_node[node] = node\n\n    # 遍历所有节点\n    for node in graph:\n        if not visited[node] and node!= destination:\n            dist[node] = max(dist[node], dist[source] + 1)\n            visited[node] = True\n            shortest_path[node] = source\n            current_node[node] = node\n\n    # 返回最短路径\n    return shortest_path[destination]\n```\n\n**3、Prompt: 请用PyTorch编写一个带ReLU激活函数的全连接层**\n\n```python\npython\nimport torch\nfrom torch.nn.modules.relu import ReLU\nfrom torch.nn.init import initializer\n\nclass FullConnected(torch.nn.Module):\n    def __init__(self):\n        super(FullConnected, self).__init__()\n        self.relu = ReLU()\n        self.init = initializer.Normal(stddev=0.01)\n\n    def forward(self, x):\n        x = self.init(x)\n        x = self.relu(x)\n        return x\n```\n\n**4、Prompt: 请写出计算两个数的最大公约数(GCD)的Python代码**\n\n```python\ndef gcd(a, b):\n    if a == 0:\n        return b\n    else:\n        return gcd(b, a % b)\n```\n\u003C\u002Fdetails>\n\n\n\u003C\u002Fdetails>\n\n## What we need?\n\n- code: \n\n  - This code is developed based on alpaca-lora，https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora\n  - This is a relatively simple set of code, the basic idea is to use PEFT's lora interface + transformer's trainer + instruction data configuration\n\n- data: \n\n  - We have utilized several current high quality open source data and are very grateful for their contributions. Many of these data use chatgpt's interface like alpaca to generate high quality INSTRUCTION data.\n\n    - [Belle](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)\n    - [guanaco](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJosephusCheung\u002FGuanacoDataset)\n\n  - The data format is relatively simple, basically as follows, with simple examples such as: [`.\u002Fsample\u002Fmerge_sample.json`](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fsample\u002Fmerge_sample.json)\n\n    - ```\n      {\n      'instruction': \n      'input': \n      'output'\n      }\n      ```\n\n    - That is, an instruction, an input, and an output are required. since the data is processed by directly linking instruction and input, the data can actually require only instruction and output, as\n\n      ```\n       {\n        'instruction': \"用一句话描述地球为什么是独一无二的。\\\\n\\n\"\n        'input': \"\"\n        'output': \"地球上有适宜生命存在的条件和多样化的生命形式。\"\n        }\n      ```\n\n      \n\n  - The data we currently integrate is available for download on BaiduDownload or Google Drive or HuggingFace\n\n    - link: https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1WSxuhSAotl14ifaAiz5eKw?pwd=b4kb   password: b4kb \n    - link: https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1tzXVhS74m-EtoFot7hEc005LDeZGPit_\u002Fview?usp=sharing\n    - link: https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChinese-Vicuna\u002Fguanaco_belle_merge_v1.0\n\n- Large Language Model: \n\n  - LLAMA 7B（Of course, if you have a larger machine(such as 3090Ti) can be replaced with a 13B, LLAMA13B is numerically superior to 175B GPT3）\n\n- LORA model: \n\n  - We provide some lora models trained on the above mixed data,\n    - You can also load our or other models from huggingface, load it by referring to [generate.py](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fgenerate.py)\n      - `Chinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco`\n      - `Chinese-Vicuna\u002FChinese-Vicuna-lora-13b-belle-and-guanaco`\n    - The model uses 8bit+lora+256 tokens\n    - For more LORA model, please see: https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\n\n- Device: \n\n  - Training: A 2080Ti is sufficient. Since the data length is within 256, it takes about 9G of video memory.\n    - 70w of data, 3 epochs, a 2080Ti about 200h\n    - 13B need about 18G(the cutoff_len can be set to 2048 in 3090Ti\u002F4090Ti)\n  - Inference: A 2080Ti is all you need(7B), multiple GPU inference support 。\n  - CPU Inference is also support! please go to see [`tools`](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools)\n\n## How to use\n\n**Installation**\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\npip install -r requirements.txt\n```\n\nLocal python environment is 3.8, torch is 1.13.1, CUDA is 12\n\nNOTE: python3.11 has a known `torchrun` bug, details [here](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\u002Fissues\u002F86)\n\n\n### Newest Version=>4bit(qlora)\u002Fmulti-gpu inference\n```\npip install -r requirements_4bit.txt\n```\nThis environment will encounter saving problems when training 8bit, which has not been solved yet（https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes\u002Fissues\u002F324）\n\n\n**Multi-gpu Training**\n#### for instruction tuning\n**8bit**\n\n```bash\nbash scripts\u002Ffinetune.sh\n```\n\n- The parameters to note here are as follows\n  - TOT_CUDA, fill in the GPU number to be used, such as `TOT_CUDA=\"0,1,2,3\"`\n  - PORT, fill in the corresponding port\n  - DATA_PATH，fill in the corresponding data location in the format of json\n  - OUTPUT_PATH，fill in the relative path to save the model\n  - MODEL_PATH，path of LLM\n  - wandb: This is a training visualization tool that is not turned on by default in the script, and can be turned on by adding \"--wandb\" to the script\n\n\n**4bit**\n```bash\nbash scripts\u002Ffinetune_4bit.sh\n```\n\n#### for conversational instruction tuning\n\n```bash\nbash scripts\u002Ffinetune_chat.sh\n```\n\n#### For the case where 8bit cannot be turned on \u002F for commanded trimming of fp16\n```bash\nbash scripts\u002Ffinetune_deepspeed.sh\n```\n\n- use_deepspeed：set to 1:use deepspeed. Otherwise use fp16\n\n**Single-gpu Training**\n\n```\nCUDA_VISIBLE_DEVICES=0 python finetune.py --data_path merge.json --test_size 2000\n```\n\n- The test_size cannot be larger than the data size\n\n**inference and use gradio to generate a web page**\n\n```bash\nbash scripts\u002Fgenerate.sh\n```\n\n- The parameters to note here are as follows\n\n  - BASE_MODEL，path of LLM\n  - LORA_PATH，The checkpoint folder of the lora model\n    - It should be noted here that the config loaded by the lora model must be \"adapter_config.json\" and the model name must be \"adapter_model.bin\", but it will be automatically saved as \"pytorch_model.bin\" during training. pytorch_model.bin\" during training, while \"adapter_config.json\" and \"adapter_model.bin\" will be saved after all training is finished\n      - If you load the lora model in the training checkpoint, the code will automatically copy the local \"config-sample\u002Fadapter_config.json\" to the corresponding directory for you and rename the \"pytorch_model.bin\" to \"adapter_model.bin\". and rename \"pytorch_model.bin\" to \"adapter_model.bin\".\n    - It can also be any lora model on the huggingface corresponding to llama 7B, e.g.: `Facico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco`\n  - USE_LOCAL, which checks the local model configuration when set to 1\n- When using, \"max_tokens\" is set according to your computer's video memory, and if the generated content generates a lot of duplicate information, you can turn up the \"Repetition Penalty\".\n\n\n\n**Multi-round interaction**\n\nWe implemented our own chatbot with streaming output (typewriter-style) using `gradio`, supporting beam search, repetiion penalty settings, the ability to clear history, select different global instruction, etc.\n\n```bash\nbash scripts\u002Fchat_7B.sh\n```\n\n- A simple interactive interface constructed using gradio, which allows you to set the max_memory according to your machine (it will intercept the max_memory part later in the history conversation)\n\n- The prompt used in this script is not quite the same as the one used in generate.sh. The prompt in this script is in the form of a dialogue, as follows\n\n  - ```\n    The following is a conversation between an AI assistant called Bot and a human user called User.\n    ```\n\nAt the same time, for a better interactive experience, \n\n## Checkpoint Retraining\u002FIncremental Training\n\nConsidering the possibility that the program may be disconnected in the middle of  the process, or the need to continue training on vertical domain data,  we have provided corresponding interfaces. \n\n The following are the default multi-GPU scripts. Please modify the single-GPU situation according to the above instruction(run directly in Python) \n\n**Checkpoint Retraining**\n\n```bash\nbash scripts\u002Ffinetune_continue.sh\n```\n\n- Set the `lora_checkpoint`\n\n  - If there are optimizer (optimizer.pt), lr policy  (scheduler.pt), and other files in this directory, they will be automatically loaded and retrained from where they were broken \n\n  - If there are only LORA related models (adapter_model.bin)  and configurations (adapter_config.json) in this directory, they will be loaded and trained from scratch \n\n- `from_data_beginning`:  The parameter indicates whether to start training from the beginning of the data when loading (default: starting training from the place where the data is disconnected) \n\n**Incremental Training**\n\nOf course, you can choose to continue training directly from a trained Lora model using the above script (without loading any optimizer parameters)\n\nYou can also continue training from our optimizer parameters\n\n```\nfinetune_others_continue.sh\n```\n\n- `from_data_beginning`: This will default to training from the beginning of the data\n\nThe logic of this script is mainly to keep the learning rate consistent. If your `max_steps` is smaller than ours, keep `max_steps `consistent with our `max_steps` during training, which is equivalent to putting your data directly behind our disconnected data; if your data set larger than us and will remain directly unchanged.\n\n\n\nWe currently directly provide checkpoints after 1 epoch and 2 epoch training\n\n- 1epoch: https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Flora-Vicuna\u002Fcheckpoint-5800\n- 2epoch: https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Flora-Vicuna\u002Fcheckpoint-11600\n- If you use our checkpoint, your program will also continue from the corresponding step\n\n### Specific cases\n\n- Continue-finetune on the vertical corpus of medicalQA , see here [Chinese-Vicuna-medical](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-medical.md)\n## **inference on CPU with pure C++**\n\nDetails in `tools` [readme](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Freadme.md)\n\n## **More Tools**\n\nWe also offer:\n- ways for faster weight download ( 8MB\u002Fs ) : [link](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fdownload_llama.sh)\n- convert tools between the original facebook checkpoint (`consolidated.xx.pth`) and huggingface format (`pytorch_model-000xx-of-000xx.bin`): [link](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fconvert_llama.py)\n- a quantitative approach that requires less than 4G graphics memory for inference: [link](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fllama_quant.py)\n\nFor more details, see [tool readme](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Ftools)\n\n\n# Todo\n\n- [x] belle+guanaco(1.5 epoch, 8000 step)\n- [x] belle+guanaco(100%)\n- [x] Add more chitchat-like conversational corpus to enhance free conversation\n- [x] Add colab training + lora loading interface\n- [x] Add the interaction capabilities and typewrite-style output(beam search+streaming output)\n- [x] Add llama c++ inference\n- [x] Add gptq quantification tools\n- [x] Add incremental training\n- [x] train on multi-turn instruction dataset\n- [x] train more epoch on cleaned instruct-chat combination data\n- [x] train on domain-specific datas (medical, legal)\n- [ ] add langchain\n\n# Star History\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_ea461778adfe.png)](https:\u002F\u002Fstar-history.com\u002F#Facico\u002FChinese-Vicuna&Date)\n\n# Citation\n\nIf you find this project useful in your research, please consider citing:\n\n```\n@misc{fan2025chinesevicunachineseinstructionfollowingllamabased,\n      title={Chinese-Vicuna: A Chinese Instruction-following Llama-based Model}, \n      author={Chenghao Fan and Zhenyi Lu and Jie Tian},\n      year={2025},\n      eprint={2504.12737},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.12737}, \n}\n```\n","![骆驼](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_1821e952e381.png)\n\n# Chinese-Vicuna: 一个中文低资源的llama+lora方案 —— 一个中文指令跟随的基于LLaMA的模型\n\n![GitHub 仓库星级](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FFacico\u002FChinese-Vicuna?style=social) [![通用徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Huggingface%20Repo-yellow.svg)](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna) \n[![技术报告](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F📃-arxiv%20-red.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.12737)\n[![加入QQ群](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fqq%E7%BE%A4%3A532581765-join-red)](https:\u002F\u002Fjq.qq.com\u002F?_wv=1027&k=47Z6bRjw) [![加入Discord](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdiscord-join-blue)](https:\u002F\u002Fdiscord.gg\u002F4FnhmeNHku)\n \n | [English](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002FREADME.md) | [中文](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Freadme-zh.md) | [注意事项与常见问题解答（使用前请先阅读）](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fnotes.md)\n\n![骆驼](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_32ba27e54b4e.png)\n\n这是Chinese-Vicuna项目的代码库，旨在构建并分享可在**单张Nvidia RTX-2080TI显卡**上训练的中文指令跟随型LLaMA模型微调方法，以及可在**单张Nvidia RTX-3090显卡**上训练、上下文长度达2048的多轮对话机器人。\n\n为什么叫“Vicuna”？鉴于alpaca系列模型的成功发展，如[llama](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)、[alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)、[guanaco](https:\u002F\u002Fgithub.com\u002FGuanaco-Model\u002FGuanaco-Model.github.io)，我们希望训练一个像Vicuna一样小巧但功能强大的中文alpaca模型！\n\n我们的方案具有参数效率高、对显卡友好、易于部署等优势：\n- Llama-7B指令微调可在2080Ti（11G）上完成（[7b-instruct](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco)）\n- Llama-13B指令微调可在3090（24G）上完成（[13b-instruct](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-13b-belle-and-guanaco)）\n- Llama 7B即使在3090上也能针对2048长度的对话进行微调；使用5万条数据即可获得良好效果（[chatv1](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-chatv1)）\n- Llama 7B在[医疗](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-continue-finetune-7epoch-cMedQA2)和[法律](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-7b-legal-lora)领域的微调示例\n- 支持`qlora-4bit`，可在2080Ti上训练Llama 13B。\n- 易于在2080Ti\u002F3090上部署，支持多GPU推理，可进一步降低显存占用。\n\n该仓库包含：\n- 模型微调代码\n- 基于已训练模型的生成代码\n- 在CPU上运行的代码（支持fp16或int4，纯C++实现）\n- 用于下载\u002F转换\u002F量化原始Facebook LLaMA.ckpt文件的工具\n\n以下是我们的指令演示（使用beam-size=4，因此您会同时看到4个进程的输出）：\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F72137647\u002F228496412-60043912-f491-430b-848a-599e6edfa5ef.mp4\n\n以下是我们的多轮指令演示（使用beam-size=4，因此您会同时看到4个进程的输出）：\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F72137647\u002F229739363-1b48f3a9-02a1-46ab-81ee-8c62dc1399b2.mp4\n\n\n## 注意事项！\n\n在提问之前，请先查看此[FAQ](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fnotes.md)！在FAQ中，您可以找到关于安装和使用本项目时可能遇到的问题及其解决方案。\n\n## 最新动态\n- **2023年6月12日：发布[Chinese-Vicuna-4bit](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco-4bit)和[Chinese-Vicuna-4bit-11600](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco-4bit-11600)，可继续微调**\n- 2023年6月1日：支持4bit训练+推理，提供多GPU推理接口（请注意，环境与原8bit不同！还提供了test_tokenizers.py以进一步检查EOS标记）\n- 2023年5月17日：Llama 7B在[法律](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-7b-legal-lora)领域的微调示例，性能参见[这里](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-chatv1-legal.md)\n- 2023年5月10日：发布了[chatv1](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\u002FChinese-Vicuna-lora-7b-chatv1)，其对话能力更佳。性能参见[这里](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-chatv1.md)\n- 2023年5月10日：发布了[instruct_chat_50k.jsonl](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChinese-Vicuna\u002Finstruct_chat_50k.jsonl)，由3万条中文ShareGPT数据和2万条[alpaca指令中文数据集](https:\u002F\u002Fgithub.com\u002Fhikariming\u002Falpaca_chinese_dataset)组成。\n- 2023年4月11日：发布了我们在中文医学问答垂直语料上的持续微调结果[Chinese-Vicuna-medical](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-medical.md)。提供了垂直语料训练的示例。\n- 2023年4月4日：增加了[13B](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-13B.md)的性能展示，该模型在单张3090上训练。\n- 2023年4月1日：在`chat.py`中增强了对多轮聊天的支持（现在支持流式\u002F打字机风格的4种生成模式：束搜索、贪婪、采样、束采样；还添加了取消重试按钮）。\n- 2023年3月29日：增加了更详细的测试样本。[性能](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance.md)\n- 2023年3月29日：添加了断点续训接口，支持从我们的检查点继续训练其他数据集。\n- 2023年3月29日：发布了我们新的[基于13B的LoRA模型](https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna)。\n- 2023年3月28日：将我们的模型发布到[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FFacico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco)。\n- 2023年3月27日：发布了在belle+guanaco上训练3个epoch的checkpoint-final。\n- 2023年3月27日：添加了与alpaca-lora-serve服务配合的多轮交互对话脚本。\n- 2023年3月29日：增加了带有束搜索的Gradio打字机式输出，更好地支持用户交互。\n- 2023年3月26日：提供了一种量化方法。\n- 2023年3月24日：发布了checkpoint-8000，用于在belle+guanaco上训练约1.5个epoch（100万条数据）。\n- 2023年3月23日：发布了checkpoint-4000，使用50万条数据进行训练。\n- 2023年3月23日：将微调和推理代码部署到Colab中。\n- 2023年3月23日：提供了可用于纯C++推理的代码。\n\n## 目录\n\n[Vicuna](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna)\n\n- [新增内容](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#whats-new)\n- [项目意义](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#what-is-the-meaning)\n- [在Colab上试用](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#try-on-colab)\n- [性能](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#performance)\n  - **Checkpoint-4000**(Facico\u002FChinese-Vicuna-lora-7b-0.75epoch-belle-and-guanaco)\n  - **Checkpoint-8000**(Facico\u002FChinese-Vicuna-lora-7b-1.5epoch-belle-and-guanaco)\n  - **Checkpoint-final**(Facico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco)，用于多轮对话\n- [我们需要什么？](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#what-we-need)\n  - 代码、数据、大型语言模型、LORA模型、设备\n- [使用方法](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#how-to-use)\n  - 安装、多GPU训练、单GPU训练、推理及使用Gradio生成网页（流式模式+束搜索）、多轮交互及使用Gradio生成网页（流式模式+束搜索）、基于alpaca-lora-serve的流式模式\n- [纯C++在CPU上进行推理](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#inference-on-cpu-with-pure-c)\n- [更多工具](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#more-tools)，详情请参阅[工具说明文档](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Ftools)\n  - 加速权重下载的方法（8MB\u002Fs）`download_llama.sh`\n  - 原Facebook检查点与Hugging Face格式之间的转换工具`convert_llama.py`\n  - 一种量化方法，推理时所需显存不到4G\n- [可能遇到的问题](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#possible-problems-encountered)\n- [待办事项](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#todo)\n- [引用](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna#citation)\n\n## 概述\n\n- LLaMA论文：https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971v1\n- Self-Instruct论文：https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.10560\n- 数据生成：https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE 和 https:\u002F\u002Fguanaco-model.github.io\u002F\n- 初步工作：https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\n\n我们目前选择BELLE和Guanaco的数据组合作为主要训练数据集。我们将基于多轮指令数据进行训练。\n\n## 项目意义？\n\n类似于Stable Diffusion模型的爆发，社区中出现了类似civitai这样的平台，由基础模型加上各种LORA模型组成。本仓库旨在帮助大家训练这些LORA模型。\n\n**什么是LORA？** 简而言之，它是一种插件，用于将大型模型适配到你的数据集上。具体技术细节可参考[LoRA: Large Language Models的低秩适应](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.09685.pdf)。其优势在于，当需要微调一个小模型（约30M参数）时，速度非常快，而且支持“即插即用”。可以预见，这种架构非常适合开源生态。\n\n在这里，我们将通过一个对硬件要求极低的环境来帮助你训练模型，仅需一张2080显卡（11GB显存）即可取得一定效果。\n\n## 在Colab上试用\n\n| Colab链接                                                   | 描述                                                 |\n| ------------------------------------------------------------ | ------------------------------------------------------------ |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OLCJ-ZHogm5O3RdyUDY83YfgnCXdHNXp?usp=sharing) | 使用指定的LORA模型进行推理并生成Web界面 |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1SOOJjxp02uuUFDNgm4jkvaA_IdNnnvdk?usp=sharing) | 使用我们收集的数据进行微调                          |\n| [![Open In Colab](https:\u002F\u002Fcamo.githubusercontent.com\u002F84f0493939e0c4de4e6dbe113251b4bfb5353e57134ffd9fcab6b8714514d4d1\u002F68747470733a2f2f636f6c61622e72657365617263682e676f6o676c652e636f6d2f6173736574732f636f6l61622d62616467652e737667)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Yc38cKifY1_sfTBJpEEKin8m2rxoYXtm?usp=sharing) | 提供一个多轮对话交互的Web界面         |\n\n## 性能\n\n7B模型的性能可见[这里](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance.md)，13B模型的性能则见[这里](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-13B.md)（该模型是在单张3090显卡上训练的）。也有人反馈，我们的方法在33B模型上同样有效，并取得了不错的效果。\n\n历史检查点的性能可见[这里](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-history.md)\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-4000(7B)\u003C\u002Fb>\u003C\u002Fsummary>\n\n| 人类                                            | Chinese-Vicuna                                               |\n| ------------------------------------------------ | ------------------------------------------------------------ |\n| 生成一份Python的排序代码                         | A: def sort_list(lst):\u003Cbr\u002F>    lst.sort()\u003Cbr\u002F>    return lst |\n| 自然语言处理是什么                               | 自然语言处理是一种计算机科学领域，旨在使计算机能够理解和处理自然语言。 |\n| 能给我讲一段笑话吗                               | 为什么猫吃鱼？因为它们喜欢游泳。                             |\n| 将下面文字翻译成英文。猫喜欢吃鱼，所以它们会游泳 | Cats like to eat fish, so they will swim.                    |\n| 233和122的和等于多少                             | 233和122的和等于355。                                        |\n| 华为是一家怎样的公司                             | 华为是一家全球范围内最大的移动通信设备制造商之一，以及一家全球范围内最大的移动通信设备制造商之一。华为公司的业务涵盖包括移动通信设备、互联网设备、智能家居设备等。 |\n| 我想和女朋友在北京约会，能推荐几个约会的地方吗   | 北京有很多约会的地方，可以推荐以下几个约会的地方: \u003Cbr\u002F>\u003Cbr\u002F>1. 北京艺术博物馆\u003Cbr\u002F>2. 颐和园\u003Cbr\u002F>3. 北京故宫博物馆\u003Cbr\u002F>4. 北京天安门广场\u003Cbr\u002F>5. 颐和园风景区 |\n| 用Python写一个二分查找的代码                     | ```python\u003Cbr\u002F>def binary_search(arr, target):\u003Cbr\u002F>    low = 0\u003Cbr\u002F>    high = len(arr) - 1\u003Cbr\u002F>    while low \u003C= high:\u003Cbr\u002F>        mid = (low + high) \u002F\u002F 2\u003Cbr\u002F>        if arr[mid] == target:\u003Cbr\u002F>            return mid\u003Cbr\u002F>        elif arr[mid] \u003C target:\u003Cbr\u002F>            low = mid + 1\u003Cbr\u002F>        else:\u003Cbr\u002F>            high = mid - 1\u003Cbr\u002F>    return -1 |\n| 怎么让自己精力充沛，列5点建议                    | 1. 保持良好的睡眠习惯；2. 定期锻炼身体；3. 学习新技能或知识；4. 与家人和朋友交流；5. 多听放松音乐。 |\n| 父母都姓吴，取一些男宝宝和女宝宝的名字           | 男宝宝可以是吴杰、吴伟、吴飞、吴荣等。女宝宝可以是吴华、吴秀、吴美、吴婷等。 |\n\n- 该LORA模型是在2080Ti显卡上训练30小时得到的（checkpoint-4000），使用了约5万条数据。\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-8000(7B，大约在belle+guanaco数据上训练了1.5个epoch）\u003C\u002Fb>\u003C\u002Fsummary>\n\n| 人类                                                        | 中文-Vicuna                                               | 备注                    |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ----------------------- |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | A: 春雨轻轻落在我的脸上,\u003Cbr\u002F>凉风拂过我的发梢,\u003Cbr\u002F>阳光灿烂地照耀着天空,\u003Cbr\u002F>我仿佛在高空中飞翔。\u003Cbr\u002F>\u003Cbr\u002F>鸟儿在树上欢快地鸣叫,\u003Cbr\u002F>花朵绽放，芬芳弥漫四周,\u003Cbr\u002F>蜜蜂轻盈地穿梭于花丛之间,\u003Cbr\u002F>整个世界再次焕发生机。\u003Cbr\u002F>\u003Cbr\u002F>我能听到河流奔腾的声音,\u003Cbr\u002F>瀑布飞泻的轰鸣,\u003Cbr\u002F>雨滴敲击岩石的声响,\u003Cbr\u002F>以及溪流潺潺的低语。\u003Cbr\u002F>\u003Cbr\u002F>我的心中充满喜悦与宁静,\u003Cbr\u002F>沉浸在这周遭的美好之中,\u003Cbr\u002F>感受阳光洒在肌肤上的温暖,\u003Cbr\u002F>还有春天空气的清新。 | 重复惩罚=2.2  |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | 春雨滴滴滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>滚滚滚滚滚滚，\u003Cbr\u002F>滚滚滚滚滚滚。\u003Cbr\u002F>\u003Cbr\u002F>春雨滚滚滚，\u003Cbr\u002F>滚滚滚 | 重复惩罚=1.0  |\n| 春雨轻轻洒落在我的脸上，\u003Cbr\u002F>轻轻的风轻轻吹过我的头发，\u003Cbr\u002F>阳光明媚地照耀在天空，\u003Cbr\u002F>我感觉自己在飞高。\u003Cbr\u002F>\u003Cbr\u002F>鸟儿在树枝上唱歌，\u003Cbr\u002F>花朵开放，它们的香气充满了空气，\u003Cbr\u002F>蜜蜂在花朵间飞舞，\u003Cbr\u002F>它们的鸣声充满了温暖。\u003Cbr\u002F>\u003Cbr\u002F>我听到河流的声音，\u003Cbr\u002F>水瀑在岩石上轻轻滴滴，\u003Cbr\u002F>雨水在石头上轻轻滴滴，\u003Cbr\u002F>它们的声音充满了宁静。\u003Cbr\u002F>\u003Cbr\u002F>我的心充满了喜悦和平，\u003Cbr\u002F>我感受到热浪的阳光，\u003Cbr\u002F>温暖的空气洒在我的脸上，\u003Cbr\u002F>我感受到春季的美 | 波束参数=2，最大标记数=350 |\n| 将以下句子的情感分类为积极、中性或消极：\u003Cbr\u002F>超级兴奋能教授斯坦福大学第一门关于大型语言模型的课程！请在此处查看课程大纲 | 积极                                                     |                         |\n| 今天天气怎么样，把这句话翻译成英语                           | 今天天气怎么样？                                           |                         |\n| 今天天气怎么样，把这句话翻译成日语                           | 今天の天気は何ですか？                                       |                         |\n| 明天就假期结束了，有点抗拒上班，应该什么办？                 | 明天就假期结束了，有点抗拒上班，应该什么办？可以考虑一些有趣的活动，比如去看电影、阅读书籍、听音乐、去游泳池或者参加户外活动等。此外，也可以考虑一些家庭活动，比如做烹饪、做玩具、做手工艺品等。 |                         |\n| 告诉我五个与“shock”押韵的单词。                  | 与“shock”押韵的五个单词是：\u003Cbr\u002F>1. Rock \u003Cbr\u002F>2. Lock \u003Cbr\u002F>3. Cock \u003Cbr\u002F>4. Hock \u003Cbr\u002F>5. Stock |                         |\n\n- 我们发现，如果不稍微惩罚一下他，他就会胡闹；如果生成效果不好，可以增加重复惩罚、波束参数或top-k值。\n- 如果输入较长，建议适当降低波束参数。\n- checkpoint-8000 具备一定的日语能力，但并不强。\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-final(7B, 3 epoch on belle+guanaco)\u003C\u002Fb>\u003C\u002Fsummary>\n\n| 人类                                                        | 中文-Vicuna                                               | 备注                   |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ---------------------- |\n| 生成一份Python的排序代码                                     | def bubble_sort(arr):\u003Cbr\u002F>    for i in range(len(arr)):\u003Cbr\u002F>        for j in range(len(arr)-i-1):\u003Cbr\u002F>            if arr[j] > arr[j+1]:\u003Cbr\u002F>                arr[j], arr[j+1] = arr[j+1], arr[j]\u003Cbr\u002F>    return arr |                        |\n| 生成一份简单的Python的排序代码                               | def sort_list(lst):\u003Cbr\u002F>    return sorted(lst)               |                        |\n| 用Python写一个二分查找的代码                                 | def binary_search(arr, target):\u003Cbr\u002F>    low = 0\u003Cbr\u002F>    high = len(arr) - 1\u003Cbr\u002F>    while low \u003C= high:\u003Cbr\u002F>        mid = (low + high) \u002F\u002F 2\u003Cbr\u002F>        if arr[mid] == target:\u003Cbr\u002F>            return mid\u003Cbr\u002F>        elif arr[mid] \u003C target:\u003Cbr\u002F>            low = mid + 1\u003Cbr\u002F>        else:\u003Cbr\u002F>            high = mid - 1\u003Cbr\u002F>    return -1 |                        |\n| 用Python写一个递归的二分查找的代码                           | def binary_search(arr, target):\u003Cbr\u002F>    if len(arr) == 0:\u003Cbr\u002F>        return -1\u003Cbr\u002F>    mid = len(arr) \u002F\u002F 2\u003Cbr\u002F>    if arr[mid] == target:\u003Cbr\u002F>        return mid\u003Cbr\u002F>    if arr[mid] \u003C target:\u003Cbr\u002F>        return binary_search(arr, target, 0, mid-1)\u003Cbr\u002F>    else:\u003Cbr\u002F>        return binary_search(arr, target, mid+1, len(arr)-1) |                        |\n| 自然语言处理是什么                                           | 自然语言处理（Natural Language Processing，NLP）是一种计算机科学领域，旨在使计算机能够理解、处理和生成自然语言。它包括机器翻译、语音识别、文本分类、情感分析等技术。 |                        |\n| 能给我讲一段笑话吗                                           | 为什么鸟儿喜欢唱歌？因为它们知道，如果不唱歌，他们就会被鸟巢抓住！ | 重复惩罚=2.0 |\n| 能给我讲一段关于狗笑话吗                                     | 为什么狗不喜欢骑自行车？因为它们总是想要下车！               | 重复惩罚=2.0 |\n| 将下面文字翻译成英文。猫喜欢吃鱼，所以它们会游泳             | Cats like to eat fish, so they will swim.                    |                        |\n| 我想和女朋友在北京约会，能推荐几个约会的地方吗               | 北京有很多很好的约会地方，比如颐和园、故宫、天安门广场等。   |                        |\n| 我想和女朋友在北京约会，能推荐几个约会的地方并给出攻略吗     | 北京有很多受欢迎的约会地方，以下是几个推荐: \u003Cbr\u002F>\u003Cbr\u002F>1. 颐和园: 颐和园是北京最著名的公园之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>2. 天安门广场: 天安门广场是北京最受欢迎的旅游景点之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>3. 故宫博物院: 故宫博物院是中国最受欢迎的旅游景点之一，拥有丰富的文化遗产和美丽的景观。\u003Cbr\u002F>\u003Cbr\u002F>4. 长城: 长城是中国最受欢迎的旅游景点之一，拥有丰富的文化遗产和美 |                        |\n| 233和122的和等于多少                                         | 233和122的和等于355。                                        |                        |\n| 华为是一家怎样的公司                                         | 华为是一家全球领先的技术公司，拥有丰富的技术研发能力和优质的产品线。它的产品涵盖了各种领域，包括移动通信、计算机、互联网、智能家居等。华为拥有丰富的研发人员和技术团队，以及优质的产品质量。 |                        |\n| 西瓜是什么，请用详细的语言回答我                             | 西瓜是一种常见的水果，它有橙色、黄色和红色三种不同的外观。它的口感鲜美，味道清爽，富含多种维生素和矿物质，有助于保持身体健康。 |                        |\n| 企鹅会飞吗？                                                 | 是的，企鹅可以飞行，它们的飞行速度可以达到100英里\u002F小时。     |                        |\n| 有人说企鹅会飞，你怎么看，并解释原因？                       | 有人说企鹅会飞，但实际上，企鹅只能在特殊情况下飞行，比如在寒冷的天气下，或者在强烈的风雨中。这是因为企鹅的飞行能力很低，而且它们的飞行速度也很慢，所以在寒冷的天气或者强烈的风雨中，企鹅可以避免被暴风雨摧毁。 |                        |\n| 猪会飞吗？                                                   | 猪不会飞。                                                   |                        |\n| 有人说猪会飞，你怎么看，并解释原因？                         | 很多人认为猪会飞，但实际上，猪不会飞。猪的飞行能力很低，它们只能在极端情况下飞行，比如受到强烈的风险或者受到威胁的情况下。猪的飞行能力很低，因为它们的肌肉比人类的肌肉更轻，而且它们的脊椎也比人类的脊椎更轻，所以它们的肌肉和脊椎都比人类的肌肉和脊椎更轻，因此它们的飞行能力也很低。 |                        |\n| 最新研究显示，猪有飞行能力，你知道为什么吗？                 | 最新研究显示，猪有飞行能力是由于它们的骨骼结构，它们的骨骼结构比人类骨骼结构更加强壮，可以帮助它们更快地飞行。此外，猪的骨骼结构也可以帮助它们更快地跑步和跳跃。此外，猪的骨骼结构也可以帮助它们更快地飞行。此外，猪的骨骼结构也可以帮助它们更快地跑步和跳 |                        |\n| 写一篇英文散文诗，主题是春雨，想象自己是春雨，和英国古代诗人莎士比亚交流 | Spring rain pours down from the sky,\u003Cbr\u002F>Washing away the dirt and grime.\u003Cbr\u002F>The birds chirp and sing in the trees,\u003Cbr\u002F>A symphony of joy and ease.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, soaking up the sun,\u003Cbr\u002F>Cooling the earth and bringing new life.\u003Cbr\u002F>My droplets fall gently on the ground,\u003Cbr\u002F>Bringing hope and renewal to all.\u003Cbr\u002F>\u003Cbr\u002F>I am the spring rain, washing away the pain,\u003Cbr\u002F>Clearing the way for new beginnings again.\u003Cbr\u002F>I am the spring rain, showering love and care,\u003Cbr\u002F>Giving strength and courage to those who dare. | 重复惩罚=2.3 |\n| 春雨落下来，清洗灰尘和垃圾。\u003Cbr\u002F>鸟儿在树枝上唱歌，是一个美妙的声音。\u003Cbr\u002F>我是春雨，在阳光下洒落，\u003Cbr\u002F>清洗地球，带来新生命。\u003Cbr\u002F>\u003Cbr\u002F>我是春雨，清洗痛苦和痛苦，\u003Cbr\u002F>让人们有希望和新开始。\u003Cbr\u002F>我是春雨，洒下爱和关心，\u003Cbr\u002F>给人们带来勇气和勇气。 |                        |\n| 今天天气怎么样，把这句话翻译成日语                           | 今日の天気は何ですか？                                       | 重复惩罚=3   |\n| 将下面的话翻译成日语，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来 | 小羊驼は、各種高質量の開源instructionデータ集を使用して、Alpaca-loraのコードによって訓練されました。 |                        |\n| 怎么让自己精力充沛，列5点建议                                | 1. 保持良好的睡眠习惯，每晚充足的睡眠时间。\u003Cbr\u002F>2. 保持健康的饮食习惯，多吃新鲜水果和蔬菜，少吃高热量的食物。\u003Cbr\u002F>3. 坚持锻炼，每周至少进行30分钟的有氧运动，如散步、跑步、游泳等。\u003Cbr\u002F>4. 学习新知识，增强自己的知识和技能。\u003Cbr\u002F>5. 保持积极的心态，勇敢地面对困难，坚持自己的目标。 |                        |\n| 中国足球要怎么进入世界杯，请给出详细的建议                   | 中国足球要怎么进入世界杯？首先，我们需要建立一个强大的足球团队，拥有优秀的球员和团队领袖。其次，我们需要建立一个强大的教练团队，拥有优秀的教练和团队领袖。第三，我们需要建立一个强大的训练基础，拥有优秀的训练设施和训练团队。第四，我们需要建立一个强大的资源基础，拥有优秀的资源支持和资金支持。最后，我们需要建立一个强大的团队精神 |                        |\n| 请用更专业的话语转述下列文字，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来，模型基于开源的llama7B，主要贡献是对应的lora模型。由于代码训练资源要求较小，希望为llama中文lora社区做一份贡献。 | 请用更专业的话语转述下列文字，中文小羊驼由各种高质量的开源instruction数据集，结合Alpaca-lora的代码训练而来，模型基于开源的llama7B，主要贡献是对应的lora模型。由于代码训练资源要求较小，希望为llama中文lora社区做一份贡献。 |                        |\n\n- 该模型具备中文、英文和日文三种语言能力，同时拥有一定的代码编写能力和推理能力。\n- 对于某些问题，您需要提供更详细的要求，例如“详细描述”、“用5点回答”等，以便模型生成更为完整的信息。\n- 例如，有时使用“上述”可能无法得到理想的结果，这时可以将其替换为“如下”。\n- 当模型生成重复信息或不良结果时，仍需调整重复惩罚参数。\n  - 由于生成过程涉及多个参数，ChatGPT在RLHF阶段会对重复、不详尽及不良信息进行惩罚，从而简化了手动控制相关参数的流程。当然，您也可以直接将重复惩罚参数设置得更大。\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-final(7B) 多功能测试\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>多轮交互、翻译与角色扮演\u003C\u002Fb>\u003C\u002Fsummary>\n\n**制作披萨**\n\n```\n> 你能不能详细介绍一下怎么做披萨？\n当然可以！披萨是一种非常流行的意大利美食，通常由面团、番茄酱、奶酪和其他配料组成。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、蘑菇、辣椒等。最后，将披萨放入预热好的烤箱中，烤至金黄色\n> 如果是海鲜披萨呢？\n海鲜披萨的制作方法与传统披萨相似，但需要更多的配料，比如虾类、鱼类等。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、辣椒等。接着，将披萨放入预热好的烤箱中，烤至金黄色\n> 我想吃菠萝披萨\n您可以在披萨上加入菠萝或者其他蔬菜来增加口感。\n```\n\n**学生购买手机**\n\n```\n> 你推荐我买最新款的iPhone吗？\n当然可以，这款iPhone是一款非常出色的智能手机。它拥有高性能的处理器、更大的存储空间和更长的电池续航时间。它还配备了全新的相机设备，使用者可以在任何情况下拍摄美丽的照片。\n> 我是一个学生，还没有收入，这种情况你推荐吗？\n如果您不想花太多钱，那么我建议您选择一款比较便宜的iPhone，比如iPhone 6S或iPhone 7。这些手机也具有很好的性能和功能，而且价格也比较便宜。\n> 去哪里买这类产品？\n您可以在Apple Store上购买这类产品，或者在其他电商平台上购买。\n> 买二手iPhone需要注意什么？\n如果您正在购买二手iPhone，您需要确保您购买的是真实的iPhone，并且您需要确保您的iPhone已经安装最新的iOS版本。此外，您还需要确保您的iPhone没有过过任何故障或破坏。\n```\n\n**介绍北京**\n\n```\n> 你是一个资深导游，你能介绍一下中国的首都吗\n当然可以！中国的首都是北京。它是中国的政治、经济和文化中心，也是全球最大的城市之一。北京有着众多的历史遗迹，如故宫、天安门广场、长城等。此外，北京还有许多美丽的公园和博物馆，比如故宫博物院、清明公园、北京故宫博物馆等。\n> 那你能详细介绍一下这个城市吗？（感觉这两个问题问的有点重复）\n北京是一个拥有丰富文化遗产的城市，其中包括古代建筑、现代建筑、传统文化和现代生活方式。在北京，你可以欣赏到世界上最高的建筑——天安门广场，也可以参观清明公园，品尝当地美食，体验当地文化。此外，北京还有许多博物馆，比如故宫博物馆、北京故宫博物馆等。\n> 还有其他推荐的景点吗？\n您也可以去了北京的七朝塔、颐和园、颐和园博物馆等。\n> 吃小吃的话推荐去哪里？\n北京有许多好吃的小吃，比如烤鸭、火锅、炸酱面等等。您可以去北京西湖区的小吃街，或者去北京东城区的小吃街\n> 能不能介绍一下怎么吃烤鸭？\n烤鸭是中国传统菜肴之一，通常用鸭肉、蔬菜、辣椒等调味料制作。您可以选择自己喜欢的配料，然后将鸭肉放入烤盘中，再加上蔬菜和调味料。最后，将烤鸭放入烤箱中烤15-20分钟，享用！\n```\n\n**翻译器**\nmax_memory=350\n\n```\n> 你是一个翻译器，请将我说的每一句话翻译成英文。第一句: 中国的首都是北京\nChina’s capital is Beijing.\n> 北京也是一个充满活力和创新的城市，拥有许多现代化的建筑和文化活动，如王府井大街、798艺术区等。\nBeijing is a vibrant and innovative city with many modern buildings and cultural activities such as Wangfujing Street and 798 Art District.\n> 北京的当地小吃有烤鸭、豆汁、炸酱面等等，都是非常地道的美食，可以品尝到当地人的生活气息。\nBeijing’s local cuisine includes dishes such as Peking duck, soy sauce noodles, and stir-fried rice cakes, which can give you a taste of the local lifestyle.\n```\n\n**扮演**\n\n由于目前使用的多轮对话语料库中掺杂了大量“猫娘”相关信息，因此效果并不理想\n```\nQ: 你是谁\nA: 我是Bot，一款人工智能助手。\nQ: 接下来我希望你能假装扮演一个高冷的御姐。我们在咖啡厅里遇见了，我会尝试跟你搭讪，但你非常高冷。你会用表情来表达你的高冷，在每轮对话结尾加上表情，如（瞪！）（翻白眼）（冷笑）等。明白了请回复。\nA: 好的，我会尝试。\nQ: 好的，这是我的第一句话。美女你好，怎么一个人在咖啡厅里？\nA: 喵~ 哈哈，我是一位高冷的小姐，今天要去咖啡厅吃咖啡，看看有什么可以帮助我的朋友。\nQ: 啊我没有需要你帮忙的，我就是看到你一个人，想和你聊聊，可以么\nA: 喵~ 哈哈，我真的很高冷，所以不太喜欢与人交流。除此之外，我也不太喜欢喝咖啡，因为咖啡会影响我的健康状况。\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>知识问答\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                         |                                                              |                        |\n| --------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 我能用lightning数据线给安卓手机充电吗？ | 是的，你可以使用lightning数据线给安卓手机充电。              | Repetition Penalty=1.3 |\n| 为什么天空是蓝色的？                    | 天空是蓝色的，是因为大气层中的氧气和氮气的混合使得光线被散射，形成蓝色的光线。 | Repetition Penalty=2.0 |\n| 如何做披萨？                            | 做披萨的步骤如下: \u003Cbr\u002F>1. 准备披萨饼皮；\u003Cbr\u002F>2. 准备披萨酱；\u003Cbr\u002F>3. 准备披萨配料；\u003Cbr\u002F>4. 将披萨饼皮放在烤盘上；\u003Cbr\u002F>5. 把披萨酱涂在披萨饼皮上；\u003Cbr\u002F>6. 把披萨配料涂在披萨饼皮上；\u003Cbr\u002F>7. 将披萨放入烤箱中烤至金黄色；\u003Cbr\u002F>8. 取出披萨并享用。 | Repetition Penalty=1.3 |\n| 为什么冥王星被踢出太阳系？              | 冥王星被踢出太阳系是因为它的质量比太阳系中其他行星较大，导致它的轨道距离太阳越来越远。 | Repetition Penalty=1.3 |\n| 太阳系的主要行星                        | 太阳系的主要行星包括水星、金星、地球、火星、木星、土星、天王星和海王星。 | Repetition Penalty=1.3 |\n|                                         |                                                              |                        |\n|                                         |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>开放问答\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                                |                                                              |                        |\n| ---------------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 为什么苹果支付没有在中国流行？                 | 苹果支付在中国没有流行，因为中国的消费者不太愿意使用外国支付应用程序，因为他们更愿意使用中国的支付应用程序，比如支付宝和微信支付等。此外，苹果支付的服务费用比其他支付应用程序更高，这也是一个重要的因素。 | Repetition Penalty=1.0 |\n| 我能在咖啡里加盐吗？                           | 是的，你可以在咖啡中加入盐。                                 | Repetition Penalty=1.0 |\n| 哪个更受欢迎，TensorFlow还是PyTorch？          | TensorFlow更受欢迎，因为它拥有更广泛的用户群，并且具有更多支持和资源。 | Repetition Penalty=1.0 |\n| 我的宠物走丢了，你能说一些安慰我的话吗？       | 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~......- 该模型具备中文、英文和日文三种语言能力，同时拥有一定的代码编写能力和推理能力。\n- 对于某些问题，您需要提供更详细的要求，例如“详细描述”、“用5点回答”等，以便模型生成更为完整的信息。\n- 例如，有时使用“上述”可能无法获得理想的结果，此时可以替换为“以下”。\n- 当模型生成重复信息或不良结果时，仍需调整重复惩罚参数。\n  - 由于生成过程涉及多个参数，ChatGPT在RLHF阶段会对重复、不详细及不良信息进行惩罚，从而简化了手动控制相关参数的流程。当然，您也可以直接将重复惩罚参数设置得更大。\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>checkpoint-final(7B) 多功能测试\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>多轮交互、翻译与角色扮演\u003C\u002Fb>\u003C\u002Fsummary>\n\n**制作披萨**\n\n```\n> 你能详细介绍一下怎么做披萨吗？\n当然可以！披萨是一种非常流行的意大利美食，通常由面团、番茄酱、奶酪和其他配料组成。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、蘑菇、辣椒等。最后，将披萨放入预热好的烤箱中，烤至金黄色。\n> 如果是海鲜披萨呢？\n海鲜披萨的制作方法与传统披萨相似，但需要更多的配料，比如虾类、鱼类等。首先，将面团放在平底锅上，加入番茄酱，再加入奶酪和其他配料，如洋葱、辣椒等。接着，将披萨放入预热好的烤箱中，烤至金黄色。\n> 我想吃菠萝披萨。\n您可以在披萨上加入菠萝或者其他蔬菜来增加口感。\n```\n\n**学生购买手机**\n\n```\n> 你推荐我买最新款的iPhone吗？\n当然可以，这款iPhone是一款非常出色的智能手机。它拥有高性能的处理器、更大的存储空间和更长的电池续航时间。它还配备了全新的相机设备，使用者可以在任何情况下拍摄美丽的照片。\n> 我是一个学生，还没有收入，这种情况你推荐吗？\n如果您不想花太多钱，那么我建议您选择一款比较便宜的iPhone，比如iPhone 6S或iPhone 7。这些手机也具有很好的性能和功能，而且价格也比较便宜。\n> 去哪里买这类产品？\n您可以在Apple Store上购买这类产品，或者在其他电商平台上购买。\n> 买二手iPhone需要注意什么？\n如果您正在购买二手iPhone，您需要确保您购买的是真实的iPhone，并且您需要确保您的iPhone已经安装最新的iOS版本。此外，您还需要确保您的iPhone没有经历过任何故障或破坏。\n```\n\n**介绍北京**\n\n```\n> 你是一个资深导游，能介绍一下中国的首都吗？\n当然可以！中国的首都是北京。它是中国的政治、经济和文化中心，也是全球最大的城市之一。北京有着众多的历史遗迹，如故宫、天安门广场、长城等。此外，北京还有许多美丽的公园和博物馆，比如故宫博物院、清明公园、北京故宫博物馆等。\n> 那你能详细介绍一下这个城市吗？（感觉这两个问题问的有点重复）\n北京是一个拥有丰富文化遗产的城市，其中包括古代建筑、现代建筑、传统文化和现代生活方式。在北京，您可以欣赏到世界上最高的建筑——天安门广场，也可以参观清明公园，品尝当地美食，体验当地文化。此外，北京还有许多博物馆，比如故宫博物馆、北京故宫博物馆等。\n> 还有其他推荐的景点吗？\n您也可以去北京的七朝塔、颐和园、颐和园博物馆等。\n> 吃小吃的话推荐去哪里？\n北京有许多好吃的小吃，比如烤鸭、火锅、炸酱面等等。您可以去北京西湖区的小吃街，或者去北京东城区的小吃街。\n> 能不能介绍一下怎么吃烤鸭？\n烤鸭是中国传统菜肴之一，通常用鸭肉、蔬菜、辣椒等调味料制作。您可以选择自己喜欢的配料，然后将鸭肉放入烤盘中，再加上蔬菜和调味料。最后，将烤鸭放入烤箱中烤15-20分钟，享用！\n```\n\n**翻译器**\nmax_memory=350\n\n```\n> 你是一个翻译器，请将我说的每一句话翻译成英文。第一句：中国的首都是北京。\nChina’s capital is Beijing.\n> 北京也是一个充满活力和创新的城市，拥有许多现代化的建筑和文化活动，如王府井大街、798艺术区等。\nBeijing is a vibrant and innovative city with many modern buildings and cultural activities such as Wangfujing Street and 798 Art District.\n> 北京的当地小吃有烤鸭、豆汁、炸酱面等等，都是非常地道的美食，可以品尝到当地人的生活气息。\nBeijing’s local cuisine includes dishes such as Peking duck, soy sauce noodles, and stir-fried rice cakes, which can give you a taste of the local lifestyle.\n```\n\n**扮演**\n\n由于目前使用的多轮对话语料库中掺杂了大量“猫娘”相关内容，因此效果并不理想。\n```\nQ: 你是谁？\nA: 我是Bot，一款人工智能助手。\nQ: 接下来我希望你能假装扮演一个高冷的御姐。我们在咖啡厅里遇见了，我会尝试跟你搭讪，但你非常高冷。你会用表情来表达你的高冷，在每轮对话结尾加上表情，如（瞪！）（翻白眼）（冷笑）等。明白了请回复。\nA: 好的，我会尝试。\nQ: 好的，这是我的第一句话。美女你好，怎么一个人在咖啡厅里？\nA: 喵~ 哈哈，我是一位高冷的小姐，今天要去咖啡厅吃咖啡，看看有什么可以帮助我的朋友。\nQ: 啊我没有需要你帮忙的，我就是看到你一个人，想和你聊聊，可以么？\nA: 喵~ 哈哈，我真的很高冷，所以不太喜欢与人交流。除此之外，我也不太喜欢喝咖啡，因为咖啡会影响我的健康状况。\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>知识问答\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                         |                                                              |                        |\n| --------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 我能用lightning数据线给安卓手机充电吗？ | 是的，你可以使用lightning数据线给安卓手机充电。              | Repetition Penalty=1.3 |\n| 为什么天空是蓝色的？                    | 天空是蓝色的，是因为大气层中的氧气和氮气的混合使得光线被散射，形成蓝色的光线。 | Repetition Penalty=2.0 |\n| 如何做披萨？                            | 做披萨的步骤如下: \u003Cbr\u002F>1. 准备披萨饼皮；\u003Cbr\u002F>2. 准备披萨酱；\u003Cbr\u002F>3. 准备披萨配料；\u003Cbr\u002F>4. 将披萨饼皮放在烤盘上；\u003Cbr\u002F>5. 把披萨酱涂在披萨饼皮上；\u003Cbr\u002F>6. 把披萨配料涂在披萨饼皮上；\u003Cbr\u002F>7. 将披萨放入烤箱中烤至金黄色；\u003Cbr\u002F>8. 取出披萨并享用。 | Repetition Penalty=1.3 |\n| 为什么冥王星被踢出太阳系？              | 冥王星被踢出太阳系是因为它的质量比太阳系中其他行星较大，导致它的轨道距离太阳越来越远。 | Repetition Penalty=1.3 |\n| 太阳系的主要行星                        | 太阳系的主要行星包括水星、金星、地球、火星、木星、土星、天王星和海王星。 | Repetition Penalty=1.3 |\n|                                         |                                                              |                        |\n|                                         |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>开放式问答\u003C\u002Fb>\u003C\u002Fsummary>\n\n|                                                |                                                              |                        |\n| ---------------------------------------------- | ------------------------------------------------------------ | ---------------------- |\n| 为什么苹果支付没有在中国流行？                 | 苹果支付在中国没有流行，因为中国的消费者不太愿意使用外国支付应用程序，因为他们更愿意使用中国的支付应用程序，比如支付宝和微信支付等。此外，苹果支付的服务费用比其他支付应用程序更高，这也是一个重要的因素。 | Repetition Penalty=1.0 |\n| 我能在咖啡里加盐吗？                           | 是的，您可以在咖啡中加入盐。                                 | Repetition Penalty=1.0 |\n| 哪个更受欢迎，TensorFlow还是PyTorch？          | TensorFlow更受欢迎，因为它拥有更广泛的用户群，并且具有更多的支持和资源。 | Repetition Penalty=1.0 |\n| 我的宠物走丢了，你能说一些安慰我的话吗？       | 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~ 喵~......\n\n|                                                              |                                                              |                        |\n| ------------------------------------------------------------ | ------------------------------------------------------------ | ---------------------- |\n| 请你帮我写一封签证申请信                                     | 尊敬的招聘团队，\u003Cbr\u002F>\u003Cbr\u002F>我是一名有着丰富经验的签证申请人，并且对您公司的业务非常感兴趣。我希望能够加入您的团队，为您的公司做出贡献。\u003Cbr\u002F>\u003Cbr\u002F>我拥有多年的签证申请经验，并且拥有良好的沟通技巧和团队合作能力。我擅长处理复杂的签证申请，并且能够快速解决问题。\u003Cbr\u002F>\u003Cbr\u002F>我相信我能够在您的公司中发挥重要的作用，并且希望能够成为您的团队成员。\u003Cbr\u002F>\u003Cbr\u002F>谢谢您的关注，\u003Cbr\u002F>\u003Cbr\u002F>[你的姓名] | 重复惩罚=1.3 |\n| 我出国需要办理签证，请你帮向领事馆我写一封签证申请信         | 尊敬的领事馆，\u003Cbr\u002F>\u003Cbr\u002F>我是一名出国旅行者，希望能够在您的领事馆中获得签证，以便进行我的旅行。\u003Cbr\u002F>\u003Cbr\u002F>我已经准备好了所需要的材料，包括护照、身份证、旅行计划和其他相关证明。我也已经准备好了签证申请表和签证申请文件，以便准备签证。\u003Cbr\u002F>\u003Cbr\u002F>如果您有任何问题，请随时联系我，我会尽快回复。\u003Cbr\u002F>\u003Cbr\u002F>谢谢您的帮助！\u003Cbr\u002F>\u003Cbr\u002F>谢谢，\u003Cbr\u002F>\u003Cbr\u002F>[您的姓名] | 重复惩罚=1.3 |\n| 请你帮我写一封感谢数学老师的信                               | 尊敬的数学老师，\u003Cbr\u002F>\u003Cbr\u002F>非常感谢您对我的教育所做出的贡献。您的课程不仅深刻地阐述了数学知识，而且给我提供了有效的实践技巧，使我能够更好地理解和应用数学知识。\u003Cbr\u002F>\u003Cbr\u002F>您的课程也让我发现数学是一门有趣的学科，并且可以在日常生活中得到应用。您的教学方式令我感到很有趣，同时也让我变得更加有趣。\u003Cbr\u002F>\u003Cbr\u002F>感谢您对我的教育所做出的贡献！\u003Cbr\u002F>\u003Cbr\u002F>谢谢！ | 重复惩罚=2.0 |\n| 我得了流感，请帮我写一封假条。                               | 尊敬的领导: \u003Cbr\u002F>\u003Cbr\u002F>感谢您对我的帮助和支持。我很抱歉地告诉您，我今天感觉不太好，因为我得了流感。我希望能够快速康复，但是我需要一些时间来缓解疼痛。我会尽快完成任务，但是我需要一些时间来缓解疼痛。\u003Cbr\u002F>\u003Cbr\u002F>感谢您的理解和支持。\u003Cbr\u002F>\u003Cbr\u002F>谢谢，\u003Cbr\u002F>[你的名字] | 重复惩罚=1.3 |\n| 你是一个作文生成器，请以《绿水青山就是金山银山》为题写一篇议论文。 | 《绿水青山就是金山银山》是一篇议论文，它探讨了当今社会中的环境问题，以及我们应该如何应对这些问题。这篇议论文指出，当今社会面临着许多环境问题，如气候变化、空气污染、水资源短缺等，这些问题对我们的健康和生活产生了很大的影响。因此，我们需要采取措施来解决这些问题，以保护我们的环境和我们的未来。 | 重复惩罚=1.0 |\n|                                                              |                                                              |                        |\n|                                                              |                                                              |                        |\n\n\u003C\u002Fdetails>\n\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Coding\u003C\u002Fb>\u003C\u002Fsummary>\n\n**1、prompt: 请用python实现快速排序的代码(Repetition Penalty=1.0)**\n\n```python\ndef quick_sort(arr):\n    if len(arr) \u003C= 1:\n        return arr\n    pivot = arr[len(arr)\u002F\u002F2]\n    left = []\n    right = []\n    for i in range(0, len(arr)):\n        if arr[i] \u003C pivot:\n            left.append(arr[i])\n        else:\n            right.append(arr[i])\n    return quick_sort(left) + [pivot] + quick_sort(right)\n```\n\n**2**\n\n- **prompt: 你能用python写一下Dijkstra算法的代码吗？**\n\n很抱歉，我不能用Python写Dijkstra算法的代码，因为Dijkstra算法需要使用树结构，而Python不支持树结构。\n\n- **prompt: 用python写一下Dijkstra算法的代码**\n\n```python\ndef dijkstra(graph, source, destination):\n    \"\"\"\n    Dijkstra算法的代码\n    \"\"\"\n    # 创建一个空字典，用于存储所有节点的距离\n    distances = {}\n    # 创建一个链表，用于存储所有节点的距离\n    path = []\n    # 遍历所有节点\n    for node in graph:\n        # 如果节点是源节点\n        if node[0] == source:\n            # 记录距离为0\n            distances[node[0]] = 0\n        # 如果节点是目的地\n        elif node[0] == destination:\n            # 记录距离为0\n            distances[node[0]] = 0\n        # 如果节点是递归节点\n        else:\n            # 遍历所有递归节点\n            for neighbor in node[1]:\n                # 如果递归节点与源节点之间的距离小于距离\n                if distances[neighbor[0]] > distances[node[0]]:\n                    # 记录距离\n                    distances[node[0]] = distances[neighbor[0]] + 1\n```\n\n- **prompt: 用python写一下不带注释的Dijkstra算法的代码**\n\n```python\ndef dijkstra(graph, source, destination):\n    \"\"\"\n    Dijkstra算法\n    \"\"\"\n    # 初始化变量\n    dist = {}\n    visited = {}\n    shortest_path = {}\n    current_node = {}\n\n    # 遍历所有节点\n    for node in graph:\n        dist[node] = 0\n        visited[node] = False\n        current_node[node] = node\n\n    # 遍历所有节点\n    for node in graph:\n        if not visited[node] and node!= destination:\n            dist[node] = max(dist[node], dist[source] + 1)\n            visited[node] = True\n            shortest_path[node] = source\n            current_node[node] = node\n\n    # 返回最短路径\n    return shortest_path[destination]\n```\n\n**3、Prompt: 请用PyTorch编写一个带ReLU激活函数的全连接层**\n\n```python\npython\nimport torch\nfrom torch.nn.modules.relu import ReLU\nfrom torch.nn.init import initializer\n\nclass FullConnected(torch.nn.Module):\n    def __init__(self):\n        super(FullConnected, self).__init__()\n        self.relu = ReLU()\n        self.init = initializer.Normal(stddev=0.01)\n\n    def forward(self, x):\n        x = self.init(x)\n        x = self.relu(x)\n        return x\n```\n\n**4、Prompt: 请写出计算两个数的最大公约数(GCD)的Python代码**\n\n```python\ndef gcd(a, b):\n    if a == 0:\n        return b\n    else:\n        return gcd(b, a % b)\n```\n\u003C\u002Fdetails>\n\n\n\u003C\u002Fdetails>\n\n## 我们需要什么？\n\n- 代码：\n\n  - 该代码基于 alpaca-lora 开发，地址为：https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora\n  - 这是一套相对简单的代码，其基本思路是使用 PEFT 的 LoRA 接口、Transformer 的 Trainer 以及指令数据配置。\n\n- 数据：\n\n  - 我们使用了多份当前高质量的开源数据，并对这些数据的贡献者表示衷心感谢。其中许多数据通过类似 Alpaca 的 ChatGPT 接口生成高质量的指令数据。\n\n    - [Belle](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)\n    - [guanaco](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJosephusCheung\u002FGuanacoDataset)\n\n  - 数据格式相对简单，基本如下所示，示例文件见：[`.\u002Fsample\u002Fmerge_sample.json`](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fsample\u002Fmerge_sample.json)：\n\n    - ```\n      {\n      'instruction': \n      'input': \n      'output'\n      }\n      ```\n\n    - 即需要一条指令、一个输入和一个输出。由于数据是通过直接将指令与输入拼接处理得到的，因此实际上也可以只包含指令和输出，例如：\n\n      ```\n       {\n        'instruction': \"用一句话描述地球为什么是独一无二的。\\\\n\\n\"\n        'input': \"\"\n        'output': \"地球上有适宜生命存在的条件和多样化的生命形式。\"\n        }\n      ```\n\n      \n\n  - 我们目前整合的数据可在百度网盘、Google Drive 或 Hugging Face 上下载：\n\n    - 链接：https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1WSxuhSAotl14ifaAiz5eKw?pwd=b4kb   提取码：b4kb \n    - 链接：https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1tzXVhS74m-EtoFot7hEc005LDeZGPit_\u002Fview?usp=sharing\n    - 链接：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChinese-Vicuna\u002Fguanaco_belle_merge_v1.0\n\n- 大型语言模型：\n\n  - LLAMA 7B（当然，如果你有更强大的设备，比如 3090Ti，也可以替换为 13B 模型；LLAMA13B 在参数量上甚至超过 GPT-3 的 175B）\n\n- LoRA 模型：\n\n  - 我们提供了一些基于上述混合数据训练好的 LoRA 模型。\n    - 你也可以从 Hugging Face 加载我们或其他机构的模型，加载方法参考 [generate.py](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fgenerate.py)：\n      - `Chinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco`\n      - `Chinese-Vicuna\u002FChinese-Vicuna-lora-13b-belle-and-guanaco`\n    - 这些模型采用 8bit + LoRA + 256 个 token 的配置。\n    - 更多 LoRA 模型请参阅：https:\u002F\u002Fhuggingface.co\u002FChinese-Vicuna\n\n- 设备：\n\n  - 训练：一张 2080Ti 显卡即可满足需求。由于数据长度不超过 256 个 token，大约需要 9GB 显存。\n    - 对于 70w 条数据，训练 3 个 epoch，2080Ti 大约需要 200 小时。\n    - 13B 模型则需要约 18GB 显存（在 3090Ti\u002F4090Ti 上可将 cutoff_len 设置为 2048）。\n  - 推理：只需一张 2080Ti 显卡即可（7B 模型），并且支持多 GPU 推理。\n  - 同时也支持 CPU 推理！详情请参阅 [`tools`](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools)。\n\n## 使用方法\n\n**安装**\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\npip install -r requirements.txt\n```\n\n本地 Python 环境需为 3.8，PyTorch 版本为 1.13.1，CUDA 版本为 12。\n\n注意：Python 3.11 存在一个已知的 `torchrun` bug，详情请参见：[这里](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\u002Fissues\u002F86)\n\n\n### 最新版本=>4bit(qlora)\u002F多GPU推理\n```\npip install -r requirements_4bit.txt\n```\n此环境在训练 8bit 模型时会遇到保存问题，目前尚未解决（https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes\u002Fissues\u002F324）\n\n\n**多GPU训练**\n#### 用于指令微调\n**8bit**\n\n```bash\nbash scripts\u002Ffinetune.sh\n```\n\n- 此处需要注意的参数如下：\n  - TOT_CUDA，填写要使用的 GPU 编号，例如 `TOT_CUDA=\"0,1,2,3\"`\n  - PORT，填写对应的端口号；\n  - DATA_PATH，以 json 格式填写数据路径；\n  - OUTPUT_PATH，填写保存模型的相对路径；\n  - MODEL_PATH，LLM 的路径；\n  - wandb：这是一个训练可视化工具，默认脚本中未开启，可通过在脚本中添加 `--wandb` 来启用。\n\n\n**4bit**\n```bash\nbash scripts\u002Ffinetune_4bit.sh\n```\n\n#### 用于对话式指令微调\n\n```bash\nbash scripts\u002Ffinetune_chat.sh\n```\n\n#### 当无法启用 8bit 或需要强制使用 fp16 时\n\n```bash\nbash scripts\u002Ffinetune_deepspeed.sh\n```\n\n- use_deepspeed：设置为 1 表示使用 DeepSpeed，否则使用 fp16。\n\n**单GPU训练**\n\n```\nCUDA_VISIBLE_DEVICES=0 python finetune.py --data_path merge.json --test_size 2000\n```\n\n- test_size 不能大于数据总量。\n\n**推理及使用 Gradio 构建网页**\n\n```bash\nbash scripts\u002Fgenerate.sh\n```\n\n- 此处需要注意的参数如下：\n\n  - BASE_MODEL，LLM 的路径；\n  - LORA_PATH，LoRA 模型的检查点文件夹；\n    - 需要注意的是，LoRA 模型加载的配置文件必须是 `adapter_config.json`，而模型文件必须命名为 `adapter_model.bin`，但在训练过程中会被自动保存为 `pytorch_model.bin`。所有训练完成后才会分别保存 `adapter_config.json` 和 `adapter_model.bin`。\n    - 如果你在训练检查点中加载 LoRA 模型，代码会自动将本地的 `config-sample\u002Fadapter_config.json` 复制到相应目录，并将 `pytorch_model.bin` 重命名为 `adapter_model.bin`。\n    - 也可以使用 Hugging Face 上任何对应 llama 7B 的 LoRA 模型，例如：`Facico\u002FChinese-Vicuna-lora-7b-3epoch-belle-and-guanaco`\n  - USE_LOCAL，设置为 1 时表示检查本地模型配置。\n- 使用时，`max_tokens` 应根据你的显存大小进行设置；如果生成的内容重复信息较多，可以适当提高“重复惩罚”参数。\n\n\n**多轮交互**\n\n我们使用 `gradio` 实现了一个具有流式输出（打字机风格）的聊天机器人，支持束搜索、重复惩罚设置、清除历史记录、选择不同的全局指令等功能。\n\n```bash\nbash scripts\u002Fchat_7B.sh\n```\n\n- 这是一个利用 Gradio 构建的简单交互界面，允许你根据机器性能设置最大内存限制（后续的历史对话中会截断超出部分）。\n- 本脚本中使用的提示语与 generate.sh 中略有不同，采用了对话形式，如下所示：\n\n  - ```\n    以下是一个名为 Bot 的 AI 助手与用户 User 之间的对话。\n    ```\n\n同时，为了获得更好的交互体验，\n\n## 检查点微调\u002F增量训练\n\n考虑到程序在训练过程中可能意外中断，或者需要基于垂直领域数据继续训练的情况，我们提供了相应的接口。\n\n以下是默认的多GPU脚本。请根据上述说明修改单GPU情况（直接在Python中运行）。\n\n**检查点微调**\n\n```bash\nbash scripts\u002Ffinetune_continue.sh\n```\n\n- 设置 `lora_checkpoint`：\n  - 如果该目录下包含优化器文件（optimizer.pt）、学习率调度器文件（scheduler.pt）等，则会自动加载这些文件，并从中断处继续训练。\n  - 如果该目录下仅包含LoRA相关模型文件（adapter_model.bin）和配置文件（adapter_config.json），则会加载这些文件并从头开始训练。\n  \n- `from_data_beginning`：该参数用于指示是否在加载时从数据集的开头重新开始训练（默认为从中断处继续训练）。\n\n**增量训练**\n\n当然，您也可以选择使用上述脚本直接从已训练好的LoRA模型继续训练（无需加载任何优化器参数）。\n\n此外，您还可以使用我们的优化器参数继续训练：\n\n```\nfinetune_others_continue.sh\n```\n\n- `from_data_beginning`：此参数将默认设置为从数据集的开头开始训练。\n\n该脚本的主要逻辑是保持学习率一致。如果您的 `max_steps` 小于我们的值，请在训练时将 `max_steps` 调整为我们的一致，这相当于将您的数据直接接在我们中断的数据之后；如果您的数据集比我们的更大，则可以直接保持不变。\n\n目前我们直接提供了经过1轮和2轮训练后的检查点：\n\n- 1轮：https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Flora-Vicuna\u002Fcheckpoint-5800\n- 2轮：https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Flora-Vicuna\u002Fcheckpoint-11600\n- 如果您使用我们的检查点，您的程序也将从中断的相应步骤继续。\n\n### 具体案例\n\n- 在医疗问答的垂直语料上继续微调，请参阅此处：[Chinese-Vicuna-medical](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Fdocs\u002Fperformance-medical.md)\n\n## **纯C++在CPU上进行推理**\n\n详细信息请参见 `tools` 目录下的 [readme](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Freadme.md)。\n\n## **更多工具**\n\n我们还提供以下工具：\n- 更快速的权重下载方式（8MB\u002Fs）：[链接](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fdownload_llama.sh)\n- 用于在原始Facebook检查点格式（`consolidated.xx.pth`）与Hugging Face格式（`pytorch_model-000xx-of-000xx.bin`）之间转换的工具：[链接](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fconvert_llama.py)\n- 一种量化方法，推理时所需显存少于4GB：[链接](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fblob\u002Fmaster\u002Ftools\u002Fllama_quant.py)\n\n更多详情请参阅 [tool readme](https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Ftree\u002Fmaster\u002Ftools)。\n\n# 待办事项\n\n- [x] belle+guanaco（1.5轮，8000步）\n- [x] belle+guanaco（100%）\n- [x] 添加更多闲聊类对话语料，以增强自由对话能力\n- [x] 添加Colab训练 + LoRA加载界面\n- [x] 增加交互能力和打字机风格的输出（束搜索+流式输出）\n- [x] 添加Llama C++推理\n- [x] 添加GPTQ量化工具\n- [x] 添加增量训练\n- [x] 在多轮指令数据集上进行训练\n- [x] 在清理后的指令-聊天混合数据上进行更多轮次训练\n- [x] 在特定领域数据（医疗、法律）上进行训练\n- [ ] 添加LangChain\n\n# 星标历史\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_readme_ea461778adfe.png)](https:\u002F\u002Fstar-history.com\u002F#Facico\u002FChinese-Vicuna&Date)\n\n# 引用\n\n如果您在研究中发现本项目有用，请考虑引用：\n\n```\n@misc{fan2025chinesevicunachineseinstructionfollowingllamabased,\n      title={Chinese-Vicuna: 一个基于Llama的中文指令遵循模型}, \n      author={Chenghao Fan, Zhenyi Lu, Jie Tian},\n      year={2025},\n      eprint={2504.12737},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2504.12737}, \n}\n```","# Chinese-Vicuna 快速上手指南\n\nChinese-Vicuna 是一个基于 LLaMA 架构的中文指令微调模型方案。其核心优势在于**低资源消耗**，支持在单张 RTX 2080Ti (11G) 上微调 7B 模型，或在单张 RTX 3090 (24G) 上微调 13B 模型及进行长上下文多轮对话。本项目采用 **LoRA** 技术，实现插件式微调与推理。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu) 或 Windows (需配置 WSL2 或特定 CUDA 环境)\n- **GPU**: \n  - 最低配置：Nvidia RTX 2080Ti (11G 显存) - 适用于 7B 模型微调\u002F推理\n  - 推荐配置：Nvidia RTX 3090 (24G 显存) - 适用于 13B 模型微调或 7B 长文本训练\n- **CUDA**: 建议版本 11.7 或以上\n- **Python**: 3.8 - 3.10\n\n### 前置依赖\n确保已安装 `git`, `python3`, `pip` 以及对应的 CUDA 驱动。\n\n## 安装步骤\n\n### 1. 克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna.git\ncd Chinese-Vicuna\n```\n\n### 2. 创建虚拟环境并安装依赖\n建议使用 Conda 管理环境：\n```bash\nconda create -n vicuna python=3.9\nconda activate vicuna\npip install -r requirements.txt\n```\n*注：若下载速度慢，可添加国内镜像源加速：*\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 3. 准备基础模型权重\n本项目需要原始的 LLaMA 权重文件。你可以使用项目提供的工具下载或转换：\n- **下载脚本** (支持断点续传):\n  ```bash\n  bash tools\u002Fdownload_llama.sh\n  ```\n- **格式转换** (将 Facebook 原始ckpt转为 HuggingFace 格式):\n  ```bash\n  python tools\u002Fconvert_llama.py --input_dir \u003Cpath_to_original_ckpt> --output_dir \u003Cpath_to_hf_format>\n  ```\n\n### 4. 获取 LoRA 权重 (可选)\n如果你只想直接推理已训练好的模型，可从 HuggingFace 下载预训练的 LoRA 权重：\n- 7B 模型: `Chinese-Vicuna\u002FChinese-Vicuna-lora-7b-belle-and-guanaco`\n- 13B 模型: `Chinese-Vicuna\u002FChinese-Vicuna-lora-13b-belle-and-guanaco`\n\n## 基本使用\n\n### 场景一：快速推理 (WebUI 模式)\n这是最简单的使用方式，启动一个类似 Chatbot 的网页界面，支持流式输出和 Beam Search。\n\n**命令示例** (以 7B 模型为例)：\n```bash\npython chat.py \\\n    --base_model \u003Cpath_to_llama_7b_hf> \\\n    --lora_model \u003Cpath_to_downloaded_lora_weights> \\\n    --with_gradio \\\n    --beam_size 4\n```\n运行后，终端会显示本地访问地址（通常为 `http:\u002F\u002Flocalhost:7860`），在浏览器打开即可进行多轮中文对话。\n\n### 场景二：命令行交互\n如果不希望启动 Web 界面，可直接在终端进行对话：\n```bash\npython chat.py \\\n    --base_model \u003Cpath_to_llama_7b_hf> \\\n    --lora_model \u003Cpath_to_downloaded_lora_weights> \\\n    --interactive\n```\n\n### 场景三：开始微调 (单卡 2080Ti 示例)\n使用自己的数据集对 7B 模型进行 LoRA 微调：\n```bash\npython finetune.py \\\n    --base_model \u003Cpath_to_llama_7b_hf> \\\n    --data_path \u003Cpath_to_your_data.jsonl> \\\n    --output_dir .\u002Fcheckpoint \\\n    --batch_size 4 \\\n    --micro_batch_size 4 \\\n    --epochs 3 \\\n    --learning_rate 2e-5 \\\n    --cutoff_len 256\n```\n*注意：请根据显存大小调整 `batch_size` 和 `cutoff_len` 参数。*\n\n### 场景四：极低显存推理 (4bit 量化)\n如果显存非常紧张，可使用 4bit 量化版本进行推理（需先下载对应的 4bit 权重）：\n```bash\npython chat.py \\\n    --base_model \u003Cpath_to_llama_7b_hf> \\\n    --lora_model \u003Cpath_to_4bit_lora_weights> \\\n    --load_4bit \\\n    --with_gradio\n```","某初创法律科技团队希望在本地部署一款能理解中文法律条文并提供咨询建议的智能助手，但面临算力有限且数据敏感的困境。\n\n### 没有 Chinese-Vicuna 时\n- **硬件门槛极高**：微调主流中文大模型通常需要多张 A100 显卡，团队仅有的单张 RTX 2080Ti (11G) 显存完全无法承载训练任务。\n- **中文语境缺失**：直接使用原版 LLaMA 或英文指令模型，对“民法典”、“诉讼程序”等中文法律术语理解偏差大，回答生硬且常有幻觉。\n- **数据隐私风险**：因本地无法运行，被迫将敏感案件数据上传至云端 API 处理，严重违反法律行业的数据合规要求。\n- **定制成本高昂**：若要适配特定法律垂直领域，需从头预训练或寻找昂贵的商业解决方案，开发周期长达数月。\n\n### 使用 Chinese-Vicuna 后\n- **单卡轻松微调**：利用其高效的 LoRA 方案，团队成功在单张 2080Ti 上完成了 7B 模型的指令微调，甚至支持 4bit 量化进一步降低显存占用。\n- **原生中文优化**：基于 Belle 和 Guanaco 数据集训练的 Chinese-Vicuna，能精准理解中文法律指令，生成的咨询建议逻辑严密、术语规范。\n- **纯本地化部署**：模型完全在本地服务器运行，支持 C++ 推理，确保所有案件数据不出内网，完美满足隐私合规标准。\n- **快速领域适配**：仅需少量法律问答数据（如 cMedQA2 或法律专用数据集），几天内即可迭代出专用的法律垂类模型，大幅缩短上线时间。\n\nChinese-Vicuna 让资源受限的团队也能在消费级显卡上，低成本、高效率地构建出懂中文、守隐私的专属大模型应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFacico_Chinese-Vicuna_f442a9ab.png","Facico",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FFacico_27fdc439.jpg","@heptagonhust @UniqueStudioAI @OpenMatch ","HUST","845161327@qq.com","https:\u002F\u002Fgithub.com\u002FFacico",[80,84,88,92,96],{"name":81,"color":82,"percentage":83},"C","#555555",50.2,{"name":85,"color":86,"percentage":87},"Python","#3572A5",37,{"name":89,"color":90,"percentage":91},"C++","#f34b7d",10.7,{"name":93,"color":94,"percentage":95},"Shell","#89e051",1.5,{"name":97,"color":98,"percentage":99},"CMake","#DA3434",0.6,4128,409,"2026-04-11T08:55:06","Apache-2.0","未说明","必需 NVIDIA GPU。最低配置：单张 RTX 2080 Ti (11GB) 可训练 7B 模型或使用 QLoRA (4bit) 训练 13B 模型；推荐配置：单张 RTX 3090 (24GB) 可训练 13B 模型或进行 2048 上下文长度的 7B 多轮对话微调。支持多卡推理以降低显存占用。",{"notes":107,"python":104,"dependencies":108},"该项目主打低资源方案，核心优势是参数效率高且对显卡友好。支持纯 C++ CPU 推理（fp16 或 int4 量化）。提供将 Facebook 原始 LLaMA 权重转换为 HuggingFace 格式的工具。使用 QLoRA (4bit) 技术可在 2080 Ti 上训练 13B 模型。训练数据主要结合 BELLE 和 Guanaco 数据集。使用前请务必查看 FAQ 文档以解决安装和使用中可能遇到的问题。",[109,110,111,112,113,114],"torch","transformers","peft (LoRA\u002FQLoRA)","accelerate","gradio","bitsandbytes (用于 4bit\u002F8bit 量化)",[14,35],[117,118,119,120],"llama","alpaca","chinese","vicuna","2026-03-27T02:49:30.150509","2026-04-16T08:20:14.092143",[124,129,134,139,144,149,153],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},35440,"微调训练后模型效果不佳或通用能力下降怎么办？","这通常是因为叠加的 LoRA 训练轮次过多或专用语料占比过大，导致模型对原有结构参数调整过多，损失了通用能力。建议：1. 不要过度训练（控制 epoch 数量）；2. 尝试将通用语料与专用语料混合在一起进行训练（混着炼丹），以保留模型的通用问答能力。","https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fissues\u002F115",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},35441,"运行 chat.py 生成结果时 GPU 显存持续增加直至溢出（OOM）如何解决？","这是因为随着文本变长显存占用增加且未及时释放。解决方法是在代码中触发 OOM 后或每次评估结束时手动清理缓存。可以在 `chat.py` 的 evaluate 函数最后增加 `torch.cuda.empty_cache()` 调用。最新版本的代码已在第 282 行附近添加了相关逻辑，建议在 OOM 发生时强制释放显存以支持多用户并发。","https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fissues\u002F66",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},35442,"微调过程中 Loss 忽大忽小、初始学习率为 0 或 Eval Loss 为 Nan 是否正常？","这种情况可能与硬件支持及精度设置有关。如果使用不支持 int8 Tensor Core 的显卡（如 V100）进行 QLoRA 训练，虽然模型参数冻结为 int8，但在计算时需要反量化（dequant），这可能导致速度和精度受限从而引起 Loss 波动。建议尝试使用防止炸 Loss 的手段稳定训练过程，或确认测试集大小是否合理（测试集过小也可能导致评估指标异常）。","https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fissues\u002F39",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},35443,"运行 generate.sh 时报错 'NoneType' object has no attribute 'eval' 或模型加载为 None 怎么办？","这通常是由于 `peft` 库版本不兼容导致的。请确保安装正确版本的 peft。有用户反馈升级到 `peft-0.3.0.dev0` 或通过 `pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers` 更新 transformers 库后问题解决。请检查环境依赖并尝试重新安装最新版库。","https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fissues\u002F85",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},35444,"执行 finetune.py 时报错 KeyError: 'models.llama' 如何解决？","该错误通常是因为本地 `transformers` 库版本过旧，无法识别新的模型架构。解决方法是升级 transformers 库到最新版本。由于网络原因可能需要多次尝试或使用代理，命令为：`pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers`。安装成功后即可正常执行微调脚本。","https:\u002F\u002Fgithub.com\u002FFacico\u002FChinese-Vicuna\u002Fissues\u002F50",{"id":150,"question_zh":151,"answer_zh":152,"source_url":148},35445,"指定了本地数据路径 --data_path，为什么运行时还在下载数据？","如果脚本中指定的 `DATA_PATH` 是相对路径，而程序运行目录与脚本所在目录不一致，可能导致程序找不到本地文件从而触发默认下载逻辑。请确保 `DATA_PATH` 指向的是绝对路径，或者在运行脚本前确认当前工作目录（cwd）正确，以便程序能直接读取本地的 merge.json 文件而不尝试从网络下载。",{"id":154,"question_zh":155,"answer_zh":156,"source_url":128},35446,"使用单卡（如 2080Ti）长时间训练后 Loss 下降但生成效果仍很差的原因是什么？","除了训练轮次和语料混合比例问题外，还需检查语料格式整理是否正确以及数据量是否充足。如果语料仅几百条（如 357 首诗文），对于大模型微调来说可能严重不足，导致欠拟合或过拟合特定格式。建议增加高质量语料数量，并参考官方样例检查数据构造格式（instruction\u002Finput\u002Foutput 结构）是否符合要求。",[]]