[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-turboderp-org--exllamav2":3,"tool-turboderp-org--exllamav2":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":80,"owner_website":79,"owner_url":81,"languages":82,"stars":99,"forks":100,"last_commit_at":101,"license":102,"difficulty_score":103,"env_os":104,"env_gpu":105,"env_ram":106,"env_deps":107,"category_tags":115,"github_topics":79,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":116,"updated_at":117,"faqs":118,"releases":148},2588,"turboderp-org\u002Fexllamav2","exllamav2","A fast inference library for running LLMs locally on modern consumer-class GPUs","ExLlamaV2 是一款专为现代消费级显卡设计的高性能本地大语言模型（LLM）推理库。它旨在解决在个人电脑上运行大型模型时速度慢、显存占用高的问题，让用户无需依赖云端服务器即可高效体验 AI 能力。\n\n该项目特别适合开发者和技术研究人员使用，尤其是那些希望在本地部署私有化模型、进行性能测试或构建自定义 AI 应用的用户。虽然普通用户通常通过基于 ExLlamaV2 开发的上层软件（如 TabbyAPI）间接受益，但直接使用该库需要具备一定的编程和系统配置基础。\n\nExLlamaV2 的核心亮点在于其卓越的推理速度和对显存的极致优化。新版本引入了基于 Flash Attention 的分页注意力机制，并推出了支持动态批处理、智能提示缓存及键值缓存去重的“动态生成器”，在简化 API 调用的同时大幅提升了并发处理能力。实测数据显示，在 RTX 4090 等主流显卡上，它能以极高的令牌生成速率流畅运行从 1B 到 70B 参数量的量化模型。需要注意的是，目前该项目的开发重心已转向下一代版本 ExLlamaV3，但 ExLlamaV2 依然是一个稳定且高效的本地推理解决方案。","# Note\n\n**This project is archived for now**. Development continues on [ExLlamaV3](https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav3).\n\n# ExLlamaV2\n\nExLlamaV2 is an inference library for running local LLMs on modern consumer GPUs.\n\nThe official and recommended backend server for ExLlamaV2 is [TabbyAPI](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002F),\nwhich provides an OpenAI-compatible API for local or remote inference, with extended features like HF model\ndownloading, embedding model support and support for HF Jinja2 chat templates.\n\nSee the [wiki](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002Fwiki\u002F1.-Getting-Started) for help getting started.\n\n\n## New in v0.1.0+:\n\n- ExLlamaV2 now supports paged attention via [Flash Attention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention) 2.5.7+\n- New generator with dynamic batching, smart prompt caching, K\u002FV cache deduplication and simplified API\n\n![alt_text](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_b6485db493b6.gif)\n\n## Dynamic generator\n\nThe dynamic generator supports all inference, sampling and speculative decoding features of the previous two \ngenerators, consolidated into one API (with the exception of FP8 cache, though the Q4 cache mode is supported and\nperforms better anyway, see [here](doc\u002Fqcache_eval.md).)\n\nThe generator is explained in detail [here](doc\u002Fdynamic.md).\n\n- Single generation:\n  ```python\n  output = generator.generate(prompt = \"Hello, my name is\", max_new_tokens = 200)\n  ```\n- Batched generation:\n    ```python\n    outputs = generator.generate(\n        prompt = [\n            \"Hello, my name is\",\n            \"Once upon a time,\",\n            \"Large language models are\",\n        ], \n        max_new_tokens = 200\n    )\n    ```\n- Streamed generation with `asyncio`:\n    ```python\n    job = ExLlamaV2DynamicJobAsync(\n        generator,\n        input_ids = tokenizer.encode(\"You can lead a horse to water\"),\n        banned_strings = [\"make it drink\"],\n        gen_settings = ExLlamaV2Sampler.Settings.greedy(),\n        max_new_tokens = 200\n    )  \n    async for result in job:\n        text = result.get(\"text\", \"\")\n        print(text, end = \"\")       \n    ``` \nSee the full, updated examples [here](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Ftree\u002Fmaster\u002Fexamples).\n\n\n## Performance\n\nSome quick tests to compare performance with ExLlama V1. There may be more performance optimizations in the future,\nand speeds will vary across GPUs, with slow CPUs still being a potential bottleneck:\n\n| Model      | Mode         | Size  | grpsz | act | 3090Ti  | 4090        |\n|------------|--------------|-------|-------|-----|---------|-------------|\n| Llama      | GPTQ         | 7B    | 128   | no  | 181 t\u002Fs | **205** t\u002Fs |\n| Llama      | GPTQ         | 13B   | 128   | no  | 110 t\u002Fs | **114** t\u002Fs |\n| Llama      | GPTQ         | 33B   | 128   | yes | 44 t\u002Fs  | **48** t\u002Fs  |\n| OpenLlama  | GPTQ         | 3B    | 128   | yes | 259 t\u002Fs | **296** t\u002Fs |\n| CodeLlama  | EXL2 4.0 bpw | 34B   | -     | -   | 44 t\u002Fs  | **50** t\u002Fs  |\n| Llama2     | EXL2 3.0 bpw | 7B    | -     | -   | 217 t\u002Fs | **257** t\u002Fs |\n| Llama2     | EXL2 4.0 bpw | 7B    | -     | -   | 185 t\u002Fs | **211** t\u002Fs |\n| Llama2     | EXL2 5.0 bpw | 7B    | -     | -   | 164 t\u002Fs | **179** t\u002Fs |\n| Llama2     | EXL2 2.5 bpw | 70B   | -     | -   | 33 t\u002Fs  | **38** t\u002Fs  |\n| TinyLlama  | EXL2 3.0 bpw | 1.1B  | -     | -   | 656 t\u002Fs | **770** t\u002Fs |\n| TinyLlama  | EXL2 4.0 bpw | 1.1B  | -     | -   | 602 t\u002Fs | **700** t\u002Fs |\n\n\n## How to\n\nTo install from the repo you'll need the CUDA Toolkit and either gcc on Linux or (Build Tools for) Visual Studio\non Windows). Also make sure you have an appropriate version of [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F), then run:\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\npip install .\n\npython test_inference.py -m \u003Cpath_to_model> -p \"Once upon a time,\"\n# Append the '--gpu_split auto' flag for multi-GPU inference\n```\n\nA simple console chatbot is included. Run it with:\n\n```sh\npython examples\u002Fchat.py -m \u003Cpath_to_model> -mode llama -gs auto\n```\n\n\nThe `-mode` argument chooses the prompt format to use. `raw` will produce a simple chatlog-style chat that works with base \nmodels and various other finetunes. Run with `-modes` for a list of all available prompt formats. You can also provide\na custom system prompt with `-sp`. \n\n\n## Integration and APIs\n\n- [TabbyAPI](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002F) is a FastAPI-based server that provides an OpenAI-style web API\ncompatible with [SillyTavern](https:\u002F\u002Fsillytavernai.com\u002F) and other frontends.  \n\n- [ExUI](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexui) is a simple, standalone single-user web UI that serves an ExLlamaV2 instance\ndirectly with chat and notebook modes.\n\n- [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) supports ExLlamaV2 through the **exllamav2**\nand **exllamav2_HF** loaders.\n\n- [lollms-webui](https:\u002F\u002Fgithub.com\u002FParisNeo\u002Flollms-webui) supports ExLlamaV2 through the exllamav2 binding.\n\n## Installation\n\n### Method 1: Install from source\n\nTo install the current dev version, clone the repo and run the setup script:\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\npip install .\n```\n\nBy default this will also compile and install the Torch C++ extension (`exllamav2_ext`) that the library relies on. \nYou can skip this step by setting the `EXLLAMA_NOCOMPILE` environment variable:\n\n```sh\nEXLLAMA_NOCOMPILE= pip install .\n```\n\nThis will install the \"JIT version\" of the package, i.e. it will install the Python components without building the\nC++ extension in the process. Instead, the extension will be built the first time the library is used, then cached in \n`~\u002F.cache\u002Ftorch_extensions` for subsequent use.\n\n### Method 2: Install from release (with prebuilt extension)\n\nReleases are available [here](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Freleases), with prebuilt wheels that contain the extension binaries. Make sure to grab\nthe right version, matching your platform, Python version (`cp`) and CUDA version. Crucially, you must also match\nthe prebuilt wheel with your PyTorch version, since the Torch C++ extension ABI breaks with every new version of \nPyTorch.\n\nEither download an appropriate wheel or install directly from the appropriate URL:\n\n```sh\npip install https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Freleases\u002Fdownload\u002Fv0.0.12\u002Fexllamav2-0.0.12+cu121-cp311-cp311-linux_x86_64.whl\n```\n\nThe `py3-none-any.whl` version is the JIT version which will build the extension on first launch. The `.tar.gz` file\ncan also be installed this way, and it will build the extension while installing.\n\n### Method 3: Install from PyPI\n\nA PyPI package is available as well. This is the same as the JIT version (see above). It can be installed with:\n\n```sh\npip install exllamav2\n```\n\n\n## EXL2 quantization\n\nExLlamaV2 supports the same 4-bit GPTQ models as V1, but also a new \"EXL2\" format. EXL2 is based on the same\noptimization method as GPTQ and supports 2, 3, 4, 5, 6 and 8-bit quantization. The format allows for mixing quantization\nlevels within a model to achieve any average bitrate between 2 and 8 bits per weight.\n\nMoreover, it's possible to apply multiple quantization levels to each linear layer, producing something akin to sparse \nquantization wherein more important weights (columns) are quantized with more bits. The same remapping trick that lets\nExLlama work efficiently with act-order models allows this mixing of formats to happen with little to no impact on\nperformance.\n\nParameter selection is done automatically by quantizing each matrix multiple times, measuring the quantization \nerror (with respect to the chosen calibration data) for each of a number of possible settings, per layer. Finally, a\ncombination is chosen that minimizes the maximum quantization error over the entire model while meeting a target\naverage bitrate.\n\nIn my tests, this scheme allows Llama2 70B to run on a single 24 GB GPU with a 2048-token context, producing coherent \nand mostly stable output with 2.55 bits per weight. 13B models run at 2.65 bits within 8 GB of VRAM, although currently\nnone of them uses GQA which effectively limits the context size to 2048. In either case it's unlikely that the model\nwill fit alongside a desktop environment. For now.\n\n[![chat_screenshot](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_293361272e53.png)](doc\u002Fllama2_70b_chat.png)\n[![chat_screenshot](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_9cd1439c959d.png)](doc\u002Fcodellama_13b_instruct.png)\n\n### Conversion\n\nA script is provided to quantize models. Converting large models can be somewhat slow, so be warned. The conversion\nscript and its options are explained in [detail here](doc\u002Fconvert.md)\n\n### Evaluation\n\nA number of evaluaion scripts are provided. See [here](doc\u002Feval.md) for details.\n\n### Community\n\nA test community is provided at https:\u002F\u002Fdiscord.gg\u002FNSFwVuCjRq \nQuanting service free of charge is provided at #bot test. The computation is generiously provided by the Bloke powered by Lambda labs. \n\n### HuggingFace repos\n\n- I've uploaded a few EXL2-quantized models to Hugging Face to play around with, [here](https:\u002F\u002Fhuggingface.co\u002Fturboderp).\n\n- [LoneStriker](https:\u002F\u002Fhuggingface.co\u002FLoneStriker) provides a large number of EXL2 models on Hugging Face. \n\n- [bartowski](https:\u002F\u002Fhuggingface.co\u002Fbartowski) has some more EXL2 models on HF.\n","# 注意\n\n**该项目目前已归档**。开发工作将继续在 [ExLlamaV3](https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav3) 上进行。\n\n# ExLlamaV2\n\nExLlamaV2 是一个用于在现代消费级 GPU 上运行本地大语言模型的推理库。\n\nExLlamaV2 的官方推荐后端服务器是 [TabbyAPI](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002F)，它提供了一个与 OpenAI 兼容的 API，支持本地或远程推理，并具备扩展功能，如 Hugging Face 模型下载、嵌入模型支持以及对 Hugging Face Jinja2 聊天模板的支持。\n\n请参阅 [wiki](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002Fwiki\u002F1.-Getting-Started) 以获取入门帮助。\n\n\n## v0.1.0+ 新特性：\n\n- ExLlamaV2 现在通过 [Flash Attention](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention) 2.5.7+ 支持分页注意力机制。\n- 新增动态批处理生成器，具备智能提示缓存、K\u002FV 缓存去重以及简化的 API。\n\n![alt_text](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_b6485db493b6.gif)\n\n## 动态生成器\n\n动态生成器支持之前两个生成器的所有推理、采样和推测解码功能，并将这些功能整合到一个 API 中（除了 FP8 缓存之外，不过 Q4 缓存模式同样支持，且性能更好，请参阅 [这里](doc\u002Fqcache_eval.md)）。\n\n关于该生成器的详细说明请参见 [这里](doc\u002Fdynamic.md)。\n\n- 单次生成：\n  ```python\n  output = generator.generate(prompt = \"你好，我叫\", max_new_tokens = 200)\n  ```\n- 批量生成：\n    ```python\n    outputs = generator.generate(\n        prompt = [\n            \"你好，我叫\",\n            \"从前有一个人，\",\n            \"大型语言模型是\",\n        ], \n        max_new_tokens = 200\n    )\n    ```\n- 使用 `asyncio` 进行流式生成：\n    ```python\n    job = ExLlamaV2DynamicJobAsync(\n        generator,\n        input_ids = tokenizer.encode(\"你可以把马带到水边\"),\n        banned_strings = [\"让它喝水\"],\n        gen_settings = ExLlamaV2Sampler.Settings.greedy(),\n        max_new_tokens = 200\n    )  \n    async for result in job:\n        text = result.get(\"text\", \"\")\n        print(text, end = \"\")       \n    ``` \n完整的更新示例请参见 [这里](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Ftree\u002Fmaster\u002Fexamples)。\n\n\n## 性能\n\n以下是一些快速测试，用于对比 ExLlama V1 的性能。未来可能会有更多的性能优化，而且不同 GPU 的速度也会有所差异，其中较慢的 CPU 仍可能成为瓶颈：\n\n| 模型      | 模式         | 大小  | 分组大小 | 激活函数 | 3090Ti  | 4090        |\n|------------|--------------|-------|-------|-----|---------|-------------|\n| Llama      | GPTQ         | 7B    | 128   | 无  | 181 token\u002Fs | **205** token\u002Fs |\n| Llama      | GPTQ         | 13B   | 128   | 无  | 110 token\u002Fs | **114** token\u002Fs |\n| Llama      | GPTQ         | 33B   | 128   | 有 | 44 token\u002Fs  | **48** token\u002Fs  |\n| OpenLlama  | GPTQ         | 3B    | 128   | 有 | 259 token\u002Fs | **296** token\u002Fs |\n| CodeLlama  | EXL2 4.0 bpw | 34B   | -     | -   | 44 token\u002Fs  | **50** token\u002Fs  |\n| Llama2     | EXL2 3.0 bpw | 7B    | -     | -   | 217 token\u002Fs | **257** token\u002Fs |\n| Llama2     | EXL2 4.0 bpw | 7B    | -     | -   | 185 token\u002Fs | **211** token\u002Fs |\n| Llama2     | EXL2 5.0 bpw | 7B    | -     | -   | 164 token\u002Fs | **179** token\u002Fs |\n| Llama2     | EXL2 2.5 bpw | 70B   | -     | -   | 33 token\u002Fs  | **38** token\u002Fs  |\n| TinyLlama  | EXL2 3.0 bpw | 1.1B  | -     | -   | 656 token\u002Fs | **770** token\u002Fs |\n| TinyLlama  | EXL2 4.0 bpw | 1.1B  | -     | -   | 602 token\u002Fs | **700** token\u002Fs |\n\n\n## 使用方法\n\n要从仓库安装，您需要 CUDA 工具包，以及 Linux 上的 gcc 或 Windows 上的 Visual Studio（构建工具）。同时，请确保已安装适当版本的 [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F)，然后执行以下命令：\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\npip install .\n```\n\n运行以下命令进行测试推理：\n\n```sh\npython test_inference.py -m \u003C模型路径> -p \"从前有一个人，\"\n# 对于多 GPU 推理，可添加 '--gpu_split auto' 标志\n```\n\n项目中包含一个简单的控制台聊天机器人。可通过以下命令运行：\n\n```sh\npython examples\u002Fchat.py -m \u003C模型路径> -mode llama -gs auto\n```\n\n\n`-mode` 参数用于选择使用的提示格式。`raw` 将生成一个简单的聊天记录风格的对话，适用于基础模型及其他微调模型。使用 `-modes` 可查看所有可用的提示格式列表。您还可以通过 `-sp` 提供自定义系统提示。\n\n\n## 集成与 API\n\n- [TabbyAPI](https:\u002F\u002Fgithub.com\u002Ftheroyallab\u002FtabbyAPI\u002F) 是一个基于 FastAPI 的服务器，提供与 OpenAI 风格兼容的 Web API，可与 [SillyTavern](https:\u002F\u002Fsillytavernai.com\u002F) 等前端应用配合使用。\n\n- [ExUI](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexui) 是一个简单、独立的单用户 Web UI，可直接为 ExLlamaV2 实例提供服务，支持聊天和笔记本模式。\n\n- [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) 通过 **exllamav2** 和 **exllamav2_HF** 加载器支持 ExLlamaV2。\n\n- [lollms-webui](https:\u002F\u002Fgithub.com\u002FParisNeo\u002Flollms-webui) 通过 exllamav2 绑定支持 ExLlamaV2。\n\n## 安装\n\n### 方法 1：从源码安装\n\n要安装当前开发版本，克隆仓库并运行安装脚本：\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\npip install .\n```\n\n默认情况下，这还会编译并安装库所依赖的 Torch C++ 扩展 (`exllamav2_ext`)。您可以通过设置 `EXLLAMA_NOCOMPILE` 环境变量来跳过此步骤：\n\n```sh\nEXLLAMA_NOCOMPILE= pip install .\n```\n\n这样将安装“JIT 版本”的包，即仅安装 Python 组件，而不会在安装过程中构建 C++ 扩展。相反，该扩展将在首次使用库时被构建，并缓存在 `~\u002F.cache\u002Ftorch_extensions` 目录中，以便后续使用。\n\n### 方法 2：从发布版本安装（含预编译扩展）\n\n发布版本可在 [这里](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Freleases) 获取，其中包含预编译的轮子文件，内含扩展二进制文件。请务必根据您的平台、Python 版本 (`cp`) 和 CUDA 版本选择合适的版本。关键是要确保预编译轮子与您的 PyTorch 版本匹配，因为每次 PyTorch 更新都会导致 Torch C++ 扩展的 ABI 发生变化。\n\n您可以下载合适的轮子文件，或者直接从相应的 URL 安装：\n\n```sh\npip install https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Freleases\u002Fdownload\u002Fv0.0.12\u002Fexllamav2-0.0.12+cu121-cp311-cp311-linux_x86_64.whl\n```\n\n`py3-none-any.whl` 版本是 JIT 版本，在首次启动时会构建扩展。`.tar.gz` 文件也可以通过这种方式安装，并在安装过程中构建扩展。\n\n### 方法 3：从 PyPI 安装\n\nPyPI 上也提供了该软件包。这与上述的 JIT 版本相同。可通过以下命令安装：\n\n```sh\npip install exllamav2\n```\n\n## EXL2 量化\n\nExLlamaV2 支持与 V1 相同的 4 位 GPTQ 模型，同时还引入了一种新的“EXL2”格式。EXL2 基于与 GPTQ 相同的优化方法，支持 2、3、4、5、6 和 8 位量化。该格式允许在单个模型中混合使用不同的量化级别，从而实现每权重 2 到 8 位之间的任意平均比特率。\n\n此外，还可以为每个线性层应用多种量化级别，从而产生类似稀疏量化的效果：更重要的权重（列）会以更多位数进行量化。与 ExLlama 能够高效处理激活顺序模型相同的重映射技巧，使得这种格式混合几乎不会对性能造成影响。\n\n参数选择是自动完成的：针对每一层，会对每个矩阵进行多次量化，并基于所选的校准数据测量每次量化后的误差。最终，系统会选择一种组合方案，使整个模型的最大量化误差最小化，同时满足目标平均比特率的要求。\n\n在我的测试中，这一方案使 Llama2 70B 模型能够在单张 24 GB 显存的 GPU 上以 2048 个 token 的上下文长度运行，每权重约为 2.55 位，输出连贯且基本稳定。13B 规模的模型则可在 8 GB 显存内以 2.65 位运行，不过目前这些模型均未采用 GQA 技术，这实际上将上下文长度限制在 2048 个 token。无论哪种情况，模型都很难与桌面环境共存。至少目前是这样。\n\n[![聊天截图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_293361272e53.png)](doc\u002Fllama2_70b_chat.png)\n[![聊天截图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_readme_9cd1439c959d.png)](doc\u002Fcodellama_13b_instruct.png)\n\n### 转换\n\n我们提供了一个用于量化模型的脚本。转换大型模型可能会比较缓慢，请提前知晓。有关转换脚本及其选项的详细说明，请参阅 [此处](doc\u002Fconvert.md)。\n\n### 评估\n\n我们提供了若干评估脚本。详情请参阅 [此处](doc\u002Feval.md)。\n\n### 社区\n\n我们在 Discord 上建立了一个测试社区：https:\u002F\u002Fdiscord.gg\u002FNSFwVuCjRq。#bot test 频道提供免费的量化服务。计算资源由 Lambda Labs 提供的支持 Bloke 平台慷慨捐赠。\n\n### Hugging Face 仓库\n\n- 我已在 Hugging Face 上上传了几款 EXL2 量化的模型，供大家试用，[地址在此](https:\u002F\u002Fhuggingface.co\u002Fturboderp)。\n\n- [LoneStriker](https:\u002F\u002Fhuggingface.co\u002FLoneStriker) 在 Hugging Face 上提供了大量 EXL2 模型。\n\n- [bartowski](https:\u002F\u002Fhuggingface.co\u002Fbartowski) 也在 Hugging Face 上发布了一些 EXL2 模型。","# ExLlamaV2 快速上手指南\n\n> **注意**：ExLlamaV2 项目目前已归档，后续开发已转移至 [ExLlamaV3](https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav3)。本指南仅针对 ExLlamaV2 版本。\n\nExLlamaV2 是一个专为现代消费级 GPU 设计的本地大语言模型（LLM）推理库，支持高效的量化模型运行。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**：Linux 或 Windows\n- **GPU**：支持 CUDA 的 NVIDIA 显卡（推荐 RTX 30\u002F40 系列或更高）\n- **CUDA Toolkit**：需安装与 PyTorch 版本匹配的 CUDA 工具包\n- **编译器**：\n  - Linux: `gcc`\n  - Windows: Visual Studio Build Tools\n\n### 前置依赖\n- **Python**: 建议 3.8+\n- **PyTorch**: 需预先安装适配你硬件环境的版本。\n  - 国内用户推荐使用清华源加速安装：\n    ```bash\n    pip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu121\n    # 请将 cu121 替换为你实际需要的 CUDA 版本，如 cu118\n    ```\n\n## 安装步骤\n\n你可以选择以下三种方式之一进行安装：\n\n### 方法一：从源码安装（推荐开发者使用）\n此方法会自动编译所需的 C++ 扩展。\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\ncd exllamav2\npip install -r requirements.txt\npip install .\n```\n\n*注：若不想在安装时编译，可设置环境变量 `EXLLAMA_NOCOMPILE=1 pip install .`，库将在首次运行时即时编译（JIT）。*\n\n### 方法二：从 PyPI 安装（最简便）\n安装 JIT 版本，首次使用时自动构建扩展。\n\n```bash\npip install exllamav2\n```\n\n### 方法三：安装预编译版本\n访问 [Releases 页面](https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Freleases) 下载匹配你平台、Python 版本和 CUDA 版本的 `.whl` 文件直接安装，适合生产环境以避免编译错误。\n\n## 基本使用\n\n### 1. 运行测试推理\n确保你已准备好量化后的模型文件（支持 GPTQ 或 EXL2 格式），然后运行以下命令测试：\n\n```bash\npython test_inference.py -m \u003Cpath_to_model> -p \"Once upon a time,\"\n```\n*提示：如需多卡推理，请添加 `--gpu_split auto` 参数。*\n\n### 2. 启动简易聊天机器人\n项目内置了一个控制台聊天示例：\n\n```bash\npython examples\u002Fchat.py -m \u003Cpath_to_model> -mode llama -gs auto\n```\n- `-mode`: 选择提示词格式（如 `llama`, `raw` 等），输入 `-modes` 可查看支持列表。\n- `-sp`: 可选参数，用于指定自定义系统提示词。\n\n### 3. Python 代码调用示例\n在 Python 脚本中调用动态生成器（Dynamic Generator）：\n\n**单次生成：**\n```python\noutput = generator.generate(prompt=\"Hello, my name is\", max_new_tokens=200)\n```\n\n**批量生成：**\n```python\noutputs = generator.generate(\n    prompt=[\n        \"Hello, my name is\",\n        \"Once upon a time,\",\n        \"Large language models are\",\n    ], \n    max_new_tokens=200\n)\n```\n\n**流式输出 (Asyncio)：**\n```python\njob = ExLlamaV2DynamicJobAsync(\n    generator,\n    input_ids=tokenizer.encode(\"You can lead a horse to water\"),\n    banned_strings=[\"make it drink\"],\n    gen_settings=ExLlamaV2Sampler.Settings.greedy(),\n    max_new_tokens=200\n)  \nasync for result in job:\n    text = result.get(\"text\", \"\")\n    print(text, end=\"\")\n```\n\n### 推荐集成方案\n对于需要 API 服务或图形界面的用户，推荐配合以下工具使用：\n- **TabbyAPI**: 提供兼容 OpenAI 格式的 API 服务端，支持 SillyTavern 等前端。\n- **text-generation-webui**: 通过 `exllamav2` 加载器支持该后端。","某独立开发者希望在配备 RTX 4090 的个人电脑上部署一个高响应速度的本地代码助手，用于实时辅助编程，同时严格保障代码数据不出境。\n\n### 没有 exllamav2 时\n- **推理延迟高**：使用通用推理框架运行量化模型时，生成速度往往低于 30 tokens\u002Fs，打字感明显滞后，打断编程思路。\n- **显存利用率低**：难以在单张消费级显卡上流畅运行 30B+ 参数的大模型，或被迫使用极低精度导致代码逻辑错误频发。\n- **并发能力弱**：无法有效处理多个文件的同时分析请求，一旦多任务并行，系统极易显存溢出或响应超时。\n- **部署门槛高**：缺乏针对 consumer GPU 的专用优化，配置环境复杂，且难以利用 Flash Attention 等先进加速技术。\n\n### 使用 exllamav2 后\n- **极速响应体验**：借助 Flash Attention 2.5+ 和动态批处理，RTX 4090 上运行 34B 模型可达 50 tokens\u002Fs，实现近乎实时的代码补全。\n- **大模型本地化**：通过高效的 EXL2 量化格式，轻松在单卡上运行 70B 级别模型（如 Llama2-70B），兼顾高精度与低显存占用。\n- **智能并发处理**：内置的动态生成器支持 K\u002FV 缓存去重与智能提示缓存，可同时处理多个代码片段分析而不降低速度。\n- **开箱即用集成**：配合 TabbyAPI 可直接提供 OpenAI 兼容接口，快速将本地模型接入 VS Code 等编辑器，无需重复造轮子。\n\nexllamav2 让高性能大模型在消费级显卡上的本地化部署从“勉强能跑”变为“流畅好用”，真正实现了隐私安全与极致速度的兼得。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fturboderp-org_exllamav2_7f36a5af.png","turboderp-org","Turboderp","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fturboderp-org_26158f1d.jpg","I'm an organization now.",null,"turboderp_","https:\u002F\u002Fgithub.com\u002Fturboderp-org",[83,87,91,95],{"name":84,"color":85,"percentage":86},"Python","#3572A5",65.9,{"name":88,"color":89,"percentage":90},"Cuda","#3A4E3A",19.3,{"name":92,"color":93,"percentage":94},"C++","#f34b7d",12.5,{"name":96,"color":97,"percentage":98},"C","#555555",2.3,4482,329,"2026-04-02T19:39:38","MIT",4,"Linux, Windows","必需 NVIDIA GPU。支持现代消费级显卡（如 RTX 3090Ti, 4090）。显存需求取决于模型大小和量化位数（例如：70B 模型在 2.55 bpw 下需约 24GB 显存，13B 模型在 2.65 bpw 下需约 8GB 显存）。需要安装 CUDA Toolkit，预编译包匹配特定 CUDA 版本（如 cu121）。","未说明（但在高负载或大模型运行时，慢速 CPU 可能成为瓶颈）",{"notes":108,"python":109,"dependencies":110},"该项目目前已归档，开发工作已转移至 ExLlamaV3。支持通过 Flash Attention 实现分页注意力机制。提供多种安装方式：从源码编译（需编译器环境）、下载预编译 Wheel（需严格匹配 PyTorch、Python 和 CUDA 版本）或从 PyPI 安装（JIT 模式，首次运行时编译）。支持 EXL2 量化格式，允许在 2-8 bit 之间混合量化以优化显存占用。官方推荐配合 TabbyAPI 使用以获得 OpenAI 兼容接口。","需匹配预编译包的版本（示例中提及 cp311 即 Python 3.11），具体版本取决于安装的 Wheel 文件",[111,112,113,114],"torch (需匹配预编译扩展的 ABI 版本)","flash-attn (>=2.5.7, 用于分页注意力机制)","CUDA Toolkit","gcc (Linux) 或 Visual Studio Build Tools (Windows, 用于从源码编译)",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T11:31:11.721614",[119,124,129,134,139,143],{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},11987,"在 ROCm (AMD GPU) 上运行时出现乱码输出或程序崩溃（如 'corrupted double-linked list'），该如何解决？","这是 ROCm 生态系统中已知的问题，特别是在 wave64 架构设备（如 MI50, MI100, RX6800XT）上。目前该问题可能由于 Flash Attention 支持不完善或 PyTorch 编译选项导致。\n解决方案与建议：\n1. 尝试禁用 Flash Attention：在运行命令中添加 '--no_flash_attn' 或 '-nfa' 参数。\n2. 检查 PyTorch 版本：确保使用与 ROCm 版本兼容的 PyTorch（例如 ROCm 6.0.2 对应 PyTorch 2.3.0）。\n3. 性能优化：对于 MI300 等较新卡片，可以尝试设置环境变量让 PyTorch 使用 hipblaslt 而不是 rocblas 进行 GEMM 运算，这能显著提升性能。\n4. 调试工具：如果问题持续，可以使用 'rocprofv2' 或 'omiperf' 进行性能分析以定位具体瓶颈。\n注意：维护者指出 ROCm 生态相比 CUDA 尚不成熟，部分旧卡或特定架构的支持仍在完善中。","https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fissues\u002F33",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},11989,"DBRX 架构模型的量化版本表现不佳或在多轮对话中输出异常，是否有自定义模板的方法？","DBRX 模型的问题通常不在于量化本身，而在于其特殊的 Tokenizer 和提示词格式。\n关键点：\n1. Tokenizer 差异：DBRX 移除了常见的 `imstart` 标记，并引入了特殊字符（如 \"content\": \"\u003C\u002Fthink>\"），这可能导致解析错误。\n2. 系统提示词：官方仓库（databricks\u002Fdbrx-instruct）提供了专门的系统提示词指南，使用正确的 System Prompt 能显著改善模型表现。\n3. 模型行为：有用户反馈该模型在多轮对话（back and forths）中容易失效，但在单次生成或使用官方推荐配置时表现较好。建议参考 HuggingFace 上的最新文件更新，确认是否有新的修复文件上传。","https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fissues\u002F388",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},11988,"量化 Llama 3.1 405B 或其他长上下文模型时遇到 'Hessian is not invertible' 错误或需要调整位置编码，如何处理？","Llama 3.1 模型需要对位置频率（inv_freq）应用特定的缩放修复（Scaling Fix）才能正确量化和推理。\n解决步骤：\n1. 修改 `model.py` 文件，在计算 `inv_freq` 后添加 `apply_scaling` 函数逻辑。该函数根据波长对频率进行平滑缩放（scale_factor=8, low_freq_factor=1, high_freq_factor=4）。\n2. 代码示例核心逻辑：\n   - 计算波长 `wavelen = 2 * math.pi \u002F freq`\n   - 如果波长小于高频阈值，保持频率不变；如果大于低频阈值，频率除以缩放因子；否则进行平滑插值。\n3. 关于上下文长度导致的显存问题：如果遇到分块（chunking）导致的性能下降或错误，可以尝试在 `ExllamaV2Config` 中增加 `max_input_len`（默认 2048）。但需注意，过大的值（如 16384）可能导致 Flash Attention 调用崩溃，需在显存容量和稳定性之间权衡。","https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fissues\u002F565",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},11990,"在 AMD MI300X 或其他 ROCm 设备上推理速度远低于预期（比 RTX 3090 慢），原因是什么？","这是由于 ROCm 软件栈中底层库的性能问题导致的，特别是 `rocblas` 在 MI300 系列上的表现不佳。\n优化方案：\n1. 启用 hipBLASLt：PyTorch 包含一个环境变量（可能在非官方发布版中），可以强制 PyTorch 使用 `hipblaslt` 代替 `rocblas` 执行矩阵乘法（GEMM）。启用后性能会有巨大提升。\n2. 现状说明：即使使用未量化模型（主要依赖 PyTorch 张量操作），MI300X 的速度也可能只有 3090 的 1\u002F3 到 1\u002F4，这并非硬件瓶颈，而是软件优化不足。\n3. 建议：关注 PyTorch 和 ROCm 的后续更新，或者手动配置环境变量以切换后端库。","https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fissues\u002F510",{"id":140,"question_zh":141,"answer_zh":142,"source_url":133},11991,"增加 `max_input_len` 对长上下文推理有什么影响？为什么增大后会崩溃？","`max_input_len` 控制推理时的分块大小（chunk size）。\n影响与权衡：\n1. 正面效果：增大该值可以减少分块次数，从而减轻分块带来的精度损失或连贯性问题（即 'chunking effects'）。\n2. 负面代价：这会显著增加显存（VRAM）占用。如果显存不足，会导致分配失败。\n3. 崩溃原因：当该值设置过大（例如从默认 2048 增加到 16384）时，可能会超出 Flash Attention 内核支持的缓冲区限制，导致 `flash_attn_func` 调用崩溃。\n建议：逐步增加该值并监控显存使用情况，找到在当前硬件配置下既能保证稳定性又能获得最佳效果的平衡点。",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},11992,"ExllamaV2 在多显卡（Multi-GPU）环境下加载模型时，在第三张显卡处崩溃，可能是什么原因？","虽然具体的错误日志在提供的数据中被截断，但此类多显卡加载崩溃通常与以下因素有关：\n1. 显存碎片化或不足：当模型层分配到第三张卡时，如果该卡可用连续显存不足，会导致分配失败。\n2. PCIe 带宽或通信超时：多卡间通信（P2P）在某些主板或驱动配置下可能不稳定，特别是在混合使用不同型号显卡（如 3090 + A4000）时。\n3. 驱动兼容性：确保所有显卡的驱动版本一致，且 ROCm\u002FCUDA 环境正确识别了所有设备。\n建议检查系统日志（dmesg 或 Windows 事件查看器）以获取具体的 'IOT instruction' 或 'segmentation fault' 详情，并尝试统一显卡型号或调整模型切分策略。","https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fissues\u002F583",[149,153,157,162,167,172,177,182,187,192,197,202,207,212,217,222,227,232,237,242],{"id":150,"version":151,"summary_zh":79,"released_at":152},62415,"v0.3.2","2025-07-13T22:14:34",{"id":154,"version":155,"summary_zh":79,"released_at":156},62416,"v0.3.1","2025-05-27T15:16:22",{"id":158,"version":159,"summary_zh":160,"released_at":161},62417,"v0.3.0","- 添加 Qwen3 和 Qwen3MoE 支持\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fcompare\u002Fv0.2.9...v0.3.0","2025-05-12T14:20:21",{"id":163,"version":164,"summary_zh":165,"released_at":166},62418,"v0.2.9","- 添加 Torch 2.7.0 的 wheel 包（在此特别感谢 @kingbri1 修复了构建流程）\n- 支持 Gemma3，文本 + 视觉\n- 支持 Mistral 3.1，文本 + 视觉\n- 支持 partial_rotary_factor（如 Phi-4 mini 等模型）\n- 支持 GLM4（32B 模型目前仍存在问题）\n- 多项修复\n\n**完整更新日志**：https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fcompare\u002Fv0.2.8...v0.2.9","2025-04-23T22:58:32",{"id":168,"version":169,"summary_zh":170,"released_at":171},62419,"v0.2.8","- 支持通义千问2.5-VL\n- 修复了一些小错误\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp-org\u002Fexllamav2\u002Fcompare\u002Fv0.2.7...v0.2.8","2025-02-08T00:01:06",{"id":173,"version":174,"summary_zh":175,"released_at":176},62420,"v0.2.7","* 为 Qwen2-VL 提供基础视频支持\n* 支持 Cohere2 架构\n* 支持 Granite3 架构\n* 若干错误修复\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.6...v0.2.7","2024-12-30T01:28:23",{"id":178,"version":179,"summary_zh":180,"released_at":181},62421,"v0.2.6","- 一些小修复，最显著的是针对 Qwen2-VL 在 Windows 上的推理问题\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.5...v0.2.6","2024-12-07T14:58:35",{"id":183,"version":184,"summary_zh":185,"released_at":186},62422,"v0.2.5","- 初步支持 Qwen2-VL（目前仅支持图像，暂不支持视频）\n- 一些错误修复\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.4...v0.2.5","2024-12-01T13:32:21",{"id":188,"version":189,"summary_zh":190,"released_at":191},62423,"v0.2.4","- 支持 Pixtral\n- 重构以支持更多多模态功能\n- 更快的过滤器评估\n- 各种优化和错误修复\n- 多项使用体验改进\n\n**完整更新日志**：https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.3...v0.2.4","2024-11-12T03:21:29",{"id":193,"version":194,"summary_zh":195,"released_at":196},62424,"v0.2.3","- 不再使用 safetensors 加载权重（尤其修复 Windows 上的虚拟内存问题）\n- 禁用 fasttensors 选项（现已冗余）\n- 当同时存在 HF 和 SPM 模型时，优先使用 HF Tokenizers 模型\n- 添加 XTC 采样器\n- 增加 YaRN 支持\n- 各种修复及用户体验优化\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.2...v0.2.3","2024-09-29T11:04:44",{"id":198,"version":199,"summary_zh":200,"released_at":201},62425,"v0.2.2","- 与 LMFE 相关的小修复\n- 在使用自定义偏置进行常规推理时允许 SDPA\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.1...v0.2.2","2024-09-14T19:20:57",{"id":203,"version":204,"summary_zh":205,"released_at":206},62426,"v0.2.1","- TP：在 flash-attn 不可用时回退到 SDPA 模式\n- 更快的过滤器\u002F语法路径\n- 添加 DRY\n- 修复自 0.1.9 版本以来（流\u002F图）在通过 Tabby 加载某些模型时出现的问题\n- 禁用 Râul\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.2.0...v0.2.1","2024-09-08T17:26:40",{"id":208,"version":209,"summary_zh":210,"released_at":211},62427,"v0.2.0","Small release to fix various issues in 0.1.9\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.9...v0.2.0","2024-08-28T21:00:35",{"id":213,"version":214,"summary_zh":215,"released_at":216},62428,"v0.1.9","- Add experimental tensor-parallel mode. Currently supports Llama(1+2+3), Qwen2 and Mistral models\r\n- CUDA Graphs to reduce overhead and CPU bottlenecking\r\n- Various other optimizations\r\n- Some bugfixes\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.8...v0.1.9","2024-08-22T11:54:15",{"id":218,"version":219,"summary_zh":220,"released_at":221},62429,"v0.1.8","- Support Llama 3.1 (correct RoPE scaling etc.)\r\n- Support IndexTeam architecture\r\n- Some bugfixes and QoL improvements\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.7...v0.1.8","2024-07-24T06:36:42",{"id":223,"version":224,"summary_zh":225,"released_at":226},62430,"v0.1.7","- Support Gemma2\r\n- Support InternLM2\r\n- Various bugfixes and optimizations\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.6...v0.1.7","2024-07-11T13:20:48",{"id":228,"version":229,"summary_zh":230,"released_at":231},62431,"v0.1.6","- Fix dynamic generator fallback mode (was broken for prompts longer than max_input_len)\r\n- Fix inference on ROCm wave64 devices\r\n- Made model conversion script part of `exllamav2` package\r\n- CPU optimizations\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.5...v0.1.6","2024-06-24T00:36:44",{"id":233,"version":234,"summary_zh":235,"released_at":236},62432,"v0.1.5","- Added Q6 and Q8 cache modes\r\n- Defragment cache in dynamic generator\r\n- Use SDPA with Torch 2.3.0+\r\n- Updated wheels to Torch 2.3.1\r\n- Added Python 3.12 wheels, plus Python 3.9 for ROCm\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.4...v0.1.5","2024-06-09T00:19:01",{"id":238,"version":239,"summary_zh":240,"released_at":241},62433,"v0.1.4","- Option to keep calibration states in VRAM while measuring\r\n- Fix for Q4 cache for odd key\u002Fvalue sizes (MiniCPM specifically)\r\n- Alternative `fasttensors` option on Windows to solve system memory issues\r\n- Prefix filter with multiple prefixes\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.3...v0.1.4","2024-06-03T23:34:22",{"id":243,"version":244,"summary_zh":245,"released_at":246},62434,"v0.1.3","- Fixes CFG\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fturboderp\u002Fexllamav2\u002Fcompare\u002Fv0.1.2...v0.1.3","2024-06-01T19:32:43"]