[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-a16z-infra--llama2-chatbot":3,"tool-a16z-infra--llama2-chatbot":65},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159267,2,"2026-04-17T11:29:14",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},8553,"spec-kit","github\u002Fspec-kit","Spec Kit 是一款专为提升软件开发效率而设计的开源工具包，旨在帮助团队快速落地“规格驱动开发”（Spec-Driven Development）模式。传统开发中，需求文档往往与代码实现脱节，导致沟通成本高且结果不可控；而 Spec Kit 通过将规格说明书转化为可执行的指令，让 AI 直接依据明确的业务场景生成高质量代码，从而减少从零开始的随意编码，确保产出结果的可预测性。\n\n该工具特别适合希望利用 AI 辅助编程的开发者、技术负责人及初创团队。无论是启动全新项目还是在现有工程中引入规范化流程，用户只需通过简单的命令行操作，即可初始化项目并集成主流的 AI 编程助手。其核心技术亮点在于“规格即代码”的理念，支持社区扩展与预设模板，允许用户根据特定技术栈定制开发流程。此外，Spec Kit 强调官方维护的安全性，提供稳定的版本管理，帮助开发者在享受 AI 红利的同时，依然牢牢掌握架构设计的主动权，真正实现从“凭感觉写代码”到“按规格建系统”的转变。",88749,"2026-04-17T09:48:14",[15,26,14,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":10,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,51,52,53,14,54,15,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,51,54],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":71,"readme_en":72,"readme_zh":73,"quickstart_zh":74,"use_case_zh":75,"hero_image_url":76,"owner_login":77,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":79,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":102,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":103,"updated_at":104,"faqs":105,"releases":135},8547,"a16z-infra\u002Fllama2-chatbot","llama2-chatbot","LLaMA v2 Chatbot","llama2-chatbot 是一个基于 Streamlit 构建的实验性聊天应用，旨在让用户轻松体验 Meta 发布的 LLaMA 2 大语言模型。它解决了本地部署大模型门槛高、资源消耗大的痛点，通过集成 Replicate 云服务，让用户无需昂贵显卡即可在浏览器中直接与不同规模的 LLaMA 2 模型进行对话。\n\n这款工具特别适合开发者、AI 研究人员以及希望快速测试大模型能力的技术爱好者使用。用户不仅可以随时切换 7B、13B 或 70B 等不同参数量的模型版本，还能在侧边栏灵活调整温度（Temperature）、Top P 等超参数，观察不同设置对生成结果的影响。此外，llama2-chatbot 支持会话历史记忆功能，并内置了标准的“用户 - 助手”对话提示模板，确保交互流畅自然。\n\n其独特的技术亮点在于提供了完整的 Docker 镜像和详细的部署指南，支持一键部署到 Fly.io 云平台，方便团队搭建私有的演示环境或进行二次开发。同时，项目集成了 Auth0 认证模块，为多用户场景下的安全访问提供了基础保障。无论是用于学习大模型特性、验证算法效果，还是作为构建更复杂 AI ","llama2-chatbot 是一个基于 Streamlit 构建的实验性聊天应用，旨在让用户轻松体验 Meta 发布的 LLaMA 2 大语言模型。它解决了本地部署大模型门槛高、资源消耗大的痛点，通过集成 Replicate 云服务，让用户无需昂贵显卡即可在浏览器中直接与不同规模的 LLaMA 2 模型进行对话。\n\n这款工具特别适合开发者、AI 研究人员以及希望快速测试大模型能力的技术爱好者使用。用户不仅可以随时切换 7B、13B 或 70B 等不同参数量的模型版本，还能在侧边栏灵活调整温度（Temperature）、Top P 等超参数，观察不同设置对生成结果的影响。此外，llama2-chatbot 支持会话历史记忆功能，并内置了标准的“用户 - 助手”对话提示模板，确保交互流畅自然。\n\n其独特的技术亮点在于提供了完整的 Docker 镜像和详细的部署指南，支持一键部署到 Fly.io 云平台，方便团队搭建私有的演示环境或进行二次开发。同时，项目集成了 Auth0 认证模块，为多用户场景下的安全访问提供了基础保障。无论是用于学习大模型特性、验证算法效果，还是作为构建更复杂 AI 应用的起点，llama2-chatbot 都是一个轻量且高效的开源选择。","# LLaMA 2 Chatbot App ⚡\n\n[![Open in GitHub Codespaces](https:\u002F\u002Fgithub.com\u002Fcodespaces\u002Fbadge.svg)](https:\u002F\u002Fcodespaces.new\u002Fa16z-infra\u002Fllama2-chatbot?quickstart=1)\n\n## 🤔 What is this?\n\nThis is an experimental Streamlit chatbot app built for LLaMA2 (or any other LLM). The app includes session chat history and provides an option to select multiple LLaMA2 API endpoints on Replicate.\n\nLive demo: [LLaMA2.ai](https:\u002F\u002Fllama2.ai\u002F)\n\nFor the LLaMA2 license agreement, please check the Meta Platforms, Inc official license documentation on their website. \n[More info.](https:\u002F\u002Fai.meta.com\u002Fllama\u002F)\n\n\u003Cimg width=\"1710\" alt=\"llama2 demo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llama2-chatbot_readme_95043db07341.png\">\n\n## Features\n\n- Chat history is maintained for each session (if you refresh, chat history clears)\n- Option to select between different LLaMA2 chat API endpoints (7B, 13B or 70B). The default is 70B.\n- Configure model hyperparameters from the sidebar (Temperature, Top P, Max Sequence Length).\n- Includes \"User:\" and \"Assistant:\" prompts for the chat conversation.\n- Each model (7B, 13B & 70B) runs on Replicate - (7B and 13B run on one A100 40Gb, and 70B runs on one A100 80Gb).\n- Docker image included to deploy this app in Fly.io\n\n## Installation\n\n- Clone the repository\n- [Optional] Create a virtual python environment with the command `python -m venv .venv` and activate it with `source .venv\u002Fbin\u002Factivate`\n- Install dependencies with `pip install -r requirements.txt`\n- Create an account on [Replicate](https:\u002F\u002Freplicate.com\u002F)\n- Create an account on [Auth0 (free)](https:\u002F\u002Fauth0.com\u002F) and configure your application\n    - Create a Single Page Application\n    - Navigate to the Settings tab for that application\n    - If you are running the app locally: set Allowed Web Origins to `http:\u002F\u002Flocalhost:8501` and set Allowed Callback URLs to `http:\u002F\u002Flocalhost:8501\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`\n    - To run on a remote server: set Allowed Web Origins to `https:\u002F\u002F\u003Cyour_domain>` and set Allowed Callback URLs to `http:\u002F\u002F\u003Cyour_domain>\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`\n    - Copy Client ID and Domain to use in the next step\n- Make your own `.env` file with the command `cp .env_template .env`. Then edit the `.env` file and add your:\n    - [Replicate API token](https:\u002F\u002Freplicate.com\u002Faccount) as `REPLICATE_API_TOKEN`\n    - [Auth0 Client ID](https:\u002F\u002Fauth0.com\u002Fdocs\u002Fget-started\u002Fapplications\u002Fapplication-settings) as `AUTH0_CLIENTID`\n    - [Auth0 Domain](https:\u002F\u002Fauth0.com\u002Fdocs\u002Fget-started\u002Fapplications\u002Fapplication-settings) as `AUTH0_DOMAIN`\n    - For your convenience, we include common model endpoints already in the `.env_template` file\n- Run the app with `streamlit run llama2_chatbot.py`\n- Dockerfile included to [deploy this app](#deploying-on-flyio) in Fly.io\n\n(Note: if you are using a Mac, you may need to use the command `python3` instead of `python` and `pip3` instead of `pip`)\n\n## Usage\n\n- Start the chatbot by selecting an API endpoint from the sidebar.\n- Configure model hyperparameters from the sidebar.\n- Type your question in the input field at the bottom of the app and press enter.\n\n## Deploying on fly.io\n1. First you should [install flyctl](https:\u002F\u002Ffly.io\u002Fdocs\u002Fhands-on\u002Finstall-flyctl\u002F) and login from command line\n2. `fly launch` -> this will generate a fly.toml for you automatically\n3. `fly deploy --dockerfile Dockerfile` --> this will automatically package up the repo and deploy it on fly. If you have a free account, you can use `--ha=false` flag to only spin up one instance\n4. Go to your deployed fly app dashboard, click on `Secrets` from the left hand side nav, and click on `Use the Web CLI to manage your secrets without leaving your browser`. Once you are on your app's web CLI, export all secrets needed. i.e `export REPLICATE_API_TOKEN=your_replicate_token`. Refer to .env.example file for necessary secrets. \n\n## Authors\n\n- Marco Mascorro - [@mascobot](https:\u002F\u002Ftwitter.com\u002FMascobot)\n- Yoko Li - [@stuffyokodraws](https:\u002F\u002Ftwitter.com\u002Fstuffyokodraws)\n- Rajko Radovanović - [@rajko_rad](https:\u002F\u002Ftwitter.com\u002Frajko_rad)\n- Matt Bornstein - [@BornsteinMatt](https:\u002F\u002Ftwitter.com\u002FBornsteinMatt)\n- Guido Appenzeller - [@appenz](https:\u002F\u002Ftwitter.com\u002Fappenz)\n\n## Version\n\n0.9.0 (Experimental) - July 2023\n\n## Contributing\n\nThis project is under development. Contributions are welcome!\n\n## License\n\n- Web chatbot license (this repo): Apache 2.0\n- For the LLaMA models license, please refer to the License Agreement from Meta Platforms, Inc.\n\n## Acknowledgements\n\n- Special thanks to the team at Meta AI, Replicate, a16z-infra and the entire open-source community.\n\n## Disclaimer\n\nThis is an experimental version of the app. Use at your own risk. While the app has been tested, the authors hold no liability for any kind of losses arising out of using this application. \n\n## UI Configuration\n\nThe app has been styled and configured for a cleaner look. Main menu and footer visibility have been hidden. Feel free to modify this to your custom application.\n\n## Resources\n\n- [Streamlit Cheat Sheet](https:\u002F\u002Fdocs.streamlit.io\u002Flibrary\u002Fcheatsheet)\n- [GitHub to deploy LLaMA2 on Replicate](https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fcog-llama-template)\n","# LLaMA 2 聊天机器人应用 ⚡\n\n[![在 GitHub Codespaces 中打开](https:\u002F\u002Fgithub.com\u002Fcodespaces\u002Fbadge.svg)](https:\u002F\u002Fcodespaces.new\u002Fa16z-infra\u002Fllama2-chatbot?quickstart=1)\n\n## 🤔 这是什么？\n\n这是一个为 LLaMA2（或任何其他大语言模型）构建的实验性 Streamlit 聊天机器人应用。该应用支持会话聊天历史记录，并提供在 Replicate 上选择多个 LLaMA2 API 端点的选项。\n\n实时演示：[LLaMA2.ai](https:\u002F\u002Fllama2.ai\u002F)\n\n有关 LLaMA2 的许可协议，请参阅 Meta Platforms, Inc. 官方网站上的许可文档。\n[更多信息](https:\u002F\u002Fai.meta.com\u002Fllama\u002F)\n\n\u003Cimg width=\"1710\" alt=\"llama2 demo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llama2-chatbot_readme_95043db07341.png\">\n\n## 功能特性\n\n- 每个会话都会保留聊天历史（刷新后聊天历史将被清空）\n- 可在不同的 LLaMA2 聊天 API 端点之间进行选择（7B、13B 或 70B）。默认为 70B。\n- 可通过侧边栏配置模型超参数（温度、Top P、最大序列长度）。\n- 包含“用户：”和“助手：”提示，用于区分聊天对话。\n- 每个模型（7B、13B 和 70B）都在 Replicate 上运行——7B 和 13B 运行在一台 A100 40Gb 显卡上，而 70B 则运行在一台 A100 80Gb 显卡上。\n- 包含 Docker 镜像，可用于在 Fly.io 上部署此应用。\n\n## 安装\n\n- 克隆仓库\n- [可选] 使用命令 `python -m venv .venv` 创建虚拟 Python 环境，并使用 `source .venv\u002Fbin\u002Factivate` 激活它。\n- 使用 `pip install -r requirements.txt` 安装依赖项。\n- 在 [Replicate](https:\u002F\u002Freplicate.com\u002F) 上创建账户。\n- 在 [Auth0 (免费)](https:\u002F\u002Fauth0.com\u002F) 上创建账户并配置您的应用程序：\n    - 创建单页应用程序。\n    - 导航到该应用程序的“设置”选项卡。\n    - 如果您在本地运行应用：将“允许的 Web 域”设置为 `http:\u002F\u002Flocalhost:8501`，并将“允许的回调 URL”设置为 `http:\u002F\u002Flocalhost:8501\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`。\n    - 如果要在远程服务器上运行：将“允许的 Web 域”设置为 `https:\u002F\u002F\u003Cyour_domain>`，并将“允许的回调 URL”设置为 `http:\u002F\u002F\u003Cyour_domain>\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`。\n    - 复制客户端 ID 和域名，以备下一步使用。\n- 使用命令 `cp .env_template .env` 创建您自己的 `.env` 文件。然后编辑 `.env` 文件，添加您的：\n    - [Replicate API 令牌](https:\u002F\u002Freplicate.com\u002Faccount)，命名为 `REPLICATE_API_TOKEN`。\n    - [Auth0 客户端 ID](https:\u002F\u002Fauth0.com\u002Fdocs\u002Fget-started\u002Fapplications\u002Fapplication-settings)，命名为 `AUTH0_CLIENTID`。\n    - [Auth0 域名](https:\u002F\u002Fauth0.com\u002Fdocs\u002Fget-started\u002Fapplications\u002Fapplication-settings)，命名为 `AUTH0_DOMAIN`。\n    - 为方便起见，我们已在 `.env_template` 文件中预置了常见的模型端点。\n- 使用 `streamlit run llama2_chatbot.py` 运行应用。\n- 包含 Dockerfile，可用于在 Fly.io 上 [部署此应用](#deploying-on-flyio)。\n\n（注：如果您使用的是 Mac，可能需要使用 `python3` 代替 `python`，以及 `pip3` 代替 `pip`。）\n\n## 使用方法\n\n- 从侧边栏中选择一个 API 端点以启动聊天机器人。\n- 通过侧边栏配置模型超参数。\n- 在应用底部的输入框中键入问题并按回车键。\n\n## 在 Fly.io 上部署\n\n1. 首先您需要 [安装 flyctl](https:\u002F\u002Ffly.io\u002Fdocs\u002Fhands-on\u002Finstall-flyctl\u002F) 并通过命令行登录。\n2. 运行 `fly launch` —— 这将自动为您生成一个 `fly.toml` 文件。\n3. 运行 `fly deploy --dockerfile Dockerfile` —— 这将自动打包仓库并在 Fly 上部署。如果您使用的是免费账户，可以添加 `--ha=false` 标志，仅启动一个实例。\n4. 前往您已部署的 Fly 应用仪表板，在左侧导航栏中点击“Secrets”，然后点击“使用 Web CLI 管理您的密钥，无需离开浏览器”。进入应用的 Web CLI 后，导出所有必要的密钥，例如 `export REPLICATE_API_TOKEN=your_replicate_token`。请参考 `.env.example` 文件以获取所需密钥。\n\n## 作者\n\n- Marco Mascorro - [@mascobot](https:\u002F\u002Ftwitter.com\u002FMascobot)\n- Yoko Li - [@stuffyokodraws](https:\u002F\u002Ftwitter.com\u002Fstuffyokodraws)\n- Rajko Radovanović - [@rajko_rad](https:\u002F\u002Ftwitter.com\u002Frajko_rad)\n- Matt Bornstein - [@BornsteinMatt](https:\u002F\u002Ftwitter.com\u002FBornsteinMatt)\n- Guido Appenzeller - [@appenz](https:\u002F\u002Ftwitter.com\u002Fappenz)\n\n## 版本\n\n0.9.0（实验版）— 2023年7月\n\n## 贡献\n\n该项目仍在开发中，欢迎贡献！\n\n## 许可证\n\n- Web 聊天机器人许可证（本仓库）：Apache 2.0\n- LLaMA 模型的许可证，请参阅 Meta Platforms, Inc. 的许可协议。\n\n## 致谢\n\n特别感谢 Meta AI 团队、Replicate、a16z-infra 以及整个开源社区。\n\n## 免责声明\n\n这是一个实验版本的应用程序。请自行承担风险使用。尽管该应用已经过测试，但作者对因使用本应用程序而导致的任何损失不承担任何责任。\n\n## UI 配置\n\n该应用经过样式化和配置，外观更加简洁。主菜单和页脚已被隐藏。您可以根据自己的需求对其进行修改。\n\n## 资源\n\n- [Streamlit 备忘录](https:\u002F\u002Fdocs.streamlit.io\u002Flibrary\u002Fcheatsheet)\n- [GitHub 上用于在 Replicate 上部署 LLaMA2 的模板](https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fcog-llama-template)","# LLaMA 2 Chatbot 快速上手指南\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows (WSL 推荐)\n    *   *Mac 用户注意*：部分命令可能需要使用 `python3` 和 `pip3` 替代 `python` 和 `pip`。\n*   **Python 版本**：建议 Python 3.8 及以上版本。\n*   **账号准备**：\n    1.  **Replicate**：注册账号并获取 API Token ([replicate.com](https:\u002F\u002Freplicate.com\u002F))。\n    2.  **Auth0**：注册免费账号用于身份验证配置 ([auth0.com](https:\u002F\u002Fauth0.com\u002F))。\n\n## 安装步骤\n\n### 1. 克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot.git\ncd llama2-chatbot\n```\n\n### 2. 创建虚拟环境（可选但推荐）\n```bash\npython -m venv .venv\nsource .venv\u002Fbin\u002Factivate\n# Windows 用户请使用: .venv\\Scripts\\activate\n```\n\n### 3. 安装依赖\n```bash\npip install -r requirements.txt\n```\n> **提示**：国内开发者若下载缓慢，可添加清华源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 4. 配置 Auth0\n登录 Auth0 控制台创建一个新的 **Single Page Application**，进入 Settings 标签页进行如下配置：\n\n*   **本地运行配置**：\n    *   Allowed Web Origins: `http:\u002F\u002Flocalhost:8501`\n    *   Allowed Callback URLs: `http:\u002F\u002Flocalhost:8501\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`\n*   **远程服务器部署配置**：\n    *   Allowed Web Origins: `https:\u002F\u002F\u003Cyour_domain>`\n    *   Allowed Callback URLs: `http:\u002F\u002F\u003Cyour_domain>\u002Fcomponent\u002Fauth0_component.login_button\u002Findex.html`\n\n配置完成后，复制 **Client ID** 和 **Domain** 备用。\n\n### 5. 配置环境变量\n复制模板文件并编辑 `.env`：\n```bash\ncp .env_template .env\n```\n\n使用编辑器打开 `.env` 文件，填入以下关键信息：\n*   `REPLICATE_API_TOKEN`: 您的 Replicate API Token\n*   `AUTH0_CLIENTID`: 上一步获取的 Auth0 Client ID\n*   `AUTH0_DOMAIN`: 上一步获取的 Auth0 Domain\n\n*(注：`.env_template` 中已预置了常用的 LLaMA2 模型端点配置，通常无需修改)*\n\n## 基本使用\n\n### 启动应用\n在终端执行以下命令启动 Streamlit 服务：\n```bash\nstreamlit run llama2_chatbot.py\n```\n\n### 操作指南\n1.  浏览器自动打开 `http:\u002F\u002Flocalhost:8501`。\n2.  **选择模型**：在左侧侧边栏选择所需的 LLaMA2 API 端点（默认 70B，也可选 7B 或 13B）。\n3.  **调整参数**：可在侧边栏配置 Temperature、Top P 和 Max Sequence Length 等超参数。\n4.  **开始对话**：在底部输入框输入问题并回车，即可与 AI 助手进行多轮对话。\n\n> **注意**：聊天历史记录仅在当前会话中保留，刷新页面后历史记录将清空。","某初创团队的技术负责人希望快速搭建一个内部知识库问答原型，用于测试不同规模大模型在客服场景下的回答质量，但缺乏前端开发资源。\n\n### 没有 llama2-chatbot 时\n- 开发人员需从零编写 Streamlit 前端代码，耗时数天才能构建出具备会话历史功能的聊天界面。\n- 若要对比 7B、13B 和 70B 不同参数量模型的效果，必须手动修改后端 API 调用逻辑并重复部署多次。\n- 调整温度（Temperature）或 Top P 等超参数需要直接修改代码并重启服务，无法实时观察效果变化。\n- 缺乏现成的用户认证机制，内部测试数据存在泄露风险，集成 Auth0 等身份验证服务流程繁琐。\n- 本地环境与生产环境部署不一致，将应用迁移到 Fly.io 等云平台时常常遇到依赖冲突问题。\n\n### 使用 llama2-chatbot 后\n- 直接克隆仓库并运行脚本，几分钟内即可获得带有完整会话历史记录的专业聊天界面。\n- 通过侧边栏下拉菜单即可一键切换 7B、13B 或 70B 模型端点，实时对比不同规模模型的回复差异。\n- 在界面侧面滑动调节超参数，无需重启服务即可即时看到模型生成风格的变化，极大优化了调优效率。\n- 利用内置的 Auth0 配置模板，快速启用企业级单点登录，确保内部测试对话的数据安全。\n- 借助自带的 Dockerfile 和 Fly.io 部署指南，实现从本地开发到云端上线的无缝衔接，降低运维门槛。\n\nllama2-chatbot 将原本需要数天的全栈开发工作压缩为分钟级的配置操作，让团队能专注于模型效果评估而非基础设施搭建。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fa16z-infra_llama2-chatbot_95043db0.png","a16z-infra","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fa16z-infra_52e1e862.png",null,"https:\u002F\u002Fgithub.com\u002Fa16z-infra",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",98.2,{"name":87,"color":88,"percentage":89},"Dockerfile","#384d54",1.8,1415,222,"2026-04-16T07:58:41","Linux, macOS, Windows","本地运行无需 GPU（模型通过 Replicate API 云端运行）；云端运行需 A100 40GB (7B\u002F13B 模型) 或 A100 80GB (70B 模型)","未说明",{"notes":97,"python":98,"dependencies":99},"该应用为前端聊天界面，实际模型推理依赖外部 Replicate API，因此本地无需高性能硬件。需配置 Replicate API Token 和 Auth0 认证信息 (.env 文件)。支持通过 Docker 部署到 Fly.io。Mac 用户可能需要使用 python3 和 pip3 命令。","未说明 (建议使用 python3)",[100,101],"streamlit","replicate",[15],"2026-03-27T02:49:30.150509","2026-04-18T00:45:25.622768",[106,111,116,121,126,131],{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},38294,"REPLICATE_API_TOKEN 是什么？如何获取并配置它？","REPLICATE_API_TOKEN 不是模型下载的 URL，而是用于访问 Replicate 云服务的 API 令牌。获取步骤如下：\n1. 访问 https:\u002F\u002Freplicate.com\u002Faccount 并使用 GitHub 账号登录。\n2. 复制生成的 API Token。\n3. 将其粘贴到项目本地的 `.env` 文件中。\n关于默认端点配置，请参考此文件中的默认值：https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fblob\u002Fmain\u002F.env_template","https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fissues\u002F18",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},38295,"本地运行应用时提示缺少 Auth0 配置，该如何设置？","需要在 Auth0 上进行以下配置才能本地运行：\n1. 访问 https:\u002F\u002Fauth0.com 注册账号并创建一个新的 Application。\n2. 在环境变量中设置 `AUTH0_CLIENTID` 和 `AUTH0_DOMAIN`。\n3. 在 Auth0 应用设置中，正确配置 Callback URL 和 Logout URL（通常指向本地开发服务器地址）。\n维护者已更新安装说明以包含这些步骤。","https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fissues\u002F25",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},38296,"如何直接获取 Replicate API Token 的链接？","你可以直接访问以下链接登录并获取 API Token：https:\u002F\u002Freplicate.com\u002Fsignin?next=\u002Faccount\u002Fapi-tokens\n登录后即可在账户页面找到并复制令牌。","https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fissues\u002F21",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},38297,"为什么本地或 Codespaces 运行的应用输出效果很差（如乱码或重复）？","这通常是因为温度参数（temperature）设置过高导致的。建议将温度参数设置为小于 1 的值（例如 0.7 或 0.8），这样可以提高输出的稳定性和质量。请检查你的配置文件或代码中关于 temperature 的设置。","https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fissues\u002F19",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},38298,"网站显示不可用或报错，该如何解决？","如果网站暂时不可用，尝试清除浏览器缓存后再次访问。维护者确认服务上线后，清除缓存通常能解决加载旧版本或错误状态的问题。如果问题依旧，可能是服务端临时维护，请稍后再试。","https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fissues\u002F11",{"id":132,"question_zh":133,"answer_zh":134,"source_url":110},38299,"在哪里可以找到所有正确的默认端点配置？","所有正确的默认端点配置都定义在项目根目录的 `.env_template` 文件中。你可以直接查看该文件获取默认值：https:\u002F\u002Fgithub.com\u002Fa16z-infra\u002Fllama2-chatbot\u002Fblob\u002Fmain\u002F.env_template",[]]