[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-databricks-academy--large-language-models":3,"tool-databricks-academy--large-language-models":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":77,"languages":78,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":87,"env_os":88,"env_gpu":89,"env_ram":90,"env_deps":91,"category_tags":97,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":98,"updated_at":99,"faqs":100,"releases":131},4545,"databricks-academy\u002Flarge-language-models","large-language-models","Notebooks for Large Language Models (LLMs) Specialization","large-language-models 是 Databricks 学院为 edX“大语言模型：从应用到生产”课程配套的开源资源库，主要包含完整的交互式笔记本（Notebooks）和教学幻灯片。它旨在解决学习者在大模型落地过程中面临的理论与实践脱节问题，提供了一套从基础概念到生产环境部署的完整学习路径。\n\n这套资源特别适合希望系统掌握大模型应用开发的开发者、数据工程师以及研究人员使用。通过内置的代码示例，用户可以直接在 Databricks 平台上动手实践，深入理解模型微调、推理优化等核心环节。其独特的技术亮点在于高度适配 Databricks 机器学习运行时环境，针对普通任务提供了高效的 CPU 运行配置，而为复杂的模型微调实验则预设了 GPU 加速方案，确保了教学内容的流畅执行与环境一致性。无论是初学者入门还是专业人士进阶，large-language-models 都能帮助用户以最低的配置成本，快速构建起对大模型全链路开发的认知与实战能力。","## Large Language Models\n\nThis repo contains the notebooks and slides for the [Large Language Models: Application through Production](https:\u002F\u002Fwww.edx.org\u002Fcourse\u002Flarge-language-models-application-through-production) course on [edX](https:\u002F\u002Fwww.edx.org\u002Fprofessional-certificate\u002Fdatabricks-large-language-models) & Databricks Academy.\n \n\u003Cdetails>\n\u003Csummary> Notebooks\u003C\u002Fsummary>\n \n ## How to Import the Repo into Databricks?\n\n1. You first need to add Git credentials to Databricks. Refer to [documentation here](https:\u002F\u002Fdocs.databricks.com\u002Frepos\u002Frepos-setup.html#add-git-credentials-to-databricks).  \n\n2. Click `Repos` in the sidebar. Click `Add Repo` on the top right.\n    \n    \u003Cimg width=\"400\" alt=\"repo_1\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n    \n\n3. Clone the \"HTTPS\" URL from GitHub, or copy `https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models.git` and paste into the box `Git repository URL`. The rest of the fields, i.e. `Git provider` and `Repository name`, will be automatically populated. Click `Create Repo` on the bottom right. \n\n    \u003Cimg width=\"700\" alt=\"add_repo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n ## How to Import the files from `.dbc` releases on GitHub\n1. You can download the notebooks from a release by navigating to the releases section on the GitHub page:\n \n    \u003Cimg width=\"400\" alt=\"dbc_release1\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n \n2. From the releases page, download the `.dbc` file. This contains all of the course notebooks, with the structure and meta data. \n \n    \u003Cimg width=\"400\" alt=\"dbc_release2\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n3. In your Databricks workspace, navigate to the Workspace menu, click on Home and select `Import`:\n \n    \u003Cimg width=\"400\" alt=\"dbc_release3\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n4. Using the import tool, navigate to the location on your computer where the `.dbc` file was dowloaded from Step 1. Once you select the file, click `Import`, and the files will be loaded and extracted to your workspace:\n \n    \u003Cimg width=\"400\" alt=\"dbc_release4\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> Cluster settings \u003C\u002Fsummary>\n \n## Which Databricks cluster should I use? \n\n1. First, select `Single Node` \n\n    \u003Cimg width=\"500\" alt=\"single_node\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n\n2. This courseware has been tested on [Databricks Runtime 13.3 LTS for Machine Learning]([url](https:\u002F\u002Fdocs.databricks.com\u002Fen\u002Frelease-notes\u002Fruntime\u002F13.3lts-ml.html)). If you do not have access to a 13.3 LTS ML Runtime cluster, you will need to install many additional libraries (as the ML Runtime pre-installs many commonly used machine learning packages), and this courseware is not guaranteed to run. \n    \n    \u003Cimg width=\"400\" alt=\"cluster\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_b4e531538e65.png\">\n\n\n    \n    For all of the notebooks except `LLM 04a - Fine-tuning LLMs` and `LLM04L - Fine-tuning LLMs Lab`, you can run them on a CPU just fine. We recommend either `i3.xlarge` or `i3.2xlarge` (i3.2xlarge will have slightly faster performance).  \n\n    \u003Cimg width=\"400\" alt=\"cpu_settings\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_398df14691f9.png\">\n    \n    For these notebooks: `LLM 04a - Fine-tuning LLMs` and `LLM04L - Fine-tuning LLMs Lab`, you will need the Databricks Runtime 13.3 LTS for Machine Learning **with GPU**. \n\n    \u003Cimg width=\"400\" alt=\"gpu\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_ab9597efd3dc.png\">\n\n    \n    Select GPU instance type of `g5.2xlarge`.\n\n    \u003Cimg width=\"400\" alt=\"gpu_settings\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_5933b7dc3d00.png\">\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> Install datasets and models \u003C\u002Fsummary>\n \n## How do I install the datasets and models locally?\n \n1. To improve performance of the code, we highly recommend pre-installing the datasets and models by running the `LLM 00a - Install Datasets` notebook. \u003C\u002Fbr>\n    \u003Cimg width=\"400\" alt=\"install_datasets_file\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n2. You should run this script before running any of the other notebooks. This can take up to 25mins to complete. \n    \u003Cimg width=\"1000\" alt=\"install_datasets_notebook\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> Slides \u003C\u002Fsummary>\n \n ## Where do I download course slides? \n \n Please click the latest version under the `Releases` section. You will be able to download the slides in PDF. \n\u003C\u002Fdetails>\n","## 大型语言模型\n\n此仓库包含在 [edX](https:\u002F\u002Fwww.edx.org\u002Fprofessional-certificate\u002Fdatabricks-large-language-models) 和 Databricks Academy 上开设的课程《大型语言模型：从应用到生产》的笔记本和幻灯片。\n\n\u003Cdetails>\n\u003Csummary> 笔记本\u003C\u002Fsummary>\n\n## 如何将此仓库导入 Databricks？\n\n1. 首先需要在 Databricks 中添加 Git 凭证。请参阅[此处的文档](https:\u002F\u002Fdocs.databricks.com\u002Frepos\u002Frepos-setup.html#add-git-credentials-to-databricks)。\n\n2. 在侧边栏中点击 `Repos`，然后点击右上角的 `Add Repo`。\n\n    \u003Cimg width=\"400\" alt=\"repo_1\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n3. 从 GitHub 克隆“HTTPS”URL，或将 `https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models.git` 复制并粘贴到 `Git repository URL` 框中。其余字段，即 `Git provider` 和 `Repository name`，将自动填充。点击右下角的 `Create Repo`。\n\n    \u003Cimg width=\"700\" alt=\"add_repo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n## 如何从 GitHub 上的 `.dbc` 发布版本中导入文件？\n\n1. 您可以通过导航到 GitHub 页面上的发布部分来下载笔记本：\n\n    \u003Cimg width=\"400\" alt=\"dbc_release1\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n2. 在发布页面中，下载 `.dbc` 文件。该文件包含课程的所有笔记本，并带有结构和元数据。\n\n    \u003Cimg width=\"400\" alt=\"dbc_release2\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n3. 在您的 Databricks 工作区中，导航到 Workspace 菜单，点击 Home 并选择 `Import`：\n\n    \u003Cimg width=\"400\" alt=\"dbc_release3\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n4. 使用导入工具，导航到您计算机上第 1 步中下载 `.dbc` 文件的位置。选择文件后，点击 `Import`，文件将被加载并提取到您的工作区：\n\n    \u003Cimg width=\"400\" alt=\"dbc_release4\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> 集群设置 \u003C\u002Fsummary>\n\n## 我应该使用哪种 Databricks 集群？\n\n1. 首先选择 `Single Node`。\n\n    \u003Cimg width=\"500\" alt=\"single_node\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n\n2. 本课程材料已在 [Databricks Runtime 13.3 LTS for Machine Learning]([url](https:\u002F\u002Fdocs.databricks.com\u002Fen\u002Frelease-notes\u002Fruntime\u002F13.3lts-ml.html)) 上测试过。如果您无法访问 13.3 LTS ML Runtime 集群，则需要手动安装许多额外的库（因为 ML Runtime 已预装了许多常用的机器学习包），且本课程材料不一定能正常运行。\n\n    \u003Cimg width=\"400\" alt=\"cluster\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_b4e531538e65.png\">\n\n\n对于除 `LLM 04a - Fine-tuning LLMs` 和 `LLM04L - Fine-tuning LLMs Lab` 之外的所有笔记本，您可以在 CPU 上顺利运行。我们建议使用 `i3.xlarge` 或 `i3.2xlarge`（`i3.2xlarge` 的性能会稍快一些）。\n\n    \u003Cimg width=\"400\" alt=\"cpu_settings\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_398df14691f9.png\">\n    \n对于以下笔记本：`LLM 04a - Fine-tuning LLMs` 和 `LLM04L - Fine-tuning LLMs Lab`，您需要使用配备 GPU 的 Databricks Runtime 13.3 LTS for Machine Learning。\n\n    \u003Cimg width=\"400\" alt=\"gpu\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_ab9597efd3dc.png\">\n\n选择 `g5.2xlarge` 类型的 GPU 实例。\n\n    \u003Cimg width=\"400\" alt=\"gpu_settings\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_5933b7dc3d00.png\">\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> 安装数据集和模型 \u003C\u002Fsummary>\n\n## 如何在本地安装数据集和模型？\n\n1. 为了提高代码性能，我们强烈建议通过运行 `LLM 00a - Install Datasets` 笔记本来预先安装数据集和模型。\u003C\u002Fbr>\n    \u003Cimg width=\"400\" alt=\"install_datasets_file\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\n2. 您应在运行其他任何笔记本之前运行此脚本。这可能需要长达 25 分钟才能完成。\n    \u003Cimg width=\"1000\" alt=\"install_datasets_notebook\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_readme_c1bc2d2805af.png\">\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n \u003Csummary> 幻灯片 \u003C\u002Fsummary>\n\n## 我在哪里可以下载课程幻灯片？\n\n请点击 `Releases` 部分下的最新版本。您可以下载 PDF 格式的幻灯片。\n\u003C\u002Fdetails>","# Large Language Models 快速上手指南\n\n本指南基于 Databricks Academy 的《Large Language Models: Application through Production》课程资源，帮助开发者快速在 Databricks 环境中部署并运行大语言模型（LLM）相关笔记。\n\n## 环境准备\n\n在开始之前，请确保你拥有 **Databricks 工作区**访问权限，并满足以下配置要求：\n\n### 系统要求\n*   **平台**: Databricks Workspace\n*   **集群类型**: 必须选择 **Single Node**（单节点）模式。\n*   **运行时版本**: 推荐使用 **Databricks Runtime 13.3 LTS for Machine Learning**。\n    *   该运行时预装了大多数机器学习库，可避免繁琐的手动依赖安装。\n    *   若使用其他版本，可能需手动安装大量库且无法保证代码正常运行。\n\n### 硬件资源配置\n根据你要运行的笔记内容，选择不同的实例类型：\n*   **常规笔记** (除微调外的所有笔记):\n    *   可使用 **CPU** 运行。\n    *   推荐实例类型：`i3.xlarge` 或 `i3.2xlarge`（后者性能稍优）。\n*   **微调笔记** (`LLM 04a - Fine-tuning LLMs` 和 `LLM04L - Fine-tuning LLMs Lab`):\n    *   必须使用 **GPU**。\n    *   推荐实例类型：`g5.2xlarge`。\n    *   确保集群已启用 GPU 支持。\n\n---\n\n## 安装步骤\n\n你可以通过 **Git 克隆** 或 **导入 `.dbc` 文件** 两种方式将课程资源加载到 Databricks 工作区。\n\n### 方法一：通过 Git 克隆（推荐）\n\n1.  **配置 Git 凭据**:\n    在 Databricks 中配置你的 Git 凭据（参考 [官方文档](https:\u002F\u002Fdocs.databricks.com\u002Frepos\u002Frepos-setup.html#add-git-credentials-to-databricks)）。\n\n2.  **创建 Repo**:\n    *   点击侧边栏的 `Repos`。\n    *   点击右上角的 `Add Repo`。\n\n3.  **填写仓库信息**:\n    *   在 `Git repository URL` 框中粘贴以下地址：\n        ```text\n        https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models.git\n        ```\n    *   `Git provider` 和 `Repository name` 会自动填充。\n    *   点击右下角的 `Create Repo`。\n\n### 方法二：导入 `.dbc` 发布包\n\n1.  **下载文件**:\n    访问 GitHub 仓库的 [Releases](https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Freleases) 页面，下载最新版本的 `.dbc` 文件。\n\n2.  **导入到工作区**:\n    *   在 Databricks 侧边栏点击 `Workspace` -> `Home`。\n    *   点击下拉菜单选择 `Import`。\n    *   选择你刚才下载的 `.dbc` 文件。\n    *   点击 `Import`，系统将自动解压并加载所有笔记。\n\n---\n\n## 基本使用\n\n成功导入资源后，请按以下顺序执行以完成环境初始化和首次运行。\n\n### 1. 预装数据集与模型（关键步骤）\n为了优化代码运行性能，强烈建议在运行其他任何笔记前，先执行数据安装脚本。\n\n*   **操作**: 打开并运行笔记 `LLM 00a - Install Datasets`。\n*   **耗时**: 此过程可能需要约 25 分钟，具体取决于网络状况。\n*   **注意**: 跳过此步骤可能导致后续笔记运行缓慢或失败。\n\n### 2. 运行课程笔记\n完成上述安装后，你可以按顺序打开并运行其他笔记（例如 `LLM 01...`, `LLM 02...` 等）。\n\n*   对于涉及模型微调的笔记 (`LLM 04a` 系列)，请确保当前连接的集群已配置 **GPU** (`g5.2xlarge`)。\n*   其他笔记可在配置的 CPU 集群上直接运行。\n\n### 3. 获取课程幻灯片\n如需下载配套的 PDF 教学幻灯片，请前往 GitHub 仓库的 [Releases](https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Freleases) 页面，在最新版本资产中下载。","某金融科技公司的数据团队正试图将内部合规文档转化为智能问答系统，但在从理论验证过渡到生产部署时遭遇了重重阻碍。\n\n### 没有 large-language-models 时\n- **环境配置耗时极长**：工程师需手动在 Databricks 上逐个安装 PyTorch、Transformers 等依赖库，常因版本冲突导致数天的调试浪费。\n- **微调门槛过高**：缺乏针对 GPU 集群（如 g5.2xlarge）的标准配置指南，团队在尝试微调模型时频繁遭遇显存溢出或运行时错误。\n- **学习与实践脱节**：网上教程多为碎片化代码，缺乏从应用开发到生产上线的完整闭环案例，导致原型难以落地。\n- **协作效率低下**：团队成员各自为战，笔记结构和元数据不统一，代码复用率极低，知识无法有效沉淀。\n\n### 使用 large-language-models 后\n- **一键复现生产环境**：通过导入官方 `.dbc` 文件或使用 Git 克隆，直接获得预装好 Databricks Runtime 13.3 LTS ML 的标准化笔记本，环境搭建缩短至分钟级。\n- **精准的资源指引**：官方明确区分了 CPU 推理与 GPU 微调（如 LLM 04a 章节）的实例选型（如 i3.xlarge vs g5.2xlarge），彻底规避了资源配置错误。\n- **全流程实战演练**：提供从应用构建到生产部署的完整课程笔记，团队可基于成熟代码快速修改，顺利打通合规问答系统的上线路径。\n- **标准化协作流程**：统一的笔记结构和元数据管理让团队成员能无缝交接任务，大幅提升了研发迭代速度。\n\nlarge-language-models 通过提供经过生产验证的标准化笔记与配置指南，将大模型项目的试错成本降至最低，加速了从概念验证到实际落地的全过程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks-academy_large-language-models_27c108f0.png","databricks-academy","Databricks Academy","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdatabricks-academy_699b857b.jpg","",null,"https:\u002F\u002Fgithub.com\u002Fdatabricks-academy",[79],{"name":80,"color":81,"percentage":82},"Python","#3572A5",100,827,465,"2026-03-30T15:49:13","NOASSERTION",4,"未说明 (基于 Databricks 云平台)","非必需。仅运行 'LLM 04a' 和 'LLM04L' (微调) 笔记本时需要；推荐实例类型：AWS g5.2xlarge；需配合 Databricks Runtime 13.3 LTS for Machine Learning 使用","未说明具体数值，推荐 CPU 实例类型为 AWS i3.xlarge 或 i3.2xlarge",{"notes":92,"python":93,"dependencies":94},"1. 该工具专为 Databricks 平台设计，需先配置 Git 凭证或通过 .dbc 文件导入笔记。2. 大部分课程可在 CPU 上运行，仅微调部分需要 GPU。3. 强烈建议先运行 'LLM 00a - Install Datasets' 笔记本预下载数据集和模型（耗时约 25 分钟），以提升后续代码执行性能。4. 若不使用指定的 ML 运行时，需手动安装大量库且无法保证运行正常。","未说明 (由 Databricks Runtime 13.3 LTS for Machine Learning 环境预定义)",[95,96],"Databricks Runtime 13.3 LTS for Machine Learning (预装主要 ML 库)","未列出具体 Python 包版本 (依赖运行时环境)",[35,14],"2026-03-27T02:49:30.150509","2026-04-07T03:52:51.814492",[101,106,111,116,121,126],{"id":102,"question_zh":103,"answer_zh":104,"source_url":105},20955,"在哪里可以找到课程的幻灯片（Slides）和 PDF 版本？","幻灯片位于仓库主页右侧的 \"Releases\" 部分。您可以直接访问以下链接下载：https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Freleases","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F8",{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},20956,"是否可以在离线环境或不联网的情况下运行这些 Notebook？","不可以。由于设置脚本依赖于 Databricks 环境，因此必须保持互联网连接才能运行本课程材料，无法在完全离线的环境下执行。","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F6",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},20957,"是否提供.ipynb 格式的文件以便在非 Databricks 环境中运行？","不提供。虽然 Notebook 中的大部分代码是开源且平台无关的，但设置脚本强依赖于 Databricks 环境。受课程许可证限制，官方不支持在任何非 Databricks 环境中运行这些 Notebook。","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F5",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},20958,"在 LLM 03L 实验中使用 map_rerank 链类型时遇到解析错误怎么办？","当使用 'google\u002Fflan-t5-large' 模型时，可能因模型能力不足导致无法生成可被默认解析器处理的分数，从而报错 \"Could not parse output\"。该问题已在即将发布的版本中修复，请更新到最新版本以解决此问题。","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F4",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},20959,"运行 Classroom-Setup 时遇到 DA.reset_lesson() 错误该如何处理？","该函数旨在清理 Notebook 状态，通常不应报错。如果首次运行时遇到此错误且无法复现，可以尝试注释掉该行代码暂时绕过，因为首次运行时无需重置状态。若多人遇到此问题，建议重新反馈以便进一步排查。","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F3",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},20960,"在 Jupyter Notebook 中运行 Hugging Face 相关代码时报错如何解决？","这些 Notebook 专为 Databricks 环境设计，不建议在本地 Jupyter 中运行。如果在本地遇到类似 \"partialstate is not defined\" 的错误，通常是因为缺少依赖，尝试运行 `pip install -U accelerate` 并重启 Notebook 可能解决，但官方仅支持在 Databricks 环境中使用。","https:\u002F\u002Fgithub.com\u002Fdatabricks-academy\u002Flarge-language-models\u002Fissues\u002F2",[132,137,141],{"id":133,"version":134,"summary_zh":135,"released_at":136},126957,"v2.0.0","发布 v2.0.0","2023-11-01T16:20:11",{"id":138,"version":139,"summary_zh":76,"released_at":140},126958,"v1.0.3","2023-07-12T21:48:47",{"id":142,"version":143,"summary_zh":76,"released_at":144},126959,"v1.0.2","2023-06-08T01:04:34"]