[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-smilelight--lightNLP":3,"tool-smilelight--lightNLP":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":101,"github_topics":102,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":122,"updated_at":123,"faqs":124,"releases":163},7415,"smilelight\u002FlightNLP","lightNLP","基于Pytorch和torchtext的自然语言处理深度学习框架。","lightNLP 是一个基于 PyTorch 和 torchtext 构建的轻量级自然语言处理深度学习框架。它致力于降低 NLP 任务的入门门槛，为开发者提供了一套涵盖命名实体识别、情感分析、机器翻译、文本生成及聊天机器人等十余种常见任务的基础实现代码。\n\n该工具主要解决了初学者和实践者在探索 NLP 领域时，面临从零搭建模型困难、缺乏统一代码参考的问题。通过提供清晰的项目结构和可运行的示例，lightNLP 让用户能够快速理解各类算法的实现逻辑，并在此基础上进行自由定制与二次开发。虽然它并非为企业级生产环境设计，也未预置大量训练好的模型，但其“自娱自乐”的定位恰恰使其成为学习算法原理的理想沙盒。\n\nlightNLP 特别适合对自然语言处理感兴趣的计算机专业学生、跨方向开发人员以及希望快速验证想法的研究者使用。其技术亮点在于集成了 TensorBoard 可视化功能，方便用户直观监控训练过程中的损失与评分变化；同时内置了基于 Flask 的简易部署服务，支持一键将模型转化为 API 接口进行测试。如果你希望在不依赖复杂黑盒的情况下，亲手掌控从数据预处理到模型部署的全流程，lightNL","lightNLP 是一个基于 PyTorch 和 torchtext 构建的轻量级自然语言处理深度学习框架。它致力于降低 NLP 任务的入门门槛，为开发者提供了一套涵盖命名实体识别、情感分析、机器翻译、文本生成及聊天机器人等十余种常见任务的基础实现代码。\n\n该工具主要解决了初学者和实践者在探索 NLP 领域时，面临从零搭建模型困难、缺乏统一代码参考的问题。通过提供清晰的项目结构和可运行的示例，lightNLP 让用户能够快速理解各类算法的实现逻辑，并在此基础上进行自由定制与二次开发。虽然它并非为企业级生产环境设计，也未预置大量训练好的模型，但其“自娱自乐”的定位恰恰使其成为学习算法原理的理想沙盒。\n\nlightNLP 特别适合对自然语言处理感兴趣的计算机专业学生、跨方向开发人员以及希望快速验证想法的研究者使用。其技术亮点在于集成了 TensorBoard 可视化功能，方便用户直观监控训练过程中的损失与评分变化；同时内置了基于 Flask 的简易部署服务，支持一键将模型转化为 API 接口进行测试。如果你希望在不依赖复杂黑盒的情况下，亲手掌控从数据预处理到模型部署的全流程，lightNLP 将是一个友好且实用的起点。","# lightNLP, 很基础的自然语言处理框架\n\n## 简介\n\n本项目基于Pytorch和torchtext，旨在提供一个基础的自然语言处理相关任务实现的深度学习框架。\n\n有关详细说明和教程请参阅项目文档：[lightnlp-cookbook](https:\u002F\u002Flightnlp-cookbook.readthedocs.io\u002Fzh_CN\u002Flatest\u002Findex.html)\n\n## 声明\n\n1. 本项目从定位上来说只是一次收集和尝试，目的并不作为企业级和生产级使用，目标群体主要是对自然语言处理各任务实践感兴趣的其他方向计算机开发人员以及初学者，更主要的是**自娱自乐**。\n2. 若有真正场景需求的用户或开发人员们可以参考[Industry 中文NLP商业服务](https:\u002F\u002Fgithub.com\u002Fcrownpku\u002FAwesome-Chinese-NLP#industry-%E4%B8%AD%E6%96%87nlp%E5%95%86%E4%B8%9A%E6%9C%8D%E5%8A%A1)寻求商业服务，当然本渣也乐意提供有偿服务。\n3. 对Pytorch和自然语言处理有一定了解的童鞋们，如果想追求快速开发且自由定制nlp应用，可以考虑复旦大学nlp实验室开源的[fastNLP](https:\u002F\u002Fgithub.com\u002Ffastnlp\u002FfastNLP)，框架功能丰富，且简洁易用。\n3. 本项目并未像其他一些框架一样为各任务提供了一些训练数据和训练好的模型从而可以直接下载使用。\n4. 本项目的诸多模型许多都是参考Github上原有实现，然后在基础之上二次加工而成，在这里要向相关作者致以诚挚的谢意！\n5. 未对各任务模型的各种参数进行精细微调，仅仅只是能跑通的程度。\n6. 本项目仅在以下本人两种开发环境下能跑通，其他环境出现的各种问题本人概不负责。\n   - Windows 10， Python 3.6，Pytorch 1.3\n   - Manjaro， Python 3.7，Pytorch 1.3\n\n## 安装\n\n```bash\npip install lightNLP\n```\n\n建议使用国内源来安装，如使用以下命令：\n```bash\npip install -i https:\u002F\u002Fpypi.douban.com\u002Fsimple\u002F lightNLP\n```\n\n### 安装依赖\n\n由于有些库如pytorch、torchtext并不在pypi源中或者里面只有比较老旧的版本，我们需要单独安装一些库。\n#### 安装pytorch\n\n请使用最新版本的Pytorch！\n\n具体安装参见[pytorch官网](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F)来根据平台、安装方式、Python版本、CUDA版本来选择适合自己的版本。\n\n#### 安装torchtext\n\n使用以下命令安装最新版本torchtext：\n```bash\npip install https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftext\u002Farchive\u002Fmaster.zip\n```\n\n## 示例\n\n### 命名实体识别（ner）\n#### 1.训练数据\n\nBIO\n\n训练数据示例如下：\n\n```\n清 B_Time\n明 I_Time\n是 O\n人 B_Person\n们 I_Person\n祭 O\n扫 O\n先 B_Person\n人 I_Person\n， O\n怀 O\n念 O\n追 O\n思 O\n的 O\n日 B_Time\n子 I_Time\n。 O\n\n正 O\n如 O\n宋 B_Time\n代 I_Time\n诗 B_Person\n人 I_Person\n```\n\n#### 2.使用示例\n##### 1.训练\n\n```\nfrom lightnlp.sl import NER\n\n# 创建NER对象\nner_model = NER()\n\ntrain_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fcorpus\u002Fner\u002Ftrain.sample.txt'\ndev_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fcorpus\u002Fner\u002Ftest.sample.txt'\nvec_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fembedding\u002Fchar\u002Ftoken_vec_300.bin'\n\n# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。\nner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='.\u002Fner_saves', log_dir='E:\u002FTest\u002Ftensorboard\u002F')\n```\n\n##### 2.测试\n\n```\n# 加载模型，默认当前目录下的`ner_saves`目录\nner_model.load('.\u002Fner_saves')\n# 对train_path下的测试集进行读取测试\nner_model.test(train_path)\n```\n\n##### 3.预测\n\n```\nfrom pprint import pprint\n\npprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))\n```\n\n预测结果：\n\n```\n[{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]\n```\n\n##### 4.查看训练效果\n\n命令行中执行以下命令，其中`E:\\Test\\tensorBoard`修改为模型训练时日志存储路径，port端口指定可选：\n```bash\ntensorboard --logdir=E:\\Test\\tensorBoard --port=2019\n```\n\n可以看到类似如下效果：\n\n![tensorboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_d2be0c658fa5.jpg)\n\n### 5.部署服务\n\n```python\nner_model.deploy(host=\"localhost\", port=2020, debug=False)\n```\n其中所有参数都可选，`host`参数默认为`localhost`，`port`端口将由程序自动向系统申请空闲端口，默认不开启`debug`模式。\n\n可以使用Postman或者编写程序进行调用测试，如下图：\n![postman](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_83879b927816.jpg)\n![jupyter-notebook](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_7b7dc115c04b.jpg)\n\n## todo\n\n### 业务\n\n- [x] 增加项目简要说明文档\n- [x] 提供各任务Demo训练数据\n\n### 工程\n\n- [x] 重构项目结构，将相同冗余的地方合并起来，保持项目结构清晰\n- [x] 增加TensorBoard可视化功能，主要包含如loss和score的`scalar`和以及各model的`graph`（目前Pytorch中的SummaryWriter的add_graph功能有一些bug，所以暂时添加不了了。）。\n- [x] 增加简易的基于flask的模型部署功能（当前仅用于模型的训练效果测试）\n- [x] 现在模型保存的路径和名字默认一致，会冲突，接下来每个模型都有自己的`name`。\n- [ ] 增加断点重训功能。\n- [ ] 增加earlyStopping。\n\n### 功能\n\n- [x] 增加CBOW词向量相关模型以及训练预测代码\n- [x] 增加skip_gram相关模型以及训练预测代码\n- [x] 增加情感分析相关模型以及训练预测代码\n- [x] 增加文本蕴含相关模型以及训练预测代码\n- [x] 增加文本生成相关模型以及训练预测代码\n- [x] 增加语言模型相关模型以及训练预测代码\n- [x] 增加依存分析相关模型以及训练预测代码\n- [x] 增加关系抽取相关模型以及训练预测代码\n- [x] 增加中文分词相关模型以及训练预测代码\n- [x] 增加词性标注相关模型以及训练预测代码\n- [x] 增加事件抽取相关模型以及训练预测代码\n- [x] 增加自动摘要相关模型以及训练预测代码 \n- [x] 增加机器翻译相关模型以及训练预测代码 \n- [x] 增加句子相似度相关模型以及训练预测代码\n- [x] 增加序列到序列相关模型以及训练预测代码\n- [x] 增加聊天机器人相关模型以及训练预测代码\n- [x] 增加命名实体识别相关模型以及预测训练代码\n- [ ] 增加一些任务的transformer实现（基于Pytorch官方实现的Transformer）\n- [ ] 增加Elmo相关模型以及训练预测代码\n- [ ] 增加GloVe相关模型以及训练预测代码\n- [ ] 增加GPT相关模型以及训练预测代码\n- [ ] 增加Bert相关模型以及训练预测代码\n- [ ] 增加属性抽取相关模型以及训练预测代码\n- [ ] 增加指代消解相关模型以及训练预测代码\n- [ ] 增加词义消歧相关模型以及训练预测代码\n- [ ] 增加阅读理解相关模型以及训练预测代码\n- [ ] 增加关键词抽取相关模型以及训练预测代码\n- [ ] 增加成分句法分析相关模型以及预测训练代码\n\n## 打赏\n\n如果该项目对您有所帮助，欢迎打赏~\n\n![UTOOLS1578660899400.jpg](https:\u002F\u002Flightsmile-img.oss-cn-beijing.aliyuncs.com\u002FUTOOLS1578660899400.jpg)","# lightNLP，一个非常基础的自然语言处理框架\n\n## 简介\n\n本项目基于Pytorch和torchtext，旨在提供一个基础的自然语言处理相关任务实现的深度学习框架。\n\n有关详细说明和教程请参阅项目文档：[lightnlp-cookbook](https:\u002F\u002Flightnlp-cookbook.readthedocs.io\u002Fzh_CN\u002Flatest\u002Findex.html)\n\n## 声明\n\n1. 本项目从定位上来说只是一次收集和尝试，目的并不作为企业级和生产级使用，目标群体主要是对自然语言处理各任务实践感兴趣的其他方向计算机开发人员以及初学者，更主要的是**自娱自乐**。\n2. 若有真正场景需求的用户或开发人员们可以参考[Industry 中文NLP商业服务](https:\u002F\u002Fgithub.com\u002Fcrownpku\u002FAwesome-Chinese-NLP#industry-%E4%B8%AD%E6%96%87nlp%E5%95%86%E4%B8%9A%E6%9C%8D%E5%8A%A1)寻求商业服务，当然本渣也乐意提供有偿服务。\n3. 对Pytorch和自然语言处理有一定了解的童鞋们，如果想追求快速开发且自由定制nlp应用，可以考虑复旦大学nlp实验室开源的[fastNLP](https:\u002F\u002Fgithub.com\u002Ffastnlp\u002FfastNLP)，框架功能丰富，且简洁易用。\n3. 本项目并未像其他一些框架一样为各任务提供了一些训练数据和训练好的模型从而可以直接下载使用。\n4. 本项目的诸多模型许多都是参考Github上原有实现，然后在基础之上二次加工而成，在这里要向相关作者致以诚挚的谢意！\n5. 未对各任务模型的各种参数进行精细微调，仅仅只是能跑通的程度。\n6. 本项目仅在以下本人两种开发环境下能跑通，其他环境出现的各种问题本人概不负责。\n   - Windows 10， Python 3.6，Pytorch 1.3\n   - Manjaro， Python 3.7，Pytorch 1.3\n\n## 安装\n\n```bash\npip install lightNLP\n```\n\n建议使用国内源来安装，如使用以下命令：\n```bash\npip install -i https:\u002F\u002Fpypi.douban.com\u002Fsimple\u002F lightNLP\n```\n\n### 安装依赖\n\n由于有些库如pytorch、torchtext并不在pypi源中或者里面只有比较老旧的版本，我们需要单独安装一些库。\n#### 安装pytorch\n\n请使用最新版本的Pytorch！\n\n具体安装参见[pytorch官网](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F)来根据平台、安装方式、Python版本、CUDA版本来选择适合自己的版本。\n\n#### 安装torchtext\n\n使用以下命令安装最新版本torchtext：\n```bash\npip install https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftext\u002Farchive\u002Fmaster.zip\n```\n\n## 示例\n\n### 命名实体识别（ner）\n#### 1.训练数据\n\nBIO\n\n训练数据示例如下：\n\n```\n清 B_Time\n明 I_Time\n是 O\n人 B_Person\n们 I_Person\n祭 O\n扫 O\n先 B_Person\n人 I_Person\n， O\n怀 O\n念 O\n追 O\n思 O\n的 O\n日 B_Time\n子 I_Time\n。 O\n\n正 O\n如 O\n宋 B_Time\n代 I_Time\n诗 B_Person\n人 I_Person\n```\n\n#### 2.使用示例\n##### 1.训练\n\n```\nfrom lightnlp.sl import NER\n\n# 创建NER对象\nner_model = NER()\n\ntrain_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fcorpus\u002Fner\u002Ftrain.sample.txt'\ndev_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fcorpus\u002Fner\u002Ftest.sample.txt'\nvec_path = '\u002Fhome\u002Flightsmile\u002FNLP\u002Fembedding\u002Fchar\u002Ftoken_vec_300.bin'\n\n# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。\nner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='.\u002Fner_saves', log_dir='E:\u002FTest\u002Ftensorboard\u002F')\n```\n\n##### 2.测试\n\n```\n# 加载模型，默认当前目录下的`ner_saves`目录\nner_model.load('.\u002Fner_saves')\n# 对train_path下的测试集进行读取测试\nner_model.test(train_path)\n```\n\n##### 3.预测\n\n```\nfrom pprint import pprint\n\npprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))\n```\n\n预测结果：\n\n```\n[{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]\n```\n\n##### 4.查看训练效果\n\n命令行中执行以下命令，其中`E:\\Test\\tensorBoard`修改为模型训练时日志存储路径，port端口指定可选：\n```bash\ntensorboard --logdir=E:\\Test\\tensorBoard --port=2019\n```\n\n可以看到类似如下效果：\n\n![tensorboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_d2be0c658fa5.jpg)\n\n### 5.部署服务\n\n```python\nner_model.deploy(host=\"localhost\", port=2020, debug=False)\n```\n其中所有参数都可选，`host`参数默认为`localhost`，`port`端口将由程序自动向系统申请空闲端口，默认不开启`debug`模式。\n\n可以使用Postman或者编写程序进行调用测试，如下图：\n![postman](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_83879b927816.jpg)\n![jupyter-notebook](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_readme_7b7dc115c04b.jpg)\n\n## todo\n\n### 业务\n\n- [x] 增加项目简要说明文档\n- [x] 提供各任务Demo训练数据\n\n### 工程\n\n- [x] 重构项目结构，将相同冗余的地方合并起来，保持项目结构清晰\n- [x] 增加TensorBoard可视化功能，主要包含如loss和score的`scalar`和以及各model的`graph`（目前Pytorch中的SummaryWriter的add_graph功能有一些bug，所以暂时添加不了了。）。\n- [x] 增加简易的基于flask的模型部署功能（当前仅用于模型的训练效果测试）\n- [x] 现在模型保存的路径和名字默认一致，会冲突，接下来每个模型都有自己的`name`。\n- [ ] 增加断点重训功能。\n- [ ] 增加earlyStopping。\n\n### 功能\n\n- [x] 增加CBOW词向量相关模型以及训练预测代码\n- [x] 增加skip_gram相关模型以及训练预测代码\n- [x] 增加情感分析相关模型以及训练预测代码\n- [x] 增加文本蕴含相关模型以及训练预测代码\n- [x] 增加文本生成相关模型以及训练预测代码\n- [x] 增加语言模型相关模型以及训练预测代码\n- [x] 增加依存分析相关模型以及训练预测代码\n- [x] 增加关系抽取相关模型以及训练预测代码\n- [x] 增加中文分词相关模型以及训练预测代码\n- [x] 增加词性标注相关模型以及训练预测代码\n- [x] 增加事件抽取相关模型以及训练预测代码\n- [x] 增加自动摘要相关模型以及训练预测代码 \n- [x] 增加机器翻译相关模型以及训练预测代码 \n- [x] 增加句子相似度相关模型以及训练预测代码\n- [x] 增加序列到序列相关模型以及训练预测代码\n- [x] 增加聊天机器人相关模型以及训练预测代码\n- [x] 增加命名实体识别相关模型以及预测训练代码\n- [ ] 增加一些任务的transformer实现（基于Pytorch官方实现的Transformer）\n- [ ] 增加Elmo相关模型以及训练预测代码\n- [ ] 增加GloVe相关模型以及训练预测代码\n- [ ] 增加GPT相关模型以及训练预测代码\n- [ ] 增加Bert相关模型以及训练预测代码\n- [ ] 增加属性抽取相关模型以及训练预测代码\n- [ ] 增加指代消解相关模型以及训练预测代码\n- [ ] 增加词义消歧相关模型以及训练预测代码\n- [ ] 增加阅读理解相关模型以及训练预测代码\n- [ ] 增加关键词抽取相关模型以及训练预测代码\n- [ ] 增加成分句法分析相关模型以及预测训练代码\n\n## 打赏\n\n如果该项目对您有所帮助，欢迎打赏~\n\n![UTOOLS1578660899400.jpg](https:\u002F\u002Flightsmile-img.oss-cn-beijing.aliyuncs.com\u002FUTOOLS1578660899400.jpg)","# lightNLP 快速上手指南\n\nlightNLP 是一个基于 PyTorch 和 torchtext 的基础自然语言处理（NLP）深度学习框架，适合 NLP 初学者及希望快速定制 NLP 应用的开发者进行学习和实验。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：推荐 Windows 10 或 Linux (如 Manjaro)。\n*   **Python 版本**：Python 3.6 或 3.7+。\n*   **核心依赖**：\n    *   **PyTorch**：建议使用最新版本。请访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F) 根据您的平台、CUDA 版本选择安装命令。\n    *   **torchtext**：需单独安装最新版（pypi 源版本可能过旧）。\n\n## 2. 安装步骤\n\n### 第一步：安装 PyTorch\n请根据官方指引安装适合您环境的 PyTorch 版本。例如：\n```bash\n# 示例：CPU 版本安装命令（具体请以官网生成命令为准）\npip install torch torchvision torchaudio\n```\n\n### 第二步：安装 torchtext\n使用以下命令从 GitHub 源码安装最新版本：\n```bash\npip install https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ftext\u002Farchive\u002Fmaster.zip\n```\n\n### 第三步：安装 lightNLP\n推荐使用国内镜像源（如豆瓣源）以加快下载速度：\n```bash\npip install -i https:\u002F\u002Fpypi.douban.com\u002Fsimple\u002F lightNLP\n```\n\n## 3. 基本使用\n\n以下以**命名实体识别（NER）**任务为例，展示从训练到预测的最简流程。\n\n### 3.1 准备数据\n模型需要 BIO 格式的训练数据（每行一个“字 标签”）。示例 (`train.sample.txt`)：\n```text\n清 B_Time\n明 I_Time\n是 O\n人 B_Person\n们 I_Person\n祭 O\n扫 O\n先 B_Person\n人 I_Person\n， O\n```\n\n### 3.2 代码示例\n\n创建一个 Python 脚本，执行以下操作：\n\n```python\nfrom lightnlp.sl import NER\nfrom pprint import pprint\n\n# 1. 创建 NER 对象\nner_model = NER()\n\n# 2. 配置路径\ntrain_path = '.\u002Ftrain.sample.txt'       # 训练数据路径\ndev_path = '.\u002Ftest.sample.txt'          # 验证数据路径（可选）\nvec_path = '.\u002Ftoken_vec_300.bin'        # 预训练字向量路径（可选）\nsave_path = '.\u002Fner_saves'               # 模型保存路径\nlog_dir = '.\u002Flogs\u002F'                     # TensorBoard 日志路径\n\n# 3. 训练模型\n# 只需指定训练数据路径，其他参数均为可选\nner_model.train(\n    train_path, \n    vectors_path=vec_path, \n    dev_path=dev_path, \n    save_path=save_path, \n    log_dir=log_dir\n)\n\n# 4. 加载模型并进行预测\nner_model.load(save_path)\n\nsentence = '另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'\nresult = ner_model.predict(sentence)\n\n# 输出预测结果\npprint(result)\n```\n\n**预测输出示例：**\n```python\n[{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]\n```\n\n### 3.3 查看训练效果与部署\n*   **可视化监控**：在命令行运行以下命令查看 Loss 和 Score 曲线：\n    ```bash\n    tensorboard --logdir=.\u002Flogs\u002F --port=6006\n    ```\n*   **快速部署服务**：一键启动本地 API 服务：\n    ```python\n    ner_model.deploy(host=\"localhost\", port=2020)\n    ```\n\n> **注意**：本项目定位为学习与实验框架，模型参数未经过精细微调，主要目的是跑通流程而非达到生产级精度。如需生产环境方案，请参考业界成熟的商业服务或 fastNLP 等框架。","某高校计算机专业研究生李明，正试图从零开始复现一篇关于中文命名实体识别（NER）的学术论文，以完成他的毕业设计原型。\n\n### 没有 lightNLP 时\n- **环境搭建繁琐**：需要手动配置 PyTorch、torchtext 版本兼容性，常在 Windows 或 Linux 环境下因依赖冲突耗费数天调试。\n- **数据预处理重复造轮子**：必须自行编写代码解析 BIO 标注格式的数据集，并手动构建字符向量索引，极易出错且效率低下。\n- **模型实现门槛高**：缺乏基础框架参考，需从头搭建 LSTM\u002FCRF 等网络结构，难以快速验证论文中的算法思路。\n- **训练过程黑盒化**：缺少内置的可视化监控手段，无法直观观察 Loss 变化曲线，难以判断模型是否收敛或过拟合。\n- **部署测试困难**：训练好的模型仅能本地运行，缺乏简易接口将其封装为服务，导致无法方便地调用测试或展示成果。\n\n### 使用 lightNLP 后\n- **一键安装与环境解耦**：通过 `pip install lightNLP` 快速获取基于 PyTorch 的基础框架，大幅降低环境配置成本，让李明能立即投入核心研究。\n- **标准化数据流支持**：直接读取 BIO 格式训练数据，框架自动处理字符向量化与批次加载，省去了大量胶水代码的编写时间。\n- **开箱即用的模型模板**：调用 `NER()` 类即可实例化命名实体识别模型，只需指定路径即可启动训练，快速复现论文基线效果。\n- **集成 TensorBoard 可视化**：训练日志自动生成标量图表，李明可实时监控损失函数下降趋势，及时调整超参数优化模型性能。\n- **内置轻量级服务部署**：利用 `deploy()` 方法一行代码将模型发布为本地 API，配合 Postman 即可实时测试“清明节是人祭扫先人的日子”等句子的识别结果。\n\nlightNLP 通过提供“自娱自乐”级别的极简全流程支持，让初学者和跨方向开发者能以最低成本快速验证 NLP 想法，从环境泥潭中解脱出来专注于算法逻辑本身。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsmilelight_lightNLP_d2be0c65.jpg","smilelight","Defang Li","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsmilelight_a63bea7b.png","专注Agent领域，偏好Agent记忆方向，对Agent进化赛道感兴趣","Baidu","Beijing","iamlightsmile@qq.com",null,"https:\u002F\u002Fwww.lightsmile.cn","https:\u002F\u002Fgithub.com\u002Fsmilelight",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,836,208,"2026-01-28T13:05:13","Apache-2.0","Windows, Linux","未说明（依赖 PyTorch 配置，README 提及需根据平台选择 CUDA 版本）","未说明",{"notes":96,"python":97,"dependencies":98},"该项目定位为学习和自娱自乐，非生产级使用。官方仅在 Windows 10 (Python 3.6) 和 Manjaro Linux (Python 3.7) 配合 PyTorch 1.3 的环境下测试通过。PyTorch 和 torchtext 需单独安装，建议使用最新版本的 PyTorch 并根据官网指引选择对应的 CUDA 版本；torchtext 建议从 GitHub 源码安装以获取最新版本。模型参数未经过精细微调。","3.6, 3.7",[99,100],"torch>=1.3","torchtext",[35,14],[103,104,100,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121],"nlp","pytorch","srl","deep-learning","cws","pos","relation-extraction","dependency-parsing","sentence-similarity","text-classification","python","chinese","language-model","nature-language-process","word2vec","skip-gram","cbow","negative-sampling","hierarchical-softmax","2026-03-27T02:49:30.150509","2026-04-14T20:49:45.645171",[125,130,135,140,144,149,153,158],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},33271,"遇到 'ModuleNotFoundError: No module named 'lightnlp.sl.pos.utils'' 错误是什么原因？","这是因为项目目录结构中缺少 Python 包的初始化文件。具体原因是 `utils` 文件夹内缺少 `__init__.py` 文件，导致 Python 无法将其识别为模块。解决方法是在对应的 `utils` 文件夹下创建一个空的 `__init__.py` 文件，或者更新到已修复此问题的最新版本。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F2",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},33270,"导入时出现 ImportError: libcurand.so.8.0 找不到共享对象文件，该如何解决？","这是 CUDA 环境配置问题，通常发生在安装的 PyTorch 版本与系统 CUDA 版本不匹配时。报错显示缺少 `libcurand.so.8.0`，但你安装的是 CUDA 9.0。请检查你的 PyTorch 版本是否对应 CUDA 8.0，或者重新安装与当前 CUDA 版本（如 9.0）相匹配的 PyTorch 版本。确保环境变量中包含了正确的 CUDA 库路径。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F4",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},33266,"运行示例代码时报错 ModuleNotFoundError: No module named 'lightnlp.tg.cb.models' 或类似模块缺失错误，如何解决？","这通常是因为未更新到最新的 pip 包版本或缺少初始化文件。请尝试执行以下操作：\n1. 更新 lightnlp 包：`pip install --upgrade lightnlp`\n2. 如果是从源码拉取，确保所有文件夹（如 utils）下都有 `__init__.py` 文件。\n3. 注意模型使用前需要先训练，不能直接加载预训练权重（除非已手动保存）。在示例代码中需取消注释训练行，并手动设置 `log_dir` 参数。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F9",{"id":141,"question_zh":142,"answer_zh":143,"source_url":139},33267,"加载模型时出现 FileNotFoundError: [Errno 2] No such file or directory: '.\u002Flm_saves\u002Fconfig.pkl' 错误怎么办？","该错误表示模型尚未训练，因此不存在保存的配置文件和权重。在使用 `load` 方法前，必须先执行训练步骤。请在代码中取消注释训练相关的行（例如 `lm_model.train(...)`），并确保设置了日志保存路径 `log_dir`，待训练完成生成文件后，再进行加载预测。",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},33268,"项目提供的词向量文件（如 token_vec_300.bin）是 Word2Vec 格式还是 FastText 格式？","该项目中的 `.bin` 词向量文件（例如中文词向量 token_vec_300.bin）是 Word2Vec (w2v) 格式。其特征是第一行包含词汇数量和向量维度。虽然库底层使用 torchtext 加载，理论上支持两种格式，但官方示例数据均为 w2v 格式。注意该项目的词向量文件通常较小（约 67M），而 FastText 文件通常较大（约 1G）。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F15",{"id":150,"question_zh":151,"answer_zh":152,"source_url":148},33269,"如何在训练 NER 模型时自定义 batch_size（批次大小）？","由于代码中存在一个小缺陷，需要在两处同时设置 batch_size 才能生效：\n1. 在调用训练方法时传入参数：`ner_model.train(..., batch_size=218)`\n2. 修改源码 `lightnlp\u002Fsl\u002Fner\u002Fmodule.py` 中的 `train_iter` 获取行，显式指定批次大小：`train_iter = ner_tool.get_iterator(train_dataset, batch_size=218)`\n仅在一处设置可能导致无效。",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},33272,"处理的数据文件中如果某行以空格开头，会导致模型运行失败吗？","是的，这是一个已知的数据解析 Bug。如果输入数据（如 NER 任务的数据集）中的某行以空格开头，sc-ner 模型可能会无法正常解析并报错。建议在预处理数据时，去除每行开头的多余空白字符，确保数据格式严格符合规范（通常为标准的双列或多列格式，无前导空格）。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F14",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},33273,"lightNLP 适合用于商品名称分类任务吗？","可以尝试使用。虽然作者没有针对商品分类进行过专门验证，但该库提供了文本分类相关的通用模型架构。你可以将自己的商品名称数据集整理成库支持的格式，参考其他任务（如情感分析或文本分类）的代码进行训练和测试。由于项目主要用于练习和演示，应用于生产环境时可能需要根据具体效果调整代码或参数。","https:\u002F\u002Fgithub.com\u002Fsmilelight\u002FlightNLP\u002Fissues\u002F12",[]]