[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-gaoisbest--NLP-Projects":3,"tool-gaoisbest--NLP-Projects":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":78,"languages":79,"stars":100,"forks":101,"last_commit_at":102,"license":76,"difficulty_score":32,"env_os":103,"env_gpu":104,"env_ram":103,"env_deps":105,"category_tags":112,"github_topics":114,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":127,"updated_at":128,"faqs":129,"releases":130},5133,"gaoisbest\u002FNLP-Projects","NLP-Projects","word2vec, sentence2vec, machine reading comprehension, dialog system, text classification, pretrained language model (i.e., XLNet, BERT, ELMo, GPT), sequence labeling, information retrieval, information extraction (i.e., entity, relation and event extraction), knowledge graph, text generation, network embedding","NLP-Projects 是一个面向自然语言处理（NLP）领域的开源学习与实践资源库，旨在帮助开发者系统掌握从基础概念到前沿模型的核心技术。它覆盖了词向量（Word2vec）、句向量、机器阅读理解、对话系统、文本分类、预训练语言模型（如 BERT、GPT、XLNet）、序列标注、信息检索与抽取、知识图谱、文本生成及网络嵌入等关键方向。\n\n对于希望深入理解 NLP 原理并动手实现算法的开发者和研究者而言，NLP-Projects 提供了清晰的理论解读与可运行的代码示例。项目不仅包含基于 TensorFlow、gensim 和 fastText 等主流框架的实现，还特别针对中文场景提供了分词、命名实体识别等任务的详细教程与笔记。其独特亮点在于将复杂的注意力机制、CNN\u002FRNN\u002FTransformer 架构对比等抽象概念，通过加权平均、并行化计算等角度进行通俗拆解，并配有中文解读资料，极大降低了学习门槛。无论是初学者构建知识体系，还是工程师寻找参考实现，都能从中获得实用价值。","# NLP-Projects\nNatural Language Processing projects, which includes concepts and scripts about:\n- [0_Word2vec](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F0_Word2vec\u002FREADME.md)\n    - `gensim`, `fastText` and `tensorflow` implementations. See [Chinese notes](http:\u002F\u002Furl.cn\u002F5PKmy7W), [中文解读](http:\u002F\u002Furl.cn\u002F5PKmy7W)\n\n- [1_Sentence2vec](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F1_Sentence2vec\u002FREADME.md)\n    - `doc2vec`, `word2vec averaging` and `Smooth Inverse Frequency` implementations\n\n- [2_Machine_reading_comprehension](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F2_Machine_reading_comprehension\u002FREADME.md)\n\n- [3_Dialog_system](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F3_Dialog_system\u002FREADME.md)\n    - Categories and components of dialog system\n\n- [4_Text_classification](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F4_Text_classification\u002FREADME.md)\n    - `tensorflow LSTM` (See [Chinese notes 1](http:\u002F\u002Furl.cn\u002F5cLDOQI), [中文解读 1](http:\u002F\u002Furl.cn\u002F5cLDOQI) and [Chinese notes 2](http:\u002F\u002Furl.cn\u002F5w5VbaI), [中文解读 2](http:\u002F\u002Furl.cn\u002F5w5VbaI))\n    - `fastText` implementation\n\n- [5_Pretraining_LM](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F5_Pretraining_LM\u002FREADME.md)\n    - Principle of ELMo, ULMFit, GPT, BERT, XLNet\n\n- [6_Sequence_labeling](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F6_Sequence_labeling\u002FREADME.md)\n    - [Chinese_word_segmentation](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F6_Sequence_labeling\u002FChinese_word_segmentation\u002FREADME.md)\n        - `HMM Viterbi` implementations. See [Chinese notes](http:\u002F\u002Furl.cn\u002F5x4KR8u), [中文解读](http:\u002F\u002Furl.cn\u002F5x4KR8u)\n    - [Named_Entity_Recognition](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Ftree\u002Fmaster\u002F6_Sequence_labeling\u002FNamed_Entity_Recognition)\n        - Brands NER via bi-directional LSTM + CRF, `tensorflow` implementation. See [Chinese notes](http:\u002F\u002Furl.cn\u002F5fcC754), [中文解读](http:\u002F\u002Furl.cn\u002F5fcC754)\n\n- [7_Information_retrieval](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F7_Information_retrieval\u002FREADME.md)\n\n- [8_Information_extraction](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F8_Information_extraction\u002FREADME.md)\n\n- [9_Knowledge_graph](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F9_Knowledge_graph\u002FREADME.md)\n\n- [10_Text_generation](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F10_Text_generation\u002FREADME.md)\n\n- [11_Network_embedding](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F11_Network_embedding\u002FREADME.md)\n\n\n# Concepts\n### 1. Attention\n- Attention == **weighted averages**\n- The attention [review 1](https:\u002F\u002Flilianweng.github.io\u002Flil-log\u002F2018\u002F06\u002F24\u002Fattention-attention.html) and [review 2](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F31547842) summarize attention mechanism into several types:\n    - Additive vs Multiplicative attention\n    - Self attention\n    - Soft vs Hard attention\n    - Global vs Local attention\n\n### 2. CNNs, RNNs and Transformer\n- **Parallelization** [1]\n    - RNNs\n        - Why not good ? \n\t    - **Last step's output is input of current step**\n\t- Solutions\n\t    - **Simple Recurrent Units (SRU)**\n\t        - Perform parallelization on each hidden state neuron independently\n\t    - **Sliced RNNs**\n\t        - Separate sequences into windows, use RNNs in each window, use another RNNs above windows\n\t        - Same as CNNs\n    - CNNs\n        - Why good ?\n\t    - For different windows in one filter\n\t    - For different filters\n\t\n- **Long-range dependency** [1]\n    - CNNs\n        - Why not good ?\n\t    - Single convolution can only caputure window-range dependency\n\t- [Solutions](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture11-convnets.pdf)\n\t    - Dilated CNNs\n\t    - Deep CNNs\n\t        - `N * [Convolution + skip-connection]`\n\t        - For example, window size=3 and sliding step=1, second convolution can cover 5 words (i.e., 1-2-3, 2-3-4, 3-4-5)\n    - Transformer > RNNs > CNNs\n- **Position** [1]\n    - CNNs\n        - Why not good ?\n\t    - Convolution preserves **relative-order** information, but **max-pooling discards them**\n\t- Solutions\n\t    - Discard max-pooling, use deep CNNs with skip-connections instead\n\t    - Add position embedding, just like in ConvS2S\n\n    - [Transformer](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002FPretraining_LM\u002FREADME.md#transformer)\n        - Why not good ?\n\t    - In self-attention, one word attends to other words and generate the summarization vector without relative position information\n    \n\n- **Semantic features extraction** [2]\n    - Transformer > CNNs == RNNs\n\n### 3. Pattern of DL in NLP models [3]\n- **Data**\n    - Preprocess\n        - [Sub-word segmentation](https:\u002F\u002Fmedium.com\u002F@makcedward\u002Fhow-subword-helps-on-your-nlp-model-83dd1b836f46) to avoid OOV and reduce vocabulary size\n            - [sentencepiece](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fsentencepiece)\n    - Pre-training (e.g., ELMO, BERT)\n    - [Multi-task learning](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FulZBmyt_L-RgGEGhNxrHeQ)\n    - Transfer learning, [ref_1](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FUJlmjFHWhnlXXJoRv4zkEQ), [ref_2](http:\u002F\u002Fruder.io\u002Ftransfer-learning\u002F)\n        - Use source task\u002Fdomain `S` to increase target task\u002Fdomain `T`\n\t- If `S` has a zero\u002Fone\u002Ffew instances, we call it zero-shot, one-shot, few-shot learning, respectively\n    \n- **Model**\n    - Encoder\n        - CNNs, RNNs, Transformer\n    - Structure\n        - Sequential, Tree, Graph\n- **Learning** (change loss definition)\n    - Adversarial learning\n    - Reinforcement learning\n\n#### References\n- [1] [Review](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F54743941)\n- [2] [Why self-attention? A targeted evaluation of neural machine translation architectures](http:\u002F\u002Faclweb.org\u002Fanthology\u002FD18-1458)\n- [3] [ACL 2019 oral](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F72725518?utm_source=wechat_timeline&utm_medium=social&utm_oi=35938507948032&wechatShare=1&s_r=0&from=timeline&isappinstalled=0)\n\n# Awesome public apis\n- [Baidu AI Open Platform](https:\u002F\u002Fai.baidu.com\u002F)\n- [Tencent AI Open Platform](https:\u002F\u002Fai.qq.com\u002F)\n- [Tencent NLP](http:\u002F\u002Fnlp.qq.com\u002F)\n\n# Awesome packages\n### Chinese\n- [pyltp](http:\u002F\u002Fpyltp.readthedocs.io\u002Fzh_CN\u002Fdevelop\u002Fapi.html)\n- [HanLP](http:\u002F\u002Fhanlp.linrunsoft.com\u002Findex.html)\n\n### English\n- [Spacy](https:\u002F\u002Fspacy.io)\n- [gensim](https:\u002F\u002Fradimrehurek.com\u002Fgensim\u002F)\n- [Install tensorflow with one line](https:\u002F\u002Ftowardsdatascience.com\u002Ftensorflow-gpu-installation-made-easy-use-conda-instead-of-pip-52e5249374bc): `conda install tensorflow-gpu`\n\n# Future directions\n- [Multi-task learning](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture17-multitask.pdf)\n- [Self-training](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture20-future.pdf)\n","# NLP项目\n自然语言处理项目，包含以下概念和脚本：\n- [0_Word2vec](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F0_Word2vec\u002FREADME.md)\n    - `gensim`、`fastText` 和 `tensorflow` 的实现。参见 [中文笔记](http:\u002F\u002Furl.cn\u002F5PKmy7W)、[中文解读](http:\u002F\u002Furl.cn\u002F5PKmy7W)\n\n- [1_Sentence2vec](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F1_Sentence2vec\u002FREADME.md)\n    - `doc2vec`、`word2vec averaging` 和 `Smooth Inverse Frequency` 的实现\n\n- [2_Machine_reading_comprehension](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F2_Machine_reading_comprehension\u002FREADME.md)\n\n- [3_Dialog_system](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F3_Dialog_system\u002FREADME.md)\n    - 对话系统的分类与组件\n\n- [4_Text_classification](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F4_Text_classification\u002FREADME.md)\n    - `tensorflow LSTM`（参见 [中文笔记1](http:\u002F\u002Furl.cn\u002F5cLDOQI)、[中文解读1](http:\u002F\u002Furl.cn\u002F5cLDOQI) 以及 [中文笔记2](http:\u002F\u002Furl.cn\u002F5w5VbaI)、[中文解读2](http:\u002F\u002Furl.cn\u002F5w5VbaI)）\n    - `fastText` 实现\n\n- [5_Pretraining_LM](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F5_Pretraining_LM\u002FREADME.md)\n    - ELMo、ULMFit、GPT、BERT、XLNet 的原理\n\n- [6_Sequence_labeling](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F6_Sequence_labeling\u002FREADME.md)\n    - [Chinese_word_segmentation](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F6_Sequence_labeling\u002FChinese_word_segmentation\u002FREADME.md)\n        - `HMM Viterbi` 的实现。参见 [中文笔记](http:\u002F\u002Furl.cn\u002F5x4KR8u)、[中文解读](http:\u002F\u002Furl.cn\u002F5x4KR8u)\n    - [Named_Entity_Recognition](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Ftree\u002Fmaster\u002F6_Sequence_labeling\u002FNamed_Entity_Recognition)\n        - 基于双向 LSTM + CRF 的品牌实体识别，`tensorflow` 实现。参见 [中文笔记](http:\u002F\u002Furl.cn\u002F5fcC754)、[中文解读](http:\u002F\u002Furl.cn\u002F5fcC754)\n\n- [7_Information_retrieval](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F7_Information_retrieval\u002FREADME.md)\n\n- [8_Information_extraction](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F8_Information_extraction\u002FREADME.md)\n\n- [9_Knowledge_graph](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F9_Knowledge_graph\u002FREADME.md)\n\n- [10_Text_generation](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F10_Text_generation\u002FREADME.md)\n\n- [11_Network_embedding](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002F11_Network_embedding\u002FREADME.md)\n\n\n# 概念\n### 1. 注意力\n- 注意力 == **加权平均**\n- 关于注意力机制的综述 [1](https:\u002F\u002Flilianweng.github.io\u002Flil-log\u002F2018\u002F06\u002F24\u002Fattention-attention.html) 和 [2](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F31547842) 将其归纳为以下几种类型：\n    - 加法式 vs 乘法式注意力\n    - 自注意力\n    - 软注意力 vs 硬注意力\n    - 全局注意力 vs 局部注意力\n\n### 2. CNN、RNN 和 Transformer\n- **并行化** [1]\n    - RNN\n        - 为什么不好？\n\t    - **上一步的输出是当前步的输入**\n\t- 解决方案\n\t    - **简单循环单元 (SRU)**\n\t        - 在每个隐藏状态神经元上独立进行并行化\n\t    - **分段 RNN**\n\t        - 将序列分割成窗口，在每个窗口内使用 RNN，并在窗口之上再使用一个 RNN。\n\t        - 类似于 CNN\n    - CNN\n        - 为什么好？\n\t    - 可以同时处理一个滤波器内的不同窗口\n\t    - 也可以处理不同的滤波器\n\t\n- **长距离依赖** [1]\n    - CNN\n        - 为什么不好？\n\t    - 单次卷积只能捕捉窗口范围内的依赖关系\n\t- [解决方案](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture11-convnets.pdf)\n\t    - 空洞 CNN\n\t    - 深度 CNN\n\t        - `N * [卷积 + 跳跃连接]`\n\t        - 例如，窗口大小为 3，滑动步长为 1，第二次卷积可以覆盖 5 个词（即 1-2-3、2-3-4、3-4-5）\n    - Transformer > RNN > CNN\n- **位置信息** [1]\n    - CNN\n        - 为什么不好？\n\t    - 卷积会保留 **相对顺序** 信息，但 **最大池化会将其丢弃**\n\t- 解决方案\n\t    - 放弃最大池化，改用带有跳跃连接的深度 CNN\n\t    - 添加位置嵌入，就像 ConvS2S 中那样\n\n    - [Transformer](https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects\u002Fblob\u002Fmaster\u002FPretraining_LM\u002FREADME.md#transformer)\n        - 为什么不好？\n\t    - 在自注意力机制中，一个词会关注其他词并生成摘要向量，却缺乏相对位置信息\n    \n\n- **语义特征提取** [2]\n    - Transformer > CNN == RNN\n\n### 3. NLP 模型中深度学习的模式 [3]\n- **数据**\n    - 预处理\n        - [子词分割](https:\u002F\u002Fmedium.com\u002F@makcedward\u002Fhow-subword-helps-on-your-nlp-model-83dd1b836f46) 可以避免 OOV 问题并减少词汇表大小\n            - [sentencepiece](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fsentencepiece)\n    - 预训练（如 ELMO、BERT）\n    - [多任务学习](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FulZBmyt_L-RgGEGhNxrHeQ)\n    - 迁移学习，[参考1](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FUJlmjFHWhnlXXJoRv4zkEQ)、[参考2](http:\u002F\u002Fruder.io\u002Ftransfer-learning\u002F)\n        - 利用源任务\u002F领域 `S` 来提升目标任务\u002F领域 `T`\n\t- 如果 `S` 只有一个或很少的样本，就分别称为零样本、单样本或少样本学习\n    \n- **模型**\n    - 编码器\n        - CNN、RNN、Transformer\n    - 结构\n        - 序列型、树型、图型\n- **学习**（改变损失函数定义）\n    - 对抗学习\n    - 强化学习\n\n#### 参考文献\n- [1] [综述](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F54743941)\n- [2] [为什么选择自注意力？对神经机器翻译架构的针对性评估](http:\u002F\u002Faclweb.org\u002Fanthology\u002FD18-1458)\n- [3] [ACL 2019 口头报告](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F72725518?utm_source=wechat_timeline&utm_medium=social&utm_oi=35938507948032&wechatShare=1&s_r=0&from=timeline&isappinstalled=0)\n\n# 优秀的公共 API\n- [百度 AI 开放平台](https:\u002F\u002Fai.baidu.com\u002F)\n- [腾讯 AI 开放平台](https:\u002F\u002Fai.qq.com\u002F)\n- [腾讯 NLP](http:\u002F\u002Fnlp.qq.com\u002F)\n\n# 优秀库\n### 中文\n- [pyltp](http:\u002F\u002Fpyltp.readthedocs.io\u002Fzh_CN\u002Fdevelop\u002Fapi.html)\n- [HanLP](http:\u002F\u002Fhanlp.linrunsoft.com\u002Findex.html)\n\n### 英文\n- [Spacy](https:\u002F\u002Fspacy.io)\n- [gensim](https:\u002F\u002Fradimrehurek.com\u002Fgensim\u002F)\n- [用一行命令安装 TensorFlow](https:\u002F\u002Ftowardsdatascience.com\u002Ftensorflow-gpu-installation-made-easy-use-conda-instead-of-pip-52e5249374bc): `conda install tensorflow-gpu`\n\n# 未来方向\n- [多任务学习](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture17-multitask.pdf)\n- [自训练](http:\u002F\u002Fweb.stanford.edu\u002Fclass\u002Fcs224n\u002Fslides\u002Fcs224n-2019-lecture20-future.pdf)","# NLP-Projects 快速上手指南\n\nNLP-Projects 是一个涵盖自然语言处理核心概念与代码实现的开源合集，包含词向量、文本分类、序列标注、预训练模型等模块。本指南将帮助你快速搭建环境并运行示例。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)\n- **Python 版本**: Python 3.6+\n- **GPU (可选)**: 若需加速深度学习模型训练（如 TensorFlow LSTM, BERT），建议配备 NVIDIA GPU 及 CUDA 驱动。\n\n### 前置依赖\n本项目不同模块依赖不同的库，主要涉及：\n- `gensim`: 用于 Word2Vec, Doc2Vec 等传统模型\n- `fastText`: Facebook 开源的快速文本分类工具\n- `tensorflow`: 用于深度学习模型 (LSTM, CRF, Transformer 等)\n- `pyltp` \u002F `HanLP`: 中文处理专用工具（可选）\n\n## 安装步骤\n\n### 1. 克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fgaoisbest\u002FNLP-Projects.git\ncd NLP-Projects\n```\n\n### 2. 安装基础依赖\n建议使用虚拟环境（如 `conda` 或 `venv`）以避免冲突。\n\n**方案 A：使用 Conda (推荐，尤其适合国内用户配置 GPU 环境)**\nConda 能更简便地处理 CUDA 和 cuDNN 依赖。\n```bash\n# 创建环境\nconda create -n nlp_projects python=3.8\nconda activate nlp_projects\n\n# 安装 TensorFlow GPU 版本 (一行命令搞定)\nconda install tensorflow-gpu\n\n# 安装其他通用依赖\npip install gensim fasttext scikit-learn numpy pandas\n```\n\n**方案 B：使用 Pip**\n```bash\npip install tensorflow gensim fasttext scikit-learn numpy pandas\n```\n\n### 3. 安装中文处理工具 (可选)\n若需运行中文分词或实体识别示例，推荐安装以下国内优化库：\n```bash\n# 安装 HanLP (Java 内核，中文处理强大)\npip install pyhanlp\n\n# 或安装 LTP (哈工大)\npip install pyltp\n```\n*注：`pyltp` 可能需要额外下载模型文件，请参考其官方文档。*\n\n## 基本使用\n\n项目按功能划分为多个子目录，每个目录包含独立的脚本和说明。以下是两个典型场景的使用示例。\n\n### 场景一：运行 Word2Vec 词向量训练\n进入 `0_Word2vec` 目录，使用 `gensim` 或 `tensorflow` 实现训练。\n\n```bash\ncd 0_Word2vec\n\n# 查看具体脚本列表 (通常包含 train_gensim.py 或类似名称)\nls \n\n# 示例：运行基于 gensim 的训练脚本 (假设脚本名为 train.py，具体文件名请查阅该目录 README)\npython train_gensim.py\n```\n*提示：该目录提供了 `gensim`, `fastText` 和 `tensorflow` 三种实现，请根据安装的库选择对应脚本。*\n\n### 场景二：运行中文分词 (HMM Viterbi)\n进入 `6_Sequence_labeling\u002FChinese_word_segmentation` 目录。\n\n```bash\ncd 6_Sequence_labeling\u002FChinese_word_segmentation\n\n# 运行 HMM Viterbi 分词示例\npython hmm_viterbi_segment.py\n```\n*注意：运行前请确保已准备好测试语料文件，具体文件名和参数请参照该目录下的 `README.md`。*\n\n### 探索其他模块\n你可以直接进入以下目录探索更多功能：\n- **文本分类**: `cd 4_Text_classification` (支持 TensorFlow LSTM 和 fastText)\n- **命名实体识别**: `cd 6_Sequence_labeling\u002FNamed_Entity_Recognition` (Bi-LSTM + CRF)\n- **预训练模型原理**: 查看 `5_Pretraining_LM` 中的文档了解 ELMo, BERT, XLNet 等原理。\n\n每个子目录均包含独立的 `README.md`，详细说明了该模块的数据格式、运行命令及中文解读链接。","某电商公司的数据团队正致力于从海量用户评论中自动提取产品缺陷实体并构建智能客服问答系统。\n\n### 没有 NLP-Projects 时\n- 团队需从零复现 BERT、XLNet 等预训练模型代码，耗费数周调试底层架构，严重拖慢项目进度。\n- 在处理品牌名、型号等特定实体识别（NER）任务时，缺乏成熟的 Bi-LSTM+CRF 参考实现，导致标注准确率低下且难以优化。\n- 构建对话系统时，对注意力机制（Attention）和序列标记等核心概念理解模糊，只能依赖昂贵的商业 API 进行试错。\n- 不同模块（如词向量 Word2vec 与文本分类）代码风格割裂，缺乏统一的标准脚本，新人上手成本极高。\n\n### 使用 NLP-Projects 后\n- 直接调用项目中提供的 TensorFlow 版 BERT 和 XLNet 脚本，将预训练语言模型的部署时间从数周缩短至几天。\n- 利用内置的品牌实体识别（Brands NER）双向 LSTM+CRF 实现，快速迭代出高精度的缺陷提取模型，准确率达行业领先水平。\n- 参考项目中关于注意力机制、CNN 与 Transformer 对比的详细中文解读与原理分析，团队自主构建了高效的对话管理模块。\n- 基于统一的代码库快速串联起从 Word2vec 词向量训练到文本分类的全流程，实现了研发规范的标准化与知识共享。\n\nNLP-Projects 通过提供全链路的算法实现与深度原理解析，将团队从重复造轮子的困境中解放出来，专注于业务逻辑的创新与落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgaoisbest_NLP-Projects_0786085d.png","gaoisbest","Feng Gao","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fgaoisbest_8df8a81d.jpg","Ph.D. of Computational Biology. Now interested in deep learning applications in NLP.",null,"Shanghai, China.","https:\u002F\u002Fgithub.com\u002Fgaoisbest",[80,84,88,92,96],{"name":81,"color":82,"percentage":83},"OpenEdge ABL","#5ce600",62.3,{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",32.8,{"name":89,"color":90,"percentage":91},"Python","#3572A5",4.7,{"name":93,"color":94,"percentage":95},"Jsonnet","#0064bd",0.2,{"name":97,"color":98,"percentage":99},"Shell","#89e051",0.1,568,152,"2026-03-29T09:50:50","未说明","部分模块（如 TensorFlow LSTM, BERT）建议使用 GPU，具体型号和显存未说明；支持通过 conda 安装 tensorflow-gpu",{"notes":106,"python":103,"dependencies":107},"该项目是多个 NLP 任务的概念和脚本集合，不同子项目依赖不同。文中特别提到可使用 'conda install tensorflow-gpu' 一键安装 TensorFlow GPU 版本。包含中文分词、命名实体识别等需要特定模型或算法实现的模块。",[108,109,110,111],"gensim","fastText","tensorflow","sentencepiece",[113,16,35,14],"其他",[115,116,117,118,119,120,121,122,123,124,125,126],"word2vec","sentence2vec","machine-reading-comprehension","dialogue-systems","text-classification","pretrained-language-model","sequence-labeling","information-retrieval","information-extraction","knowledge-graph","text-generation","network-embedding","2026-03-27T02:49:30.150509","2026-04-08T01:09:03.993582",[],[]]