[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-Hironsan--awesome-embedding-models":3,"similar-Hironsan--awesome-embedding-models":56},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":21,"owner_website":22,"owner_url":23,"languages":24,"stars":29,"forks":30,"last_commit_at":31,"license":32,"difficulty_score":33,"env_os":34,"env_gpu":35,"env_ram":35,"env_deps":36,"category_tags":39,"github_topics":42,"view_count":50,"oss_zip_url":18,"oss_zip_packed_at":18,"status":51,"created_at":52,"updated_at":53,"faqs":54,"releases":55},3664,"Hironsan\u002Fawesome-embedding-models","awesome-embedding-models","A curated list of awesome embedding models tutorials, projects and communities.","awesome-embedding-models 是一个精心整理的开源资源清单，专注于嵌入模型（Embedding Models）领域的教程、项目实践与社区交流。在自然语言处理中，如何将文字转化为机器可理解的向量是核心难题，而该资源库正是为了解决开发者与研究者在寻找高质量学习资料、复现代码及权威论文时面临的分散与筛选困难而生。\n\n它非常适合 AI 研究人员、算法工程师以及对 NLP 技术感兴趣的学生使用。无论是想深入了解 Word2Vec、GloVe 等经典词向量原理，还是追踪 BERT 等前沿语言模型的最新进展，都能在这里找到对应的学术论文、数据集链接及实现工具。其独特亮点在于系统化的分类结构，涵盖了从基础理论、模型增强技巧到评估方法的完整知识链条，并持续收录社区贡献的优质内容。通过一站式聚合全球顶尖的研究成果与工程实践，awesome-embedding-models 帮助用户高效构建知识体系，加速从理论学习到实际落地的过程，是探索语义表示领域不可或缺的导航指南。","# awesome-embedding-models[![Awesome](https:\u002F\u002Fcdn.rawgit.com\u002Fsindresorhus\u002Fawesome\u002Fd7305f38d29fed78fa85652e3a63e154dd8e8829\u002Fmedia\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome)\nA curated list of awesome embedding models tutorials, projects and communities.\nPlease feel free to pull requests to add links.\n\n## Table of Contents\n\n\n* **[Papers](#papers)**\n* **[Researchers](#researchers)**\n* **[Courses and Lectures](#courses-and-lectures)**\n* **[Datasets](#datasets)**\n* **[Implementations and Tools](#implementations-and-tools)**\n\u003C!--* **[Articles](#articles)**-->\n\n## Papers\n### Word Embeddings\n\n**Word2vec, GloVe, FastText**\n\n* Efficient Estimation of Word Representations in Vector Space (2013), T. Mikolov et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1301.3781.pdf)\n* Distributed Representations of Words and Phrases and their Compositionality (2013), T. Mikolov et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1310.4546.pdf)\n* word2vec Parameter Learning Explained (2014), Xin Rong [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1411.2738.pdf)\n* word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method (2014), Yoav Goldberg, Omer Levy [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1402.3722.pdf)\n* GloVe: Global Vectors for Word Representation (2014), J. Pennington et al. [[pdf]](http:\u002F\u002Fnlp.stanford.edu\u002Fpubs\u002Fglove.pdf)\n* Improving Word Representations via Global Context and Multiple Word Prototypes (2012), EH Huang et al. [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP12-1092)\n* Enriching Word Vectors with Subword Information (2016), P. Bojanowski et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.04606v1.pdf)\n* Bag of Tricks for Efficient Text Classification (2016), A. Joulin et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.01759.pdf)\n\n**Language Model**\n\n* Semi-supervised sequence tagging with bidirectional language models (2017), Peters, Matthew E., et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.00108)\n* Deep contextualized word representations (2018), Peters, Matthew E., et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365)\n* Contextual String Embeddings for Sequence Labeling (2018), Akbik, Alan, Duncan Blythe, and Roland Vollgraf. [[pdf]](http:\u002F\u002Falanakbik.github.io\u002Fpapers\u002Fcoling2018.pdf)\n* BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018), [[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805)\n\n\n\n**Embedding Enhancement**\n\n* Sentence Embedding:Learning Semantic Sentence Embeddings using Pair-wise Discriminator(2018),Patro et al.[[Project Page]](https:\u002F\u002Fbadripatro.github.io\u002FQuestion-Paraphrases\u002F) [[Paper]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FC18-1230)\n* Retrofitting Word Vectors to Semantic Lexicons (2014), M. Faruqui et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1411.4166.pdf)\n* Better Word Representations with Recursive Neural Networks for Morphology (2013), T.Luong et al. [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fwebsite\u002Fold_anthology\u002FW\u002FW13\u002FW13-35.pdf#page=116)\n* Dependency-Based Word Embeddings (2014), Omer Levy, Yoav Goldberg [[pdf]](https:\u002F\u002Flevyomer.files.wordpress.com\u002F2014\u002F04\u002Fdependency-based-word-embeddings-acl-2014.pdf)\n* Not All Neural Embeddings are Born Equal (2014), F. Hill et al. [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1410.0718.pdf)\n* Two\u002FToo Simple Adaptations of Word2Vec for Syntax Problems (2015), W. Ling[[pdf]](http:\u002F\u002Fwww.cs.cmu.edu\u002F~lingwang\u002Fpapers\u002Fnaacl2015.pdf)\n\n\n**Comparing count-based vs predict-based method**\n\n* Linguistic Regularities in Sparse and Explicit Word Representations (2014), Omer Levy, Yoav Goldberg[[pdf]](https:\u002F\u002Fwww.cs.bgu.ac.il\u002F~yoavg\u002Fpublications\u002Fconll2014analogies.pdf)\n* Don’t count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors (2014), M. Baroni [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP14-1023)\n* Improving Distributional Similarity with Lessons Learned from Word Embeddings (2015), Omer Levy [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FQ15-1016)\n\n\n**Evaluation, Analysis**\n\n* Evaluation methods for unsupervised word embeddings (2015), T. Schnabel [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD15-1036)\n* Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance (2016), B. Chiu [[pdf]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FW\u002FW16\u002FW16-2501.pdf)\n* Problems With Evaluation of Word Embeddings Using Word Similarity Tasks (2016), M. Faruqui [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1605.02276.pdf)\n* Improving Reliability of Word Similarity Evaluation by Redesigning Annotation Task and Performance Measure (2016), Oded Avraham, Yoav Goldberg [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1611.03641.pdf)\n* Evaluating Word Embeddings Using a Representative Suite of Practical Tasks (2016), N. Nayak [[pdf]](https:\u002F\u002Fcs.stanford.edu\u002F~angeli\u002Fpapers\u002F2016-acl-veceval.pdf)\n\n### Phrase, Sentence and Document Embeddings\n\n**Sentence**\n\n* [Skip-Thought Vectors](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06726)\n* [A Simple but Tough-to-Beat Baseline for Sentence Embeddings](https:\u002F\u002Fopenreview.net\u002Fforum?id=SyK00v5xx)\n* [An efficient framework for learning sentence representations](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.02893)\n* [Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.00079)\n* [Universal Sentence Encoder](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.11175)\n\n**Document**\n\n* [Distributed Representations of Sentences and Documents](https:\u002F\u002Farxiv.org\u002Fabs\u002F1405.4053)\n\n### Sense Embeddings\n\n* [SENSEMBED: Learning Sense Embeddings for Word and Relational Similarity](http:\u002F\u002Fwwwusers.di.uniroma1.it\u002F~navigli\u002Fpubs\u002FACL_2015_Iacobaccietal.pdf)\n* [Multi-Prototype Vector-Space Models of Word Meaning](http:\u002F\u002Fwww.cs.utexas.edu\u002F~ml\u002Fpapers\u002Freisinger.naacl-2010.pdf)\n\n### Neural Language Models\n\n* [Recurrent neural network based language model](http:\u002F\u002Fwww.fit.vutbr.cz\u002Fresearch\u002Fgroups\u002Fspeech\u002Fpubli\u002F2010\u002Fmikolov_interspeech2010_IS100722.pdf)\n* [A Neural Probabilistic Language Model](http:\u002F\u002Fwww.jmlr.org\u002Fpapers\u002Fvolume3\u002Fbengio03a\u002Fbengio03a.pdf)\n* [Linguistic Regularities in Continuous Space Word Representations](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FN13-1090)\n\n## Researchers\n\n* [Tomas Mikolov](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=oBu8kMMAAAAJ&hl=en)\n* [Yoshua Bengio](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=kukA0LcAAAAJ&hl=en)\n* [Yoav Goldberg](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=0rskDKgAAAAJ&hl=en)\n* [Omer Levy](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=PZVd2h8AAAAJ&hl=en)\n* [Kai Chen](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=TKvd_Z4AAAAJ&hl=en)\n\n## Courses and Lectures\n\n* [CS224d: Deep Learning for Natural Language Processing](http:\u002F\u002Fcs224d.stanford.edu\u002Findex.html)\n* [Udacity Deep Learning](https:\u002F\u002Fwww.udacity.com\u002Fcourse\u002Fdeep-learning--ud730)\n\n## Datasets\n### Training\n\n* [Wikipedia](https:\u002F\u002Fdumps.wikimedia.org\u002Fenwiki\u002F)\n* [WestburyLab.wikicorp.201004](http:\u002F\u002Fwww.socher.org\u002Findex.php\u002FMain\u002FImprovingWordRepresentationsViaGlobalContextAndMultipleWordPrototypes)\n\n### Evaluation\n\n* [SemEval-2012 Task 2](https:\u002F\u002Fwww.cs.york.ac.uk\u002Fsemeval-2012\u002Ftask2.html)\n* [WordSimilarity-353](http:\u002F\u002Fwww.cs.technion.ac.il\u002F~gabr\u002Fresources\u002Fdata\u002Fwordsim353\u002F)\n* [Stanford's Contextual Word Similarities (SCWS)](http:\u002F\u002Fwww.socher.org\u002Findex.php\u002FMain\u002FImprovingWordRepresentationsViaGlobalContextAndMultipleWordPrototypes)\n* [Stanford Rare Word (RW) Similarity Dataset](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n\n### Pre-Trained Language Models\n\nBelow is pre-trained [ELMo](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365) models. Adding ELMo to existing NLP systems significantly improves the state-of-the-art for every considered task.\n\n* [ELMo by AllenNLP](https:\u002F\u002Fallennlp.org\u002Felmo)\n* [ELMo by TensorFlow Hub](https:\u002F\u002Falpha.tfhub.dev\u002Fgoogle\u002Felmo\u002F2)\n\nBelow is pre-trained [sent2vec](https:\u002F\u002Fgithub.com\u002Fepfml\u002Fsent2vec) models.\n* [BioSentVec: sent2vec pretrained vector for biomedical text](https:\u002F\u002Fgithub.com\u002Fncbi-nlp\u002FBioSentVec)\n\n### Pre-Trained Word Vectors\nConvenient downloader for pre-trained word vectors:\n* [chakin](https:\u002F\u002Fgithub.com\u002Fchakki-works\u002Fchakin)\n\n\nLinks for pre-trained word vectors:\n* [Word2vec pretrained vector(English Only)](https:\u002F\u002Fcode.google.com\u002Farchive\u002Fp\u002Fword2vec\u002F)\n* [Word2vec pretrained vectors for 30+ languages](https:\u002F\u002Fgithub.com\u002FKyubyong\u002Fwordvectors)\n* [FastText pretrained vectors for 157 languages](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FfastText\u002Fblob\u002Fmaster\u002Fdocs\u002Fcrawl-vectors.md)\n* [FastText pretrained vector for Japanese with NEologd](https:\u002F\u002Fdrive.google.com\u002Fopen?id=0ByFQ96A4DgSPUm9wVWRLdm5qbmc)\n* [word vectors trained by GloVe](http:\u002F\u002Fnlp.stanford.edu\u002Fprojects\u002Fglove\u002F)\n* [Dependency-Based Word Embeddings](https:\u002F\u002Flevyomer.wordpress.com\u002F2014\u002F04\u002F25\u002Fdependency-based-word-embeddings\u002F)\n* [Meta-Embeddings](http:\u002F\u002Fcistern.cis.lmu.de\u002Fmeta-emb\u002F)\n* [Lex-Vec](https:\u002F\u002Fgithub.com\u002Falexandres\u002Flexvec)\n* [Huang et al. (2012)'s embeddings (HSMN+csmRNN)](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n* [Collobert et al. (2011)'s embeddings (CW+csmRNN)](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n* [BPEmb: subword embeddings for 275 languages](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fbpemb)\n* [Wikipedia2Vec: pretrained word and entity embeddings for 12 languages](https:\u002F\u002Fwikipedia2vec.github.io\u002Fwikipedia2vec\u002Fpretrained\u002F)\n* [word2vec-slim](https:\u002F\u002Fgithub.com\u002Feyaler\u002Fword2vec-slim)\n* [BioWordVec: fastText pretrained vector for biomedical text](https:\u002F\u002Fgithub.com\u002Fncbi-nlp\u002FBioSentVec)\n\n\u003C!--\n## Articles\n-->\n\n## Implementations and Tools\n### Word2vec\n\n* [Original](https:\u002F\u002Fcode.google.com\u002Farchive\u002Fp\u002Fword2vec\u002F)\n* [gensim](https:\u002F\u002Fradimrehurek.com\u002Fgensim\u002Fmodels\u002Fword2vec.html)\n* [TensorFlow](https:\u002F\u002Fwww.tensorflow.org\u002Fversions\u002Fr0.12\u002Ftutorials\u002Fword2vec\u002Findex.html)\n\n### GloVe\n\n* [Original](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002FGloVe)\n* [GloVe as an optimized TensorFlow GPU Layer using chakin](https:\u002F\u002Fgithub.com\u002Fguillaume-chevalier\u002FGloVe-as-a-TensorFlow-Embedding-Layer)\n\n","# 令人惊叹的嵌入模型[![Awesome](https:\u002F\u002Fcdn.rawgit.com\u002Fsindresorhus\u002Fawesome\u002Fd7305f38d29fed78fa85652e3a63e154dd8e8829\u002Fmedia\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome)\n一份精心整理的优秀嵌入模型教程、项目和社区列表。\n欢迎提交 Pull Request 添加链接。\n\n## 目录\n\n\n* **[论文](#papers)**\n* **[研究者](#researchers)**\n* **[课程与讲座](#courses-and-lectures)**\n* **[数据集](#datasets)**\n* **[实现与工具](#implementations-and-tools)**\n\u003C!--* **[文章](#articles)**-->\n\n## 论文\n### 词嵌入\n\n**Word2vec、GloVe、FastText**\n\n* 向量空间中词表示的有效估计（2013），T. Mikolov 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1301.3781.pdf)\n* 词和短语的分布式表示及其组合性（2013），T. Mikolov 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1310.4546.pdf)\n* word2vec 参数学习详解（2014），Xin Rong [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1411.2738.pdf)\n* word2vec 解析：推导 Mikolov 等人的负采样词嵌入方法（2014），Yoav Goldberg、Omer Levy [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1402.3722.pdf)\n* GloVe：用于词表示的全局向量（2014），J. Pennington 等人 [[pdf]](http:\u002F\u002Fnlp.stanford.edu\u002Fpubs\u002Fglove.pdf)\n* 通过全局上下文和多个词原型改进词表示（2012），EH Huang 等人 [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP12-1092)\n* 利用子词信息丰富词向量（2016），P. Bojanowski 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.04606v1.pdf)\n* 高效文本分类的技巧集（2016），A. Joulin 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1607.01759.pdf)\n\n**语言模型**\n\n* 基于双向语言模型的半监督序列标注（2017），Peters, Matthew E. 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.00108)\n* 深度上下文化词表示（2018），Peters, Matthew E. 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365)\n* 用于序列标注的上下文字符串嵌入（2018），Akbik, Alan、Duncan Blythe 和 Roland Vollgraf。[[pdf]](http:\u002F\u002Falanakbik.github.io\u002Fpapers\u002Fcoling2018.pdf)\n* BERT：面向语言理解的深度双向变换器预训练（2018），[[pdf]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805)\n\n\n\n**嵌入增强**\n\n* 句子嵌入：使用成对判别器学习语义句子嵌入（2018），Patro 等人 [[项目页面]](https:\u002F\u002Fbadripatro.github.io\u002FQuestion-Paraphrases\u002F) [[论文]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FC18-1230)\n* 将词向量改造为语义词典（2014），M. Faruqui 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1411.4166.pdf)\n* 利用递归神经网络改进词形学的词表示（2013），T.Luong 等人 [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fwebsite\u002Fold_anthology\u002FW\u002FW13\u002FW13-35.pdf#page=116)\n* 基于依存关系的词嵌入（2014），Omer Levy、Yoav Goldberg [[pdf]](https:\u002F\u002Flevyomer.files.wordpress.com\u002F2014\u002F04\u002Fdependency-based-word-embeddings-acl-2014.pdf)\n* 并非所有神经网络嵌入都生而平等（2014），F. Hill 等人 [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1410.0718.pdf)\n* Word2Vec 在句法问题上的两种过于简单的改编（2015），W. Ling[[pdf]](http:\u002F\u002Fwww.cs.cmu.edu\u002F~lingwang\u002Fpapers\u002Fnaacl2015.pdf)\n\n\n**比较基于计数与基于预测的方法**\n\n* 稀疏且显式的词表示中的语言规律性（2014），Omer Levy、Yoav Goldberg[[pdf]](https:\u002F\u002Fwww.cs.bgu.ac.il\u002F~yoavg\u002Fpublications\u002Fconll2014analogies.pdf)\n* 不要计数，要预测！上下文计数与上下文预测语义向量的系统比较（2014），M. Baroni [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FP14-1023)\n* 从词嵌入中汲取经验教训以改进分布相似性（2015），Omer Levy [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FQ15-1016)\n\n\n**评估、分析**\n\n* 无监督词嵌入的评估方法（2015），T. Schnabel [[pdf]](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD15-1036)\n* 词向量的内在评估无法预测外在性能（2016），B. Chiu [[pdf]](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FW\u002FW16\u002FW16-2501.pdf)\n* 使用词相似度任务评估词嵌入的问题（2016），M. Faruqui [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1605.02276.pdf)\n* 通过重新设计标注任务和性能指标来提高词相似度评估的可靠性（2016），Oded Avraham、Yoav Goldberg [[pdf]](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1611.03641.pdf)\n* 使用具有代表性的实际任务套件评估词嵌入（2016），N. Nayak [[pdf]](https:\u002F\u002Fcs.stanford.edu\u002F~angeli\u002Fpapers\u002F2016-acl-veceval.pdf)\n\n### 短语、句子和文档嵌入\n\n**句子**\n\n* [Skip-Thought 向量](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06726)\n* [一个简单但难以击败的句子嵌入基线](https:\u002F\u002Fopenreview.net\u002Fforum?id=SyK00v5xx)\n* [一种高效的学习句子表示框架](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.02893)\n* [通过大规模多任务学习学习通用分布式句子表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.00079)\n* [通用句子编码器](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.11175)\n\n**文档**\n\n* [句子和文档的分布式表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1405.4053)\n\n### 语义嵌入\n\n* [SENSEMBED：学习用于词和关系相似性语义嵌入](http:\u002F\u002Fwwwusers.di.uniroma1.it\u002F~navigli\u002Fpubs\u002FACL_2015_Iacobaccietal.pdf)\n* [词义的多原型向量空间模型](http:\u002F\u002Fwww.cs.utexas.edu\u002F~ml\u002Fpapers\u002Freisinger.naacl-2010.pdf)\n\n### 神经语言模型\n\n* [基于循环神经网络的语言模型](http:\u002F\u002Fwww.fit.vutbr.cz\u002Fresearch\u002Fgroups\u002Fspeech\u002Fpubli\u002F2010\u002Fmikolov_interspeech2010_IS100722.pdf)\n* [一种神经概率语言模型](http:\u002F\u002Fwww.jmlr.org\u002Fpapers\u002Fvolume3\u002Fbengio03a\u002Fbengio03a.pdf)\n* [连续空间词表示中的语言规律性](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FN13-1090)\n\n## 研究者\n\n* [Tomas Mikolov](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=oBu8kMMAAAAJ&hl=en)\n* [Yoshua Bengio](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=kukA0LcAAAAJ&hl=en)\n* [Yoav Goldberg](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=0rskDKgAAAAJ&hl=en)\n* [Omer Levy](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=PZVd2h8AAAAJ&hl=en)\n* [Kai Chen](https:\u002F\u002Fscholar.google.co.jp\u002Fcitations?user=TKvd_Z4AAAAJ&hl=en)\n\n## 课程和讲座\n\n* [CS224d：自然语言处理的深度学习](http:\u002F\u002Fcs224d.stanford.edu\u002Findex.html)\n* [Udacity 深度学习](https:\u002F\u002Fwww.udacity.com\u002Fcourse\u002Fdeep-learning--ud730)\n\n## 数据集\n### 训练\n\n* [维基百科](https:\u002F\u002Fdumps.wikimedia.org\u002Fenwiki\u002F)\n* [WestburyLab.wikicorp.201004](http:\u002F\u002Fwww.socher.org\u002Findex.php\u002FMain\u002FImprovingWordRepresentationsViaGlobalContextAndMultipleWordPrototypes)\n\n### 评估\n\n* [SemEval-2012 任务2](https:\u002F\u002Fwww.cs.york.ac.uk\u002Fsemeval-2012\u002Ftask2.html)\n* [WordSimilarity-353](http:\u002F\u002Fwww.cs.technion.ac.il\u002F~gabr\u002Fresources\u002Fdata\u002Fwordsim353\u002F)\n* [斯坦福上下文词相似度数据集（SCWS）](http:\u002F\u002Fwww.socher.org\u002Findex.php\u002FMain\u002FImprovingWordRepresentationsViaGlobalContextAndMultipleWordPrototypes)\n* [斯坦福稀有词（RW）相似度数据集](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n\n### 预训练语言模型\n\n以下是预训练的 [ELMo](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365) 模型。将 ELMo 添加到现有的 NLP 系统中，可以显著提升所有相关任务的最新技术水平。\n\n* [AllenNLP 提供的 ELMo](https:\u002F\u002Fallennlp.org\u002Felmo)\n* [TensorFlow Hub 提供的 ELMo](https:\u002F\u002Falpha.tfhub.dev\u002Fgoogle\u002Felmo\u002F2)\n\n以下是预训练的 [sent2vec](https:\u002F\u002Fgithub.com\u002Fepfml\u002Fsent2vec) 模型。\n* [BioSentVec：用于生物医学文本的 sent2vec 预训练向量](https:\u002F\u002Fgithub.com\u002Fncbi-nlp\u002FBioSentVec)\n\n### 预训练词向量\n方便的预训练词向量下载工具：\n* [chakin](https:\u002F\u002Fgithub.com\u002Fchakki-works\u002Fchakin)\n\n\n预训练词向量的下载链接：\n* [仅英文的 Word2vec 预训练向量](https:\u002F\u002Fcode.google.com\u002Farchive\u002Fp\u002Fword2vec\u002F)\n* [适用于 30 多种语言的 Word2vec 预训练向量](https:\u002F\u002Fgithub.com\u002FKyubyong\u002Fwordvectors)\n* [适用于 157 种语言的 FastText 预训练向量](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FfastText\u002Fblob\u002Fmaster\u002Fdocs\u002Fcrawl-vectors.md)\n* [包含 NEologd 的日语 FastText 预训练向量](https:\u002F\u002Fdrive.google.com\u002Fopen?id=0ByFQ96A4DgSPUm9wVWRLdm5qbmc)\n* [由 GloVe 训练的词向量](http:\u002F\u002Fnlp.stanford.edu\u002Fprojects\u002Fglove\u002F)\n* [基于依存关系的词嵌入](https:\u002F\u002Flevyomer.wordpress.com\u002F2014\u002F04\u002F25\u002Fdependency-based-word-embeddings\u002F)\n* [元嵌入](http:\u002F\u002Fcistern.cis.lmu.de\u002Fmeta-emb\u002F)\n* [Lex-Vec](https:\u002F\u002Fgithub.com\u002Falexandres\u002Flexvec)\n* [Huang 等人（2012）的嵌入（HSMN+csmRNN）](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n* [Collobert 等人（2011）的嵌入（CW+csmRNN）](http:\u002F\u002Fstanford.edu\u002F~lmthang\u002FmorphoNLM\u002F)\n* [BPEmb：适用于 275 种语言的子词嵌入](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fbpemb)\n* [Wikipedia2Vec：适用于 12 种语言的预训练词和实体嵌入](https:\u002F\u002Fwikipedia2vec.github.io\u002Fwikipedia2vec\u002Fpretrained\u002F)\n* [word2vec-slim](https:\u002F\u002Fgithub.com\u002Feyaler\u002Fword2vec-slim)\n* [BioWordVec：用于生物医学文本的 fastText 预训练向量](https:\u002F\u002Fgithub.com\u002Fncbi-nlp\u002FBioSentVec)\n\n\u003C!--\n## 文章\n-->\n\n## 实现与工具\n### Word2vec\n\n* [原始实现](https:\u002F\u002Fcode.google.com\u002Farchive\u002Fp\u002Fword2vec\u002F)\n* [gensim](https:\u002F\u002Fradimrehurek.com\u002Fgensim\u002Fmodels\u002Fword2vec.html)\n* [TensorFlow](https:\u002F\u002Fwww.tensorflow.org\u002Fversions\u002Fr0.12\u002Ftutorials\u002Fword2vec\u002Findex.html)\n\n### GloVe\n\n* [原始实现](https:\u002F\u002Fgithub.com\u002Fstanfordnlp\u002FGloVe)\n* [使用 chakin 优化的 TensorFlow GPU 层形式的 GloVe](https:\u002F\u002Fgithub.com\u002Fguillaume-chevalier\u002FGloVe-as-a-TensorFlow-Embedding-Layer)","# awesome-embedding-models 快速上手指南\n\n`awesome-embedding-models` 并非一个单一的可安装软件包，而是一个精选的嵌入模型（Embedding Models）资源列表，涵盖了论文、数据集、预训练模型下载链接及代码实现工具。本指南将指导你如何利用该列表中的资源，快速在本地环境中获取并使用主流的词向量与句子嵌入模型。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下基本要求：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **Python 版本**：推荐 Python 3.8 及以上版本\n*   **前置依赖**：\n    *   `pip` (Python 包管理工具)\n    *   `git` (用于克隆代码仓库)\n    *   常用深度学习框架（根据你选择的模型而定，如 `tensorflow`, `pytorch`, `gensim`）\n\n建议创建一个虚拟环境以避免依赖冲突：\n\n```bash\npython -m venv embedding-env\nsource embedding-env\u002Fbin\u002Factivate  # Windows 用户请使用: embedding-env\\Scripts\\activate\n```\n\n## 安装步骤\n\n由于该仓库是资源索引，你需要安装具体的工具库来加载和使用模型。以下是获取最常用工具（Gensim, FastText, Transformers）的命令。\n\n**国内加速方案**：推荐使用清华源或阿里源加速 Python 包安装。\n\n```bash\n# 安装 Gensim (支持 Word2Vec, FastText, Doc2Vec 等)\npip install gensim -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 FastText 官方库 (可选，如需高性能训练)\npip install fasttext -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 Hugging Face Transformers (用于 BERT, ELMo 等现代模型)\npip install transformers torch -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n若需下载大型预训练模型文件，建议使用 `git` 或专用下载工具，并配合国内镜像站（如阿里云开源镜像站）下载数据集。\n\n## 基本使用\n\n以下示例展示如何使用 `gensim` 加载预训练的词向量模型（基于列表中推荐的 Word2Vec 或 GloVe 格式），这是最快速的上手方式。\n\n### 1. 下载预训练模型\n首先，从 `awesome-embedding-models` 列表中提供的链接下载预训练向量文件。\n例如，下载 Google News 的 Word2Vec 模型 (`GoogleNews-vectors-negative300.bin.gz`) 或 Stanford 的 GloVe 模型。\n\n> **提示**：对于中文开发者，可寻找列表中提到的多语言 FastText 模型或专门针对中文训练的 Word2Vec 模型。\n\n### 2. 加载模型并计算相似度\n\n假设你已下载了名为 `word2vec.model` 的二进制模型文件（若是 `.txt` 格式需调整加载参数）：\n\n```python\nfrom gensim.models import KeyedVectors\n\n# 加载预训练的词向量模型\n# limit 参数可选，用于限制加载的词汇量以节省内存\nmodel = KeyedVectors.load_word2vec_format('word2vec.model', binary=True, limit=100000)\n\n# 示例 1: 查找相似词\nsimilar_words = model.most_similar('computer', topn=5)\nprint(\"与 'computer' 相似的词:\", similar_words)\n\n# 示例 2: 词向量运算 (国王 - 男人 + 女人 = ?)\nresult = model.most_similar(positive=['king', 'woman'], negative=['man'], topn=1)\nprint(\"类比结果:\", result)\n\n# 示例 3: 计算两个词的余弦相似度\nsimilarity = model.similarity('apple', 'fruit')\nprint(\"'apple' 和 'fruit' 的相似度:\", similarity)\n```\n\n### 3. 使用 Sentence Embeddings (句子嵌入)\n\n若需处理句子级任务（如语义搜索），可使用列表中推荐的 `Universal Sentence Encoder` 或 `BERT` 类模型。以下使用 `transformers` 库加载一个轻量级句子嵌入模型：\n\n```python\nfrom sentence_transformers import SentenceTransformer\n\n# 加载预训练的句子嵌入模型 (自动下载)\n# 推荐模型：'paraphrase-MiniLM-L6-v2' 或列表中提到的其他 SOTA 模型\nmodel = SentenceTransformer('paraphrase-MiniLM-L6-v2')\n\n# 编码句子\nsentences = [\n    \"这是一个测试句子。\",\n    \"This is another test sentence.\",\n    \"Embedding models are powerful.\"\n]\nembeddings = model.encode(sentences)\n\nprint(f\"生成嵌入向量形状：{embeddings.shape}\")\n```\n\n通过以上步骤，你即可利用 `awesome-embedding-models` 中整理的资源，快速构建基于嵌入模型的 NLP 应用原型。","某电商初创公司的算法团队正急需构建一个高精度的商品语义搜索系统，以解决用户模糊查询匹配不准的难题。\n\n### 没有 awesome-embedding-models 时\n- **选型盲目低效**：团队成员在浩瀚的论文库中盲目摸索，难以区分 Word2Vec、GloVe 与 BERT 等模型在特定业务场景下的优劣，浪费数周时间试错。\n- **资源分散难寻**：寻找高质量的预训练模型、配套数据集及复现代码时，需在 GitHub、arXiv 和各大学实验室网站间反复跳转，资料碎片化严重。\n- **理论落地脱节**：缺乏系统的教程指引，初级工程师难以理解“上下文嵌入”或“子词信息”等前沿概念如何转化为实际代码，导致模型效果远低于预期。\n- **评估标准缺失**：不清楚如何科学评估无监督词向量效果，仅凭直觉调整参数，导致线上搜索相关性波动大且不稳定。\n\n### 使用 awesome-embedding-models 后\n- **精准快速选型**：直接查阅分类清晰的论文列表，迅速锁定适合短文本匹配的 Sentence Embedding 方案，将模型选型周期从数周缩短至两天。\n- **资源一站获取**：通过汇总的实现工具与数据集链接，团队一键获取了经过验证的开源项目和基准数据，免去了繁琐的清洗与复现工作。\n- **理论与实践贯通**：借助 curated 的课程与讲座资源，团队成员快速掌握了从原理到微调的全流程，成功将双向语言模型应用于商品描述理解。\n- **科学评估优化**：参考权威的评估方法章节，建立了标准化的测试集与指标体系，使搜索准确率提升了 15% 并可量化追踪。\n\nawesome-embedding-models 通过整合全球顶尖的嵌入模型资源，将原本分散杂乱的科研成果转化为可直接落地的工程生产力，极大加速了 AI 应用的研发进程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHironsan_awesome-embedding-models_912d3c4a.png","Hironsan","Hiroki Nakayama","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHironsan_d751a0cb.png","OSS developer | Interested in Natural Language Processing",null,"Tokyo, Japan","hiroki.nakayama.py@gmail.com","Hironsan13","https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fhironsan","https:\u002F\u002Fgithub.com\u002FHironsan",[25],{"name":26,"color":27,"percentage":28},"Jupyter Notebook","#DA5B0B",100,1833,249,"2026-03-27T08:36:15","MIT",1,"","未说明",{"notes":37,"python":35,"dependencies":38},"该仓库是一个 curated list（精选列表），主要收集了关于嵌入模型（Embedding Models）的论文、研究人员、课程、数据集以及实现工具的链接资源。它本身不是一个可执行的软件工具或代码库，因此没有具体的操作系统、GPU、内存、Python 版本或依赖库的安装需求。用户需根据列表中链接到的具体项目（如 Word2vec, GloVe, BERT 等）去查阅各自的环境要求。",[],[40,41],"开发框架","语言模型",[43,44,45,46,47,48,49],"embeddings","embedding-models","word2vec","machine-learning","natural-language-processing","awesome","papers",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T07:05:54.823856",[],[],[57,68,76,84,92,105],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":63,"last_commit_at":64,"category_tags":65,"status":51},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[40,66,67],"图像","Agent",{"id":69,"name":70,"github_repo":71,"description_zh":72,"stars":73,"difficulty_score":50,"last_commit_at":74,"category_tags":75,"status":51},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,"2026-04-05T11:33:21",[40,67,41],{"id":77,"name":78,"github_repo":79,"description_zh":80,"stars":81,"difficulty_score":50,"last_commit_at":82,"category_tags":83,"status":51},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[40,66,67],{"id":85,"name":86,"github_repo":87,"description_zh":88,"stars":89,"difficulty_score":50,"last_commit_at":90,"category_tags":91,"status":51},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[40,41],{"id":93,"name":94,"github_repo":95,"description_zh":96,"stars":97,"difficulty_score":50,"last_commit_at":98,"category_tags":99,"status":51},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[66,100,101,102,67,103,41,40,104],"数据工具","视频","插件","其他","音频",{"id":106,"name":107,"github_repo":108,"description_zh":109,"stars":110,"difficulty_score":63,"last_commit_at":111,"category_tags":112,"status":51},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[67,66,40,41,103]]