simhash

这是一个 Simhash 的 Python 实现。

入门指南

http://leons.im/posts/a-python-implementation-of-simhash-algorithm/

构建状态

Simhash 快速上手指南

Simhash 是一种局部敏感哈希算法，常用于海量数据去重（如网页去重、文本相似度检测）。本项目提供了该算法的 Python 实现。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：Python 3.6+
• 前置依赖：无特殊系统级依赖，仅需标准 Python 环境

安装步骤

推荐使用 pip 直接安装最新稳定版：

pip install simhash

若国内下载速度较慢，可使用清华或阿里云镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple simhash

或者使用阿里云镜像：

pip install -i https://mirrors.aliyun.com/pypi/simple/ simhash

基本使用

以下是最简单的文本相似度检测示例：

from simhash import Simhash, SimhashIndex

# 计算单个文本的 simhash 值
text = "这是一个用于测试的中文句子"
hash_value = Simhash(text)
print(hash_value.value)

# 比较两个文本的相似度（海明距离）
text1 = "今天天气不错"
text2 = "今天天气很好"
h1 = Simhash(text1)
h2 = Simhash(text2)

distance = h1.distance(h2)
print(f"海明距离：{distance}")  # 距离越小，内容越相似

# 使用索引进行快速去重查询
data = {
    '1': '第一篇文章内容',
    '2': '第二篇相似文章',
    '3': '完全不同的内容'
}

index = SimhashIndex([], k=3)

for key, value in data.items():
    index.add(key, Simhash(value))

# 查找与目标文本相似的条目（海明距离 <= 3）
target = "第一篇文章内容略有修改"
result = index.get_near_dups(Simhash(target))
print(f"相似条目 ID: {result}")