RepoToTextForLLMs

自动化分析 GitHub 仓库，专为配合具有大上下文窗口的大型语言模型使用而设计。该 Python 脚本能够高效地获取 README 文件、仓库结构以及非二进制文件的内容。此外，它还提供结构化的输出，并附带预格式化的提示，以引导对仓库内容的进一步分析。

功能特性

• README 检索： 自动提取 README.md 的内容，以便快速了解仓库的基本信息。
• 结构化仓库遍历： 通过迭代方式映射仓库的结构，确保全面覆盖，同时避免递归带来的限制。
• 选择性内容提取： 从文件中提取文本内容，智能跳过二进制文件，从而简化分析流程。

先决条件

要使用 RepoToTextForLLMs，您需要：

• 已在系统上安装 Python。
• github Python 包。
• 配置为环境变量 (GITHUB_TOKEN) 的 GitHub 个人访问令牌。

快速入门

1. 确保已安装 Python 和所需包 (PyGithub)：

pip install PyGithub tqdm

2. 将您的 GitHub 个人访问令牌设置为环境变量：

GITHUB_TOKEN = os.getenv('GITHUB_TOKEN', 'YOUR TOKEN HERE')

使用方法

1. 将脚本放置在您希望的目录中。
2. 在终端中执行脚本：

python repototxt.py

3. 根据提示输入 GitHub 仓库的 URL。脚本将处理该仓库并输出结果，包括 README、仓库结构和文件内容（不包含二进制文件），同时附带分析提示。

贡献

欢迎为 RepoToTextForLLMs 做出贡献。无论是提交拉取请求、报告问题，还是提出改进建议，您的参与都将帮助我们共同完善这款工具。

许可证

本项目采用 MIT 许可证授权。

RepoToTextForLLMs 快速上手指南

RepoToTextForLLMs 是一款专为大语言模型（LLM）设计的 Python 工具，能够自动化分析 GitHub 仓库。它可高效提取 README 文件、仓库目录结构及非二进制文件内容，并生成结构化的输出与分析提示词，帮助您快速理解代码库。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Python 的任何主流系统（Windows / macOS / Linux）。
• Python 版本：已安装 Python 3.x。
• 依赖库：需要安装 PyGithub 和 tqdm。
• GitHub Token：需拥有一个 GitHub Personal Access Token，并将其配置为环境变量 GITHUB_TOKEN。

安装步骤

1. 使用 pip 安装必要的 Python 包（推荐使用国内镜像源加速下载）：

pip install PyGithub tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 设置 GitHub Token 环境变量。

   Linux / macOS:

   export GITHUB_TOKEN='YOUR_TOKEN_HERE'
   

   Windows (PowerShell):

   $env:GITHUB_TOKEN="YOUR_TOKEN_HERE"
   

   注意：请将 YOUR_TOKEN_HERE 替换为您实际的 GitHub Personal Access Token。

基本使用

1. 将脚本文件 repototxt.py 保存到本地任意目录。

2. 打开终端（或命令行），进入脚本所在目录并运行：

python repototxt.py

3. 根据提示输入目标 GitHub 仓库的 URL（例如：https://github.com/username/repo）。

4. 脚本将自动执行以下操作：

   • 提取并展示 README.md 内容。
   • 遍历并输出仓库的文件结构。
   • 读取所有非二进制文件的文本内容。
   • 生成用于引导后续 LLM 分析的结构化提示词。

处理完成后，结果将直接输出到终端，您可以将其复制到大语言模型中进行进一步分析。