RepoToText

RepoToText 是一个网络应用，它可以抓取 GitHub 仓库并将其文件转换为一个有组织的 .txt 文件。它允许你输入 GitHub 仓库的 URL 和一个可选的文档 URL（文档信息将附加到 .txt 文件的顶部）。该应用会获取仓库的内容，包括所有文件和目录，同时也会从提供的 URL 获取文档，并将其包含在一个有组织的文本文件中。.txt 文件将保存在 /data 文件夹中，文件名包含用户信息、仓库信息和时间戳。然后可以将此文件上传到（GPT-4、Claude Opus 等 AI 模型），你就可以使用聊天机器人与整个 GitHub 仓库进行交互。

演示

为一个包含功能后端的 GitHub 仓库创建 React 前端：

https://chat.openai.com/share/0670c1ec-a8a8-4568-ad09-bb9b152e1f0b

可用的前端项目：https://github.com/JeremiahPetersen/CaseConnect/tree/front-end

使用 Docker 运行应用

要使用 Docker（容器化平台）运行该应用，请按照以下步骤操作：

1. 克隆仓库。在根文件夹中创建一个 .env 文件。
2. 在 .env 文件中设置环境变量 GITHUB_API_KEY。
3. 使用 docker compose build 构建 Docker 镜像。
4. 使用 docker compose up 启动容器。
5. 在网页浏览器中访问应用（http://localhost:3000），并输入 GitHub 仓库 URL 和文档 URL（如果有）。
6. 选择"所有文件"或选择特定的文件类型。
7. 点击"提交"按钮开始抓取过程。转换后的文本将显示在输出区域，同时也会保存在 /data 文件夹中。
8. 你也可以点击"复制文本"按钮将生成的文本复制到剪贴板。

提示示例

这是一个代表整个 GitHub 仓库的 .txt 文件。仓库的各个文件由序列 '''--- 分隔，后跟文件路径，以 --- 结尾。每个文件的内容在其文件路径之后立即开始，并延伸到下一个 '''--- 序列之前。在这里添加你的想法（示例）：请创建一个能与后端配合工作的 React 前端

环境配置

在 .env 文件中添加你的 GitHub API 密钥

GITHUB_API_KEY='YOUR GITHUB API KEY HERE'

FolderToText

FolderToText.py 是一个脚本，允许你将本地文件夹或本地文件转换为 .txt 文件，方式与 RepoToText.py 相同。使用"浏览"选择你的文件（你可以通过点击"浏览"继续添加文件）。当你使用"浏览"选择并上传了所有文件后，输入你想要复制的文件类型后缀，用 ',' 分隔。示例：.py , .js , .md , .ts ---> 你也可以关闭此功能，这样它会将你上传的每个文件都添加到 .txt 中。最后，输入你想要的文件名和输出路径。文件将以你选择的文件名和时间戳写入。

信息

• 创建一个使用 ('''---) 分隔仓库中每个文件的 .txt 文件。
• 仓库中的每个文件在 ('''---) 之后都有一个标题，文件路径作为标题。
• .txt 文件保存在 /data 文件夹中
• 你可以添加文档页面的 URL，文档页面将附加到 .txt 文件的顶部（非常适合用于 2021 年 9 月之后出现的技术）。

使用的技术

• 前端：React.js
• 后端：Python Flask
• 容器化：Docker
• GitHub API：PyGithub 库
• 其他 Python 库：beautifulsoup4、requests、flask_cors、retry

待办事项

• 为项目添加 Docker
• 添加深色模式
• 为 (https://repototext.com/) 构建网络应用
• 修复：损坏的文件类型：.ipynb
• 修复：FolderToText - 修复以便用户可以选择一个文件夹（目前仅在用户选择单个文件时有效）
• 添加处理私有仓库的能力
• 添加存储变更历史并更新 .txt 以反映工作变更的能力
• 添加确保 .txt 为当前仓库版本的功能
• 调整 UI（用户界面）流程，包括更改文本区域输出宽度，添加文件管理和历史 UI

---

RepoToText 快速上手指南

环境准备

系统要求

• Docker 和 Docker Compose（推荐最新稳定版）
• 可用的 GitHub 个人访问令牌

前置依赖

1. 获取 GitHub API 密钥
   • 前往 GitHub → Settings → Developer settings → Personal access tokens
   • 生成 classic token，勾选 repo 权限
   • 复制生成的 token

安装步骤

# 1. 克隆项目
git clone https://github.com/JeremiahPetersen/RepoToText.git
cd RepoToText

# 2. 配置环境变量
echo "GITHUB_API_KEY='your_token_here'" > .env

# 3. 构建并启动服务
docker compose build
docker compose up

服务启动后，浏览器访问 http://localhost:3000

基本使用

转换 GitHub 仓库

1. 在网页表单中粘贴仓库 URL（如 https://github.com/username/repo）
2. （可选）添加文档 URL，内容将置于输出文件顶部
3. 选择文件类型（如 .py,.js,.md）或保留默认的"所有文件"
4. 点击 Submit 按钮
5. 生成的文本会显示在页面中，并自动保存到 /data 文件夹
6. 点击 Copy Text 按钮可复制到剪贴板

输出文件格式：用户名_仓库名_时间戳.txt

转换本地文件夹

运行独立脚本处理本地文件：

python FolderToText.py

按提示选择文件、指定文件类型（如 .py,.md）和输出路径。

---

提示：生成的文本文件可直接上传至 GPT-4、Claude 等 AI 助手，通过特定分隔符 '''--- 识别不同文件内容。