Twitter洞察💡：数据抓取、分析、图片说明等

中文Readme

该项目允许您使用Selenium从Twitter获取点赞的推文，将其保存为JSON和Excel文件，并进行初步的数据分析和图片说明生成。

这是更大规模个人项目（涉及大型语言模型LLMs）的初始步骤之一。 敬请期待更多更新！

导出的Excel表格与可视化示例：

（新！）基于嵌入的实验性图像搜索：用自然语言搜索未标注的图片。

新增了一个免费的图像嵌入工具及配套前端，无需GPU支持。（支持多种语言，但英文效果更佳。）

例如，以下是“黑猫”（中文）的搜索结果，您也可以搜索“照片中的一群人”、“工作流图”，或更抽象的概念如“悲伤”。

如何运行：

• 首先，请确保数据已下载；图片下载需要先有Twitter数据（包括图片URL）。
• 在笔记本中运行新添加的download_images脚本。
  • 在终端中运行streamlit run image_search_webapp.py，并按照提示操作以自动嵌入图片。无需重复嵌入。

演示视频

演示

前置条件

在运行代码之前，请确保您已具备以下内容：

• 必要的Python库（列于requirements.txt中）
• 获取您的Twitter认证令牌（非API密钥）
  • 简单说明：
  • • 登录您的Twitter账号
    • 按F12打开开发者工具 -> Application -> Cookies -> Twitter.com -> auth_key
  • 或参考常见问题解答部分的视频演示。
• OpenAI API密钥（可选，仅在您想尝试图片说明功能时需要）

设置

1. 克隆仓库或下载项目文件。
2. 安装所需的Python库，运行以下命令：

pip install -r requirements.txt

3. 打开config.py文件，将占位符替换为您实际的API密钥：

• 将TWITTER_AUTH_TOKEN设置为您的Twitter API认证令牌。
• 将OPENAI_API_KEY设置为您的OpenAI API密钥。

数据抓取

要从Twitter抓取数据并将其保存为JSON和Excel文件，请按照以下步骤操作：

1. 打开twitter_data_ingestion.py文件。
2. 修改脚本底部的fetch_tweets函数调用，根据您的需求设置参数：

• 设置您想要抓取数据的Twitter页面URL（例如：https://twitter.com/ilyasut/likes）。
• 指定数据范围的开始和结束日期（格式为YYYY-MM-DD）。

3. 运行脚本，执行以下命令（建议直接在IDE中运行）：

   python twitter_data_ingestion.py
   

4. 脚本将从Twitter抓取数据，保存为JSON文件，然后导出为Excel文件。

数据分析

要对抓取的数据进行初步分析，请按照以下步骤操作：

1. 在Jupyter Notebook或JupyterLab中打开twitter_data_initial_exploration.ipynb笔记本。
2. 依次运行笔记本中的单元格，以加载JSON文件中的数据并执行各种数据分析任务。

一些示例结果：

• 按媒体类型随时间变化的点赞数可视化
• 创建每日点赞推文的日历热力图

3. 笔记本还展示了如何使用OpenAI API为推文图片生成说明文字（结合推文元数据）。

示例输出

项目包含示例输出文件供参考：

• sample_output_json.json：包含抓取的Twitter数据的示例JSON文件。
• sample_exported_excel.xlsx：从JSON数据导出的示例Excel文件。

您可以自由探索和修改代码，以满足您特定的数据分析需求。

常见问题：

• 我会被封号吗？这会影响我的账号吗？

  • Selenium是目前最安全的爬虫方法之一，但在个人项目中使用时仍需谨慎。
  • 我已经使用了很长时间，从未遇到过问题。
  • （不过，如果您有一个备用或副账号，我建议使用该账号的认证令牌）

• 如何找到认证令牌？

  • 请查看此分步指南！
    • 视频演示

贡献

欢迎为该项目做出贡献。如果您发现任何问题或有改进建议，请提交问题或拉取请求。

致谢

• 初始结构和部分Selenium代码灵感来自Twitter-Scrapper。
• 图片说明功能由OpenAI API提供支持。您也可以使用Gemini 1.0或Claude Haiku实现类似效果。

如有任何疑问或问题，请在仓库中提交问题。

Twitter-Insight-LLM 快速上手指南

Twitter-Insight 是一个用于抓取 Twitter（现 X）点赞推文、保存为 JSON/Excel 格式，并进行初步数据分析及图片标题生成的开源工具。本项目支持基于嵌入的图像搜索功能，无需 GPU 即可运行。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：建议 Python 3.8 及以上
• 浏览器：已安装 Chrome 或 Firefox（用于 Selenium 驱动）
• 必要凭证：
  • Twitter Auth Token：非 API Key。获取方式：登录 Twitter -> F12 打开开发者工具 -> Application -> Cookies -> twitter.com -> 复制 auth_key 的值。
  • OpenAI API Key（可选）：仅在使用图片自动描述功能时需要。

安装步骤

1. 克隆项目代码

   git clone <repository_url>
   cd Twitter-Insight-LLM
   

2. 安装依赖库 建议使用国内镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置密钥 打开 config.py 文件，将占位符替换为您实际的凭证：

   • 设置 TWITTER_AUTH_TOKEN 为您的 Twitter 认证令牌。
   • 设置 OPENAI_API_KEY 为您的 OpenAI API 密钥（如需使用图片描述功能）。

基本使用

1. 数据抓取 (Data Ingestion)

此步骤将抓取指定页面的点赞推文并导出为 JSON 和 Excel 文件。

• 打开 twitter_data_ingestion.py 文件。
• 修改脚本底部的 fetch_tweets 函数调用参数：
  • url: 目标 Twitter 页面链接（例如：https://twitter.com/ilyasut/likes）。
  • start_date / end_date: 数据范围（格式：YYYY-MM-DD）。
• 运行脚本：

  python twitter_data_ingestion.py
  

  脚本执行完成后，将在目录下生成对应的 JSON 和 Excel 数据文件。

2. 数据分析与可视化 (Data Analysis)

使用 Jupyter Notebook 对抓取的数据进行探索和可视化。

• 启动 Jupyter Lab 或 Notebook：

  jupyter lab
  

• 打开 twitter_data_initial_exploration.ipynb。
• 按顺序运行单元格，即可看到：
  • 按媒体类型统计的点赞趋势图。
  • 每日点赞推文的日历热力图。
  • （可选）调用 OpenAI API 生成的推文图片描述示例。

3. 实验性功能：基于自然语言的图片搜索

如果您已下载包含图片 URL 的 Twitter 数据，可尝试无标签图片搜索功能。

• 第一步：下载图片 在 twitter_data_initial_exploration.ipynb 或其他 Notebook 中运行新增的 download_images 代码块，将图片下载到本地。

• 第二步：启动搜索应用 在终端运行以下命令启动 Streamlit 前端：

  streamlit run image_search_webapp.py
  

  系统会自动处理图片嵌入（Embedding），无需重复操作。启动后，您可以在浏览器中使用中文或英文自然语言（如“黑猫”、“悲伤”）搜索图片。