数据科学中的 Python 代码

自然语言处理、深度学习、强化学习和人工智能领域的代码

欢迎来到我的 GitHub 仓库。

我是一名数据科学家，使用 R、Python 和 Wolfram Mathematica 进行编程。在这里，您将找到我开发的一些机器学习、深度学习、自然语言处理和人工智能模型。

---

模型中使用的 Keras 版本：keras==1.1.0

音频自编码器 是一种模型，我通过自编码器压缩音频文件并将其重建，用于音素分类。

协同过滤 是一种推荐系统，该算法根据电影类型以及观看同一部电影的人之间的相似性来预测电影评论。

Lasagne 卷积神经网络 是一个基于 Lasagne 的卷积神经网络模型，用于解决 MNIST 任务。

集成机器学习 是一个 .py 文件，其中在具有 3 个类别的分类任务中使用了 7 种机器学习算法，并调整了每种算法的所有可能超参数。数据集为 scikit-learn 中的 Iris 数据集。

GAN 生成对抗网络 是生成对抗神经网络模型。

强化学习超参数调优 是一种通过强化学习调整神经网络超参数的模型。根据奖励信号，利用策略（知识的机械化）改变超参数调优环境（即 Boston 数据集）。调整的超参数包括：学习率、训练轮数、衰减率、动量、隐藏层和节点数量以及初始权重。

Keras L2 正则化 是一个使用 Keras 构建的回归神经网络模型，其中应用了 L2 正则化以防止过拟合。

Lasagne 神经网络回归 是一个基于 Theano 和 Lasagne 的神经网络模型，它对连续目标变量进行线性回归，准确率达到 99.4%。该模型使用 DadosTeseLogit.csv 样本文件。

Lasagne 神经网络 + 权重 是一个基于 Theano 和 Lasagne 的神经网络模型，可以可视化 X1 和 X2 到隐藏层之间的权重。也可以调整为可视化隐藏层与输出之间的权重。该模型使用 DadosTeseLogit.csv 样本文件。

多项式回归 是一种目标变量具有 3 个类别的回归模型。

回归用神经网络 展示了多种解决回归问题的方法，分别使用 sklearn、Keras、Theano 和 Lasagne 实现。该模型使用 sklearn 提供的 Boston 数据集样本文件，准确率超过 98%。

NLP + 朴素贝叶斯分类器 是一种模型，其中电影评论被标记为正面和负面，然后算法使用逻辑回归、决策树和朴素贝叶斯对一组全新的评论进行分类，准确率达到 92%。

NLP 愤怒分析 是一种 Doc2Vec 模型，结合 Word2Vec 模型，通过消费者在 Facebook 帖子中的同义词来分析愤怒程度，这些帖子来自一家美国零售商的消费者投诉。

NLP 消费者投诉 是一种模型，从一家美国电脑零售商的 Facebook 帖子中抓取数据，进行分词、词形还原，并应用 Word2Vec。随后，开发了 t-SNE 和潜在狄利克雷分配，以分类消费者在其投诉中使用的每个关键词及其权重。该代码还分析了 100 条帖子中单词的频率。

NLP 卷积神经网络 是一种用于文本的卷积神经网络，旨在对电影评论进行分类。

NLP Doc2Vec 是一种自然语言处理文件，通过 Doc2Vec 测量短语之间的余弦相似度。

NLP 文档分类 是一种基于潜在狄利克雷分配的文档分类代码。

NLP Facebook 分析 使用 LDA 分析 Facebook 帖子中的词汇频率和主题建模。

NLP Facebook 抓取 是一种用于从 Facebook 抓取数据的 Python 代码。

NLP - 潜在狄利克雷分配 是一种自然语言处理模型，使用 Gensim、NLTK、t-SNE 和 K-Means 的潜在狄利克雷分配对维基百科上关于统计推断的页面进行主题分类。

NLP 概率神经网络 是一种自然语言处理模型，其中句子由 Gensim 向量化，并使用 Gensim 开发概率神经网络模型，用于情感分析。

NLP 语义 Doc2Vec + 神经网络 是一种模型，提取正面和负面的电影评论，使用 NLTK 和 BeautifulSoup 进行语义分类，然后标记为正面或负面。之后，将文本作为输入用于神经网络模型的训练。训练完成后，新的句子会被输入到 Keras 神经网络模型中进行分类。该模型使用 zip 文件。

NLP 情感正面 是一种模型，使用 BeautifulSoup 和 NLTK 库识别网站内容是正面、中性还是负面，并绘制结果图表。

NLP Twitter 分析 ID # 是一种根据用户 ID 或话题标签提取 Twitter 帖子的模型。

NLP Twitter 抓取 是一种抓取 Twitter 数据并将清洗后的文本作为输出的模型。

NLP Twitter 流媒体 是一种用于分析 Twitter 实时数据的模型（正在开发中）。

NLP Twitter 流媒体情绪 是一种模型，用于测量一段时间内 Twitter 帖子情绪的变化。

NLP 维基百科摘要 是一种 Python 代码，可以将任意页面概括成几句话。

NLP 词频 是一种模型，用于计算 Facebook 帖子中名词、动词及其他词语的频率。

概率神经网络 是一种用于时间序列预测的概率神经网络。

实时 Twitter 分析 是一种模型，从 Twitter 流中提取数据，对单词和句子进行分词，创建词嵌入，进行主题建模并使用 K-Means 进行分类。然后，使用 NLTK SentimentAnalyzer 将流中的每一句分类为正面、中性或负面。通过累计求和生成图表，代码每秒循环一次，收集新推文。

RESNET-2 是一种深度残差神经网络。

多分类 ROC 曲线 是一个 .py 文件，其中使用朴素贝叶斯解决了 IRIS 数据集的任务，并绘制了不同类别的 ROC 曲线。

SQUEEZENET 是 AlexNet 的简化版本。

堆叠式机器学习 是一个 .py 笔记本，其中应用了 t-SNE、主成分分析和因子分析来降低数据维度。在应用 K-Means 后，评估了分类性能。

支持向量回归 是一种用于人工数据集非线性回归的 SVM 模型。

文本转语音 是一个 .py 文件，它可以让 Python 朗读任意给定的文本，并将其保存为音频 .wav 文件。

时间序列 ARIMA 是一种用于时间序列预测的 ARIMA 模型，误差率为 0.2%。

基于神经网络的时间序列预测 - Keras 是一种使用 Keras 构建的神经网络模型，用于时间序列预测，其学习率会根据损失函数的导数自适应调整。

变分自编码器 是一个使用 Keras 构建的 VAE。

网络爬虫 是一段从某酒店网站的不同 URL 中抓取数据的代码。

t-SNE 降维 是一种用于降维的 t-SNE 模型，其分类能力与主成分分析进行了对比。

t-SNE、PCA + 神经网络 是一种模型，用于比较在经过 t-SNE、PCA 和 K-Means 处理后构建的神经网络的性能。

t-SNE、PCA、LDA 嵌入 是一种模型，在对相似数字聚类进行分类的任务中，比较了 t-SNE、主成分分析、线性判别分析和随机森林嵌入的效果。

Repo-2017 快速上手指南

Repo-2017 是一个涵盖自然语言处理（NLP）、深度学习、强化学习和人工智能模型的 Python 代码集合。本仓库包含了自编码器、GAN、推荐系统、文本分类及时间序列预测等多种实用模型示例。

注意：本仓库部分模型基于较早期的 Keras 1.1.0 版本构建。在现代环境中运行时，可能需要根据代码注释调整依赖版本或进行轻微的语法适配。

环境准备

系统要求

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6 - 3.8（部分旧版依赖可能在 Python 3.9+ 上存在兼容性问题）

前置依赖

主要依赖包括 numpy, pandas, scikit-learn, theano, lasagne, gensim, nltk 等。 由于原项目指定了 keras==1.1.0，建议创建独立的虚拟环境以避免冲突。

推荐使用国内镜像源加速安装（如清华源）：

python -m venv repo2017_env
source repo2017_env/bin/activate  # Windows 用户请使用: repo2017_env\Scripts\activate

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas scikit-learn matplotlib seaborn
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple nltk gensim beautifulsoup4 lxml
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple theano lasagne
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==1.1.0 tensorflow==1.15.0

注：若仅需运行基于新版 Keras/TensorFlow 的示例，可忽略 keras==1.1.0 限制，直接安装最新版 pip install keras，但需注意代码中 API 调用的差异。

安装步骤

1. 克隆仓库 将代码库克隆到本地：

   git clone https://github.com/RubensZimbres/Repo-2017.git
   cd Repo-2017
   

2. 下载数据文件（如需） 部分脚本（如 Lasagne Neural Nets Regression）依赖特定的 CSV 文件（例如 DadosTeseLogit.csv）。请检查对应脚本目录，若缺少数据文件，需根据代码中的路径提示自行准备或使用 sklearn 内置数据集（如 Boston, Iris）替换。

3. 验证环境 尝试导入核心库以确保安装成功：

   python -c "import keras; print(keras.__version__)"
   

基本使用

本仓库由多个独立的 .py 文件或笔记本组成，每个文件对应一个特定的模型任务。以下是运行典型示例的步骤：

示例 1：运行集成机器学习分类 (Ensembled Machine Learning)

该脚本使用 7 种算法对 Iris 数据集进行分类并调整超参数。

python Ensembled_Machine_Learning.py

(注：文件名可能因实际文件列表略有不同，请在目录下使用 ls 或 dir 确认具体文件名)

示例 2：运行 NLP 情感分析 (NLP + Naive Bayes Classifier)

该脚本利用逻辑回归、决策树和朴素贝叶斯对电影评论进行正负面分类。

python NLP_Naive_Bayes_Classifier.py

示例 3：运行时间序列预测 (Time Series ARIMA)

使用 ARIMA 模型进行时间序列预测。

python Time_Series_ARIMA.py

自定义运行

对于其他特定任务（如 GAN、自动编码器、Twitter 爬虫等），直接在终端运行对应的 Python 脚本即可：

python <脚本文件名>.py

提示：

• 运行涉及网络爬虫的脚本（如 NLP Facebook Scrap, NLP Twitter Scrap）前，请确保已配置相应的 API 密钥或遵守目标网站的 Robots 协议。
• 部分深度学习模型（如 RESNET-2, GAN）可能需要 GPU 支持以获得合理的训练速度，请确保已正确安装 CUDA 和 cuDNN。