欢迎来到社会公益数据科学指南。

什么是社会公益数据科学 fellowship？

社会公益数据科学 fellowship（DSSG） 是一项实践导向、以项目为基础的暑期项目，于2013年在芝加哥大学启动，现已扩展至全球多个地点，目前由 社会公益数据科学基金会 和 卡内基梅隆大学 协调管理。该项目汇聚来自世界各地的学员——通常是研究生（有时也包括高年级本科生），与社会公益组织合作，开展具有社会影响力的机器学习、人工智能和数据科学项目。每年约有1000名申请者，最终选拔20至40名学员，他们来自计算机科学、统计学、数学、工程学、心理学、社会学、经济学和公共政策等多元的计算和定量学科背景。

学员们以跨学科的小团队形式，与全球政府机构和非营利组织合作，围绕教育、健康、能源、交通、刑事司法、社会服务、经济发展及国际发展等领域开展社会公益项目。在整个项目期间，学员们在全职、经验丰富的资深数据科学导师以及具备行业或政府背景的专职项目经理的密切指导下工作。项目结束时，学员们将获得高度专业化的训练，社会公益组织的数据科学能力也将得到提升，并产出一个高质量、可直接用于实地试验和实施的数据科学项目。

除了实践性的项目培训外，该暑期项目还包括基于我们社会公益数据科学课程体系的工作坊、教程和伦理讨论小组，旨在培养学员运用数据科学和人工智能解决社会问题的能力。

本指南面向哪些人群？

本指南的主要受众是即将参加 DSSG 的学员，但我们希望所有内容都能公开且易于获取，惠及更广泛的人群。我们期待这份指南不仅对参与 DSSG 暑期项目的学员有所帮助，也能为更多人提供参考。

如果您正在申请该项目或已被录取为学员， 请查阅 手册 ，了解如何在抵达前做好准备、迎新培训的内容以及暑期期间的预期安排。

如果您有兴趣在家自学， 可以浏览我们工作人员和学员在暑期期间开发的 教程和教学资源 ，并欢迎提出建议或贡献更多资源。

*我们的另一个目标是促进协作。任何对这类工作感兴趣，或希望借鉴我们的经验创办 DSSG 项目的个人或组织，都可通过 使用并贡献这些资源 来实现这一目标。

本指南包含哪些内容？

在 DSSG ，我们的首要任务是 培养学员开展负责任的社会公益数据科学/机器学习/人工智能工作 。本课程体系涵盖了数据科学课程或训练营中的常见内容，但特别强调以社会影响力为导向的问题解决、数据科学与社会科学的融合、对工作伦理影响的深入理解，以及隐私和保密性问题。

为了定义“社会公益数据科学家”这一既神秘又复杂的角色——集数据科学家、助人者、教育者和理想主义者于一身——我们曾在许多个清晨一边喝着唐恩都乐咖啡一边进行哲学式的探讨。最终，我们形成了一份粗略的工作定义，将其归纳为以下技能和知识：

• 编程， 因为你需要通过编写代码来告诉计算机该做什么。
• 计算机科学， 因为你需要理解数据的结构及其最佳存储方式，以及用于分析数据的算法。
• 数学和统计学， 因为 生活中的一切本质上都是应用数学 ，而没有不确定性度量的数值结果毫无意义。
• 机器学习， 因为你需要构建能够不断学习、演化和改进的预测或描述性模型。
• 社会科学， 因为你需要掌握如何设计实验来验证你的模型在实际场景中的有效性，理解相关性何时可能暗示因果关系，甚至进行因果推断。
• 问题与项目范围界定， 因为你需要将模糊不清的项目描述转化为可解决的实际问题，明确项目目标、你所支持的干预措施、现有及所需的数据，以及需要完成的分析工作。
• 项目管理， 以便团队高效推进工作，与合作伙伴有效协作，并共同实现切实可行的解决方案。
• 隐私与安全， 因为数据即人，必须得到妥善保护和保密。
• 伦理、公平性、偏见与透明度， 因为你的工作有可能被误用或对人们的生活产生负面影响，因此你需要考虑数据和分析中的潜在偏见、伦理和公平性影响，以及如何使你的工作对用户和受其影响的人群具有可解释性和透明度。
• 沟通能力， 因为你需要向广大受众清晰地阐述你所做工作的意义及其采用的方法。
• 社会议题， 因为你从事这项工作是为了帮助他人，而你并非孤立地工作，所以必须了解你所要影响的人群、地点和议题所处的背景与历史。

所有材料均采用 CC-BY 4.0 许可协议授权。

目录

以下链接可以帮助您快速找到所需内容。

DSSG 手册

暑期概览

本部分涵盖项目概况、与合作伙伴的协作、成果展示、迎新信息，以及以下时间表：

• 暑期总体计划：详细说明了项目每周的目标。
• 迎新日程示例 2016 年 和 2022 年：展示了项目前两周的详细日程安排。

行为规范、文化与沟通

本节详细介绍了 DSSG 的反骚扰政策、项目的目标、我们期望学员从这段经历中获得什么、对学员的期望，以及 DSSG 的工作环境。该内容的幻灯片版本也可在此处找到：这里。

课程大纲

本节详细列出了我们在整个暑期将要涵盖的各种主题。其中包括：

• 入门
  • 先决条件
  • 数据流水线与项目流程
  • 软件环境搭建
• 数据获取与管理
  • 网页爬取
  • 命令行工具
  • CSV转数据库
  • 数据安全基础
  • 数据库
  • 可复现的 ETL 流程
• 数据探索与分析
  • 高级 SQL
  • Python 数据分析入门
  • GIS 分析
  • Git 和 GitHub
    • Git 和 GitHub
    • Git 与 Python 入门
  • 网络分析
  • 记录链接
  • 文本分析
• 建模与机器学习
  • 因果推断
  • 机器学习
    • 机器学习概览
    • 公共政策中的机器学习伦理
  • 运筹学
  • 定量社会科学
• 编程最佳实践
  • 编写易读、高质量的代码
  • 在命令行世界中生活
  • Dotfiles 配置
  • 使项目具有可复现性
  • 测试
• 演示与沟通
  • 优秀的演示技巧
  • 可用性和用户界面设计
• 教程模板（用于创建您自己的教程！）

维基

在维基中，您可以找到许多实用的信息和指南，这些内容对大家在学习过程中非常有帮助。它涵盖了以下主题：

• 通过命令行访问 S3
• 创建别名以将 Python3 设置为默认版本（而非 Python2）
• 在 EC2 上安装 RStudio
• 终止您的查询
• 创建自定义 Jupyter 环境
• 从 Ubuntu 挂载 Box
• 格式化 psql 输出并减少显示内容
• 使用您喜欢的文本编辑器远程编辑文件
• 将 SQL Server 迁移到 Postgres
• 使用 rpy2
• VNC 查看器

贡献说明

本指南使用 mkdocs 编译，并通过 GitHub Pages 提供服务。更新时，您可以在本地运行以下命令来测试更改：

mkdocs serve -f "$(pwd)/mkdocs.yml"

当您准备好发布时，可以使用以下命令进行部署：

mkdocs gh-deploy -f "$(pwd)/mkdocs.yml"

（请注意，我们当前使用的 mkdocs 版本中存在一个 bug，需要指定配置文件的完整路径，因此命令中使用了 $(pwd)。未来如果我们更新依赖项，应该可以移除这一要求。）

Hitchhiker's Guide 快速上手指南

本指南旨在帮助开发者快速了解并使用 Hitchhiker's Guide to Data Science for Social Good 资源库。该项目是“数据科学促进社会公益奖学金（DSSG）”的核心课程与手册集合，涵盖从编程基础、数据处理、机器学习到伦理道德的全方位内容。

环境准备

本项目主要是一个文档和教程资源库，本身不是一个需要编译的二进制软件，但运行其中的代码示例和构建本地文档站点需要以下环境：

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python: 3.8 或更高版本
• Git: 用于克隆仓库

前置依赖

为了浏览教程内容并运行相关代码示例，建议安装以下工具：

• 包管理器: pip 或 conda
• 文档构建工具: mkdocs 及其插件（用于本地预览文档）
• 数据科学栈: pandas, numpy, scikit-learn, jupyter, sqlalchemy 等（具体依赖视所选教程模块而定）
• 数据库: PostgreSQL (许多数据管道教程涉及数据库操作)

安装步骤

1. 克隆仓库

首先，将项目代码克隆到本地：

git clone https://github.com/dssg/hitchhikers-guide.git
cd hitchhikers-guide

(注：如果国内访问 GitHub 较慢，建议使用 Gitee 镜像或配置 Git 代理加速)

2. 安装文档构建依赖

若需在本地预览和修改文档（基于 mkdocs），请安装所需 Python 包：

pip install mkdocs mkdocs-material

3. 安装数据科学依赖（可选）

若要运行 curriculum 目录下的具体代码教程，建议创建一个虚拟环境并安装通用数据科学库：

python -m venv dssg-env
source dssg-env/bin/activate  # Windows 用户请使用: dssg-env\Scripts\activate
pip install pandas numpy scikit-learn jupyterlab sqlalchemy psycopg2-binary requests beautifulsoup4

基本使用

方式一：本地预览文档网站

你可以启动一个本地服务器来浏览结构化的课程手册和教程，体验与线上网站一致的效果。

在项目根目录下运行：

mkdocs serve -f "$(pwd)/mkdocs.yml"

启动成功后，在浏览器中访问 http://127.0.0.1:8000 即可查看完整指南，包括：

• DSSG Manual: 项目概览、行为规范、夏季计划表。
• Curriculum: 分模块教程（数据获取、探索分析、建模、最佳实践等）。
• Wiki: 实用技巧集锦（如 S3 访问、环境配置等）。

方式二：直接学习教程内容

你可以直接进入 sources/curriculum 目录，按照模块顺序进行学习。例如，开始第一个关于“数据获取”的教程：

cd sources/curriculum/1_getting_and_keeping_data/basic-web-scraping/
# 查看该目录下的 README.md 或 Jupyter Notebook 文件进行学习

方式三：贡献与更新

如果你希望添加新的教程或修正现有内容，可以在本地修改 Markdown 文件，并通过以下命令部署到 GitHub Pages（需配置好 Git 权限）：

mkdocs gh-deploy -f "$(pwd)/mkdocs.yml"

---

提示：本指南强调“负责任的數據科学”，在学习技术的同时，请务必关注 Ethics, fairness, bias, and transparency 相关章节。