FarmVibes.AI：面向农业与可持续发展的多模态地理空间机器学习模型

借助 FarmVibes.AI，您可以为农业和可持续发展领域构建丰富的地理空间洞察。

通过融合多种地理空间和时空数据集，您可以获得单独使用这些数据集难以实现的洞察（例如估算碳足迹、理解生长速率、识别农事操作等）。您可以将卫星影像（RGB、SAR、多光谱）、无人机影像、气象数据等进行融合。

以这种方式融合数据有助于生成更稳健的洞察，并解锁在未融合时无法获得的新见解。本仓库包含多个已发布且被证明对农业相关问题至关重要的融合工作流，可帮助您轻松构建专注于农业/种植业的遥感、地球观测及地理空间模型。我们目前的主要关注点是农业与可持续发展，相关模型也为此进行了优化。然而，该框架本身具有通用性，足以支持您为其他领域构建模型。

FarmVibes.AI 入门

FarmVibes.AI 主要由三个部分组成。第一部分是数据摄取与预处理工作流，用于准备专为农业场景设计的融合模型所需的数据。此外，我们还提供了模型训练笔记本示例，不仅允许配置数据预处理流程，还能轻松调优现有模型。最后一部分是计算引擎，支持数据摄取、调整现有工作流以及基于调优后的模型创建全新工作流。

FarmVibes.AI 融合就绪的数据准备

在此步骤中，您可以选择希望融合以构建洞察的数据集。FarmVibes.AI 自带多种数据下载工具，包括 Sentinel-1 和 Sentinel-2 卫星影像、美国耕地数据、USGS 高程地图、NAIP 影像、NOAA 气象数据以及 Ambient Weather 提供的私有气象数据。此外，您还可以引入任何已栅格化的数据集，使其适配 FarmVibes.AI 的融合需求（如无人机影像或其他卫星影像），并在未来支持自定义传感器数据（例如气象传感器）。

FarmVibes.AI 的核心技术在于，为机器学习模型提供超越标签所在类型、空间和时间范围的输入数据。例如，在从卫星影像中检测谷物筒仓时（仅在光学影像中标注了位置），最好同时利用光学、高程和雷达波段信息。在这种情况下，还将多种数据模态与其他已知的农业基础设施要素相结合也至关重要。同样，为了构建更稳健的模型，还需综合一年中不同时期同一筒仓的影像。研究表明，整合多源数据流并结合附近或相似区域的历史数据，能够显著提升地理空间模型的稳健性（尤其在产量、生长和作物分类等问题上）。FarmVibes.AI 可根据用户指定的参数，轻松生成此类模型输入数据。

FarmVibes.AI 使数据科学家能够根据自身需求对数据集进行加工和调优。这种调优通过可配置的工作流实现，该工作流以数据下载和数据准备工作的有向无环图形式定义。这些准备算子负责生成训练和推理模块所需的输入（例如包含所有原始数据的融合 Pandas 数组或张量）。

FarmVibes.AI 模型示例笔记本库

FarmVibes.AI 的下一步是使用内置笔记本对模型进行调优，以达到针对特定地区或季节所需的准确度。该库包含用于检测农事操作（如收获日期识别）、估算气候影响（包括季节性碳足迹和长期可持续性）、微气候预测以及作物识别的笔记本。

FarmVibes.AI 提供这些笔记本，旨在帮助您快速开始训练融合模型，将地理空间数据整合为符合您需求的稳健洞察。用户可以将模型调优至期望性能，并将其发布到 FarmVibes.AI 平台。随后，该模型即可在推理引擎中使用，适用于世界其他地区、不同日期或更多场景。

FarmVibes.AI 推理引擎

FarmVibes.AI 的最后一步是将数据连接器、预处理模块和模型组件组合成一个稳健的推理工作流。生成的工作流可用于在指定的兴趣区域和时间范围内执行推理，输入参数可直接传递给该工作流。FarmVibes.AI 还可配置为按设定的时间范围运行推理，并在上游数据更新时自动刷新结果（例如新增卫星影像或传感器数据）。实现方式是创建由融合数据准备和融合模型工作流组成的完整工作流。

运行模式

目前，我们开源了本地 FarmVibes.AI 集群，该集群使用预构建的算子和工作流，并在您的数据科学工作站上本地运行。这意味着所有生成的数据都将持久化存储在您的本地设备上。实际的工作流及其实现以 Docker 镜像的形式提供，其详细说明可在工作流列表文档中找到。

用户可以通过本地 REST API 或本地 Python 客户端（例如在 Jupyter Notebook 中）与本地 FarmVibes.AI 集群进行交互。

安装

有关如何开始使用的详细信息，请参阅快速入门指南。如果您希望搭建一台专用的 Azure 虚拟机来运行 FarmVibes.AI，可以在虚拟机设置文档中找到详细说明。

笔记本示例

在 notebooks 文件夹中，有几个示例可以作为起点，并展示如何使用 FarmVibes.AI 来生成农业洞察。其中一些可用的笔记本包括：

• helloworld：一个简单的示例，说明如何使用客户端运行工作流并可视化响应。
• harvest_period：展示如何基于 Sentinel-2 数据计算单个地块和种植季的 NDVI 时间序列，并用于估计出苗和收获日期。
• carbon：演示如何利用 COMET-Farm API，根据不同的农业实践模拟不同的土壤碳估算结果。
• deepmc：展示如何使用 DeepMC 模型 从气象站数据构建微气候预测。
• crop_segmentation：此示例展示了如何基于我们 SpaceEye 无云影像生成模型计算的 NDVI 数据，训练作物识别模型。在此示例中，您还可以将训练好的模型用于推理工作流，以在任何能够生成 SpaceEye 影像的区域获取预测结果。

我们在文档中提供了可用笔记本的完整列表及其描述。

文档

有关各个组件的更详细信息，请参阅 FarmVibes.AI 文档。在本仓库中，这些信息也可在以下文件中找到：

• FARMVIBES_AI.md，介绍如何设置和管理本地集群。
• WORKFLOWS.md，介绍如何编写和运行工作流。
• CLIENT.md，记录 FarmVibes.AI 客户端，这是运行工作流和与结果交互的首选方式。
• SECRETS.md，介绍如何管理和传递密钥等敏感信息给集群，以便在运行工作流时可用。
• TROUBLESHOOTING.md，用于解决可能遇到的问题。

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意一份贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。有关详情，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需执行一次此操作。

本项目已采用 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答 或发送邮件至 opencode@microsoft.com 提出任何其他问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。未经授权使用微软商标或徽标须遵守并遵循 微软商标与品牌指南。在本项目的修改版本中使用微软商标或徽标不得造成混淆或暗示微软的赞助。任何第三方商标或徽标的使用均应遵守该第三方的相关政策。

FarmVibes.AI 快速上手指南

FarmVibes.AI 是一个用于农业和可持续发展的多模态地理空间机器学习框架。它支持融合卫星影像（RGB、SAR、多光谱）、无人机图像、气象数据等多种数据源，以构建更鲁棒的遥感模型，用于估算碳足迹、监测作物生长及识别农事活动等场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Docker：必须安装 Docker Desktop 或 Docker Engine，因为核心工作流通过 Docker 镜像运行。
• Python：版本 3.8 或更高。
• 硬件资源：
  • 内存：建议至少 16GB RAM（处理大规模地理空间数据时建议 32GB+）。
  • 存储：预留足够的磁盘空间用于缓存下载的卫星数据和中间结果。
• 前置依赖：
  • git
  • pip (Python 包管理工具)

注意：目前开源版本主要在本地数据科学机器上运行集群，生成的数据将持久化存储在本地。

安装步骤

1. 克隆仓库

首先从 GitHub 克隆项目代码：

git clone https://github.com/microsoft/farmvibes-ai.git
cd farmvibes-ai

2. 创建虚拟环境并安装依赖

建议使用 Python 虚拟环境来隔离依赖：

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

pip install --upgrade pip
pip install -e .

3. 初始化本地集群

安装完成后，需要初始化本地的 FarmVibes.AI 集群。这将拉取必要的 Docker 镜像并配置本地服务：

farmvibes-ai cluster up

如果在国内网络环境下拉取 Docker 镜像速度较慢，请配置国内 Docker 镜像加速器（如阿里云、腾讯云等），或在 Docker daemon 配置中添加 registry-mirrors。

4. 验证安装

运行一个简单的 "Hello World" 工作流来验证集群是否正常运行：

farmvibes-ai workflow run helloworld

基本使用

FarmVibes.AI 提供了两种主要交互方式：REST API 和 Python 客户端。推荐使用 Jupyter Notebook 配合 Python 客户端进行开发和调试。

1. 启动 Jupyter Notebook

在项目根目录下启动 Notebook 服务：

jupyter notebook

2. 使用 Python 客户端运行工作流

在 Notebook 中，您可以使用内置的示例笔记本来快速上手。以下是一个估算作物收获日期的基本流程示例（基于 harvest_period 笔记本逻辑）：

from farmvibes_ai import Client

# 初始化客户端，连接到本地集群
client = Client()

# 定义感兴趣区域 (AOI) 和时间范围
# 示例：一个特定的农田坐标和多边形
aoi = {
    "type": "Polygon",
    "coordinates": [[
        [-95.5, 40.0],
        [-95.4, 40.0],
        [-95.4, 40.1],
        [-95.5, 40.1],
        [-95.5, 40.0]
    ]]
}
time_range = ("2023-04-01", "2023-10-31")

# 运行工作流：计算 NDVI 时间序列并估算收获日期
# 该工作流会自动下载 Sentinel-2 数据并进行融合处理
job = client.run_workflow(
    workflow_name="harvest_period",
    inputs={
        "aoi": aoi,
        "time_range": time_range
    }
)

# 等待任务完成并获取结果
result = job.wait_for_completion()

# 可视化或分析结果
print(f"Estimated harvest date: {result.get('harvest_date')}")
result.visualize()

3. 可用示例笔记本

项目 notebooks 文件夹中包含了多个针对不同农业场景的示例，您可以直接打开运行：

• helloworld: 客户端基础用法与工作流响应可视化。
• harvest_period: 基于 Sentinel-2 数据计算 NDVI 时间序列，估算作物出苗和收获日期。
• carbon: 模拟不同农业实践下的土壤碳估算（集成 COMET-Farm API）。
• deepmc: 利用气象站数据构建微气候预测模型。
• crop_segementation: 基于无云图像生成模型 (SpaceEye) 训练作物识别模型。

更多详细的工作流列表和参数配置，请参考官方文档中的 WORKFLOW_LIST。