LogAI：日志分析与智能库

目录

• 简介
• 安装
• 快速入门
  • 探索 LogAI GUI 门户
  • 运行简单的时序异常检测应用
  • 构建自定义 LogAI 应用程序
  • 深度学习异常检测基准测试
• 文档
• 技术报告及引用 LogAI
• 联系方式
• 许可证

简介

LogAI 是一个用于日志分析与智能的一站式开源库。它支持多种日志分析和日志智能任务，例如日志摘要、日志聚类、日志异常检测等。LogAI 采用 OpenTelemetry 数据模型，以实现与不同日志管理平台的兼容性。该库提供统一的模型接口，并集成了流行的时序、统计学习和深度学习模型。此外，LogAI 还提供开箱即用的 GUI 工具包，方便用户进行交互式日志分析。借助 LogAI，我们还可以轻松地对流行的机器学习和深度学习算法在日志异常检测方面的性能进行基准测试，而无需花费大量精力处理日志数据。我们已将 LogAI 开源，以促进其在学术研究和工业原型开发中的广泛应用。

下表将 LogAI 与现有的几种日志分析工具进行了比较，其中包括 NewRelic 和 DataDog 等商业日志管理平台，以及 GitHub 上流行的开源日志分析工具。

覆盖范围	LogAI	NewRelic 日志监控	DataDog 日志浏览器	logparser	loglizer	deep-loglizer	log3C
OpenTelemetry 日志数据模型	:white_check_mark:	:white_check_mark:	:white_check_mark:
统一的数据加载与预处理	:white_check_mark:	:white_check_mark:	:white_check_mark:	:white_check_mark:	:white_check_mark:	:white_check_mark:
自动日志解析	:white_check_mark:	:white_check_mark:	:white_check_mark:
日志聚类	:white_check_mark:	:white_check_mark:	:white_check_mark:				:white_check_mark:
日志异常检测 - 时序	:white_check_mark:	:white_check_mark:	:white_check_mark:
日志异常检测 - 传统机器学习	:white_check_mark:				:white_check_mark:
日志异常检测 - 深度学习	:white_check_mark:				:white_check_mark:	:white_check_mark:
Huggingface 集成	:white_check_mark:
结果可视化 GUI	:white_check_mark:	:white_check_mark:	:white_check_mark:

安装

快速安装

您可以使用 pip install 命令安装 LogAI 核心库：

# 从 GitHub 克隆 LogAI 代码仓库
git clone https://github.com/salesforce/logai.git
cd logai

# [可选] 创建虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装 LogAI
pip install logai

安装可选依赖

LogAI 核心库非常轻量，仅安装了少量依赖包。用户可以根据需要安装可选依赖，以启用 LogAI 的扩展功能。

深度学习日志分析。若要执行与深度学习模型相关的任务并进行基准测试，请使用 pip install "logai[deep-learning]" 安装额外的依赖。

启用 LogAI GUI 门户*。若要使用 LogAI GUI 门户，请使用 pip install "logai[gui]" 安装额外的依赖。

LogAI 开发。若要参与 LogAI 的开发、构建和测试代码更改，请使用 pip install "logai[dev]" 安装额外的依赖。

完整安装。您可以通过 pip install "logai[all]" 安装所有依赖项。

已知问题

:warning: 使用 LogAI 时，您可能会看到“Resource punkt not found”错误。您可以从 NLTK 下载 punkt 包来解决此问题。

python -m nltk.downloader punkt

快速入门

下面我们将简要介绍几种探索和使用 LogAI 的方式，包括探索 LogAI GUI 门户、使用 LogAI 对基于深度学习的日志异常检测进行基准测试，以及利用 LogAI 构建您自己的日志分析应用程序。

探索 LogAI GUI 门户

您也可以启动本地 LogAI 服务，并使用 GUI 门户来探索 LogAI。

# 从 GitHub 克隆 LogAI 代码仓库
git clone https://github.com/salesforce/logai.git
cd logai

# [可选] 创建虚拟环境
python3 -m venv venv # 创建虚拟环境
source venv/bin/activate # 激活虚拟环境

# 安装 LogAI 和 GUI 依赖
pip install ".[dev]"
pip install ".[gui]"

# 启动 LogAI 服务
export PYTHONPATH='.'  # 确保将当前根目录添加到 PYTHONPATH
python3 gui/application.py # 运行本地 Plotly Dash 服务器。

然后在浏览器中通过 http://localhost:8050/ 或 http://127.0.0.1:8050/ 打开 LogAI 门户：

页面左侧是控制面板。您可以选择以下三个应用： 日志摘要、日志聚类和异常检测。

控制面板

文件设置。您可以选择要处理的日志类型和日志文件。目前 LogAI 支持三种公开数据集：HDFS、BGL 和 HealthApp。对于每种日志类型，我们都提供了若干示例日志数据。选择日志文件后，您可以挑选希望参与日志处理的属性。所选属性将被视为结构化日志属性。

算法设置。不同应用可用的算法选项可能有所不同。 例如，日志摘要会使用自动日志解析算法，而日志聚类则会用到自动解析算法、向量化算法、类别编码以及聚类算法。您可以选择一种算法，并在每个算法部分调整参数。完成算法配置后，只需点击“运行”即可启动应用。

日志摘要

日志摘要应用会根据日志模式和属性对原始日志进行汇总和分组。您可以点击每个日志模式，查看该模式的具体内容以及各位置上的动态值。此外，您还可以在右侧看到该模式出现趋势的图表。

日志聚类

日志聚类应用通过计算每条日志的语义表示，将原始日志划分为不同的簇。 随后利用聚类算法生成日志簇。在本示例中，我们选择了 k-means 算法，设置 k==8 以生成 8 个簇。结果以饼图形式展示，您可以点击饼图中的每一部分来查看该簇中的原始日志。

异常检测

日志异常检测应用用于执行日志异常检测任务。与日志聚类类似，日志异常检测也需要从原始日志中提取信息并生成日志行的表示。根据异常检测的类型，表示方式可能会有所不同。 时间序列异常检测。如果我们使用 ETS 等时间序列算法，原始日志将按照给定的时间间隔转换为日志计数向量。随后在生成的日志计数向量上运行 ETS 算法，以检测计数向量时间序列中的异常时间戳。 语义异常检测。如果使用无监督离群点检测算法（如 One-class SVM），原始日志将被转换为语义向量，并输入 One-class SVM 模型。模型将据此检测出异常日志行。

LogAI GUI 门户只是演示 LogAI 功能的一个示例。我们知道这可能不是展示结果的最佳方式，且结果的显示可能存在一些问题。我们将继续与开源社区合作，不断提升门户的易用性。欢迎提出任何反馈和贡献 :blush:。

运行简单的时间序列异常检测应用

您也可以以更程序化的方式使用 LogAI。LogAI 支持 .json 或 .yaml 格式的配置文件。 以下是用于异常检测应用的示例配置文件 log_anomaly_detection_config.json。 请确保将 filepath 设置为目标日志数据集的文件路径。

{
      "open_set_data_loader_config": {
        "dataset_name": "HDFS",
        "filepath": ""
      },
      "preprocessor_config": {
          "custom_delimiters_regex":[]
      },
      "log_parser_config": {
        "parsing_algorithm": "drain",
        "parsing_algo_params": {
          "sim_th": 0.5,
          "depth": 5
        }
      },
      "feature_extractor_config": {
          "group_by_category": ["Level"],
          "group_by_time": "1s"
      },
      "log_vectorizer_config": {
          "algo_name": "word2vec"
      },
      "categorical_encoder_config": {
          "name": "label_encoder"
      },
      "anomaly_detection_config": {
          "algo_name": "one_class_svm"
      }
    }

接下来，您可以创建如下 Python 脚本以运行日志异常检测：

import json

from logai.applications.application_interfaces import WorkFlowConfig
from logai.applications.log_anomaly_detection import LogAnomalyDetection

# 配置文件路径
json_config = "./log_anomaly_detection_config.json"

# 创建日志异常检测应用的工作流配置
config = json.loads(json_config)
workflow_config = WorkFlowConfig.from_dict(config) 

# 根据工作流配置创建 LogAnomalyDetection 应用
app = LogAnomalyDetection(workflow_config)

# 执行应用
app.execute()

之后，您可以通过调用 app.anomaly_results 来查看异常检测结果。

有关此示例的完整上下文，请参阅 教程：使用日志异常检测应用。

构建自定义 LogAI 应用程序

您可以使用 LogAI 构建自己的定制化日志分析应用程序。这里提供两个示例：

• 教程：使用 LogAI 进行日志聚类
• 教程：使用 LogAI 进行日志异常检测

深度学习异常检测基准测试

LogAI 可用于对深度学习异常检测结果进行基准测试。 我们提供了一个教程，介绍如何使用 LSTM 异常检测器对 HDFS 数据集进行异常检测基准测试。更多关于不同数据集和算法的深度学习异常检测基准测试示例，请参阅 深度异常检测基准测试示例。

文档

如需了解更多关于 LogAI 库及高级用法的信息，请访问 LogAI 文档。

技术报告与引用 LogAI

您可以在技术报告中找到关于 LogAI 的更多详细信息。 如果您在研究或应用中使用了 LogAI，请使用以下 BibTeX 格式引用：

@misc{https://doi.org/10.48550/arxiv.2301.13415,
    title = {LogAI: 用于日志分析与智能的库},
    author = {Cheng, Qian 和 Saha, Amrita 和 Yang, Wenzhuo 和 Liu, Chenghao 和 Sahoo, Doyen 和 Hoi, Steven},
    publisher = {arXiv},
    year = {2023},
    doi = {10.48550/ARXIV.2301.13415},
    url = {https://arxiv.org/abs/2301.13415},
    copyright = {arXiv.org 永久、非独占许可}
}

联系方式

如果您有任何问题、评论或建议， 请随时通过 logai@salesforce.com 与我们联系。

许可证

BSD 3-Clause 许可证

LogAI 快速上手指南

LogAI 是 Salesforce 开源的一站式日志分析与智能库，支持日志摘要、聚类、异常检测等任务。它采用 OpenTelemetry 数据模型，集成了时间序列、统计学习和深度学习模型，并提供开箱即用的 GUI 可视化工具。

环境准备

• 操作系统: Linux, macOS, Windows
• Python 版本: Python 3.8 或更高版本
• 前置依赖:
  • git: 用于克隆代码仓库
  • pip: Python 包管理工具
  • (可选) venv: 推荐创建虚拟环境以隔离依赖

注意: 首次运行若遇到 Resource punkt not found 错误，需手动下载 NLTK 数据包：

python -m nltk.downloader punkt

安装步骤

1. 获取源码

git clone https://github.com/salesforce/logai.git
cd logai

2. 创建并激活虚拟环境（推荐）

python3 -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

3. 安装 LogAI

根据需求选择以下一种安装方式：

• 基础安装 (仅核心库):

  pip install logai
  

• 完整安装 (包含深度学习、GUI 及开发依赖):

  pip install "logai[all]"
  

• 按需安装:

  • 启用深度学习功能: pip install "logai[deep-learning]"
  • 启用 GUI 可视化门户: pip install "logai[gui]"
  • 开发贡献模式: pip install "logai[dev]"

基本使用

LogAI 提供两种主要使用方式：通过图形界面 (GUI) 交互式探索，或通过 Python 代码编程调用。

方式一：启动 GUI 可视化门户

适合快速体验日志摘要、聚类和异常检测功能。

1. 设置环境变量并启动服务:

   export PYTHONPATH='.'
   python3 gui/application.py
   

2. 访问界面: 在浏览器中打开 http://localhost:8050/ 或 http://127.0.0.1:8050/。

3. 操作流程:

   • File Setting: 选择内置数据集（如 HDFS, BGL, HealthApp）及需要处理的属性。
   • Algorithm Setting: 针对不同应用（摘要/聚类/异常检测）选择算法并调整参数。
   • Run: 点击运行按钮查看可视化结果（如饼图、趋势图等）。

方式二：编程运行异常检测示例

适合集成到现有工作流或进行定制化开发。LogAI 支持通过 JSON/YAML 配置文件定义工作流。

1. 创建配置文件 (log_anomaly_detection_config.json):

   {
     "open_set_data_loader_config": {
       "dataset_name": "HDFS",
       "filepath": ""
     },
     "preprocessor_config": {
         "custom_delimiters_regex":[]
     },
     "log_parser_config": {
       "parsing_algorithm": "drain",
       "parsing_algo_params": {
         "sim_th": 0.5,
         "depth": 5
       }
     },
     "feature_extractor_config": {
         "group_by_category": ["Level"],
         "group_by_time": "1s"
     },
     "log_vectorizer_config": {
         "algo_name": "word2vec"
     },
     "categorical_encoder_config": {
         "name": "label_encoder"
     },
     "anomaly_detection_config": {
         "algo_name": "one_class_svm"
     }
   }
   

2. 编写并运行 Python 脚本:

   import json
   
   from logai.applications.application_interfaces import WorkFlowConfig
   from logai.applications.log_anomaly_detection import LogAnomalyDetection
   
   # 加载配置文件
   json_config = "./log_anomaly_detection_config.json"
   with open(json_config, 'r') as f:
       config = json.load(f)
   
   # 创建工作流配置
   workflow_config = WorkFlowConfig.from_dict(config) 
   
   # 初始化应用
   app = LogAnomalyDetection(workflow_config)
   
   # 执行检测
   app.execute()
   
   # 查看结果
   print(app.anomaly_results)
   

更多高级用法（如自定义聚类、深度学习基准测试）请参考官方 examples/jupyter_notebook 目录下的教程笔记。