[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Western-OC2-Lab--AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics":3,"tool-Western-OC2-Lab--AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156804,2,"2026-04-15T11:34:33",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":32,"env_os":88,"env_gpu":88,"env_ram":88,"env_deps":89,"category_tags":99,"github_topics":100,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":117,"updated_at":118,"faqs":119,"releases":120},7764,"Western-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics","AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics","Implementation\u002FTutorial of using Automated Machine Learning (AutoML) methods for static\u002Fbatch and online\u002Fcontinual learning","AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 是一个专注于静态与动态数据分析的自动化机器学习（AutoML）开源项目。它旨在解决传统机器学习中流程繁琐、参数调优困难以及在动态环境中难以应对数据分布变化（概念漂移）等痛点。\n\n该项目通过自动化流水线，覆盖了从数据预处理、特征工程、模型选择、超参数优化到模型在线更新的全生命周期。其独特亮点在于同时支持两种学习模式：一是针对历史静态数据的批量学习，二是面向物联网等实时数据流的在线持续学习，能够自动适应环境变化并更新模型，有效防止性能衰退。项目还附带了详细的物联网异常检测案例研究，代码结构清晰，兼具实战性与教学价值。\n\n这套工具非常适合机器学习研究人员、数据分析师以及希望快速构建高性能模型的工业界开发者使用。无论是需要复现学术论文实验，还是希望在具体任务中自动获取最优模型配置，用户都能从中获得高效的技术支持。作为一篇高引用综述论文的配套实现，它为探索动态环境下的智能数据分析提供了坚实可靠的代码基础。","# AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\n\nThis code provides an **Automated Machine Learning (AutoML)** implementation for static and dynamic data analytics problems. It provides a case study of IoT anomaly detection using many ML algorithms and optimization\u002FAutoML methods (for automating and optimizing ML algorithms). It involves the automation of all important procedures in the machine learning\u002Fdata analytics pipeline, including automated data pre-processing, automated feature engineering, automated model selection, Hyper-Parameter Optimization (HPO), and automated model updating (model drift adaptation). It can also be used as a **tutorial** to help machine learning researchers to automatically obtain optimized machine learning models with the optimal learning performance on any specific task.\n- **Batch\u002FStatic Learning**: Batch learning is the traditional machine learning and data analytics process. Batch learning methods analyze static IoT data in batches and often need access to the entire dataset prior to model training.\n- **Online\u002FContinual learning**: Online learning or continual learning techniques are able to train models using continuously incoming online data streams in dynamic IoT environments and address concept drift issues (data distribution changes).\n\nThis code is also the implementation of a review paper published in **Engineering Applications of Artificial Intelligence** (IF: 7.8):  \nL. Yang and A. Shami, “[IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.08018.pdf),” *Engineering Applications of Artificial Intelligence*, vol. 116, pp. 1-33, 2022, doi: https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366.  \n\nThis paper and code will help industrial users, data analysts, and researchers to better develop machine learning models using automation technology.\n\n- A comprehensive **hyperparameter optimization** (automatically tuning the hyperparameters of machine learning algorithms to achieve optimal performance) **tutorial code** can be found in: [Hyperparameter-Optimization-of-Machine-Learning-Algorithms](https:\u002F\u002Fgithub.com\u002FLiYangHart\u002FHyperparameter-Optimization-of-Machine-Learning-Algorithms)  \n   * 1,200+ GitHub stars\n   * 1,500+ citations by journal & conference papers\n\n\n## Paper Link\nIoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective  \n[One-column version: arXiv](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.08018.pdf)  \n[Two-column version: Elsevier](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0952197622003803)  \n\n## AutoML Pipeline and Procedures\n1. Automated Data Pre-Processing\n2. Automated Feature Engineering\n3. Automated Model Selection\n4. Hyper-Parameter Optimization\n5. Automated Model Updating (for addressing concept drift, and only for online learning and data stream analytics)\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FWestern-OC2-Lab_AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics_readme_ae3dca682585.jpg\" width=\"700\" \u002F>\n\u003C\u002Fp>\n\n## Quick Navigation of The Paper\n**Section 3**: IoT data analytics overview  \n**Section 3**: Model learning (introduce all common machine learning algorithms)  \n**Section 4**: AutoML overview & optimization techniques (introduce what is AutoML and its techniques)  \n**Section 5**: Automated data pre-processing  \n**Section 6**: Automated feature engineering  \n**Section 7**: Automated model updating by handling concept drift  \n**Section 8**: Selection of evaluation metrics and validation methods  \n**Section 9**: AutoML Tools and libraries  \n**Section 10**: Case study (Experimental results, sample code in \"AutoML_Batch_Learning_CIC.ipynb\")  \n**Section 11**: Open challenges and future research directions  \n**Summary table for Sections 3**: Table 1 & 2:  A comprehensive overview of common ML models, their hyperparameters, their advantages and limitations, and suitable IoT tasks  \n**Summary table for Sections 4**: Table 3:  The comparison of common optimization methods for CASH and HPO problems    \n**Summary table for Sections 7**: Table 5:  The comparison of concept drift methods for automated model updating    \n**Summary table for Sections 10**: Table 6:  The specifications of the proposed AutoML pipeline  \n**Summary table for Sections 11**: Table 12:  The challenges and research directions of applying AutoML to IoT data analytics  \n\n## Implementation\n* The AutoML implementation for **static\u002Fbatch data analytics** can be found in [AutoML_Batch_Learning_Dataset_1.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Batch_Learning_Dataset_1.ipynb) and [AutoML_Batch_Learning_Dataset2.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Batch_Learning_Dataset_2.ipynb)\n\n* The AutoML implementation for **dynamic\u002Fonline data stream analytics** can be found in [AutoML_Online_Learning_Dataset_1.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Online_Learning_Dataset_1.ipynb) and [AutoML_Online_Learning_Dataset2.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Online_Learning_Dataset_2.ipynb)\n\n### Static Machine Learning & Deep Learning Algorithms  \n* Random forest (RF)\n* LightGBM  \n* K-nearest neighbor (KNN)  \n* Naive Bayes (NB)  \n* Artificial Neural Networks (ANN)\n\n### Dynamic\u002FOnline Learning Algorithms  \n* Hoeffding Tree (HT)\n* Leveraging Bagging (LB)\n* Adaptive Random Forest (ARF) \n* Streaming Random Patches (SRP)\n\n\n### Optimization\u002FAutoML Algorithms  \n* Grid search\n* Bayesian Optimization with Tree-structured Parzen Estimator (BO-TPE)\n* Particle Swarm Optimization (PSO)\n\n### Datasets \n1. CICIDS2017 dataset, a popular network traffic dataset for intrusion detection problems\n   * Publicly available at: https:\u002F\u002Fwww.unb.ca\u002Fcic\u002Fdatasets\u002Fids-2017.html  \n   \n2. IoTID20 dataset, a novel IoT botnet dataset\n   * Publicly available at: https:\u002F\u002Fsites.google.com\u002Fview\u002Fiot-network-intrusion-dataset\u002Fhome\n\n### Requirements  \n* Python 3.6+ \n* [Keras](https:\u002F\u002Fkeras.io\u002F) \n* [scikit-learn](https:\u002F\u002Fscikit-learn.org\u002Fstable\u002F)  \n* [hyperopt](https:\u002F\u002Fgithub.com\u002Fhyperopt\u002Fhyperopt)  \n* [optunity](https:\u002F\u002Fgithub.com\u002Fclaesenm\u002Foptunity)\n* [LightGBM](https:\u002F\u002Flightgbm.readthedocs.io\u002Fen\u002Flatest\u002F)  \n* [River](https:\u002F\u002Friverml.xyz\u002Fdev\u002F) \n\n## Contact-Info\nPlease feel free to contact me for any questions or cooperation opportunities. I'd be happy to help.\n* Email: [liyanghart@gmail.com](mailto:liyanghart@gmail.com)\n* GitHub: [LiYangHart](https:\u002F\u002Fgithub.com\u002FLiYangHart) and [Western OC2 Lab](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002F)\n* LinkedIn: [Li Yang](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fli-yang-phd-65a190176\u002F)  \n* Google Scholar: [Li Yang](https:\u002F\u002Fscholar.google.com.eg\u002Fcitations?user=XEfM7bIAAAAJ&hl=en) and [OC2 Lab](https:\u002F\u002Fscholar.google.com.eg\u002Fcitations?user=oiebNboAAAAJ&hl=en)\n\n## Citation\nIf you find this repository useful in your research, please cite this article as:  \n\nL. Yang and A. Shami, “IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective,” *Engineering Applications of Artificial Intelligence*, vol. 116, pp. 1-33, 2022, doi: https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366.  \n\n```\n@article{YANG2022105366,\ntitle = \"IoT data analytics in dynamic environments: From an automated machine learning perspective\",\nauthor = \"Li Yang and Abdallah Shami\",\njournal = \"Engineering Applications of Artificial Intelligence\",\nvolume = {116},\npages = {1-33},\nyear = \"2022\",\ndoi = \"https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366\",\nurl = \"https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0952197622003803\"\n}\n```\n\n","# 用于静态与动态数据分析的AutoML实现\n\n本代码提供了一种针对静态和动态数据分析问题的**自动化机器学习（AutoML）**实现。它以物联网异常检测为例，使用多种机器学习算法及优化\u002F自动机器学习方法（用于自动化和优化机器学习算法），展示了如何在机器学习\u002F数据分析流程中实现所有关键步骤的自动化，包括自动化数据预处理、自动化特征工程、自动化模型选择、超参数优化（HPO）以及自动化模型更新（适应模型漂移）。该代码也可用作**教程**，帮助机器学习研究人员在任何特定任务上自动获得具有最优学习性能的优化机器学习模型。\n- **批处理\u002F静态学习**：批处理学习是传统的机器学习和数据分析流程。这种方法以批次方式分析静态的物联网数据，通常需要在训练模型之前访问整个数据集。\n- **在线\u002F持续学习**：在线学习或持续学习技术能够在动态的物联网环境中，利用不断涌入的在线数据流来训练模型，并解决概念漂移问题（即数据分布的变化）。\n\n本代码同时也是发表在**《工程应用人工智能》**（IF: 7.8）期刊上的综述论文的实现：  \nL. Yang 和 A. Shami, “[动态环境中的物联网数据分析：从自动化机器学习视角](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.08018.pdf)”，*工程应用人工智能*, 第116卷，第1–33页，2022年，doi: https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366。  \n\n这篇论文及其配套代码将帮助工业用户、数据分析师和研究人员更好地利用自动化技术开发机器学习模型。\n\n- 一份全面的**超参数优化**（自动调整机器学习算法的超参数以达到最佳性能）**教程代码**可在以下链接找到：[Hyperparameter-Optimization-of-Machine-Learning-Algorithms](https:\u002F\u002Fgithub.com\u002FLiYangHart\u002FHyperparameter-Optimization-of-Machine-Learning-Algorithms)  \n   * 获得1,200+ GitHub星标\n   * 被期刊和会议论文引用1,500+次\n\n\n## 论文链接\n动态环境中的物联网数据分析：从自动化机器学习视角  \n[单栏版：arXiv](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.08018.pdf)  \n[双栏版：Elsevier](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0952197622003803)  \n\n## AutoML流程与步骤\n1. 自动化数据预处理\n2. 自动化特征工程\n3. 自动化模型选择\n4. 超参数优化\n5. 自动化模型更新（用于应对概念漂移，仅适用于在线学习和数据流分析）\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FWestern-OC2-Lab_AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics_readme_ae3dca682585.jpg\" width=\"700\" \u002F>\n\u003C\u002Fp>\n\n## 论文快速导航\n**第3节**：物联网数据分析概述  \n**第3节**：模型学习（介绍所有常见机器学习算法）  \n**第4节**：AutoML概述及优化技术（介绍什么是AutoML及其相关技术）  \n**第5节**：自动化数据预处理  \n**第6节**：自动化特征工程  \n**第7节**：通过处理概念漂移进行自动化模型更新  \n**第8节**：评估指标与验证方法的选择  \n**第9节**：AutoML工具与库  \n**第10节**：案例研究（实验结果，示例代码见“AutoML_Batch_Learning_CIC.ipynb”）  \n**第11节**：开放挑战与未来研究方向  \n**第3节总结表**：表1和表2——对常见机器学习模型、其超参数、优缺点以及适用的物联网任务的全面概述  \n**第4节总结表**：表3——CASH和HPO问题中常用优化方法的比较  \n**第7节总结表**：表5——用于自动化模型更新的概念漂移处理方法的比较  \n**第10节总结表**：表6——所提出的AutoML流程的具体规范  \n**第11节总结表**：表12——将AutoML应用于物联网数据分析所面临的挑战及未来研究方向  \n\n\n## 实现\n* 针对**静态\u002F批处理数据分析**的AutoML实现可在[AutoML_Batch_Learning_Dataset_1.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Batch_Learning_Dataset_1.ipynb)和[AutoML_Batch_Learning_Dataset2.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Batch_Learning_Dataset_2.ipynb)中找到。\n\n* 针对**动态\u002F在线数据流分析**的AutoML实现可在[AutoML_Online_Learning_Dataset_1.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Online_Learning_Dataset_1.ipynb)和[AutoML_Online_Learning_Dataset2.ipynb](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\u002Fblob\u002Fmain\u002FAutoML_Online_Learning_Dataset_2.ipynb)中找到。\n\n### 静态机器学习与深度学习算法  \n* 随机森林（RF）\n* LightGBM  \n* K近邻（KNN）  \n* 朴素贝叶斯（NB）  \n* 人工神经网络（ANN）\n\n### 动态\u002F在线学习算法  \n* Hoeffding树（HT）\n* 杠杆式Bagging（LB）\n* 自适应随机森林（ARF） \n* 流式随机补丁（SRP）\n\n\n### 优化\u002FAutoML算法  \n* 网格搜索\n* 基于树形帕尔森估计器的贝叶斯优化（BO-TPE）\n* 粒子群优化（PSO）\n\n### 数据集 \n1. CICIDS2017数据集，一个用于入侵检测问题的流行网络流量数据集\n   * 公开获取地址：https:\u002F\u002Fwww.unb.ca\u002Fcic\u002Fdatasets\u002Fids-2017.html  \n   \n2. IoTID20数据集，一个新颖的物联网僵尸网络数据集\n   * 公开获取地址：https:\u002F\u002Fsites.google.com\u002Fview\u002Fiot-network-intrusion-dataset\u002Fhome\n\n### 要求  \n* Python 3.6及以上版本\n* [Keras](https:\u002F\u002Fkeras.io\u002F) \n* [scikit-learn](https:\u002F\u002Fscikit-learn.org\u002Fstable\u002F)  \n* [hyperopt](https:\u002F\u002Fgithub.com\u002Fhyperopt\u002Fhyperopt)  \n* [optunity](https:\u002F\u002Fgithub.com\u002Fclaesenm\u002Foptunity)\n* [LightGBM](https:\u002F\u002Flightgbm.readthedocs.io\u002Fen\u002Flatest\u002F)  \n* [River](https:\u002F\u002Friverml.xyz\u002Fdev\u002F)\n\n## 联系方式\n如有任何问题或合作机会，欢迎随时联系我。我非常乐意为您提供帮助。\n\n* 邮箱：[liyanghart@gmail.com](mailto:liyanghart@gmail.com)\n* GitHub：[LiYangHart](https:\u002F\u002Fgithub.com\u002FLiYangHart) 和 [Western OC2 Lab](https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002F)\n* LinkedIn：[Li Yang](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fli-yang-phd-65a190176\u002F)  \n* Google 学术：[Li Yang](https:\u002F\u002Fscholar.google.com.eg\u002Fcitations?user=XEfM7bIAAAAJ&hl=en) 和 [OC2 Lab](https:\u002F\u002Fscholar.google.com.eg\u002Fcitations?user=oiebNboAAAAJ&hl=en)\n\n## 引用\n如果您在研究中使用了本仓库，请引用以下文章：\n\nL. Yang 和 A. Shami，“动态环境中的物联网数据分析：从自动化机器学习视角”，《人工智能工程应用》，第 116 卷，第 1–33 页，2022 年，doi：https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366。\n\n```\n@article{YANG2022105366,\ntitle = {IoT 数据分析在动态环境中的应用：从自动化机器学习视角},\nauthor = {Li Yang 和 Abdallah Shami},\njournal = {人工智能工程应用},\nvolume = {116},\npages = {1-33},\nyear = {2022},\ndoi = {https:\u002F\u002Fdoi.org\u002F10.1016\u002Fj.engappai.2022.105366},\nurl = {https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0952197622003803}\n}\n```","# AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 快速上手指南\n\n本工具提供了一套完整的自动化机器学习（AutoML）实现，适用于静态（批量）和动态（在线流式）数据分析场景，特别针对物联网（IoT）异常检测进行了案例演示。它涵盖了从数据预处理、特征工程、模型选择、超参数优化到模型自动更新的全流程自动化。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **Python 版本**：Python 3.6 或更高版本\n*   **核心依赖库**：\n    *   `Keras` (深度学习)\n    *   `scikit-learn` (传统机器学习)\n    *   `hyperopt` \u002F `optunity` (超参数优化)\n    *   `LightGBM` (梯度提升框架)\n    *   `River` (在线\u002F流式机器学习)\n\n> **提示**：国内开发者建议使用清华源或阿里源加速 Python 包的安装。\n\n## 安装步骤\n\n1.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab\u002FAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics.git\n    cd AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics\n    ```\n\n2.  **安装依赖包**\n    您可以手动安装所需库，或使用以下命令一次性安装（推荐配置国内镜像源）：\n\n    ```bash\n    pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple keras scikit-learn hyperopt optunity lightgbm river\n    ```\n\n    *注：如果 `River` 库安装困难，也可尝试 `pip install riverml`。*\n\n## 基本使用\n\n本项目通过 Jupyter Notebook 提供了两种主要场景的完整示例：**静态\u002F批量学习** 和 **动态\u002F在线学习**。无需编写额外代码，直接运行对应的 Notebook 文件即可体验全流程 AutoML。\n\n### 场景一：静态\u002F批量数据分析 (Static\u002FBatch Learning)\n适用于传统机器学习任务，数据一次性加载，模型训练后固定。\n\n*   **示例文件**：\n    *   `AutoML_Batch_Learning_Dataset_1.ipynb`\n    *   `AutoML_Batch_Learning_Dataset_2.ipynb`\n*   **启动方式**：\n    ```bash\n    jupyter notebook AutoML_Batch_Learning_Dataset_1.ipynb\n    ```\n*   **功能涵盖**：\n    *   自动化数据预处理\n    *   自动化特征工程\n    *   模型选择（RF, LightGBM, KNN, NB, ANN 等）\n    *   超参数优化（网格搜索、贝叶斯优化 TPE、粒子群优化 PSO）\n\n### 场景二：动态\u002F在线数据流分析 (Dynamic\u002FOnline Learning)\n适用于 IoT 数据流环境，处理概念漂移（Concept Drift），模型随数据流入持续更新。\n\n*   **示例文件**：\n    *   `AutoML_Online_Learning_Dataset_1.ipynb`\n    *   `AutoML_Online_Learning_Dataset_2.ipynb`\n*   **启动方式**：\n    ```bash\n    jupyter notebook AutoML_Online_Learning_Dataset_1.ipynb\n    ```\n*   **功能涵盖**：\n    *   流式数据处理\n    *   在线算法应用（Hoeffding Tree, Adaptive Random Forest 等）\n    *   自动化模型更新以应对数据分布变化\n\n### 数据集说明\n示例代码默认使用以下公开数据集（需自行下载并放置于指定目录，或在 Notebook 中修改路径）：\n1.  **CICIDS2017**：网络入侵检测数据集。\n2.  **IoTID20**：物联网僵尸网络数据集。\n\n运行 Notebook 后，您将看到从数据加载到最终模型评估及可视化的完整输出结果。","某智能制造工厂的数据团队正负责构建一套 IoT 设备异常检测系统，需同时处理历史存档数据与实时传感器流。\n\n### 没有 AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 时\n- **人工调参效率低**：工程师需手动尝试数十种算法组合与超参数，耗时数周才能确定一个勉强可用的静态模型。\n- **难以应对数据漂移**：产线环境变化导致数据分布改变（概念漂移），旧模型准确率迅速下降，必须停机重新训练。\n- **特征工程依赖经验**：缺乏自动化特征提取手段，严重依赖专家直觉，容易遗漏关键异常信号。\n- **流程割裂维护难**：数据预处理、模型选择与更新由不同脚本拼凑，代码冗余且难以复用到新产线。\n\n### 使用 AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 后\n- **全自动最优建模**：工具自动完成从数据清洗、特征构造到超参数优化的全流程，几小时内即可输出性能最佳的静态基准模型。\n- **在线自适应更新**：针对实时数据流，工具内置的持续学习机制能自动识别概念漂移并动态调整模型，无需人工干预即可保持高准确率。\n- **标准化特征挖掘**：通过自动化特征工程，系统能客观发现人眼难以察觉的高维关联特征，显著提升异常检出率。\n- **端到端流水线整合**：将批处理与在线学习统一在同一框架下，代码结构清晰，可快速迁移至其他设备的监控任务中。\n\nAutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 通过将繁琐的机器学习全流程自动化，让团队从重复劳动中解放，专注于解决动态工业场景下的核心业务难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FWestern-OC2-Lab_AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics_ddf7cc8e.png","Western-OC2-Lab","Western OC2 Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FWestern-OC2-Lab_2c0c06fc.png","The Optimized Computing and Communications (OC2) Laboratory within the Department of Electrical and Computer Engineering at Western University, London, Canada.",null,"https:\u002F\u002Fwww.eng.uwo.ca\u002Foc2\u002F","https:\u002F\u002Fgithub.com\u002FWestern-OC2-Lab",[80],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",100,627,110,"2026-04-05T13:23:32","MIT","未说明",{"notes":90,"python":91,"dependencies":92},"该工具支持静态（批量）学习和动态（在线\u002F流式）学习两种模式。静态学习使用随机森林、LightGBM、KNN、朴素贝叶斯和人工神经网络等算法；动态学习使用 Hoeffding Tree、Leveraging Bagging 等流式算法。优化算法包含网格搜索、贝叶斯优化 (BO-TPE) 和粒子群优化 (PSO)。代码以 Jupyter Notebook (.ipynb) 形式提供，需自行准备 CICIDS2017 或 IoTID20 数据集。","3.6+",[93,94,95,96,97,98],"Keras","scikit-learn","hyperopt","optunity","LightGBM","River",[14,16],[101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116],"automated-machine-learning","automl","concept-drift","data-preprocessing","data-stream-processing","data-streams","deep-learning","feature-engineering","hyperparameter-tuning","intrusion-detection-system","iot","iot-data-analytics","machine-learning","model-selection","python-examples","python-samples","2026-03-27T02:49:30.150509","2026-04-16T01:49:42.489413",[],[]]