Machine-Learning-Guide

GitHub
691 63 非常简单 1 次阅读 今天语言模型图像开发框架
AI 解读 由 AI 自动生成,仅供参考

Machine-Learning-Guide 是一份全面且持续更新的机器学习学习指南,旨在帮助开发者系统掌握从基础理论到前沿应用的各类知识。它解决了机器学习领域技术栈繁杂、学习资源分散的痛点,将庞大的生态系统整理得井井有条。内容涵盖主流开发框架(如 PyTorch、TensorFlow)、大语言模型(LLMs)的训练与本地部署工具、核心算法详解,以及计算机视觉、自然语言处理、强化学习和生物信息学等垂直领域的开发指引。

除了技术工具,该指南还精心汇集了课程认证、专业书籍、YouTube 教程及多语言(Python、C++、Julia 等)开发资源,甚至提供了将文档转换为 PDF 的实用技巧。无论是刚入门的学生、希望提升效率的软件工程师,还是从事前沿探索的研究人员,都能在这里找到适合自己的学习路径和开发利器。其独特的亮点在于对大模型生态的及时跟进,以及对跨语言、跨平台开发环境的细致梳理,是通往高效机器学习开发之路的可靠地图。

使用场景

某初创公司的算法工程师小李正负责从零搭建一个基于大语言模型(LLM)的智能客服系统,急需确定技术栈并寻找高质量的学习资源。

没有 Machine-Learning-Guide 时

  • 选型迷茫:面对 GitHub 上成千上万个框架和库,难以分辨哪些适合本地部署 LLM,哪些适合生产环境训练,浪费大量时间试错。
  • 资源分散:寻找教程时需要同时在 Coursera、YouTube、技术博客和官方文档间跳转,缺乏系统性的学习路径指引。
  • 环境配置困难:在配置 CUDA、PyTorch 或 TensorFlow 开发环境时,因缺少针对特定版本的避坑指南,频繁遭遇依赖冲突导致项目停滞。
  • 前沿滞后:难以快速获取关于最新 LLM 训练框架和推理工具的一手信息,导致技术方案可能起步即落后。

使用 Machine-Learning-Guide 后

  • 精准选型:直接查阅"LLMs Training Frameworks"和"Tools for deploying LLMs"章节,快速锁定了适合当前算力条件的开源框架与部署工具。
  • 路径清晰:利用"Learning Resources"板块中整理的课程、书籍及 YouTube 教程清单,为团队制定了从基础理论到实战开发的系统化培训计划。
  • 高效开发:参考 PyTorch、TensorFlow 及 CUDA 开发专项指南,迅速解决了环境配置难题,将原本需要数天的调试工作压缩至几小时。
  • 技术领先:通过持续更新的目录掌握最新的生物信息学、强化学习及 NLP 领域工具,确保产品架构始终处于行业前沿。

Machine-Learning-Guide 将碎片化的机器学习生态整合为一张清晰的导航图,让开发者从“大海捞针”转变为“按图索骥”,极大提升了技术落地效率。

运行环境要求

GPU

未说明

内存

未说明

依赖
notes该仓库并非一个可直接运行的软件工具,而是一份机器学习学习指南和资源列表。它主要包含课程、书籍、教程链接以及各类框架(如 PyTorch, TensorFlow, Core ML 等)的文档索引,因此没有具体的操作系统、硬件配置或依赖库安装要求。用户需根据指南中提到的具体子项目或框架去查阅相应的环境需求。
python未说明
Machine-Learning-Guide hero image

快速开始


机器学习指南

followers

维护中 最近提交

本指南涵盖机器学习的各个方面,包括应用场景、常用库和工具,助您更高效地进行机器学习开发。

注:您可以在 VSCode 中使用便捷扩展 Markdown PDF 轻松将此 Markdown 文件转换为 PDF。

机器学习/深度学习框架。

目录

  1. 机器学习学习资源

  2. 机器学习框架、库和工具

  3. 算法

  4. PyTorch 开发

  5. TensorFlow 开发

  6. Core ML 开发

  7. 深度学习开发

  8. 强化学习开发

  9. 计算机视觉开发

  10. 自然语言处理 (NLP) 开发

  11. 生物信息学

  12. CUDA 开发

  13. MATLAB 开发

  14. C/C++ 开发

  15. Java 开发

  16. Python 开发

  17. Scala 开发

  18. R 开发

  19. Julia 开发

机器学习学习资源

返回顶部

机器学习 是人工智能 (AI) 的一个分支,专注于利用从数据模型中学习并随着时间推移不断提高准确性的算法来构建应用程序,而无需显式编程。

开发者资源

返回顶部

课程与认证

返回顶部

图书

返回顶部

YouTube 教程

返回顶部

吴恩达:人工智能的机遇 - 斯坦福大学 2023 年 人工智能究竟是如何工作的? 人工智能与机器学习 机器学习与深度学习 什么是 Transformer(机器学习模型)? 那么,什么是神经网络呢?| 深度学习第一章 给机器学习初学者的建议 | 安德烈·卡帕西和莱克斯·弗里德曼 100 秒讲透机器学习 2023 年如何学习人工智能和机器学习——完整路线图 PyTorch 深度学习与机器学习——完整课程 使用 Python 和 TensorFlow 进行计算机视觉深度学习 大型语言模型的工作原理 什么是大型语言模型(LLMs)? 大型语言模型导论 用 Python 从零开始创建大型语言模型

机器学习框架、库和工具

返回顶部

TensorFlow 是一个端到端的开源机器学习平台。它拥有全面且灵活的工具、库和社区资源生态系统,使研究人员能够推动机器学习领域的前沿发展,也让开发者可以轻松构建和部署基于机器学习的应用程序。

Keras 是一个用 Python 编写的高级神经网络 API,可运行在 TensorFlow、CNTK 或 Theano 之上。它专注于支持快速实验,能够在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等框架之上运行。

PyTorch 是一个用于处理不规则输入数据(如图、点云和流形)的深度学习库。主要由 Facebook 的 AI 研究实验室开发。

Amazon SageMaker 是一项完全托管的服务,使每位开发者和数据科学家都能快速构建、训练和部署机器学习(ML)模型。SageMaker 可以减轻机器学习流程中每个步骤的繁重工作,从而更容易开发出高质量的模型。

Azure Databricks 是一种基于 Apache Spark 的快速协作式大数据分析服务,专为数据科学和数据工程设计。Azure Databricks 可在几分钟内设置好 Apache Spark 环境,并实现自动扩展,在交互式工作区中进行共享项目协作。Azure Databricks 支持 Python、Scala、R、Java 和 SQL,以及 TensorFlow、PyTorch 和 scikit-learn 等数据科学框架和库。

Microsoft Cognitive Toolkit (CNTK) 是一个面向商业级分布式深度学习的开源工具包。它通过有向图将神经网络描述为一系列计算步骤。CNTK 允许用户轻松实现并组合流行的模型类型,例如前馈 DNN、卷积神经网络(CNN)和循环神经网络(RNN/LSTM)。CNTK 实现了随机梯度下降法(SGD,误差反向传播)的学习,并支持自动微分以及跨多个 GPU 和服务器的并行化。

Apple CoreML 是一个帮助将机器学习模型集成到应用中的框架。Core ML 为所有模型提供统一的表示形式。您的应用可以使用 Core ML API 和用户数据来进行预测,也可以在用户的设备上训练或微调模型。模型是通过将机器学习算法应用于一组训练数据而得到的结果。您可以使用模型根据新的输入数据做出预测。

Apache OpenNLP 是一个基于机器学习的自然语言文本处理开源工具库。它提供了一系列 API,可用于诸如 命名实体识别句子检测词性标注分词特征提取组块分析句法分析以及 共指消解 等任务。

Apache Airflow 是一个由社区创建的开源工作流管理平台,用于以编程方式编写、调度和监控工作流。安装简便、原理清晰、可扩展性强。Airflow 具有模块化架构,并使用消息队列来协调任意数量的工作节点。Airflow 能够无限扩展。

开放神经网络交换格式(ONNX) 是一个开放生态系统,旨在帮助 AI 开发者在项目演进过程中选择合适的工具。ONNX 提供了一种针对深度学习和传统机器学习模型的开源格式,定义了一个可扩展的计算图模型,以及内置算子和标准数据类型的规范。

Apache MXNet 是一个专为高效性和灵活性设计的深度学习框架。它允许您混合使用符号式和命令式编程,从而最大化效率和生产力。MXNet 的核心是一个动态依赖调度器,能够实时自动并行化符号式和命令式操作。在其之上还有一层图优化层,使符号式执行既快速又节省内存。MXNet 具有良好的移植性和轻量级特性,能够有效扩展到多 GPU 和多台机器上。支持 Python、R、Julia、Scala、Go、JavaScript 等多种语言。

AutoGluon 是一个用于深度学习的工具包,能够自动化机器学习任务,让您轻松在应用中实现强大的预测性能。只需几行代码,您就可以在表格数据、图像和文本数据上训练并部署高精度的深度学习模型。

Anaconda 是一个非常流行的数据科学平台,适用于机器学习和深度学习,使用户能够开发、训练和部署模型。

PlaidML 是一款先进且可移植的张量编译器,能够在笔记本电脑、嵌入式设备或其他计算硬件支持不足或软件许可限制较多的设备上运行深度学习。

OpenCV 是一个高度优化的库,专注于实时计算机视觉应用。其 C++、Python 和 Java 接口支持 Linux、MacOS、Windows、iOS 和 Android 系统。

Scikit-Learn 是一个基于 SciPy、NumPy 和 matplotlib 构建的 Python 机器学习模块,使得许多流行的机器学习算法的稳健且简单的实现变得更加容易。

Weka 是一款开源机器学习软件,可通过图形用户界面、标准终端应用程序或 Java API 访问。它广泛应用于教学、科研和工业领域,内置了大量用于标准机器学习任务的工具,并且还能透明地访问 scikit-learn、R 和 Deeplearning4j 等知名工具箱。

Caffe 是一个以表达性、速度和模块化为核心理念的深度学习框架。它由伯克利人工智能研究实验室 (BAIR)、伯克利视觉与学习中心 (BVLC) 以及社区贡献者共同开发。

Theano 是一个 Python 库,允许您高效地定义、优化和评估涉及多维数组的数学表达式,并与 NumPy 紧密集成。

nGraph 是一个用于深度学习的开源 C++ 库、编译器和运行时环境。nGraph 编译器旨在加速使用任何深度学习框架开发 AI 工作负载,并将其部署到各种硬件目标上。它为 AI 开发人员提供了自由度、高性能和易用性。

NVIDIA cuDNN 是一个针对 深度神经网络 的 GPU 加速原语库。cuDNN 提供了对前向和反向卷积、池化、归一化和激活层等标准操作的高度优化实现。cuDNN 可以加速广泛使用的深度学习框架,包括 Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow 等。

Huginn 是一个自托管系统,用于构建代理程序,为您在线执行自动化任务。它可以抓取网页、监控事件,并代表您采取行动。Huginn 的代理会创建和消费事件,并沿着有向图传播这些事件。您可以把它看作是运行在您自己的服务器上的可 hack 版 IFTTT 或 Zapier。

Netron 是一款用于查看神经网络、深度学习和机器学习模型的工具。它支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barracuda、Tengine、CNTK、TensorFlow.js、Caffe2 和 UFF 等格式。

Dopamine 是一个用于快速原型化强化学习算法的研究框架。

DALI 是一个 GPU 加速库,包含高度优化的数据处理构建模块和执行引擎,用于加速深度学习的训练和推理应用。

MindSpore Lite 是一个新的开源深度学习训练/推理框架,可用于移动、边缘和云场景。

Darknet 是一个用 C 语言和 CUDA 编写的开源神经网络框架。它速度快、易于安装,并支持 CPU 和 GPU 计算。

PaddlePaddle 是一个易用、高效、灵活且可扩展的深度学习平台,最初由百度的科学家和工程师开发,旨在将深度学习应用于百度的众多产品中。

GoogleNotebookLM 是一款实验性的人工智能工具,利用语言模型的强大功能与您现有的内容相结合,以更快地获得关键见解。它类似于一位虚拟研究助理,可以根据您选择的资料来源总结事实、解释复杂概念,并头脑风暴新的关联。

Unilm 是一个跨任务、跨语言和跨模态的大规模自监督预训练模型。

Semantic Kernel (SK) 是一个轻量级 SDK,能够将 AI 大型语言模型(LLMs)与传统编程语言集成。SK 的可扩展编程模型结合了自然语言语义函数、传统代码原生函数以及基于嵌入的记忆,从而释放新的潜力,为应用程序增添 AI 价值。

Pandas AI 是一个 Python 库,它将生成式人工智能能力集成到 Pandas 中,使数据框具备对话交互能力。

NCNN 是一个针对移动平台优化的高性能神经网络推理框架。

MNN 是一个极速、轻量级的深度学习框架,已在阿里巴巴的关键业务场景中经过严苛考验。

MediaPipe 针对多种平台进行了端到端性能优化。查看演示 了解详情 将复杂的设备端机器学习简化 我们已抽象出使设备端机器学习可定制、生产就绪且跨平台可用的复杂性。

MegEngine 是一个快速、可扩展且用户友好的深度学习框架,具有三大核心特性:统一的训练与推理框架。

ML.NET 是一个机器学习库,被设计为一个可扩展的平台,允许您使用其他流行的机器学习框架(TensorFlow、ONNX、Infer.NET 等),并访问更多机器学习场景,如图像分类、目标检测等。

Ludwig 是一个 声明式机器学习框架,它通过简单灵活的数据驱动配置系统,轻松定义机器学习工作流。

MMdnn 是一个全面且跨框架的工具,用于转换、可视化和诊断深度学习(DL)模型。“MM”代表模型管理,“dnn”是深度神经网络的缩写。可在 Caffe、Keras、MXNet、TensorFlow、CNTK、PyTorch、Onnx 和 CoreML 之间转换模型。

Horovod 是一个适用于 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式深度学习训练框架。

Vaex 是一个高性能的 Python 库,用于处理惰性的大规模外存数据框(类似于 Pandas),以便可视化和探索大型表格数据集。

GluonTS 是一个用于概率时间序列建模的 Python 包,专注于基于深度学习的模型,依托 PyTorchMXNet 构建。

MindsDB 是一个 ML-SQL 服务器,它允许使用 SQL 在最强大的数据库和数据仓库中运行机器学习工作流。

Jupyter Notebook 是一个开源 Web 应用程序,允许您创建和共享包含实时代码、方程、可视化效果和叙述性文本的文档。Jupyter 广泛应用于数据清洗与转换、数值模拟、统计建模、数据可视化、数据科学和机器学习等领域。

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供 Scala、Java、Python 和 R 等高级 API,以及一个优化的引擎,支持通用计算图进行数据分析。此外,它还支持丰富的高级工具,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图处理的 GraphX,以及用于流处理的 Structured Streaming。

Apache Spark Connector for SQL Server and Azure SQL 是一个高性能连接器,使您能够在大数据分析中使用事务性数据,并将结果持久化用于即席查询或报告。该连接器允许您将任何 SQL 数据库——无论是本地部署还是云端——用作 Spark 作业的输入数据源或输出数据接收端。

Apache PredictionIO 是一个面向开发者、数据科学家和最终用户的开源机器学习框架。它支持事件收集、算法部署、评估以及通过 REST API 查询预测结果。该框架基于 Hadoop、HBase(以及其他数据库)、Elasticsearch、Spark 等可扩展的开源服务,并实现了所谓的 Lambda 架构。

Cluster Manager for Apache Kafka(CMAK) 是一个用于管理 Apache Kafka 集群的工具。

BigDL 是一个适用于 Apache Spark 的分布式深度学习库。借助 BigDL,用户可以将他们的深度学习应用编写为标准的 Spark 程序,这些程序可以直接在现有的 Spark 或 Hadoop 集群上运行。

Eclipse Deeplearning4J (DL4J) 是一组项目,旨在满足基于 JVM(Scala、Kotlin、Clojure 和 Groovy)的深度学习应用的所有需求。这意味着从原始数据开始,无论其来源和格式如何,都可以对其进行加载和预处理,进而构建和调优各种简单及复杂的深度学习网络。

Tensorman 是由 System76 开发的一个用于轻松管理 Tensorflow 容器的实用工具。Tensorman 允许 Tensorflow 在一个与系统其他部分隔离的环境中运行。这种虚拟环境可以独立于基础系统运行,使您能够在任何支持 Docker 运行时的 Linux 发行版上使用任意版本的 Tensorflow。

Numba 是由 Anaconda, Inc. 赞助的一个开源、支持 NumPy 的 Python 优化编译器。它利用 LLVM 编译器项目将 Python 语法转换为机器码。Numba 可以编译大量以数值计算为主的 Python 代码,包括许多 NumPy 函数。此外,Numba 还支持循环的自动并行化、生成 GPU 加速代码,以及创建 ufunc 和 C 回调函数。

Chainer 是一个基于 Python 的深度学习框架,旨在提供灵活性。它提供了基于“定义即运行”方法(动态计算图)的自动微分 API,以及面向对象的高级 API 来构建和训练神经网络。Chainer 还通过 CuPy 支持 CUDA/cuDNN,从而实现高性能的训练和推理。

XGBoost 是一个优化的分布式梯度提升库,设计目标是高效、灵活且可移植。它实现了梯度提升框架下的机器学习算法。XGBoost 提供了一种并行树提升技术(也称为 GBDT 或 GBM),能够快速而准确地解决许多数据科学问题。它支持在多台机器上进行分布式训练,包括 AWS、GCE、Azure 和 Yarn 集群。此外,它还可以与 Flink、Spark 等云数据流系统集成。

cuML 是一套库,实现了机器学习算法和数学基础函数,其 API 与其他 RAPIDS 项目兼容。cuML 使数据科学家、研究人员和软件工程师能够在 GPU 上运行传统的表格型机器学习任务,而无需深入了解 CUDA 编程细节。在大多数情况下,cuML 的 Python API 与 scikit-learn 的 API 完全匹配。

Emu 是一个面向 Rust 的 GPGPU 库,专注于可移植性、模块化和性能。它是在 WebGPU 之上构建的类似 CUDA 的计算专用抽象层,提供了特定功能,使 WebGPU 的使用体验更接近 CUDA。

Scalene 是一款高性能的 Python CPU、GPU 和内存分析工具,具备其他 Python 性能分析工具所不具备的功能。它的运行速度比许多其他分析工具快几个数量级,同时提供更为详尽的信息。

MLpack 是一个快速、灵活的 C++ 机器学习库,用 C++ 编写,并基于 Armadillo 线性代数库、ensmallen 数值优化库以及部分 Boost 库构建而成。

Netron 是一个用于查看神经网络、深度学习和机器学习模型的工具。它支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barracuda、Tengine、CNTK、TensorFlow.js、Caffe2 和 UFF 格式。

Lightning 是一个用于构建和训练 PyTorch 模型的工具,可通过 Lightning App 模板将模型与机器学习生命周期连接起来,而无需自行处理基础设施、成本管理、扩展等问题。

OpenNN 是一个用于机器学习的开源神经网络库。它包含复杂的算法和实用工具,可用于处理多种人工智能解决方案。

H2O 是一个 AI 云平台,能够解决复杂的业务问题,并加速新想法的发现,同时提供易于理解且值得信赖的结果。

Gensim 是一个用于主题建模、文档索引和大规模语料相似度检索的 Python 库。其目标用户是自然语言处理(NLP)和信息检索(IR)领域的从业者。

llama.cpp 是 Facebook 的 LLaMA 模型在 C/C++ 中的移植版本。

hmmlearn 是一组用于无监督学习和推断 隐马尔可夫模型 的算法。

Nextjournal 是一个用于可重复研究的笔记本环境。它可以运行任何可以放入 Docker 容器的内容。通过多语言笔记本、自动版本控制和实时协作,您可以改进工作流程;借助按需资源调配(包括 GPU 支持),节省时间和成本。

IPython 提供了一个丰富的交互式计算架构,包括:

  • 一个功能强大的交互式 shell。
  • 一个用于 Jupyter 的内核。
  • 对交互式数据可视化和 GUI 工具包 的支持。
  • 灵活且可嵌入的解释器,可加载到您自己的项目中。
  • 易于使用且高性能的 并行计算 工具。

Veles 是三星目前正在开发的用于快速深度学习应用开发的分布式平台。

DyNet 是由卡内基梅隆大学及其他机构开发的神经网络库。它用 C++ 编写(并提供 Python 绑定),设计目标是在 CPU 或 GPU 上高效运行,并能很好地处理结构会随每次训练实例变化的动态网络。这类网络在自然语言处理任务中尤为重要,DyNet 已被用于构建最先进的句法解析、机器翻译、形态学屈折等系统,以及其他众多应用领域。

Ray 是一个用于扩展 AI 和 Python 应用程序的统一框架。它由核心分布式运行时和用于加速机器学习工作负载的库套件(Ray AIR)组成。

whisper.cpp 是 OpenAI 的 Whisper 自动语音识别(ASR)模型的高性能推理实现。

ChatGPT Plus 是 ChatGPT 的一项试点订阅计划(每月 20 美元),该对话式 AI 能够与您聊天、回答后续问题,并对不正确的假设提出质疑。

Auto-GPT 是一种“AI 代理”,它可以根据自然语言给出的目标,将其分解为子任务,并通过互联网和其他工具在自动化循环中尝试实现该目标。它使用 OpenAI 的 GPT-4 或 GPT-3.5 API,是首批利用 GPT-4 执行自主任务的应用之一。

mckaywrigley 制作的 Chatbot UI 是一个基于 Next.js、TypeScript 和 Tailwind CSS 构建的高级聊天机器人工具包,专为 OpenAI 的聊天模型设计,建立在 Chatbot UI Lite 之上。此版本的 ChatBot UI 同时支持 GPT-3.5 和 GPT-4 模型。对话会话存储在您的浏览器本地,您还可以导出和导入会话,以防止数据丢失。请参阅 演示

mckaywrigley 制作的 Chatbot UI Lite 是一个简单的聊天机器人入门工具包,适用于 OpenAI 的聊天模型,使用 Next.js、TypeScript 和 Tailwind CSS 构建。请参阅 演示

MiniGPT-4 是一种利用先进大型语言模型增强视觉-语言理解能力的系统。

GPT4All 是一个开源聊天机器人生态系统,基于大量干净的助手数据进行训练,这些数据包括代码、故事和对话,其基础是 LLaMa 模型。

GPT4All UI 是一个 Flask Web 应用程序,提供用于与 GPT4All 聊天机器人交互的聊天界面。

Alpaca.cpp 是一款可在您设备上本地运行的快速类 ChatGPT 模型。它结合了 LLaMA 基础模型 以及对 斯坦福 Alpaca 的开源复现——该模型是对基础模型进行微调,使其能够遵循指令(类似于用于训练 ChatGPT 的 RLHF 技术),并针对 llama.cpp 进行了一系列修改,以添加聊天界面。

llama.cpp 是 Facebook 的 LLaMA 模型在 C/C++ 中的移植版本。

OpenPlayground 是一个可在您设备上本地运行类 ChatGPT 模型的实验平台。

Vicuna 是一个通过微调 LLaMA 模型训练而成的开源聊天机器人。据称其性能可达到 ChatGPT 的 90% 以上,而训练成本仅为 300 美元。

Yeagar ai 是一个 Langchain 代理创建工具,旨在帮助您轻松构建、原型化和部署由 AI 驱动的代理。

Vicuna 是通过微调 LLaMA 基础模型创建的,使用的数据约有 7 万个由用户在 ShareGPT.com 上分享的对话,这些对话通过公开 API 收集而来。为确保数据质量,系统会将 HTML 格式转换回 Markdown,并过滤掉一些不适当或低质量的样本。

ShareGPT 是一个只需点击即可分享您最疯狂的 ChatGPT 对话的地方。截至目前,已共享 198,404 条对话。

FastChat 是一个用于训练、服务和评估基于大型语言模型的聊天机器人的开放平台。

Haystack 是一个开源 NLP 框架,允许您使用 Transformer 模型和 LLM(如 GPT-4、ChatGPT 等)与您的数据进行交互。它提供了生产就绪的工具,可快速构建复杂的决策制定、问答、语义搜索、文本生成等应用。

StableLM(Stability AI 语言模型) 是一系列语言模型,未来将持续更新新的检查点。

Databricks’ Dolly 是一个遵循指令的大型语言模型,由 Databricks 的机器学习平台训练而成,且获准用于商业用途。

GPTCach 是一个用于为 LLM 查询创建语义缓存的库。

AlaC 是一个人工智能基础设施即代码生成器。

Adrenaline 是一款让您与代码库对话的工具,它基于静态分析、向量搜索和大型语言模型技术。

OpenAssistant 是一个基于聊天的助手,能够理解任务、与第三方系统交互,并动态获取信息来完成任务。

DoctorGPT 是一个轻量级的自包含二进制文件,用于监控应用程序日志中的问题并进行诊断。

HttpGPT 是一款虚幻引擎 5 插件,可通过异步 REST 请求方便地与 OpenAI 的基于 GPT 的服务(ChatGPT 和 DALL-E)集成,使开发者能够轻松与这些服务通信。它还包含编辑器工具,可直接在引擎中集成 ChatGPT 和 DALL-E 图像生成功能。

PaLM 2 是新一代大型语言模型,继承了 Google 在机器学习和负责任的人工智能领域取得的突破性研究成果。它具备先进的推理能力,涵盖代码和数学、分类与问答、翻译与多语言能力,以及比我们之前最先进的 LLM 更出色的自然语言生成能力。

Med-PaLM 是一款大型语言模型 (LLM),旨在为医学问题提供高质量的答案。它充分利用了 Google 的大型语言模型能力,并通过精心策划的医学专家演示将其与医学领域紧密结合。

Sec-PaLM 是一类大型语言模型 (LLMs),能够加速负责组织安全的人员的工作效率。这些新模型不仅让人们以更自然、更具创意的方式理解和管理安全性。

大语言模型训练框架

返回顶部

  • Alpa 是一个用于训练和部署大规模神经网络的系统。
  • BayLing - 一款英中双语大语言模型,具备先进的语言对齐能力,在英中文本生成、指令遵循及多轮对话交互方面表现出色。
  • BLOOM - BigScience 大规模开源多语言语言模型 BLOOM-LoRA
  • Cerebras-GPT - 一系列开放、计算高效的大型语言模型。
  • DeepSpeed 是一个深度学习优化库,旨在使分布式训练和推理变得简单、高效且有效。
  • FairScale 是一个用于高性能和大规模训练的 PyTorch 扩展库。该库在扩展 PyTorch 基础功能的同时,引入了多项最先进的模型并行化技术。
  • GLM - GLM 是一种基于自回归填空目标预训练的通用语言模型,可针对各类自然语言理解与生成任务进行微调。
  • OpenFlamingo 是 DeepMind 的 Flamingo 模型的开源实现框架,用于训练大型多模态模型。
  • OPT - 开放式预训练 Transformer 语言模型。
  • StarCoder - Hugging Face 的代码专用大语言模型。
  • UltraLM - 大规模、信息丰富且多样化的多轮对话模型。
  • UL2 - 一种统一的预训练框架,适用于跨数据集和不同设置的通用模型。

大语言模型部署工具

返回顶部

  • Agenta - 轻松构建、版本管理、评估和部署基于大语言模型的应用程序。
  • BentoML 专为基于大语言模型的应用而设计。
  • CometLLM - 一个开源的 LLMOps 平台,用于记录、管理和可视化您的大语言模型提示及链路。跟踪提示模板、提示变量、提示执行时间、令牌使用情况等元数据,并可在单一界面中对提示输出进行评分及聊天历史可视化。
  • FastChat - 一个具有 Web UI 和 OpenAI 兼容 RESTful API 的分布式多模型大语言模型服务系统。
  • Embedchain - 一个框架,用于基于您的数据集创建类似 ChatGPT 的聊天机器人。
  • IntelliServer - 通过提供统一的微服务来访问和测试多种 AI 模型,简化大语言模型的评估流程。
  • Haystack - 一个开源的 NLP 框架,允许您使用来自 Hugging Face、OpenAI 和 Cohere 的大语言模型及 Transformer 模型与您自己的数据进行交互。
  • Langroid - 通过多智能体编程充分利用大语言模型。
  • LangChain - 通过组合性构建基于大语言模型的应用。
  • LiteChain - LangChain 的轻量级替代方案,用于组合大语言模型。
  • Magentic - 可以将大语言模型无缝集成为 Python 函数。
  • Promptfoo - 测试您的提示词,评估和比较大语言模型的输出,捕捉回归问题并提升提示质量。
  • OpenLLM 是一个用于在生产环境中运行大型语言模型(LLMs)的开放平台。您可以轻松地对任何 LLM 进行微调、服务、部署和监控。
  • Serge - 一个基于 llama.cpp 构建的聊天界面,用于运行 Alpaca 模型。无需 API 密钥,完全自托管!
  • SkyPilot - 在任意云平台上运行大语言模型和批处理任务。通过简单的界面获得最大成本节约、最高 GPU 可用性以及托管式执行。
  • Text Generation Inference - 一个基于 Rust、Python 和 gRPC 的文本生成推理服务器。该服务器在 HuggingFace 的生产环境中用于支持 LLM 的 API 推理组件。
  • vLLM - 一个高吞吐量、内存高效的 LLM 推理与服务引擎。

在本地运行大语言模型

返回顶部

LocalAI 是一个由社区驱动的自托管本地 OpenAI 兼容 API。它可作为 OpenAI 的直接替代品,在消费级硬件上运行大语言模型,无需 GPU。该 API 支持运行 ggml 兼容模型,包括 llama、gpt4all、rwkv、whisper、vicuna、koala、gpt4all-j、cerebras、falcon、dolly、starcoder 等多种模型。

llama.cpp 是 Facebook 的 LLaMA 模型在 C/C++ 中的移植版本。

ollama 是一款工具,可以帮助用户在本地快速启动并运行 Llama 2 及其他大型语言模型。

LocalAI 是一个由社区驱动的自托管本地 OpenAI 兼容 API。它可作为 OpenAI 的直接替代品,在消费级硬件上运行大语言模型,无需 GPU。该 API 支持运行 ggml 兼容模型,包括 llama、gpt4all、rwkv、whisper、vicuna、koala、gpt4all-j、cerebras、falcon、dolly、starcoder 等多种模型。

Serge 是一个通过 llama.cpp 与 Alpaca 对话的 Web 界面。完全自托管且容器化,提供易于使用的 API。

OpenLLM 是一个用于在生产环境中运行大型语言模型(LLMs)的开放平台。可以轻松地对任何 LLM 进行微调、服务、部署和监控。

Llama-gpt 是一款自托管的离线类 ChatGPT 聊天机器人。基于 Llama 2 构建,100% 私密,数据不会离开您的设备。

Llama2 webui 是一款工具,可在任何地方(Linux/Windows/Mac)使用 Gradio 界面,在 GPU 或 CPU 上本地运行任意 Llama 2 模型。您可以将 llama2-wrapper 用作生成式代理或应用的本地 Llama 2 后端。

Llama2.c 是一种工具,可以在 PyTorch 中训练 Llama 2 的 LLM 架构,然后使用一个简单的 700 行 C 文件(run.c)进行推理。

Alpaca.cpp 是一款在您设备上本地运行的快速类 ChatGPT 模型。它结合了 LLaMA 基础模型斯坦福 Alpaca 的开源复现版(tloen/alpaca-lora),后者是对基础模型进行指令遵循的微调(类似于用于训练 ChatGPT 的 RLHF),并针对 llama.cpp 进行了一系列修改,以添加聊天界面。

GPT4All 是一个开源聊天机器人生态系统,基于大量干净的助手数据集进行训练,这些数据集包括代码、故事和对话,其基础是 LLaMa

MiniGPT-4 是一种利用先进大型语言模型增强视觉-语言理解能力的工具。

LoLLMS WebUI 是一个大型语言模型(LLM)的枢纽。它的目标是提供一个用户友好的界面,以便访问和使用各种 LLM 模型来完成广泛的任务。无论您需要写作、编程、整理数据、生成图像,还是寻求问题的答案,都可以在这里找到帮助。

LM Studio 是一款用于发现、下载和本地运行 LLM 的工具。

Gradio Web UI 是一款面向大型语言模型的工具。支持 transformers、GPTQ、llama.cpp(ggml/gguf)以及 Llama 模型。

OpenPlayground 是一个在您设备上本地运行类 ChatGPT 模型的实验平台。

Vicuna 是一个通过微调 LLaMA 训练而成的开源聊天机器人。据称其质量超过 ChatGPT 的 90%,而训练成本仅为 300 美元。

Yeagar ai 是一个 Langchain 代理创建工具,旨在帮助您轻松构建、原型设计和部署人工智能驱动的代理。

KoboldCpp 是一款易于使用的 GGML 模型 AI 文本生成软件。它是由 Concedo 发布的一个独立可分发包,基于 llama.cpp 构建,并添加了一个多功能的 Kobold API 端点、额外的格式支持、向后兼容性,以及一个功能丰富的用户界面,包含持久化的对话记录、编辑工具、保存格式、记忆、世界信息、作者注释、角色和场景等功能。

算法

返回顶部

【模糊逻辑】是一种启发式方法,它能够实现更高级的决策树处理,并更好地与基于规则的编程相结合。


模糊逻辑系统的架构。来源:ResearchGate

【支持向量机(SVM)】是一种监督学习模型,使用分类算法解决二分类问题。


支持向量机(SVM)。来源:OpenClipArt

【神经网络】是机器学习的一个子集,也是深度学习算法的核心。其名称和结构灵感来源于人脑,模仿了生物神经元之间相互传递信号的过程。


深度神经网络。来源:IBM

【卷积神经网络(R-CNN)】是一种目标检测算法,它首先对图像进行分割以找到潜在的相关边界框,然后运行检测算法来识别这些边界框中最可能包含的对象。


卷积神经网络。来源:CS231n

【循环神经网络(RNN)】是一类人工神经网络,适用于处理序列数据或时间序列数据。


循环神经网络。来源:Slideteam

【多层感知器(MLP)】是由多层【感知器】组成的多层神经网络,每层都带有阈值激活函数。


多层感知器。来源:DeepAI

【随机森林】是一种常用的机器学习算法,它通过结合多个决策树的输出来得出最终结果。森林中的每一棵决策树都不会被修剪,因此可以用于抽样和预测选择。由于其易用性和灵活性,随机森林在分类和回归问题中都得到了广泛应用。


随机森林。来源:wikimedia

【决策树】是用于分类和回归的树状结构模型。


决策树。来源:CMU

【朴素贝叶斯】是一种用于解决分类问题的机器学习算法。它基于【贝叶斯定理】,并假设各个特征之间具有较强的独立性。


贝叶斯定理。来源:mathisfun

PyTorch 开发

返回顶部


PyTorch 学习资源

【PyTorch】是一个开源的深度学习框架,能够加速从研究到生产的流程,广泛应用于计算机视觉和自然语言处理等领域。PyTorch由【Facebook AI Research】实验室开发。

【PyTorch 入门指南】(https://pytorch.org/get-started/locally/)

【PyTorch 官方文档】(https://pytorch.org/docs/stable/index.html)

【PyTorch 讨论论坛】(https://discuss.pytorch.org/)

【Coursera 上的顶级 PyTorch 课程 | Coursera】(https://www.coursera.org/courses?query=pytorch&page=1)

【Udemy 上的顶级 PyTorch 课程 | Udemy】(https://www.udemy.com/topic/PyTorch/)

【通过在线课程和课堂学习 PyTorch | edX】(https://www.edx.org/learn/pytorch)

【PyTorch 基础知识 - Learn | Microsoft Docs】(https://docs.microsoft.com/en-us/learn/paths/pytorch-fundamentals/)

【使用 PyTorch 进行深度学习入门 | Udacity】(https://www.udacity.com/course/deep-learning-pytorch--ud188)

【在 Visual Studio Code 中进行 PyTorch 开发】(https://code.visualstudio.com/docs/datascience/pytorch-support)

【Azure 上的 PyTorch - 使用 PyTorch 进行深度学习 | Microsoft Azure】(https://azure.microsoft.com/en-us/develop/pytorch/)

【PyTorch - Azure Databricks | Microsoft Docs】(https://docs.microsoft.com/en-us/azure/databricks/applications/machine-learning/train-model/pytorch)

【使用 PyTorch 进行深度学习 | Amazon Web Services (AWS)】(https://aws.amazon.com/pytorch/)

【在 Google Cloud 上开始使用 PyTorch】(https://cloud.google.com/ai-platform/training/docs/getting-started-pytorch)

PyTorch 工具、库和框架

【PyTorch Mobile】(https://pytorch.org/mobile/home/) 是一个端到端的机器学习工作流,涵盖从训练到部署的全过程,适用于 iOS 和 Android 移动设备。

TorchScript 是一种从 PyTorch 代码中创建可序列化且可优化模型的方法。这使得任何 TorchScript 程序都可以从 Python 进程中保存,并在没有 Python 依赖的进程中加载。

TorchServe 是一个灵活且易于使用的工具,用于部署 PyTorch 模型。

Keras 是一个用 Python 编写的高级神经网络 API,可在 TensorFlow、CNTK 或 Theano 等后端上运行。它专注于支持快速实验,能够运行在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等框架之上。

ONNX Runtime 是一个跨平台、高性能的机器学习推理和训练加速器。它支持来自 PyTorch 和 TensorFlow/Keras 等深度学习框架的模型,以及 scikit-learn、LightGBM、XGBoost 等传统机器学习库中的模型。

Kornia 是一个可微分计算机视觉库,包含一系列用于解决通用计算机视觉问题的例程和可微模块。

PyTorch-NLP 是一个用于 Python 中自然语言处理(NLP)的库。它基于最新的研究成果构建,自始至终都旨在支持快速原型开发。PyTorch-NLP 提供预训练的词嵌入、采样器、数据集加载器、评估指标、神经网络模块和文本编码器。

Ignite 是一个高级库,用于在 PyTorch 中灵活透明地训练和评估神经网络。

Hummingbird 是一个将训练好的传统机器学习模型编译为张量计算的库。它允许用户无缝利用神经网络框架(如 PyTorch)来加速传统机器学习模型。

Deep Graph Library (DGL) 是一个基于 Python 的软件包,专为在 PyTorch 及其他框架之上轻松实现图神经网络模型系列而设计。

TensorLy 是一个用于 Python 中张量方法和深度张量化神经网络的高级 API,旨在使张量学习变得简单。

GPyTorch 是一个使用 PyTorch 实现的高斯过程库,专为构建可扩展、灵活的高斯过程模型而设计。

Poutyne 是一个类似于 Keras 的 PyTorch 框架,可以处理训练神经网络所需的大量样板代码。

Forte 是一个用于构建 NLP 流水线的工具包,具有可组合的组件、便捷的数据接口以及跨任务交互功能。

TorchMetrics 是一套用于分布式、可扩展 PyTorch 应用程序的机器学习指标。

Captum 是一个基于 PyTorch 构建的开源、可扩展的模型可解释性库。

Transformer 是一个面向 PyTorch、TensorFlow 和 JAX 的最先进自然语言处理框架。

Hydra 是一个用于优雅配置复杂应用的框架。

Accelerate 是一种简单的方式,用于在多 GPU、TPU 上以混合精度训练和使用 PyTorch 模型。

Ray 是一个快速且简单的框架,用于构建和运行分布式应用程序。

ParlAI 是一个统一的平台,用于共享、训练和评估跨多种任务的对话模型。

PyTorchVideo 是一个用于视频理解研究的深度学习库。它提供了各种以视频为中心的模型、数据集、训练流水线等。

Opacus 是一个允许使用差分隐私训练 PyTorch 模型的库。

PyTorch Lightning 是一个类似于 Keras 的 PyTorch 机器学习库。它将核心的训练和验证逻辑交给你,而自动完成其余部分。

PyTorch Geometric Temporal 是 PyTorch Geometric 的时间(动态)扩展库。

PyTorch Geometric 是一个用于处理不规则输入数据(如图、点云和流形)的深度学习库。

Raster Vision 是一个用于卫星和航空影像深度学习的开源框架。

CrypTen 是一个保护隐私的机器学习框架。其目标是使安全计算技术对机器学习从业者更加易用。

Optuna 是一个开源的超参数优化框架,用于自动化超参数搜索。

Pyro 是一种用 Python 编写的通用概率编程语言(PPL),后端由 PyTorch 支持。

Albumentations 是一个快速且可扩展的图像增强库,适用于分类、分割、目标检测和姿态估计等不同的计算机视觉任务。

Skorch 是一个与 scikit-learn volfully 兼容的 PyTorch 高级库。

MMF 是 Facebook AI Research (FAIR) 开发的一个用于视觉与语言多模态研究的模块化框架。

AdaptDL 是一个资源自适应的深度学习训练和调度框架。

Polyaxon 是一个用于构建、训练和监控大规模深度学习应用的平台。

TextBrewer 是一个基于 PyTorch 的知识蒸馏工具包,用于自然语言处理。

AdverTorch 是一个用于对抗鲁棒性研究的工具箱。它包含生成对抗样本和防御攻击的模块。

NeMo 是一个用于对话式 AI 的工具包。

ClinicaDL 是一个用于阿尔茨海默病可重复性分类的框架。

Stable Baselines3 (SB3) 是一组在 PyTorch 中可靠实现的强化学习算法。

TorchIO 是一套工具,用于高效地读取、预处理、采样、增强和写入深度学习应用中的 3D 医学图像。

PySyft 是一个用于加密、保护隐私的深度学习的 Python 库。

Flair 是一个非常简单的框架,用于最先进的自然语言处理(NLP)。

Glow 是一个机器学习编译器,能够加速深度学习框架在不同硬件平台上的性能。

FairScale 是一个 PyTorch 扩展库,用于在单台或多台机器/节点上进行高性能和大规模训练。

MONAI 是一个深度学习框架,为医疗影像训练工作流的开发提供了领域优化的基础能力。

PFRL 是一个深度强化学习库,使用 PyTorch 以 Python 实现了多种最先进的深度强化学习算法。

Einops 是一种灵活而强大的张量操作库,旨在编写可读且可靠的代码。

PyTorch3D 是一个深度学习库,为使用 PyTorch 进行 3D 计算机视觉研究提供了高效、可重用的组件。

Ensemble Pytorch 是一个面向 PyTorch 的统一集成框架,用于提升深度学习模型的性能和鲁棒性。

Lightly 是一个用于自监督学习的计算机视觉框架。

Higher 是一个库,它使得实现任意复杂的基于梯度的元学习算法以及嵌套优化循环变得容易,同时几乎不改变原生 PyTorch 的代码结构。

Horovod 是一个针对深度学习框架的分布式训练库。Horovod 的目标是让分布式深度学习既快速又易于使用。

PennyLane 是一个用于量子机器学习、自动微分以及混合量子-经典计算优化的库。

Detectron2 是 FAIR 推出的新一代目标检测与分割平台。

Fastai 是一个简化了现代最佳实践下快速、准确神经网络训练过程的库。

TensorFlow 开发

返回顶部


TensorFlow 学习资源

TensorFlow 是一个端到端的开源机器学习平台。它拥有全面且灵活的工具、库和社区资源生态系统,使研究人员能够推动机器学习领域的前沿发展,也让开发者可以轻松构建和部署基于机器学习的应用程序。

TensorFlow 入门

TensorFlow 教程

TensorFlow 开发者认证 | TensorFlow

TensorFlow 社区

TensorFlow 模型与数据集

TensorFlow Cloud

机器学习教育资源 | TensorFlow

Coursera 上的最佳 TensorFlow 在线课程

Udemy 上的最佳 TensorFlow 在线课程

使用 TensorFlow 进行深度学习 | Udemy

使用 TensorFlow 进行深度学习 | edX

深度学习中的 TensorFlow 入门 | Udacity

TensorFlow 入门:机器学习速成课程 | Google Developers

在 Azure 机器学习中训练并部署 TensorFlow 模型

在 Azure Functions 中使用 Python 和 TensorFlow 部署机器学习模型 | Microsoft Azure

使用 TensorFlow 进行深度学习 | 亚马逊云服务 (AWS)

TensorFlow - Amazon EMR | AWS 文档

TensorFlow Enterprise | Google Cloud

TensorFlow 工具、库和框架

TensorFlow Lite 是一个开源的深度学习框架,用于在移动设备和物联网设备上部署机器学习模型。

TensorFlow.js 是一个 JavaScript 库,允许你使用 JavaScript 开发或运行机器学习模型,并直接在浏览器客户端、通过 Node.js 在服务器端、通过 React Native 在移动端、通过 Electron 在桌面端,甚至通过 Node.js 在树莓派等物联网设备上使用机器学习。

Tensorflow_macOS 是针对 macOS 11.0 及以上版本优化的 TensorFlow 及其扩展库版本,利用 Apple 的 ML Compute 框架进行加速。

Google Colaboratory 是一个免费的 Jupyter 笔记本环境,无需任何配置即可在云端运行,让你只需点击一下就能在浏览器中执行 TensorFlow 代码。

What-If Tool 是一款无需编码即可对机器学习模型进行探查的工具,有助于理解、调试和确保模型公平性。该工具可在 TensorBoard 或 Jupyter/Colab 笔记本中使用。

TensorBoard 是一套可视化工具,用于理解、调试和优化 TensorFlow 程序。

Keras 是一个高级神经网络 API,用 Python 编写,可在 TensorFlow、CNTK 或 Theano 之上运行。它专注于支持快速实验,也可以在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等框架之上运行。

XLA(加速线性代数) 是一个针对线性代数领域的专用编译器,用于优化 TensorFlow 的计算。使用 XLA 后,TensorFlow 在服务器端和移动设备上的速度、内存使用和可移植性都会得到提升。

ML Perf 是一个广泛的机器学习基准测试套件,用于衡量机器学习软件框架、硬件加速器和云平台的性能。

TensorFlow Playground 是一个在浏览器中玩转神经网络的开发环境。

TPU 研究云 (TRC) 是一项计划,允许研究人员申请免费使用由 1000 多个 Cloud TPU 组成的集群,以帮助他们加速下一波研究突破。

MLIR 是一种新的中间表示和编译器框架。

Lattice 是一个库,用于构建灵活、可控且可解释的机器学习解决方案,并施加符合常识的形状约束。

TensorFlow Hub 是一个可重用机器学习模型的库。只需少量代码,即可下载并复用最新的训练好的模型。

TensorFlow Cloud 是一个将本地环境连接到 Google Cloud 的库。

TensorFlow 模型优化工具包 是一套用于优化机器学习模型以便部署和执行的工具。

TensorFlow 推荐系统 是一个用于构建推荐系统模型的库。

TensorFlow Text 是一系列与文本和自然语言处理相关的类和操作,可直接与 TensorFlow 2 配合使用。

TensorFlow Graphics 是一个包含计算机图形功能的库,涵盖相机、灯光、材质以及渲染器等。

TensorFlow Federated 是一个开源框架,用于在去中心化数据上进行机器学习和其他计算。

TensorFlow Probability 是一个用于概率推理和统计分析的库。

Tensor2Tensor 是一个深度学习模型和数据集的库,旨在使深度学习更易用并加速机器学习研究。

TensorFlow Privacy 是一个 Python 库,其中包含了用于在差分隐私保护下训练机器学习模型的 TensorFlow 优化器实现。

TensorFlow Ranking 是一个在 TensorFlow 平台上实现排序学习(LTR)技术的库。

TensorFlow Agents 是一个用于 TensorFlow 中强化学习的库。

TensorFlow Addons 是一个遵循成熟 API 规范但实现了核心 TensorFlow 中未提供的新功能的贡献库,由 SIG Addons 维护。TensorFlow 本身原生支持大量的运算符、层、指标、损失函数和优化器。

TensorFlow I/O 是一个由 SIG IO 维护的数据集、流媒体和文件系统扩展库。

TensorFlow Quantum 是一个量子机器学习库,用于快速原型化混合量子-经典机器学习模型。

Dopamine 是一个用于快速原型化强化学习算法的研究框架。

TRFL 是 DeepMind 创建的一个用于强化学习构建模块的库。

Mesh TensorFlow 是一种用于分布式深度学习的语言,能够指定广泛的分布式张量计算任务。

RaggedTensors 是一个 API,可方便地存储和操作具有非均匀形状的数据,包括文本(单词、句子、字符)以及长度可变的批次。

Unicode Ops 是一个 API,支持在 TensorFlow 中直接处理 Unicode 文本。

Magenta 是一个研究项目,探索机器学习在艺术和音乐创作过程中的作用。

Nucleus 是一个由 Python 和 C++ 代码组成的库,旨在简化对 SAM 和 VCF 等常见基因组学文件格式的数据读取、写入和分析工作。

Sonnet 是 DeepMind 提供的一个用于构建神经网络的库。

Neural Structured Learning 是一个学习框架,可在利用特征输入的同时,借助结构化信号来训练神经网络。

Model Remediation 是一个库,旨在帮助以减少或消除因潜在性能偏差而导致用户受损的方式创建和训练模型。

Fairness Indicators 是一个库,可轻松计算二分类和多分类分类器的常用公平性指标。

Decision Forests 是用于训练、服务和解释基于决策森林的分类、回归和排序模型的最先进算法。

核心机器学习开发

返回顶部


Core ML 学习资源

Core ML 是苹果公司推出的一个框架,用于将机器学习模型集成到运行在苹果设备(包括 iOS、watchOS、macOS 和 tvOS)上的应用程序中。Core ML 引入了一种公开的文件格式 (.mlmodel),支持多种机器学习方法,包括卷积神经网络和循环神经网络、基于提升法的树 ensemble 模型以及广义线性模型。以该格式存储的模型可以通过 Xcode 直接集成到应用中。

Core ML 简介

将 Core ML 模型集成到您的应用中

Core ML 模型

Core ML API 参考文档

Core ML 规范

Apple 开发者论坛:Core ML

线上顶级 Core ML 课程 | Udemy

线上顶级 Core ML 课程 | Coursera

IBM Watson 服务与 Core ML | IBM

使用 IBM Maximo Visual Inspection 生成 Core ML 资产 | IBM

Core ML 工具、库和框架

Core ML 工具 是一个包含用于 Core ML 模型转换、编辑和验证的支持工具的项目。

Create ML 是一款工具,可在您的 Mac 上提供训练机器学习模型的新方式。它简化了模型训练的复杂性,同时生成功能强大的 Core ML 模型。

Tensorflow_macOS 是针对 macOS 11.0 及更高版本优化的 TensorFlow 和 TensorFlow Addons 版本,并使用 Apple 的 ML Compute 框架进行加速。

Apple Vision 是一个框架,可执行人脸和面部特征点检测、文本检测、条形码识别、图像配准以及通用特征跟踪等功能。Vision 还允许使用自定义 Core ML 模型来完成分类或目标检测等任务。

Keras 是一个用 Python 编写的高级神经网络 API,可在 TensorFlow、CNTK 或 Theano 等后端上运行。它专注于支持快速实验,能够运行在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等后端之上。

XGBoost 是一个优化的分布式梯度提升库,设计高效、灵活且可移植。它实现了梯度提升框架下的机器学习算法。XGBoost 提供了一种并行树提升(也称为 GBDT、GBM),能够以快速且准确的方式解决许多数据科学问题。它支持在多台机器上进行分布式训练,包括 AWS、GCE、Azure 和 Yarn 集群。此外,它还可以与 Flink、Spark 和其他云数据流系统集成。

LIBSVM 是一套用于支持向量分类(C-SVC、nu-SVC)、回归(epsilon-SVR、nu-SVR)和分布估计(单类 SVM)的集成软件。它支持多类分类。

Scikit-Learn 是一种简单而高效的工具,适用于数据挖掘和数据分析。它基于 NumPy、SciPy 和 Matplotlib 构建。

Xcode 包含开发者为 Mac、iPhone、iPad、Apple TV 和 Apple Watch 创建优秀应用程序所需的一切。Xcode 为开发者提供了一个统一的工作流程,用于用户界面设计、编码、测试和调试。Xcode 是一款通用应用程序,在基于 Intel 的 CPU 和 Apple Silicon 上均能 100% 原生运行。它包含一个统一的 macOS SDK,其中包含了构建可在 Apple Silicon 和 Intel x86_64 CPU 上原生运行的应用程序所需的所有框架、编译器、调试器和其他工具。

SwiftUI 是一个用户界面工具包,提供视图、控件和布局结构,用于声明应用的用户界面。SwiftUI 框架还提供了事件处理程序,用于将点击、手势和其他类型的输入传递给您的应用程序。

UIKit 是一个框架,为您的 iOS 或 tvOS 应用程序提供必要的基础设施。它提供了窗口和视图架构,用于实现您的界面;事件处理基础设施,用于将多点触控和其他类型的输入传递给您的应用;以及管理用户、系统和您的应用之间交互所需的主运行循环。

AppKit 是一个图形用户界面工具包,包含实现 macOS 应用程序用户界面所需的所有对象,例如窗口、面板、按钮、菜单、滚动条和文本字段。它会为您处理所有细节,例如高效地在屏幕上绘制内容、与硬件设备和屏幕缓冲区通信、在绘制前清除屏幕区域以及裁剪视图等。

ARKit 是一组由 Apple 开发的软件开发工具,旨在帮助开发者为 iOS 平台构建增强现实应用程序。最新版本 ARKit 3.5 利用 iPad Pro(2020)上的全新 LiDAR 扫描仪和深度感知系统,支持新一代 AR 应用程序,这些应用利用场景几何信息来增强场景理解和物体遮挡效果。

RealityKit 是一个框架,可利用 ARKit 框架提供的信息实现高性能的 3D 仿真和渲染,从而将虚拟对象无缝融入现实世界。

SceneKit 是一个高级 3D 图形框架,可帮助您在 iOS 应用程序中创建 3D 动画场景和特效。

Instruments 是 Xcode 工具集中的一个强大而灵活的性能分析和测试工具。它旨在帮助您对 iOS、watchOS、tvOS 和 macOS 应用程序、进程和设备进行性能剖析,以便更好地理解并优化其行为和性能。

Cocoapods 是 Swift 和 Objective-C 的依赖管理器,通过在简单的文本文件中指定项目的依赖关系,即可在 Xcode 项目中使用。CocoaPods 会递归解析各个库之间的依赖关系,获取所有依赖项的源代码,并创建和维护一个 Xcode 工作区来构建您的项目。

AppCode 会持续监控您的代码质量。它会警告您代码中的错误和潜在问题,并自动建议快速修复方案。AppCode 提供大量针对 Objective-C、Swift、C/C++ 的代码检查,以及针对其他受支持语言的多项代码检查。

深度学习开发

返回顶部


深度学习学习资源

深度学习 是机器学习的一个子集,本质上是一种具有三个或更多层的神经网络。这些神经网络试图模拟人脑的行为,尽管远未达到人脑的能力水平。这使得神经网络能够从大量数据中“学习”。学习方式可以是监督学习半监督学习无监督学习

NVIDIA深度学习在线课程 | NVIDIA

顶级深度学习在线课程 | Coursera

顶级深度学习在线课程 | Udemy

通过在线课程和教程学习深度学习 | edX

Udacity深度学习在线课程纳米学位 | Udacity

Andrew Ng的机器学习课程 | Coursera

Andrew Ng的生产级机器学习工程(MLOps)课程 | Coursera

数据科学:Python中的深度学习与神经网络 | Udemy

使用Python理解机器学习 | Pluralsight

如何思考机器学习算法 | Pluralsight

深度学习课程 | 斯坦福大学在线

深度学习——华盛顿大学专业与继续教育

哈佛大学深度学习在线课程 | 哈佛大学在线学习

面向所有人的机器学习课程 | DataCamp

人工智能专家课程:白金版 | Udemy

顶级人工智能在线课程 | Coursera

通过在线课程和教程学习人工智能 | edX

人工智能计算机科学专业证书 | edX

人工智能纳米学位项目

Udacity人工智能在线课程 | Udacity

人工智能入门课程 | Udacity

面向物联网开发者的边缘AI课程 | Udacity

推理:目标树与基于规则的专家系统 | MIT开放课程资源

专家系统与应用人工智能

自主系统——微软人工智能

Microsoft Project Bonsai简介

使用微软自主系统平台进行机器教学

自主海事系统培训 | AMC Search

顶级自动驾驶汽车在线课程 | Udemy

应用控制系统1:自动驾驶汽车:数学+PID+MPC | Udemy

通过在线课程和教程学习自主机器人技术 | edX

人工智能纳米学位项目

Udacity自主系统在线课程及项目 | Udacity自主系统学院

面向物联网开发者的边缘AI课程 | Udacity

自主系统MOOC及免费在线课程 | MOOC List

斯坦福大学在线机器人与自主系统研究生项目

移动自主系统实验室 | MIT开放课程资源

深度学习工具、库和框架

NVIDIA cuDNN 是一个用于深度神经网络的GPU加速原语库。cuDNN为前向和反向卷积、池化、归一化以及激活层等标准操作提供了高度优化的实现。cuDNN可以加速广泛使用的深度学习框架,包括Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow

NVIDIA DLSS(深度学习超级采样)是一种基于时间的图像超分辨率AI渲染技术,它利用GeForce RTX™ GPU上的专用Tensor Core AI处理器来提升图形性能。DLSS借助深度学习神经网络的强大功能,可提高帧率并为您的游戏生成清晰锐利的画面。

AMD FidelityFX 超分辨率(FSR) 是一种开源、高质量的解决方案,能够从低分辨率输入生成高分辨率帧。它采用了一系列前沿的深度学习算法,尤其注重边缘质量的提升,与直接以原生分辨率渲染相比,可带来显著的性能提升。FSR 为一些计算成本较高的渲染任务(如 AMD RDNA™ 和 AMD RDNA™ 2 架构中的硬件光线追踪)提供了“实用性能”。

Intel Xe 超采样(XeSS) 是一种基于时间的图像超分辨率 AI 渲染技术,能够提升图形性能,类似于 NVIDIA 的 DLSS(深度学习超级采样)。Intel 的 Arc GPU 架构(2022 年初)将配备专门用于运行 XeSS 的 Xe 核心。这些 GPU 还拥有 Xe Matrix eXtenstions 矩阵单元(XMX),用于硬件加速的 AI 处理。尽管如此,XeSS 也可以在没有 XMX 的设备上运行,包括集成显卡,但其在非 Intel 显卡上的性能会较低,因为届时将依赖 DP4a 指令

Jupyter Notebook 是一款开源 Web 应用程序,允许用户创建和共享包含实时代码、公式、可视化内容及叙述性文本的文档。Jupyter 广泛应用于数据清洗与转换、数值模拟、统计建模、数据可视化、数据科学和机器学习等领域。

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供 Scala、Java、Python 和 R 等高级 API,并配备优化的执行引擎,支持通用计算图进行数据分析。此外,Spark 还提供丰富的高级工具集,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图计算的 GraphX 以及用于流式处理的 Structured Streaming。

Apache Spark Connector for SQL Server and Azure SQL 是一款高性能连接器,使您能够在大数据分析中使用事务型数据,并将结果持久化以供即席查询或报告使用。该连接器允许您将任何 SQL 数据库——无论是本地部署还是云端——用作 Spark 作业的输入数据源或输出数据接收端。

Apache PredictionIO 是一个面向开发者、数据科学家和最终用户的开源机器学习框架。它支持事件收集、算法部署、模型评估以及通过 REST API 查询预测结果。PredictionIO 基于 Hadoop、HBase(以及其他数据库)、Elasticsearch 和 Spark 等可扩展的开源服务,并实现了所谓的 Lambda 架构。

Cluster Manager for Apache Kafka (CMAK) 是一款用于管理 Apache Kafka 集群的工具。

BigDL 是一个专为 Apache Spark 设计的分布式深度学习库。借助 BigDL,用户可以将深度学习应用程序编写为标准的 Spark 程序,这些程序可以直接在现有的 Spark 或 Hadoop 集群上运行。

Eclipse Deeplearning4J (DL4J) 是一组旨在满足基于 JVM(Scala、Kotlin、Clojure 和 Groovy)的深度学习应用所有需求的项目。这意味着从原始数据开始,无论其来源和格式如何,都可以对其进行加载和预处理,进而构建和调优各种简单或复杂的深度学习网络。

Deep Learning Toolbox™ 是一款提供框架的工具,可用于设计和实现深度神经网络,内置算法、预训练模型和应用程序。您可以使用卷积神经网络(ConvNets、CNNs)和长短期记忆网络(LSTM)对图像、时间序列和文本数据进行分类和回归。借助自动微分、自定义训练循环和权重共享,还可以构建生成对抗网络(GANs)和暹罗网络等架构。通过 Deep Network Designer 应用程序,您可以以图形化方式设计、分析和训练网络。该工具可通过 ONNX 格式与 TensorFlow™ 和 PyTorch 交换模型,并可导入来自 TensorFlow-Keras 和 Caffe 的模型。该工具箱还支持迁移学习,兼容 DarkNet-53、ResNet-50、NASNet、SqueezeNet 等多种预训练模型。

Reinforcement Learning Toolbox™ 是一款提供应用程序、函数和 Simulink® 块的工具,用于利用强化学习算法(包括 DQN、PPO、SAC 和 DDPG)训练策略。您可以使用这些策略来实现控制器和决策算法,适用于资源分配、机器人技术和自主系统等复杂应用场景。

Deep Learning HDL Toolbox™ 是一款提供函数和工具的工具,用于在 FPGA 和 SoC 上原型化并实现深度学习网络。它提供预构建的比特流,可在受支持的 Xilinx® 和 Intel® FPGA 以及 SoC 设备上运行各种深度学习网络。同时,剖析和估算工具可以帮助您通过权衡设计、性能和资源利用率之间的关系,定制深度学习网络。

Parallel Computing Toolbox™ 是一款允许您使用多核处理器、GPU 和计算机集群解决计算密集型及数据密集型问题的工具。高级构造块,如并行 for 循环、特殊数组类型和并行化数值算法,使您无需 CUDA 或 MPI 编程即可实现 MATLAB® 应用程序的并行化。该工具箱允许您在 MATLAB 及其他工具箱中使用支持并行计算的函数。结合 Simulink® 使用时,您可以在同一时间并行运行多个模型仿真。程序和模型既可以在交互模式下运行,也可以以批处理模式运行。

XGBoost 是一个经过优化的分布式梯度提升库,具有高效、灵活和可移植的特点。它在梯度提升框架下实现了机器学习算法。XGBoost 提供一种并行树提升方法(也称为 GBDT 或 GBM),能够快速且准确地解决许多数据科学问题。它支持在多台机器上进行分布式训练,包括 AWS、GCE、Azure 和 Yarn 集群。此外,它还可以与 Flink、Spark 和其他云数据流系统集成。

LIBSVM 是一个用于支持向量分类(C-SVC、nu-SVC)、回归(epsilon-SVR、nu-SVR)以及分布估计(一类 SVM)的集成软件。它支持多类分类。

Scikit-Learn 是一款简单高效的用于数据挖掘和数据分析的工具。它基于 NumPy、SciPy 和 Matplotlib 构建。

TensorFlow 是一个端到端的开源机器学习平台。它拥有全面且灵活的工具、库和社区资源生态系统,使研究人员能够推动机器学习领域的前沿发展,同时也让开发者能够轻松构建和部署基于机器学习的应用程序。

Keras 是一个用 Python 编写的高级神经网络 API,可运行在 TensorFlow、CNTK 或 Theano 之上。它专注于加速实验,支持在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等框架之上运行。

PyTorch 是一个针对不规则输入数据(如图、点云和流形)的深度学习库,主要由 Facebook 的 AI 研究实验室开发。

Azure Databricks 是一种快速且协作式的基于 Apache Spark 的大数据分析服务,专为数据科学和数据工程设计。Azure Databricks 可在几分钟内搭建 Apache Spark 环境,支持自动扩展,并允许用户在交互式工作区中协作处理共享项目。Azure Databricks 支持 Python、Scala、R、Java 和 SQL,以及 TensorFlow、PyTorch 和 scikit-learn 等数据科学框架和库。

Microsoft Cognitive Toolkit (CNTK) 是一个面向商业级分布式深度学习的开源工具包。它通过有向图将神经网络描述为一系列计算步骤。CNTK 允许用户轻松实现并组合常用的模型类型,如前馈 DNN、卷积神经网络(CNN)和循环神经网络(RNN/LSTM)。CNTK 实现了随机梯度下降(SGD,误差反向传播)学习,并支持自动微分及跨多个 GPU 和服务器的并行化。

Tensorflow_macOS 是针对 macOS 11.0 及以上版本优化的 TensorFlow 及 TensorFlow Addons 版本,利用 Apple 的 ML Compute 框架进行加速。

Apache Airflow 是一个由社区创建的开源工作流管理平台,用于以编程方式编写、调度和监控工作流。安装简便、原则清晰、可扩展性强。Airflow 具有模块化架构,使用消息队列来编排任意数量的工作节点,能够无限扩展。

Open Neural Network Exchange(ONNX) 是一个开放的生态系统,使 AI 开发者能够根据项目的发展选择合适的工具。ONNX 提供了一种开源的 AI 模型格式,适用于深度学习和传统机器学习。它定义了一个可扩展的计算图模型,以及内置算子和标准数据类型的规范。

Apache MXNet 是一个兼顾效率与灵活性的深度学习框架。它允许混合符号式和命令式编程,以最大化效率和生产力。MXNet 的核心是一个动态依赖调度器,可实时自动并行化符号式和命令式操作。在其之上还有一层图优化层,使符号式执行既快速又节省内存。MXNet 具有良好的移植性和轻量化特性,能够有效扩展到多 GPU 和多台机器上。支持 Python、R、Julia、Scala、Go、JavaScript 等多种语言。

AutoGluon 是一个自动化机器学习工具包,能够简化深度学习任务,帮助用户在应用中轻松获得强大的预测性能。只需几行代码,即可在表格数据、图像和文本数据上训练并部署高精度的深度学习模型。

Anaconda 是一个非常流行的数据科学平台,适用于机器学习和深度学习,帮助用户开发、训练和部署模型。

PlaidML 是一个先进且可移植的张量编译器,旨在使深度学习能够在笔记本电脑、嵌入式设备或其他计算硬件支持不足或软件许可限制较多的设备上运行。

OpenCV 是一个高度优化的库,专注于实时计算机视觉应用。其 C++、Python 和 Java 接口支持 Linux、MacOS、Windows、iOS 和 Android 系统。

Scikit-Learn 是一个基于 SciPy、NumPy 和 Matplotlib 构建的 Python 机器学习模块,使得许多流行的机器学习算法能够更便捷地被应用和实现。

Weka 是一款开源的机器学习软件,可通过图形用户界面、标准终端应用程序或 Java API 访问。它广泛应用于教学、科研和工业领域,内置了丰富的工具用于标准机器学习任务,并且还能透明地访问 scikit-learn、R 和 Deeplearning4j 等知名工具箱。

Caffe 是一个以表达性、速度和模块化为核心设计的深度学习框架。它由伯克利人工智能研究实验室(BAIR)、伯克利视觉与学习中心(BVLC)以及社区贡献者共同开发。

Theano 是一个 Python 库,允许高效地定义、优化和评估涉及多维数组的数学表达式,并与 NumPy 紧密集成。

Microsoft Project Bonsai 是一个低代码 AI 平台,可加速基于 AI 的自动化开发,属于 Microsoft 自动化系统套件的一部分。Bonsai 用于构建能够提供操作指导或自主决策的 AI 组件,以优化工艺参数、提高生产效率并减少停机时间。

Microsoft AirSim 是一款基于虚幻引擎(并提供实验性 Unity 版本)的无人机、汽车等模拟器。AirSim 是开源且跨平台的,支持与 PX4 和 ArduPilot 等主流飞行控制器进行【软件在环仿真】(SIL),以及与 PX4 进行【硬件在环】(HIL),从而实现物理和视觉上高度逼真的仿真效果。它以虚幻引擎插件的形式开发,可轻松集成到任何虚幻引擎场景中。AirSim 正在被打造为一个用于人工智能研究的平台,旨在试验深度学习、计算机视觉和强化学习算法在自动驾驶车辆中的应用。

CARLA 是一款面向自动驾驶研究的开源模拟器。CARLA 从零开始设计,专门用于支持自动驾驶系统的开发、训练和验证。除了开放源代码和通信协议外,CARLA 还提供了专为此目的创建的开放数字资产(如城市布局、建筑和车辆),用户可以自由使用这些资源。

CARLA 的 ROS/ROS2 桥接包 是一个实现 ROS 与 CARLA 之间双向通信的桥梁。CARLA 服务器发送的信息会被转换为 ROS 主题;同样地,ROS 节点之间传递的消息也会被翻译成可在 CARLA 中执行的命令。

ROS 工具箱 是一种将 MATLAB® 和 Simulink® 与机器人操作系统(ROS 和 ROS 2)连接起来的工具,允许用户构建 ROS 节点网络。该工具箱包含 MATLAB 函数和 Simulink 模块,用于导入、分析和回放以 rosbag 文件格式记录的 ROS 数据。此外,还可以连接到实时 ROS 网络以访问 ROS 消息。

机器人技术工具箱™ 提供了一系列专为机器人技术设计的功能(包括机械臂、移动机器人和人形机器人的设计、仿真和测试),充分利用了 MATLAB 的原生能力(线性代数、跨平台性和图形化功能)。该工具箱还特别支持移动机器人,提供了自行车模型等运动学模型、路径规划算法(如虫子算法、距离变换、D*、PRM)、动力学规划(如格网法、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与建图(EKF)等功能,并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还提供了一个详细的四旋翼飞行机器人 Simulink 模型。

图像处理工具箱™ 提供了一套全面的标准算法和工作流应用程序,用于图像处理、分析、可视化及算法开发。用户可以进行图像分割、图像增强、去噪、几何变换、图像配准以及三维图像处理等操作。

计算机视觉工具箱™ 提供用于设计和测试计算机视觉、三维视觉和视频处理系统的算法、函数和应用程序。用户可以执行目标检测与跟踪、特征检测、提取及匹配等任务。此外,还可以自动化单目、双目和鱼眼相机的标定流程。对于三维视觉,该工具箱支持视觉 SLAM 和点云 SLAM、立体视觉、运动恢复结构以及点云处理等功能。

机器人技术工具箱™ 是一种将机器人技术相关功能(如机械臂、移动机器人和人形机器人的设计、仿真和测试)引入 MATLAB 的工具箱,充分利用了 MATLAB 的原生优势(线性代数、跨平台性和图形化功能)。该工具箱还特别支持移动机器人,提供了自行车模型等运动学模型、路径规划算法(如虫子算法、距离变换、D*、PRM)、动力学规划(如格网法、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与建图(EKF)等功能,并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还提供了一个详细的四旋翼飞行机器人 Simulink 模型。

模型预测控制工具箱™ 提供用于设计和仿真线性和非线性模型预测控制器(MPC)的函数、应用程序和 Simulink® 模块。该工具箱允许用户指定被控对象和干扰模型、预测时域、约束条件以及权重。通过运行闭环仿真,用户可以评估控制器的性能。

预测性维护工具箱™ 允许用户管理传感器数据、设计状态指标,并估算设备的剩余使用寿命(RUL)。该工具箱提供函数和交互式应用程序,用于基于数据和基于模型的技术(包括统计分析、频谱分析和时间序列分析)来探索、提取和排序特征。

Vision HDL 工具箱™ 提供用于在 FPGA 和 ASIC 上设计与实现视觉系统的像素流算法。它配备了一个设计框架,支持多种接口类型、帧尺寸和帧率。该工具箱中的图像处理、视频和计算机视觉算法采用了适合 HDL 实现的架构。

自动驾驶工具箱™ 是一种 MATLAB 工具箱,提供用于设计、仿真和测试 ADAS 及自动驾驶系统的算法和工具。用户可以设计和测试视觉与激光雷达感知系统,以及传感器融合、路径规划和车辆控制器等功能。可视化工具包括鸟瞰图、传感器覆盖范围、检测结果和轨迹的示意图,以及用于显示视频、激光雷达数据和地图的界面。该工具箱支持导入并使用 HERE HD Live Map 数据和 OpenDRIVE® 道路网络。此外,它还提供了常见 ADAS 和自动驾驶功能的参考应用示例,包括前向碰撞预警(FCW)、自动紧急制动(AEB)、自适应巡航控制(ACC)、车道保持辅助(LKA)以及代客泊车等功能。该工具箱支持 C/C++ 代码生成,以实现快速原型开发和 HIL 测试,并对传感器融合、目标跟踪、路径规划和车辆控制器算法提供支持。

UAV工具箱 是一款应用程序,提供用于设计、仿真、测试和部署无人机(UAV)及无人飞行器应用的工具和参考应用。您可以设计自主飞行算法、无人机任务以及飞行控制器。飞行日志分析器应用程序允许您以交互方式分析常见飞行日志格式中的三维飞行轨迹、遥测信息和传感器读数。

导航工具箱™ 是一种工具,提供用于运动规划、同时定位与地图构建(SLAM)以及惯性导航的算法和分析工具。该工具箱包含可自定义的基于搜索和采样的路径规划器,以及用于验证和比较路径的度量标准。您可以创建二维和三维地图表示,使用SLAM算法生成地图,并通过SLAM地图构建器应用程序以交互方式可视化和调试地图生成过程。

Lidar工具箱™ 是一种工具,提供用于设计、分析和测试激光雷达处理系统的算法、函数和应用程序。您可以执行目标检测与跟踪、语义分割、形状拟合、激光雷达配准以及障碍物检测等操作。Lidar工具箱支持激光雷达与相机的交叉标定,适用于结合计算机视觉和激光雷达处理的工作流程。

地图制作工具箱™ 是一种工具,提供用于转换地理数据和创建地图显示的算法和函数。您可以在地理背景下可视化数据,利用超过60种地图投影构建地图显示,并将来自各种来源的数据转换为一致的地理坐标系统。

强化学习开发

返回顶部


强化学习学习资源

强化学习 是机器学习的一个子集,属于具有三层或更多层的神经网络。这些神经网络试图模拟人脑的行为,尽管距离真正媲美人脑的能力还很遥远。通过这一过程,神经网络能够“学习”:模型根据反馈在环境中执行动作,并不断优化以最大化奖励。学习方式可以是监督学习半监督学习无监督学习

顶级强化学习课程 | Coursera

顶级强化学习课程 | Udemy

顶级强化学习课程 | Udacity

强化学习课程 | 斯坦福在线

深度学习在线课程 | NVIDIA

顶级深度学习在线课程 | Coursera

顶级深度学习在线课程 | Udemy

通过在线课程和教程学习深度学习 | edX

深度学习在线课程纳米学位 | Udacity

吴恩达的机器学习课程 | Coursera

吴恩达的生产级机器学习工程(MLOps)课程 | Coursera

数据科学:Python中的深度学习与神经网络 | Udemy

用Python理解机器学习 | Pluralsight

如何思考机器学习算法 | Pluralsight

深度学习课程 | 斯坦福在线

深度学习——华盛顿大学继续教育项目

哈佛大学深度学习在线课程 | 哈佛在线学习

面向所有人的机器学习课程 | DataCamp

人工智能专家课程:白金版 | Udemy

顶级人工智能在线课程 | Coursera

通过在线课程和教程学习人工智能 | edX

人工智能计算机科学专业证书 | edX

人工智能纳米学位项目

人工智能(AI)在线课程 | Udacity

Intro to Artificial Intelligence Course | Udacity

面向物联网开发者的边缘AI课程 | Udacity

推理:目标树与基于规则的专家系统 | MIT OpenCourseWare

专家系统与应用人工智能

自主系统——微软人工智能

Microsoft Project Bonsai简介

使用微软自主系统平台进行机器教学

自主海事系统培训 | AMC Search

顶级自动驾驶汽车在线课程 | Udemy

应用控制系统1:自动驾驶汽车——数学+PID+MPC | Udemy

通过在线课程和教程学习自主机器人技术 | edX

人工智能纳米学位项目

自主系统在线课程与项目 | Udacity

面向物联网开发者的边缘AI课程 | Udacity

自主系统MOOC及免费在线课程 | MOOC List

斯坦福在线机器人与自主系统研究生项目

移动自主系统实验室 | MIT OpenCourseWare

强化学习工具、库和框架

OpenAI Gym 是一个开源的 Python 库,用于开发和比较强化学习算法。它提供了一个标准 API,用于在学习算法和环境之间进行通信,并包含一组符合该 API 标准的环境。

ReinforcementLearning.jl 是一套用于在 Julia 中进行强化学习研究的工具。

Reinforcement Learning Toolbox™ 是一种工具,提供应用程序、函数以及 Simulink® 模块,用于利用强化学习算法(包括 DQN、PPO、SAC 和 DDPG)训练策略。您可以使用这些策略来实现控制器和决策算法,应用于资源分配、机器人技术和自主系统等复杂场景。

Amazon SageMaker 是一项完全托管的服务,使每位开发者和数据科学家都能快速构建、训练和部署机器学习(ML)模型。

AWS RoboMaker 是一项服务,为客户提供完全托管且可扩展的仿真基础设施,用于多机器人仿真以及与仿真中的回归测试相结合的 CI/CD 集成。

TensorFlow 是一个端到端的开源机器学习平台。它拥有全面而灵活的工具、库和社区资源生态系统,使研究人员能够推动机器学习领域的前沿发展,同时也让开发者可以轻松构建和部署基于机器学习的应用程序。

Keras 是一个用 Python 编写的高级神经网络 API,可在 TensorFlow、CNTK 或 Theano 之上运行。它专注于支持快速实验,目前也支持在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等框架之上运行。

PyTorch 是一个用于处理不规则输入数据(如图、点云和流形)的深度学习库,主要由 Facebook 的 AI 研究实验室开发。

Scikit-Learn 是一款简单高效的用于数据挖掘和数据分析的工具。它基于 NumPy、SciPy 和 Matplotlib 构建。

NVIDIA cuDNN 是一个针对 深度神经网络 的 GPU 加速原语库。cuDNN 提供了高度优化的标准实现,例如前向和反向卷积、池化、归一化以及激活层等操作。cuDNN 可以加速广泛使用的深度学习框架,包括 Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow 等。

Jupyter Notebook 是一个开源 Web 应用程序,允许用户创建和共享包含实时代码、公式、可视化内容及叙述性文本的文档。Jupyter 广泛应用于数据清洗与转换、数值模拟、统计建模、数据可视化、数据科学和机器学习等领域。

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供 Scala、Java、Python 和 R 等高级 API,并配备优化的执行引擎,支持用于数据分析的一般计算图。此外,Spark 还提供丰富的高级工具集,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图处理的 GraphX 以及用于流式处理的 Structured Streaming。

Apache Spark Connector for SQL Server and Azure SQL 是一种高性能连接器,使您能够在大数据分析中使用事务性数据,并将结果持久化以供即席查询或报告使用。该连接器允许您将任何 SQL 数据库——无论是在本地还是云端——用作 Spark 作业的输入数据源或输出数据目标。

Apache PredictionIO 是一个面向开发者、数据科学家和最终用户的开源机器学习框架。它支持事件收集、算法部署、评估以及通过 REST API 查询预测结果。该框架基于 Hadoop、HBase(以及其他数据库)、Elasticsearch 和 Spark 等可扩展的开源服务,并实现了所谓的 Lambda 架构。

Cluster Manager for Apache Kafka (CMAK) 是一个用于管理 Apache Kafka 集群的工具。

BigDL 是一个适用于 Apache Spark 的分布式深度学习库。借助 BigDL,用户可以将深度学习应用程序编写为标准的 Spark 程序,这些程序可以直接在现有的 Spark 或 Hadoop 集群上运行。

Eclipse Deeplearning4J (DL4J) 是一组旨在满足基于 JVM(Scala、Kotlin、Clojure 和 Groovy)的深度学习应用所有需求的项目。这意味着从原始数据开始,无论其来源和格式如何,都可以对其进行加载和预处理,进而构建并调优各种简单和复杂的深度学习网络。

Deep Learning Toolbox™ 是一个提供框架的工具,可用于设计和实现深度神经网络,包含算法、预训练模型和应用程序。您可以使用卷积神经网络(ConvNets、CNNs)和长短期记忆网络(LSTM)对图像、时间序列和文本数据进行分类和回归分析。还可以利用自动微分、自定义训练循环和共享权重,构建生成对抗网络(GANs)和暹罗网络等网络架构。借助 Deep Network Designer 应用程序,您可以以图形化方式设计、分析和训练网络。该工具可通过 ONNX 格式与 TensorFlow™ 和 PyTorch 交换模型,并可导入来自 TensorFlow-Keras 和 Caffe 的模型。该工具箱支持迁移学习,可与 DarkNet-53、ResNet-50、NASNet、SqueezeNet 等众多预训练模型配合使用。

Deep Learning HDL Toolbox™ 是一个提供函数和工具的工具,用于在 FPGA 和 SoC 上原型化和实现深度学习网络。它提供了预构建的比特流,可在受支持的 Xilinx® 和 Intel® FPGA 以及 SoC 设备上运行各种深度学习网络。同时,性能分析和估算工具可以帮助您通过权衡设计、性能和资源利用率之间的关系来定制深度学习网络。

Parallel Computing Toolbox™ 是一个工具,可让您利用多核处理器、GPU 和计算机集群来解决计算密集型和数据密集型问题。高级构造,如并行 for 循环、特殊数组类型和并行化的数值算法,使您无需 CUDA 或 MPI 编程即可并行化 MATLAB® 应用程序。该工具箱允许您在 MATLAB 及其他工具箱中使用支持并行计算的函数。您还可以将其与 Simulink® 结合使用,以并行方式运行同一模型的多个仿真。程序和模型既可以在交互模式下运行,也可以以批处理模式运行。

XGBoost 是一个优化的分布式梯度提升库,设计高效、灵活且易于移植。它在梯度提升框架下实现了多种机器学习算法。XGBoost 提供并行树提升(也称为 GBDT 或 GBM),能够快速而准确地解决许多数据科学问题。它支持在多台机器上进行分布式训练,包括 AWS、GCE、Azure 和 Yarn 集群。此外,它还可以与 Flink、Spark 等云数据流系统集成。

LIBSVM 是一个用于支持向量分类(C-SVC、nu-SVC)、回归(epsilon-SVR、nu-SVR)和分布估计(一类 SVM)的综合软件。它支持多类分类。

Azure Databricks 是一种基于 Apache Spark 的快速协作式大数据分析服务,专为数据科学和数据工程设计。Azure Databricks 可以在几分钟内搭建 Apache Spark 环境,自动扩展规模,并在交互式工作区中协同处理共享项目。Azure Databricks 支持 Python、Scala、R、Java 和 SQL,以及 TensorFlow、PyTorch 和 scikit-learn 等数据科学框架和库。

Microsoft Cognitive Toolkit (CNTK) 是一个面向商业级分布式深度学习的开源工具包。它通过有向图将神经网络描述为一系列计算步骤。CNTK 允许用户轻松实现和组合流行的模型类型,如前馈 DNN、卷积神经网络(CNN)和循环神经网络(RNN/LSTM)。CNTK 实现了随机梯度下降(SGD,误差反向传播)学习,并支持自动微分及跨多个 GPU 和服务器的并行化。

Tensorflow_macOS 是针对 macOS 11.0 及以上版本优化的 TensorFlow 及 TensorFlow Addons 版本,利用 Apple 的 ML Compute 框架加速运行。

Apache Airflow 是一个由社区创建的开源工作流管理平台,用于以编程方式编写、调度和监控工作流。安装简便、原则清晰、可扩展性强。Airflow 具有模块化架构,使用消息队列来编排任意数量的工作节点。Airflow 能够无限扩展。

Open Neural Network Exchange(ONNX) 是一个开放生态系统,使 AI 开发者能够根据项目的发展选择合适的工具。ONNX 提供了一种适用于深度学习和传统机器学习的开源模型格式,定义了一个可扩展的计算图模型,以及内置算子和标准数据类型的规范。

Apache MXNet 是一个兼顾效率和灵活性的深度学习框架。它允许混合符号式和命令式编程,以最大化效率和生产力。MXNet 的核心是一个动态依赖调度器,能够实时自动并行化符号式和命令式操作。在其之上还有一层图优化层,使符号式执行既快速又节省内存。MXNet 具有良好的可移植性和轻量化特性,能够有效扩展到多 GPU 和多台机器。支持 Python、R、Julia、Scala、Go、JavaScript 等多种语言。

AutoGluon 是一个自动化机器学习工具包,能够简化深度学习任务,帮助用户在应用中轻松获得强大的预测性能。只需几行代码,即可在表格数据、图像和文本数据上训练并部署高精度的深度学习模型。

Anaconda 是一个非常流行的数据科学平台,适用于机器学习和深度学习,使用户能够开发、训练和部署模型。

PlaidML 是一个先进且可移植的张量编译器,旨在让笔记本电脑、嵌入式设备或其他计算硬件支持不足或软件栈存在不友好许可限制的设备也能运行深度学习。

OpenCV 是一个高度优化的库,专注于实时计算机视觉应用。其 C++、Python 和 Java 接口支持 Linux、MacOS、Windows、iOS 和 Android。

Scikit-Learn 是一个基于 SciPy、NumPy 和 matplotlib 构建的 Python 机器学习模块,使得许多流行的机器学习算法的稳健且简单的实现更加容易。

Weka 是一款开源机器学习软件,可通过图形用户界面、标准终端应用程序或 Java API 访问。它广泛应用于教学、科研和工业领域,内置了大量用于标准机器学习任务的工具,并且还能透明地访问 scikit-learn、R 和 Deeplearning4j 等知名工具箱。

Caffe 是一个以表达性、速度和模块化为核心设计的深度学习框架。它由伯克利人工智能研究实验室(BAIR)、伯克利视觉与学习中心(BVLC)以及社区贡献者共同开发。

Theano 是一个 Python 库,允许高效地定义、优化和评估涉及多维数组的数学表达式,并与 NumPy 紧密集成。

Microsoft Project Bonsai 是一个低代码 AI 平台,用于加速 AI 驱动的自动化开发,是 Microsoft 自主导航系统套件的一部分。Bonsai 用于构建能够提供操作指导或自主决策的 AI 组件,以优化工艺参数、提高生产效率并减少停机时间。

Microsoft AirSim 是一个基于 Unreal Engine 构建的无人机、汽车等模拟器(同时也有实验性的 Unity 版本)。AirSim 是开源、跨平台的,支持与 PX4 和 ArduPilot 等主流飞行控制器进行“软件在环”仿真,以及与 PX4 进行“硬件在环”仿真,从而实现物理和视觉上高度逼真的模拟。它被开发为一个 Unreal 插件,可以轻松集成到任何 Unreal 场景中。AirSim 正在发展成为一个 AI 研究平台,用于试验自动驾驶车辆相关的深度学习、计算机视觉和强化学习算法。

CARLA 是一款用于自动驾驶研究的开源模拟器。CARLA 从零开始开发,旨在支持自动驾驶系统的开发、训练和验证。除了开源代码和通信协议外,CARLA 还提供了专为此目的创建的开放数字资产(城市布局、建筑物、车辆),用户可以免费使用。

CARLA 的 ROS/ROS2 桥接包 是一个实现 ROS 与 CARLA 之间双向通信的桥梁。CARLA 服务器中的信息会被转换为 ROS 主题;同样地,ROS 节点之间发送的消息也会被转换为可在 CARLA 中执行的命令。

ROS 工具箱 是一种将 MATLAB® 和 Simulink® 与机器人操作系统(ROS 和 ROS 2)连接起来的工具,允许用户构建 ROS 节点网络。该工具箱包含 MATLAB 函数和 Simulink 模块,用于导入、分析和回放以 rosbag 文件格式记录的 ROS 数据。此外,还可以连接到实时 ROS 网络以访问 ROS 消息。

机器人技术工具箱™ 提供了一套专门针对机器人技术的功能(设计、仿真和测试机械臂、移动机器人和人形机器人),充分利用了 MATLAB 的原生能力(线性代数、跨平台兼容性和图形功能)。该工具箱还为移动机器人提供了多种功能,包括自行车运动模型、路径规划算法(bug 算法、距离变换、D*、PRM)、动力学规划(格网搜索、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与地图构建(EKF),并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还提供了一个详细的四旋翼飞行机器人的 Simulink 模型。

图像处理工具箱™ 是一种工具,提供了一整套符合行业标准的算法和工作流应用程序,用于图像处理、分析、可视化及算法开发。用户可以进行图像分割、图像增强、降噪、几何变换、图像配准以及三维图像处理等操作。

计算机视觉工具箱™ 提供用于设计和测试计算机视觉、三维视觉和视频处理系统的算法、函数和应用程序。用户可以执行目标检测与跟踪,以及特征检测、提取和匹配。此外,还可以自动化单目、双目和鱼眼相机的标定流程。对于三维视觉,该工具箱支持视觉 SLAM 和点云 SLAM、立体视觉、运动恢复结构以及点云处理等功能。

机器人技术工具箱™ 是一种工具,它将机器人技术领域的特定功能(设计、仿真和测试机械臂、移动机器人和人形机器人)引入 MATLAB,并充分利用 MATLAB 的原生能力(线性代数、跨平台兼容性和图形功能)。该工具箱还为移动机器人提供了自行车运动模型、路径规划算法(bug 算法、距离变换、D*、PRM)、动力学规划(格网搜索、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与地图构建(EKF)等功能,并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还提供了一个详细的四旋翼飞行机器人的 Simulink 模型。

模型预测控制工具箱™ 提供用于设计和仿真线性和非线性模型预测控制器(MPC)的函数、应用程序和 Simulink® 模块。该工具箱允许用户指定被控对象和扰动模型、预测时域、约束条件以及权重。通过运行闭环仿真,用户可以评估控制器的性能。

预测性维护工具箱™ 允许用户管理传感器数据、设计状态指标,并估算设备的剩余使用寿命(RUL)。该工具箱提供基于数据和基于模型的技术函数及交互式应用程序,用于探索、提取和排序特征,包括统计分析、频谱分析和时间序列分析等方法。

Vision HDL 工具箱™ 是一种工具,提供用于在 FPGA 和 ASIC 上设计和实现视觉系统的像素流算法。它提供一个设计框架,支持多种接口类型、帧尺寸和帧率。该工具箱中的图像处理、视频和计算机视觉算法采用了适合 HDL 实现的架构。

自动驾驶工具箱™ 是一种 MATLAB 工具,提供用于设计、仿真和测试 ADAS 及自动驾驶系统的算法和工具。用户可以设计和测试视觉和激光雷达感知系统,以及传感器融合、路径规划和车辆控制器。可视化工具包括鸟瞰图、传感器覆盖范围、检测结果和轨迹的示意图,以及用于显示视频、激光雷达数据和地图的界面。该工具箱支持导入和使用 HERE HD Live Map 数据和 OpenDRIVE® 道路网络。此外,它还提供了常见 ADAS 和自动驾驶功能的参考应用示例,包括前向碰撞预警(FCW)、自动紧急制动(AEB)、自适应巡航控制(ACC)、车道保持辅助(LKA)以及代客泊车等功能。该工具箱支持 C/C++ 代码生成,用于快速原型开发和 HIL 测试,并且对传感器融合、跟踪、路径规划和车辆控制器算法提供支持。

导航工具箱™ 提供用于运动规划、同时定位与地图构建(SLAM)以及惯性导航的算法和分析工具。该工具箱包含可定制的基于搜索和采样的路径规划器,以及用于验证和比较路径的度量标准。用户可以创建二维和三维地图表示,利用 SLAM 算法生成地图,并通过 SLAM 地图构建应用程序交互式地可视化和调试地图生成过程。

UAV 工具箱 是一款应用程序,提供用于设计、仿真、测试和部署无人机及无人飞行器应用的工具和参考应用。用户可以设计自主飞行算法、无人机任务和飞行控制器。飞行日志分析器应用程序允许用户交互式地分析常见飞行日志格式中的三维飞行轨迹、遥测信息和传感器读数。

Lidar 工具箱™ 是一款提供算法、函数和应用程序的工具,用于设计、分析和测试激光雷达处理系统。您可以执行目标检测与跟踪、语义分割、形状拟合、激光雷达配准以及障碍物检测。Lidar 工具箱支持激光雷达与相机的交叉标定,适用于结合计算机视觉和激光雷达处理的工作流程。

Mapping 工具箱™ 是一款提供地理数据转换算法和函数、并用于创建地图显示的工具。您可以在地理背景下可视化数据,基于超过60种地图投影构建地图显示,并将来自各种来源的数据转换为一致的地理坐标系。

计算机视觉开发

返回顶部


计算机视觉学习资源

计算机视觉 是人工智能(AI)的一个领域,专注于使计算机能够识别和理解图像及视频中的物体和人物。

OpenCV 课程

在 Microsoft Azure 中探索计算机视觉

在线顶级计算机视觉课程 | Coursera

在线顶级计算机视觉课程 | Udemy

通过在线课程和教程学习计算机视觉 | edX

计算机视觉与图像处理基础 | edX

计算机视觉入门课程 | Udacity

计算机视觉纳米学位项目 | Udacity

机器视觉课程 | MIT 开放式课程

计算机视觉培训课程 | NobleProg

视觉计算研究生项目 | 斯坦福在线

计算机视觉工具、库和框架

OpenCV 是一个高度优化的库,专注于实时计算机视觉应用。其 C++、Python 和 Java 接口支持 Linux、MacOS、Windows、iOS 和 Android。

Microsoft 计算机视觉示例 是一个项目,提供了构建计算机视觉系统的示例和最佳实践指南。该项目旨在打造一套全面的工具和示例,利用计算机视觉算法、神经网络架构以及系统部署方面的最新进展,基于现有的先进库进行开发,并围绕图像数据加载、模型优化与评估以及向云端扩展等功能构建附加工具。

Microsoft 认知工具包(CNTK) 是一个面向商业级分布式深度学习的开源工具包。它通过有向图将神经网络描述为一系列计算步骤。CNTK 允许用户轻松实现和组合流行的模型类型,如前馈 DNN、卷积神经网络(CNN)和循环神经网络(RNN/LSTM)。CNTK 实现了随机梯度下降(SGD,误差反向传播)学习,并具备自动微分功能,可在多个 GPU 和服务器上并行化。

Scikit-Learn 是一个基于 SciPy、NumPy 和 matplotlib 构建的 Python 机器学习模块,使得许多流行机器学习算法的稳健且简单的实现更加容易。

NVIDIA cuDNN 是一个针对 深度神经网络 的 GPU 加速原语库。cuDNN 提供了对标准操作的高度优化实现,例如前向和反向卷积、池化、归一化和激活层。cuDNN 可加速广泛使用的深度学习框架,包括 Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow 等。

自动驾驶工具箱™ 是 MATLAB 提供的一款工具,用于设计、仿真和测试 ADAS 及自动驾驶系统。您可以设计和测试视觉与激光雷达感知系统,以及传感器融合、路径规划和车辆控制器。可视化工具包括鸟瞰图、传感器覆盖范围、检测结果与跟踪轨迹等视图,以及用于显示视频、激光雷达和地图的界面。该工具箱允许导入并使用 HERE HD Live Map 数据和 OpenDRIVE® 道路网络。它还提供了常见 ADAS 和自动驾驶功能的参考应用示例,包括 FCW、AEB、ACC、LKA 和代客泊车等。该工具箱支持 C/C++ 代码生成,以实现快速原型制作和 HIL 测试,并支持传感器融合、跟踪、路径规划和车辆控制器算法。

LRSLibrary 是一个用于视频中背景建模与减除的低秩稀疏工具库。该库最初设计用于视频中的运动目标检测,但也可用于其他计算机视觉和机器学习问题。

图像处理工具箱™ 是一款提供全面的参考标准算法和工作流应用程序的工具,用于图像处理、分析、可视化和算法开发。您可以执行图像分割、图像增强、降噪、几何变换、图像配准以及三维图像处理。

计算机视觉工具箱™ 是一款提供算法、函数和应用程序的工具,用于设计和测试计算机视觉、三维视觉以及视频处理系统。您可以执行目标检测与跟踪、特征检测、提取及匹配等操作。此外,还可以自动化单目、双目和鱼眼相机的标定流程。对于三维视觉,该工具箱支持视觉与点云 SLAM、立体视觉、运动恢复结构以及点云处理。

统计与机器学习工具箱™ 是一款提供函数和应用程序的工具,用于描述、分析和建模数据。您可以通过描述性统计、可视化和聚类进行探索性数据分析;将概率分布拟合到数据;生成用于蒙特卡洛模拟的随机数,并执行假设检验。回归和分类算法使您能够从数据中得出推论,并通过交互式的方式(使用分类与回归学习器应用程序)或编程方式(使用 AutoML)构建预测模型。

LiDAR 工具箱™ 是一款提供算法、函数和应用程序的工具,用于设计、分析和测试 LiDAR 处理系统。您可以执行目标检测与跟踪、语义分割、形状拟合、LiDAR 数据配准以及障碍物检测等任务。LiDAR 工具箱支持结合计算机视觉和 LiDAR 处理的工作流中的 LiDAR 与相机交叉标定。

地图工具箱™ 是一款提供算法和函数的工具,用于转换地理数据并创建地图显示。您可以在地理背景下可视化数据,基于超过 60 种地图投影构建地图显示,并将来自各种来源的数据转换为一致的地理坐标系。

UAV 工具箱 是一款提供工具和参考应用的软件,用于设计、仿真、测试和部署无人机(UAV)及无人飞行器应用。您可以设计自主飞行算法、无人机任务和飞行控制器。飞行日志分析器应用程序允许您以交互方式分析常见飞行日志格式中的三维飞行轨迹、遥测信息和传感器读数。

并行计算工具箱™ 是一款使您能够利用多核处理器、GPU 和计算机集群解决计算密集型和数据密集型问题的工具。诸如并行 for 循环、特殊数组类型和并行化数值算法等高级构造,使您无需 CUDA 或 MPI 编程即可实现 MATLAB® 应用程序的并行化。该工具箱允许您在 MATLAB 及其他工具箱中使用支持并行计算的函数。您还可以将其与 Simulink® 结合使用,以并行运行同一模型的多个仿真。程序和模型既可在交互模式下运行,也可在批处理模式下运行。

偏微分方程工具箱™ 是一款提供函数的工具,用于通过有限元分析求解结构力学、传热以及一般偏微分方程(PDE)问题。

ROS 工具箱 是一款提供接口的工具,可将 MATLAB® 和 Simulink® 与机器人操作系统(ROS 和 ROS 2)连接起来,从而帮助您创建 ROS 节点网络。该工具箱包含 MATLAB 函数和 Simulink 模块,可用于导入、分析和回放以 rosbag 文件格式记录的 ROS 数据。您还可以连接到实时 ROS 网络,以访问 ROS 消息。

机器人技术工具箱™ 提供了一套工具,将机器人技术相关的功能(如机械臂、移动机器人和人形机器人的设计、仿真和测试)引入 MATLAB,并充分利用 MATLAB 的原生能力(线性代数、可移植性和图形功能)。该工具箱还为移动机器人提供了机器人运动模型(自行车模型)、路径规划算法(bug 算法、距离变换、D* 算法、PRM)、动力学规划(格子规划、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与地图构建(EKF)等功能,并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还提供了一个详细的四旋翼飞行机器人 Simulink 模型。

深度学习工具箱™ 是一款提供框架的工具,用于借助算法、预训练模型和应用程序设计并实现深度神经网络。您可以使用卷积神经网络(ConvNets、CNNs)和长短期记忆网络(LSTM)对图像、时间序列和文本数据进行分类和回归。借助自动微分、自定义训练循环和共享权重,您可以构建生成对抗网络(GANs)和暹罗网络等网络架构。通过深度网络设计器应用程序,您可以以图形化方式设计、分析和训练网络。该工具箱可通过 ONNX 格式与 TensorFlow™ 和 PyTorch 进行模型交换,并可导入来自 TensorFlow-Keras 和 Caffe 的模型。该工具箱支持迁移学习,兼容 DarkNet-53、ResNet-50、NASNet、SqueezeNet 等多种预训练模型。

强化学习工具箱™ 是一款提供应用程序、函数和 Simulink® 块的工具,用于使用强化学习算法(包括 DQN、PPO、SAC 和 DDPG)训练策略。您可以利用这些策略为资源分配、机器人技术和自主系统等复杂应用实现控制器和决策算法。

深度学习 HDL 工具箱™ 是一款提供函数和工具的工具,用于在 FPGA 和 SoC 上原型化并实现深度学习网络。它提供了预构建的比特流,可在受支持的 Xilinx® 和 Intel® FPGA 以及 SoC 设备上运行多种深度学习网络。性能分析和估算工具使您能够通过权衡设计、性能和资源利用率之间的关系来定制深度学习网络。

模型预测控制工具箱™ 是一款提供函数、应用程序和 Simulink® 块的工具,用于使用线性和非线性模型预测控制(MPC)设计和仿真控制器。该工具箱允许您指定被控对象和干扰模型、预测时域、约束条件以及权重。通过运行闭环仿真,您可以评估控制器的性能。

Vision HDL Toolbox™ 是一款工具,为在 FPGA 和 ASIC 上设计与实现视觉系统提供像素流算法。它提供了一个设计框架,支持多种接口类型、帧尺寸和帧率。该工具箱中的图像处理、视频和计算机视觉算法采用适合 HDL 实现的架构。

Data Acquisition Toolbox™ 是一款工具,提供用于配置数据采集硬件、将数据读入 MATLAB® 和 Simulink® 以及将数据写入 DAQ 模拟和数字输出通道的应用程序和函数。该工具箱支持多种 DAQ 硬件,包括来自 National Instruments® 及其他供应商的 USB、PCI、PCI Express®、PXI® 和 PXI Express® 设备。

Microsoft AirSim 是一款基于虚幻引擎(并有实验性的 Unity 版本)开发的无人机、汽车等模拟器。AirSim 是开源、跨平台的,支持与流行的飞行控制器(如 PX4 和 ArduPilot)进行软件在环仿真,以及与 PX4 进行硬件在环仿真,从而实现物理和视觉上高度逼真的模拟。它被开发为一个虚幻插件,可以轻松集成到任何虚幻环境中。AirSim 正在被打造成为一个 AI 研究平台,用于试验深度学习、计算机视觉和强化学习算法在自动驾驶车辆中的应用。

自然语言处理开发

返回顶部


自然语言处理学习资源

自然语言处理 (NLP) 是人工智能 (AI) 的一个分支,专注于赋予计算机像人类一样理解文本和口语的能力。NLP 将基于规则的人类语言计算语言学建模与统计、机器学习和深度学习模型相结合。

使用 Python 的 NLTK 包进行自然语言处理

Cognitive Services—面向 AI 开发者的 API | Microsoft Azure

人工智能服务 - 亚马逊网络服务 (AWS)

Google Cloud 自然语言处理 API

在线顶级自然语言处理课程 | Udemy

自然语言处理 (NLP) 入门 | Udemy

顶级自然语言处理课程 | Coursera

自然语言处理 | Coursera

TensorFlow 中的自然语言处理 | Coursera

通过在线课程和教程学习自然语言处理 | edX

使用 Microsoft Azure 构建自然语言处理解决方案 | Pluralsight

自然语言处理 (NLP) 培训课程 | NobleProg

斯坦福在线:深度学习与自然语言处理课程

麻省理工学院 OpenCourseWare:高级自然语言处理

认证自然语言处理专家证书 | IABAC

英特尔自然语言处理课程

自然语言处理工具、库和框架

Natural Language Toolkit (NLTK) 是一个用于构建处理人类语言数据的 Python 程序的领先平台。它提供了易于使用的接口,可访问超过 50 个语料库和词汇资源,例如 WordNet,并附带一套用于分类、分词、词干提取、词性标注、句法分析和语义推理的文本处理库,以及工业级 NLP 库的封装器。

spaCy 是一个用于 Python 和 Cython 的高级自然语言处理库。它基于最新的研究成果构建,从一开始就被设计用于实际产品中。spaCy 配备了预训练好的管道,目前支持 60 多种语言的分词和训练。它还具有用于词性标注、句法分析、命名实体识别、文本分类等任务的神经网络模型,并支持与 BERT 等预训练转换器进行多任务学习。

CoreNLP 是一组用 Java 编写的自然语言分析工具。CoreNLP 使用户能够为文本生成语言学注释,包括词和句子边界、词性、命名实体、数值和时间值、依存关系和结构关系解析、指代消解、情感、引文归属及各种关系。

NLPnet 是一个基于神经网络的 Python 自然语言处理库。它可以执行词性标注、语义角色标注和依存关系解析。

Flair 是一个简单的框架,可用于将最先进的自然语言处理 (NLP) 模型应用于您的文本,例如命名实体识别 (NER)、词性标注 (PoS)、生物医学数据的特殊支持、语义消歧义和分类,并且支持的语言数量正在迅速增加。

Catalyst 是一个以速度为导向的 C# 自然语言处理库。它受到 spaCy 的设计 启发,带来了预训练模型、开箱即用的词嵌入和文档嵌入训练支持,以及灵活的实体识别模型。

Apache OpenNLP 是一个基于机器学习的自然语言文本处理开源工具库。它提供了一系列 API,可用于命名实体识别、句子检测、词性标注、分词、特征提取、组块分析、句法分析以及指代消解等任务。

Microsoft Cognitive Toolkit (CNTK) 是一个面向商业级应用的开源分布式深度学习工具包。它通过有向图将神经网络表示为一系列计算步骤。CNTK 允许用户轻松实现并组合常用的模型类型,如前馈深度神经网络、卷积神经网络(CNN)和循环神经网络(RNN/LSTM)。CNTK 实现了带有自动微分功能的随机梯度下降(SGD,即误差反向传播)训练,并支持在多 GPU 和多台服务器上的并行化。

NVIDIA cuDNN 是一个针对 深度神经网络 的 GPU 加速原语库。cuDNN 提供了对标准操作的高度优化实现,例如前向和反向卷积、池化、归一化以及激活层。cuDNN 可以加速广泛使用的深度学习框架,包括 Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow 等。

TensorFlow 是一个端到端的开源机器学习平台。它拥有全面且灵活的工具、库和社区资源生态系统,使研究人员能够推动机器学习领域的前沿发展,同时也让开发者能够轻松构建和部署基于机器学习的应用程序。

Tensorflow_macOS 是 TensorFlow 及其扩展库的 macOS 优化版本,适用于 macOS 11.0 及以上系统,并利用 Apple 的 ML Compute 框架进行加速。

Keras 是一个用 Python 编写的高级神经网络 API,可运行在 TensorFlow、CNTK 或 Theano 等后端之上。它专注于支持快速实验,能够在 TensorFlow、Microsoft Cognitive Toolkit、R、Theano 或 PlaidML 等平台上运行。

PyTorch 是一个用于处理不规则输入数据(如图、点云和流形)的深度学习库,主要由 Facebook 的 AI 研究实验室开发。

Eclipse Deeplearning4J (DL4J) 是一组旨在支持基于 JVM(Scala、Kotlin、Clojure 和 Groovy)的深度学习应用所有需求的项目。这意味着从原始数据开始,无论数据来自何处、采用何种格式,都可以对其进行加载和预处理,进而构建和调优各种简单或复杂的深度学习网络。

Chainer 是一个以灵活性为目标的 Python 深度学习框架。它提供了基于“定义即运行”方法(动态计算图)的自动微分 API,以及面向对象的高级 API 来构建和训练神经网络。此外,它还通过 CuPy 支持 CUDA/cuDNN,以实现高性能的训练和推理。

Anaconda 是一个非常流行的数据科学平台,专为机器学习和深度学习设计,帮助用户开发、训练和部署模型。

PlaidML 是一种先进且可移植的张量编译器,能够在笔记本电脑、嵌入式设备或其他计算硬件支持不足或软件许可限制较多的设备上运行深度学习。

Scikit-Learn 是一个基于 SciPy、NumPy 和 matplotlib 构建的 Python 机器学习模块,使得应用许多流行的机器学习算法的稳健且简单的实现变得更加容易。

Caffe 是一个以表达性、速度和模块化为核心设计的深度学习框架。它由伯克利人工智能研究实验室(BAIR)/伯克利视觉与学习中心(BVLC)及社区贡献者共同开发。

Theano 是一个 Python 库,允许高效地定义、优化和评估涉及多维数组的数学表达式,并与 NumPy 紧密集成。

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 四种高级 API,以及一个优化的执行引擎,支持通用计算图进行数据分析。此外,它还支持丰富的高层工具,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图处理的 GraphX 以及用于流式处理的 Structured Streaming。

Apache Spark Connector for SQL Server and Azure SQL 是一个高性能连接器,使用户能够在大数据分析中使用事务型数据,并将结果持久化以供即席查询或报告使用。该连接器允许将任何 SQL 数据库(无论是本地部署还是云端)用作 Spark 作业的输入数据源或输出数据接收端。

Apache PredictionIO 是一个面向开发者、数据科学家和最终用户的开源机器学习框架。它支持事件收集、算法部署、评估以及通过 REST API 查询预测结果等功能。该框架基于 Hadoop、HBase(以及其他数据库)、Elasticsearch、Spark 等可扩展的开源服务,并实现了所谓的 Lambda 架构。

Apache Airflow 是一个由社区创建的开源工作流管理平台,用于以编程方式编写、调度和监控工作流。Airflow 具有模块化架构,使用消息队列来协调任意数量的工作节点。它能够无限扩展。

Open Neural Network Exchange (ONNX) 是一个开放的生态系统,使 AI 开发人员能够根据项目的发展阶段选择合适的工具。ONNX 提供了一种开源的 AI 模型格式,适用于深度学习和传统机器学习。它定义了一个可扩展的计算图模型,以及内置算子和标准数据类型的规范。

BigDL 是一个面向 Apache Spark 的分布式深度学习库。借助 BigDL,用户可以将深度学习应用编写为标准的 Spark 程序,这些程序可以直接在现有的 Spark 或 Hadoop 集群上运行。

Numba 是由 Anaconda, Inc. 赞助的一个开源、支持 NumPy 的 Python 优化编译器。它利用 LLVM 编译器项目,将 Python 语法转换为机器码。Numba 可以编译大量以数值计算为主的 Python 代码,包括许多 NumPy 函数。此外,Numba 还支持循环的自动并行化、生成 GPU 加速代码,以及创建 ufunc 和 C 回调函数。

生物信息学

返回顶部


生物信息学学习资源

生物信息学 是一门与生物分子序列分析相关的计算科学领域。这通常涉及基因、DNA、RNA 或蛋白质等分子,尤其适用于比较同一生物体内部或不同生物体之间的基因及其他序列,研究生物间的进化关系,并通过 DNA 和蛋白质序列中的模式来推断其功能。

欧洲生物信息学研究所

美国国家生物技术信息中心

生物信息学在线课程 | ISCB - 国际计算生物学学会

生物信息学 | Coursera

顶级生物信息学课程 | Udemy

生物识别技术课程 | Udemy

通过在线课程和教程学习生物信息学 | edX

哈佛大学扩展学院生物信息学研究生证书

加州大学圣地亚哥分校扩展学院:生物信息学与生物统计学

生物信息学与蛋白质组学——免费在线课程资料 | MIT

生物识别技术入门课程 — 生物识别研究所

生物信息学工具、库和框架

Bioconductor 是一个开源项目,提供用于分析和理解高通量基因组数据的工具。Bioconductor 使用 R 统计编程语言,采用开源和开放开发模式。它每年发布两次版本,并拥有活跃的用户社区。Bioconductor 也以 AMI(Amazon Machine Image)Docker 镜像 的形式提供。

Bioconda 是 conda 软件包管理器的一个频道,专门用于生物信息学软件。它拥有一个包含超过 7000 个生物信息学软件包的仓库,可以直接通过 conda install 命令安装使用。

UniProt 是一个免费开放的数据库,为用户提供全面、高质量且可自由访问的蛋白质序列集合,并附有功能注释信息。

Bowtie 2 是一款超快速且内存高效的比对工具,用于将测序读段比对到长参考序列上。它特别擅长比对长度约为 50 到数百或数千碱基的读段,尤其适用于比对相对较长的(哺乳动物)基因组。

Biopython 是由国际开发者团队用 Python 编写的、可用于生物计算的一系列免费工具。它是一个分布式协作项目,旨在开发满足当前和未来生物信息学需求的 Python 库和应用程序。

BioRuby 是一个工具包,包含用于序列分析、通路分析、蛋白质建模和系统发育分析的组件;它支持多种广泛使用的数据格式,并能方便地访问数据库、外部程序和公共网络服务,包括 BLAST、KEGG、GenBank、MEDLINE 和 GO 等。

BioJava 是一个工具包,提供 API 来维护本地 PDB 数据库的安装、加载和操作结构、执行序列和结构比对等标准分析,并以 3D 方式进行可视化。

BioPHP 是一个开源项目,提供一系列开源 PHP 代码,包含用于 DNA 和蛋白质序列分析、比对、数据库解析以及其他生物信息学工具的类。

Avogadro 是一款先进的分子编辑器和可视化工具,专为跨平台使用而设计,适用于计算化学、分子建模、生物信息学、材料科学及相关领域。它提供灵活的高质量渲染和强大的插件架构。

Ascalaph Designer 是一款用于分子动力学模拟的程序。在单一图形界面下,既实现了自己的分子动力学算法,也集成了主流程序中的经典力学和量子力学方法。

Anduril 是一个用于分析大型数据集的工作流平台。Anduril 提供了在生物医学研究中分析高通量数据的功能,并且该平台可以被第三方完全扩展。现成的工具支持数据可视化、DNA/RNA/ChIP 测序、DNA/RNA 微阵列、细胞计数和图像分析等任务。

Galaxy 是一个开源的基于 Web 的平台,用于开展可访问、可重复且透明的计算生物医学研究。它允许没有编程经验的用户轻松指定参数并运行单个工具以及更复杂的工作流。同时,它还会记录运行信息,以便任何用户都能重复并理解完整的计算分析过程。

PathVisio 是一款免费的开源通路分析与绘图软件,可用于绘制、编辑和分析生物通路。它使用 Java 开发,并可通过插件进行扩展。

Orange 是一个功能强大的数据挖掘和机器学习工具包,能够进行数据分析和可视化。

基本局部比对搜索工具 是一种用于寻找生物序列之间相似区域的工具。该程序会将核酸或蛋白质序列与序列数据库进行比较,并计算其统计显著性。

OSIRIS 是一款公有领域的免费开源 STR 分析软件,专为临床、法医和科研用途而设计,并已被验证可用作针对单来源样本的专家系统。

NCBI BioSystems 是一个数据库,提供对生物系统的集成访问,包括其组成基因、蛋白质和小分子,以及描述这些生物系统的文献和其他相关数据,所有内容均整合在 Entrez 系统中。

CUDA 开发

返回顶部



CUDA 工具包。来源:NVIDIA 开发者 CUDA

CUDA 学习资源

CUDA 是由 NVIDIA 开发的并行计算平台和编程模型,用于在图形处理器(GPU)上进行通用计算。借助 CUDA,开发者可以充分利用 GPU 的强大算力,显著加速计算应用。在 GPU 加速的应用中,工作负载中的串行部分通常由针对单线程优化的 CPU 来执行,而计算密集型部分则可以在 GPU 的数千个核心上并行运行。使用 CUDA 时,开发者可以采用 C、C++、Fortran、Python 和 MATLAB 等主流编程语言进行开发。

CUDA 工具包文档

CUDA 快速入门指南

WSL 上的 CUDA

TensorFlow 的 CUDA GPU 支持

NVIDIA 深度学习 cuDNN 文档

NVIDIA GPU 云文档

NVIDIA NGC 是一个面向深度学习、机器学习和高性能计算(HPC)工作loads的 GPU 优化软件中心。

NVIDIA NGC 容器 是一个注册表,为研究人员、数据科学家和开发者提供对 AI、机器学习和 HPC 领域 GPU 加速软件的全面目录的便捷访问。这些容器能够充分利用本地和云端的 NVIDIA GPU。

CUDA 工具、库和框架

CUDA 工具包 是一套工具和库的集合,为开发高性能 GPU 加速应用提供了完整的开发环境。通过 CUDA 工具包,您可以在 GPU 加速的嵌入式系统、桌面工作站、企业数据中心、云平台以及 HPC 超级计算机上开发、优化和部署您的应用程序。该工具包包含 GPU 加速的库、调试和优化工具、C/C++ 编译器以及运行时库,支持在包括 x86、Arm 和 POWER 在内的主流架构上构建和部署应用。

NVIDIA cuDNN 是一个用于 深度神经网络 的 GPU 加速原语库。cuDNN 提供了针对标准操作的高度优化实现,例如前向和反向卷积、池化、归一化以及激活层。cuDNN 可以加速广泛使用的深度学习框架,包括 Caffe2ChainerKerasMATLABMxNetPyTorchTensorFlow

CUDA-X HPC 是一组库、工具、编译器和 API 的集合,旨在帮助开发者解决世界上最具挑战性的问题。CUDA-X HPC 包含专为高性能计算(HPC)设计的高度优化的内核。

NVIDIA 容器工具包 是一套工具和库的集合,使用户能够构建并运行 GPU 加速的 Docker 容器。该工具包包括一个容器运行时 以及用于自动配置容器以利用 NVIDIA GPU 的实用程序。

Minkowski Engine 是一个用于稀疏张量的自动微分库。它支持所有标准的神经网络层,如卷积、池化、反池化以及稀疏张量上的广播操作。

CUTLASS 是一套 CUDA C++ 模板抽象,用于在 CUDA 中实现各个层次和规模的高性能矩阵乘法(GEMM)。它采用了与 cuBLAS 类似的分层分解和数据移动策略。

CUB 是为 CUDA C++ 内核开发者提供的协作式原语库。

Tensorman 是由 System76 开发的用于轻松管理 TensorFlow 容器的工具。Tensorman 允许 TensorFlow 在一个与系统其他部分隔离的环境中运行。这个虚拟环境可以独立于基础系统运行,从而让您在任何支持 Docker 运行时的 Linux 发行版上使用任意版本的 TensorFlow。

Numba 是由 Anaconda, Inc. 赞助的面向 Python 的开源、兼容 NumPy 的优化编译器。它利用 LLVM 编译器项目将 Python 语法转换为机器代码。Numba 可以编译大量以数值计算为中心的 Python 代码,包括许多 NumPy 函数。此外,Numba 还支持循环的自动并行化、生成 GPU 加速代码以及创建 ufunc 和 C 回调函数。

Chainer 是一个基于 Python 的深度学习框架,旨在提供灵活性。它提供了基于“定义即执行”方法(动态计算图)的自动微分 API,以及用于构建和训练神经网络的面向对象的高级 API。它还通过 CuPy 支持 CUDA/cuDNN,以实现高性能的训练和推理。

CuPy 是一个基于 CUDA 的兼容 NumPy 多维数组实现。CuPy 由核心多维数组类 cupy.ndarray 及其上的许多函数组成。它支持 numpy.ndarray 接口的一部分功能。

CatBoost 是一个快速、可扩展且高性能的 梯度提升 树库,适用于排名、分类、回归及其他机器学习任务,支持 Python、R、Java 和 C++。它同时支持 CPU 和 GPU 上的计算。

cuDF 是一个 GPU DataFrame 库,用于加载、连接、聚合、过滤以及对数据进行其他操作。cuDF 提供了一个类似 pandas 的 API,数据工程师和数据科学家会感到非常熟悉,因此他们可以使用它来轻松加速工作流程,而无需深入了解 CUDA 编程。

cuML 是一系列库的集合,实现了机器学习算法和数学原语函数,这些库与其他 RAPIDS 项目具有兼容的 API。cuML 使数据科学家、研究人员和软件工程师能够在不深入 CUDA 编程的情况下,在 GPU 上运行传统的表格型机器学习任务。在大多数情况下,cuML 的 Python API 与 scikit-learn 的 API 相匹配。

ArrayFire 是一个通用库,简化了针对并行和大规模并行架构(包括 CPU、GPU 和其他硬件加速设备)开发软件的过程。

Thrust 是一个 C++ 并行编程库,其接口类似于 C++ 标准库。Thrust 的高级别接口极大地提高了程序员的生产力,同时实现了 GPU 和多核 CPU 之间的性能可移植性。

AresDB 是一个基于 GPU 的实时分析存储和查询引擎。它具有低查询延迟、高数据新鲜度以及高效的内存和磁盘存储管理能力。

Arraymancer 是 Nim 语言中的一个张量(N 维数组)项目。其主要目标是提供一个快速且符合人体工学的 CPU、CUDA 和 OpenCL ndarray 库,以此为基础构建科学计算生态系统。

Kintinuous 是一个实时稠密视觉 SLAM 系统,仅需一个低成本的 RGB-D 传感器,即可在数百米范围内实时生成高质量、全局一致的点云和网格重建结果。

GraphVite 是一个通用图嵌入引擎,专注于在各种应用中实现高速、大规模的嵌入学习。

MATLAB 开发

返回顶部


MATLAB 学习资源

MATLAB 是一种编程语言,能够直接进行矩阵和数组数学运算等数值计算。

MATLAB 文档

MATLAB 入门

MATLAB Academy 提供的 MATLAB 和 Simulink 培训

MathWorks 认证项目

Udemy 上的 MATLAB 在线课程

Coursera 上的 MATLAB 在线课程

edX 上的 MATLAB 在线课程

构建 MATLAB GUI

MATLAB 风格指南 2.0

使用 MATLAB 和 Simulink 设置 Git 版本控制

使用 MATLAB 和 Simulink 通过 Git 拉取、推送和获取文件

使用 MATLAB 和 Simulink 创建新仓库

PRMLT 是用于 PRML 教材中机器学习算法的 MATLAB 代码。

MATLAB 工具、库和框架

MATLAB 和 Simulink 服务与应用列表

MATLAB 云 是一项服务,允许您在从 MathWorks Cloud 到包括 AWSAzure 在内的 公有云 的各种云环境中运行。

MATLAB Online™ 是一项服务,允许用户通过 Google Chrome 等网页浏览器使用 MATLAB 和 Simulink。

Simulink 是一个基于模型的设计的框图环境。它支持嵌入式系统的仿真、自动代码生成和持续测试。

Simulink Online™ 是一项通过您的网页浏览器提供 Simulink 访问权限的服务。

MATLAB Drive™ 是一项服务,使您能够随时随地存储、访问和处理文件。

MATLAB 并行服务器™ 是一种工具,可将 MATLAB® 程序和 Simulink® 仿真扩展到集群和云环境。您可以在桌面端对程序和仿真进行原型设计,然后无需重新编码即可在集群和云上运行。MATLAB 并行服务器支持批处理作业、交互式并行计算以及大型矩阵的分布式计算。

MATLAB Schemer 是一个 MATLAB 软件包,可以轻松更改 MATLAB 显示界面和 GUI 的配色方案(主题)。

LRSLibrary 是一个用于视频背景建模和减除的低秩与稀疏工具库。该库最初是为视频中的运动目标检测而设计的,但也可用于其他计算机视觉和机器学习问题。

图像处理工具箱™ 是一种工具,提供了一套全面的参考标准算法和工作流应用程序,用于图像处理、分析、可视化以及算法开发。您可以执行图像分割、图像增强、降噪、几何变换、图像配准以及三维图像处理。

计算机视觉工具箱™ 是一种工具,提供用于设计和测试计算机视觉、3D 视觉和视频处理系统的算法、函数和应用程序。您可以进行目标检测与跟踪,以及特征检测、提取和匹配。您还可以自动化单目、双目和鱼眼相机的标定流程。对于 3D 视觉,该工具箱支持视觉和点云 SLAM、立体视觉、运动恢复结构以及点云处理。

统计与机器学习工具箱™ 是一种工具,提供用于描述、分析和建模数据的函数和应用程序。您可以使用描述性统计、可视化和聚类进行探索性数据分析;拟合概率分布到数据;生成随机数用于蒙特卡洛模拟,并进行假设检验。回归和分类算法使您能够从数据中得出推论,并以交互方式使用分类和回归学习器应用程序,或以编程方式使用 AutoML 构建预测模型。

Lidar 工具箱™ 是一种工具,提供用于设计、分析和测试激光雷达处理系统的算法、函数和应用程序。您可以执行目标检测与跟踪、语义分割、形状拟合、激光雷达配准以及障碍物检测。Lidar 工具箱支持结合计算机视觉和激光雷达处理的工作流程中的激光雷达与相机交叉标定。

地图工具箱™ 是一种工具,提供用于转换地理数据和创建地图显示的算法和函数。您可以将数据置于地理背景下进行可视化,利用超过 60 种地图投影创建地图显示,并将来自不同来源的数据转换为一致的地理坐标系统。

UAV 工具箱 是一种应用程序,提供用于设计、仿真、测试和部署无人机及无人驾驶飞行器应用的工具和参考应用。您可以设计自主飞行算法、无人机任务和飞行控制器。飞行日志分析器应用程序允许您以交互方式分析常见飞行日志格式中的三维飞行路径、遥测信息和传感器读数。

并行计算工具箱™ 是一种工具,使您能够利用多核处理器、GPU 和计算机集群来解决计算密集型和数据密集型问题。并行 for 循环、特殊数组类型以及并行化的数值算法等高级构造,使您无需进行 CUDA 或 MPI 编程即可实现 MATLAB® 应用程序的并行化。该工具箱允许您在 MATLAB 及其他工具箱中使用支持并行计算的函数。您还可以将该工具箱与 Simulink® 配合使用,以并行运行模型的多个仿真。程序和模型既可以在交互模式下运行,也可以在批处理模式下运行。

偏微分方程工具箱™ 是一种提供用于通过有限元分析求解结构力学、传热以及一般偏微分方程 (PDE) 的工具。

ROS 工具箱 是一种提供 MATLAB® 和 Simulink® 与机器人操作系统 (ROS 和 ROS 2) 之间接口的工具,使您能够创建 ROS 节点网络。该工具箱包含 MATLAB 函数和 Simulink 模块,用于导入、分析和回放以 rosbag 文件格式记录的 ROS 数据。您还可以连接到实时 ROS 网络以访问 ROS 消息。

机器人技术工具箱™ 提供一个将机器人技术特定功能(设计、仿真和测试机械臂、移动机器人和人形机器人)引入 MATLAB 的工具箱,充分利用 MATLAB 的原生能力(线性代数、可移植性、图形)。该工具箱还为移动机器人提供了机器人运动模型(自行车模型)、路径规划算法(bug 算法、距离变换、D*、PRM)、运动学动力学规划(格子规划、RRT)、定位(EKF、粒子滤波器)、地图构建(EKF)以及同时定位与地图构建(EKF)等功能,并包含一个非完整约束车辆的 Simulink 模型。此外,该工具箱还包括一个详细的四旋翼飞行机器人 Simulink 模型。

深度学习工具箱™ 是一种提供框架的工具,用于借助算法、预训练模型和应用程序来设计和实现深度神经网络。您可以使用卷积神经网络 (ConvNets, CNNs) 和长短期记忆 (LSTM) 网络对图像、时间序列和文本数据进行分类和回归。借助自动微分、自定义训练循环和共享权重,您可以构建生成对抗网络 (GANs) 和暹罗网络等网络架构。通过 Deep Network Designer 应用程序,您可以以图形化方式设计、分析和训练网络。它可以通过 ONNX 格式与 TensorFlow™ 和 PyTorch 进行模型交换,并可从 TensorFlow-Keras 和 Caffe 导入模型。该工具箱支持迁移学习,提供 DarkNet-53、ResNet-50、NASNet、SqueezeNet 等多种预训练模型。

强化学习工具箱™ 是一种提供应用程序、函数和 Simulink® 块的工具,用于使用强化学习算法(包括 DQN、PPO、SAC 和 DDPG)训练策略。您可以使用这些策略为资源分配、机器人技术和自主系统等复杂应用实现控制器和决策算法。

深度学习 HDL 工具箱™ 是一种提供函数和工具的工具,用于在 FPGA 和 SoC 上原型化和实现深度学习网络。它为在受支持的 Xilinx® 和 Intel® FPGA 以及 SoC 设备上运行各种深度学习网络提供了预构建的比特流。性能分析和估算工具使您能够通过探索设计、性能和资源利用率之间的权衡来定制深度学习网络。

模型预测控制工具箱™ 是一种提供函数、应用程序和 Simulink® 块的工具,用于使用线性和非线性模型预测控制 (MPC) 设计和仿真控制器。该工具箱允许您指定被控对象和干扰模型、预测时域、约束条件和权重。通过运行闭环仿真,您可以评估控制器的性能。

Vision HDL 工具箱™ 是一种提供像素流算法的工具,用于在 FPGA 和 ASIC 上设计和实现视觉系统。它提供一个设计框架,支持多种接口类型、帧尺寸和帧率。该工具箱中的图像处理、视频和计算机视觉算法采用适合 HDL 实现的架构。

SoC 块集™ 是一种提供 Simulink® 块和可视化工具的工具,用于建模、仿真和分析 ASIC、FPGA 以及片上系统 (SoC) 的硬件和软件架构。您可以通过内存模型、总线模型和 I/O 模型构建系统架构,并将架构与算法一起进行仿真。

无线 HDL 工具箱™ 是一种提供经过预先验证、可直接用于硬件实现的 Simulink® 块和子系统的工具,用于开发 5G、LTE 以及基于 OFDM 的自定义无线通信应用。它包括参考应用、IP 模块以及帧级与样本级处理之间的网关。

ThingSpeak™ 是一种物联网数据分析服务,使您能够在云端聚合、可视化和分析实时数据流。ThingSpeak 可为您提供由您的设备发布到 ThingSpeak 的数据的即时可视化效果。借助 ThingSpeak 中执行 MATLAB® 代码的功能,您可以对传入的数据进行在线分析和处理。ThingSpeak 经常用于需要数据分析的物联网系统原型设计和概念验证。

SEA-MAT 是一项协作项目,旨在为海洋学界组织和分发 MATLAB 工具。

Gramm 是一个完整的 MATLAB 数据可视化工具箱。它提供易于使用且高层次的界面,可用于生成具有丰富统计可视化效果的高出版质量图表,以展示复杂数据。Gramm 的灵感来源于 R 语言的 ggplot2 库。

hctsa 是一个使用 MATLAB 运行高度比较性时间序列分析的软件包。

Plotly 是 MATLAB 的绘图库。

YALMIP 是一个用于优化建模的 MATLAB 工具箱。

GNU Octave 是一种高级解释型语言,主要用于数值计算。它提供了求解线性和非线性问题的数值方法,并可用于进行其他数值实验。此外,Octave 还具备强大的绘图功能,可用于数据可视化和处理。

C/C++ 开发

返回顶部


C/C++ 学习资源

C++ 是一种跨平台语言,由 Bjarne Stroustrup 在 C 语言的基础上扩展而来,可用于构建高性能应用程序。

C 是一种通用的高级编程语言,最初由 Dennis M. Ritchie 在贝尔实验室开发,用于编写 UNIX 操作系统。它支持结构化编程、词法作用域和递归,并采用静态类型系统。C 语言还提供了能够高效映射到典型机器指令的构造,因此成为当今使用最广泛的编程语言之一。

嵌入式 C 是由 C 标准委员会 为解决不同 嵌入式系统 之间存在的 C 语言扩展差异而制定的一组语言扩展。这些扩展有助于增强微处理器的特性,例如定点运算、多个独立的存储器区域以及基本的 I/O 操作。这使得嵌入式 C 成为全球最受欢迎的嵌入式软件编程语言。

JetBrains 的 C 和 C++ 开发工具

cppreference.com 上的开源 C++ 库

C++ 图形库

MATLAB 中的 C++ 库

C++ 工具与库相关文章

Google C++ 风格指南

Google Developers 上的 C++ 入门课程

Fuchsia 的 C++ 风格指南

OpenTitan 的 C 和 C++ 编码规范

Chromium 的 C++ 风格指南

C++ 核心指南

ROS 的 C++ 风格指南

学习 C++

学习 C:交互式 C 教程

C++ 协会

LinkedIn Learning 上的 C++ 在线课程

W3Schools 上的 C++ 教程

edX 上的 C 语言在线课程

edX 上的 C++ 在线课程

Codecademy 上的 C++ 学习课程

Coursera 上的“人人皆可编程”:C 和 C++ 课程

Coursera 上的“面向程序员的 C++”课程

Coursera 上的热门 C 课程

Udemy 上的 C++ 在线课程

Udemy 上的热门 C 课程

Udemy 上的“面向初学者的嵌入式 C 编程基础”课程

Udacity 上的“面向程序员的 C++”课程

Pluralsight 上的“学习 C++ 程序设计”课程

MIT 免费在线课程材料中的 C++ 入门

哈佛大学的“面向程序员的 C++ 入门”课程

哈佛大学的在线 C 课程

C/C++ 工具

AWS SDK for C++

Azure SDK for C++

Azure SDK for C

Google Cloud 服务的 C++ 客户端库

Visual Studio 是微软推出的一款集成开发环境(IDE),功能强大,适用于软件开发的各个方面。Visual Studio 可以轻松地编辑、调试、构建和发布应用程序,尤其适合使用 Windows API、Windows Forms、Windows Presentation Foundation 和 Windows Store 等微软开发平台的项目。

Visual Studio Code 是一款专为构建和调试现代 Web 和云应用而重新设计和优化的代码编辑器。

Vcpkg 是一个适用于 Windows、Linux 和 macOS 的 C++ 库管理工具。

ReSharper C++ 是 JetBrains 为 C++ 开发者提供的 Visual Studio 扩展。

AppCode 会持续监控代码质量,及时提醒错误和潜在问题,并自动提供快速修复建议。AppCode 提供针对 Objective-C、Swift、C/C++ 以及其他支持语言的大量代码检查功能,所有检查均实时运行。

CLion 是 JetBrains 推出的一款跨平台 C 和 C++ 集成开发环境。

Code::Blocks 是一款免费的 C/C++ 和 Fortran 集成开发环境,旨在满足用户最苛刻的需求。它具有高度的可扩展性和完全可配置性,基于插件框架设计,可通过安装插件进行功能扩展。

CppSharp 是一套工具和库,用于简化原生 C/C++ 代码与 .NET 生态系统的集成。它能够读取 C/C++ 头文件和库文件,并生成必要的胶水代码,将原生 API 封装为托管 API。通过这种方式,可以在托管代码中调用现有的原生库,或为原生代码库添加托管脚本支持。

Conan 是一个开源的包管理器,专为 C++ 开发和依赖管理而设计,使其步入 21 世纪,并与其他开发生态系统保持同步。

高性能计算(HPC)SDK 是一套全面的工具箱,用于加速 GPU 上的 HPC 建模和仿真应用。它包含在 NVIDIA 平台上开发 HPC 应用所需的 C、C++ 和 Fortran 编译器、库以及分析工具。

Thrust 是一个 C++ 并行编程库,其接口与 C++ 标准库类似。Thrust 的高级别接口极大地提高了程序员的生产力,同时实现了 GPU 和多核 CPU 之间的性能可移植性。它与 CUDA、TBB 和 OpenMP 等成熟技术的互操作性使其能够轻松集成到现有软件中。

Boost 是一个专注于前沿 C++ 技术的教育平台。自 2007 年以来,Boost 一直参与谷歌年度夏季代码项目,学生们通过参与 Boost 库的开发来提升自己的技能。

Automake 是一个用于自动生成符合 GNU 编码标准的 Makefile.in 文件的工具。Automake 需要配合使用 GNU Autoconf。

Cmake 是一个开源的跨平台工具集,用于构建、测试和打包软件。CMake 使用简单且与平台和编译器无关的配置文件来控制软件的编译过程,并生成可在您选择的编译环境中使用的原生 makefile 和工作区。

GDB 是一个调试器,它允许您在程序运行时查看其内部状态,或在程序崩溃时了解其当时的执行情况。

GCC 是一个编译器集合,包含 C、C++、Objective-C、Fortran、Ada、Go 和 D 语言的前端,以及这些语言的库。

GSL 是一个面向 C 和 C++ 程序员的数值库。它是根据 GNU 通用公共许可证发布的自由软件。该库提供了广泛的数学例程,如随机数生成器、特殊函数和最小二乘拟合等。整个库共有超过 1000 个函数,并附带一个庞大的测试套件。

OpenGL 扩展加载库(GLEW) 是一个跨平台的开源 C/C++ 扩展加载库。GLEW 提供高效的运行时机制,用于确定目标平台上支持哪些 OpenGL 扩展。

Libtool 是一个通用的库支持脚本,它通过一致且可移植的接口隐藏了使用共享库的复杂性。要使用 Libtool,只需将新的通用库构建命令添加到您的 Makefile、Makefile.in 或 Makefile.am 中即可。

Maven 是一个用于软件项目管理和理解的工具。基于项目对象模型(POM)的概念,Maven 可以从一个中心化的信息源管理项目的构建、报告和文档。

TAU(调优与分析工具) 能够通过插桩函数、方法、基本块和语句,以及基于事件的采样来收集性能信息。它支持所有 C++ 语言特性,包括模板和命名空间。

Clang 是一个生产级的 C、Objective-C、C++ 和 Objective-C++ 编译器,适用于 X86-32、X86-64 和 ARM 架构(其他目标可能存在一些限制,但通常容易解决)。Clang 已被广泛应用于生产环境,用于构建性能关键型软件,如 Google Chrome 或 Firefox。

OpenCV 是一个高度优化的库,专注于实时应用。它提供跨平台的 C++、Python 和 Java 接口,支持 Linux、MacOS、Windows、iOS 和 Android 系统。

Libcu++ 是 NVIDIA 为整个系统提供的 C++ 标准库。它提供了 C++ 标准库的异构实现,可以在 CPU 和 GPU 代码中以及两者之间使用。

ANTLR(另一种语言识别工具) 是一个功能强大的解析器生成器,可用于读取、处理、执行或转换结构化文本或二进制文件。它被广泛用于构建语言、工具和框架。ANTLR 可以根据文法生成解析器,构建语法树,并生成监听器接口,从而方便对感兴趣短语的识别做出响应。

Oat++ 是一个轻量级且功能强大的 C++ Web 框架,适用于高度可扩展且资源高效的 Web 应用程序。它没有依赖项,易于移植。

JavaCPP 是一个程序,它能够在 Java 中高效地访问原生 C++ 代码,类似于某些 C/C++ 编译器与汇编语言交互的方式。

Cython 是一种语言,它使得为 Python 编写 C 扩展变得像编写 Python 代码一样简单。Cython 基于 Pyrex,但支持更多前沿功能和优化,例如调用 C 函数以及在变量和类属性上声明 C 类型。

Spdlog 是一个非常快速、仅包含头文件或已编译的 C++ 日志记录库。

Infer 是一个用于 Java、C++、Objective-C 和 C 语言的静态分析工具。Infer 是用 OCaml 编写的。

Java 开发

返回顶部


Java 学习资源

Java 是一种流行的编程语言和开发平台(JDK)。它能够降低成本、缩短开发周期、推动创新并提升应用服务。全球有数百万开发者运行着超过 510 亿个 Java 虚拟机。

Eclipse 基金会 汇聚了全球开发者社区,提供 Eclipse IDE、Jakarta EE 以及超过 375 个开源项目,涵盖 Java 及其他语言的运行时、工具和框架。

Java 入门教程

Oracle University 提供的 Oracle Java 认证

Google Developers 培训

Google Developers 认证

W3Schools 的 Java 教程

使用 Java 构建你的第一个 Android 应用

在 Visual Studio Code 中开始使用 Java

Google Java 编码规范

AOSP 贡献者 Java 代码风格指南

Chromium Java 风格指南

开始使用 OR-Tools for Java

Azure Pipelines 中的 Java 工具安装任务入门

Gradle 用户手册

工具

Java SE 包含多种工具,用于辅助程序开发与调试,以及监控和排查生产环境中的应用问题。

JDK 开发工具 包括 Java Web Start 工具 (javaws)、Java 排查、性能分析、监控与管理工具 (jcmd, jconsole, jmc, jvisualvm),以及 Java Web 服务工具 (schemagen, wsgen, wsimport, xjc)。

Android Studio 是 Google Android 操作系统的官方集成开发环境,基于 JetBrains 的 IntelliJ IDEA 软件构建,专为 Android 开发设计。支持 Windows、macOS、Linux 和 Chrome OS。

IntelliJ IDEA 是一款面向 Java 的 IDE,但它同样能够理解并提供智能编码辅助功能,适用于 Kotlin、SQL、JPQL、HTML、JavaScript 等多种语言,即使这些语言的表达被嵌入到 Java 代码的字符串字面量中。

NetBeans 是一款 IDE,为 Java 开发者提供了创建专业桌面、移动和企业级应用所需的所有工具。包括创建、编辑和重构等功能。该 IDE 还提供向导和模板,帮助用户快速构建 Java EE、Java SE 和 Java ME 应用程序。

Java 设计模式 是一组经过最佳形式化实践的设计模式集合,程序员可以利用它们解决应用程序或系统设计过程中常见的问题。

Elasticsearch 是一个基于 Java 构建的分布式 RESTful 搜索引擎,专为云环境设计。

RxJavaReactive Extensions 在 Java 虚拟机上的实现:一个通过可观察序列来组合异步和事件驱动程序的库。它扩展了 观察者模式,以支持数据/事件序列,并添加了一系列操作符,允许你以声明式的方式组合序列,同时屏蔽底层线程、同步、线程安全及并发数据结构等细节。

Guava 是 Google 提供的一组核心 Java 类库,包含新的集合类型(如 multimap 和 multiset)、不可变集合、图库,以及用于并发、I/O、哈希、缓存、基本类型、字符串等方面的实用工具!它在 Google 内部的大多数 Java 项目中被广泛使用,同时也被许多其他公司采用。

OkHttp 是 Square 公司开发的一款适用于 Java 和 Kotlin 的 HTTP 客户端。

Retrofit 是 Square 公司开发的一款适用于 Android 和 Java 的类型安全 HTTP 客户端。

LeakCanary 是 Square 公司开发的一款用于 Android 的内存泄漏检测库。

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 等高级 API,以及一个优化的执行引擎,支持通用计算图进行数据分析。此外,它还提供一系列高级工具,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图处理的 GraphX,以及用于流处理的 Structured Streaming。

Apache Flink 是一个开源的流处理框架,具备强大的流处理和批处理能力,拥有优雅且流畅的 Java 和 Scala API。

Fastjson 是一个 Java 库,可用于将 Java 对象转换为 JSON 表示形式,也可以将 JSON 字符串转换为相应的 Java 对象。

libGDX 是一个基于 OpenGL (ES) 的跨平台 Java 游戏开发框架,可在 Windows、Linux、Mac OS X、Android、支持 WebGL 的浏览器以及 iOS 上运行。

Jenkins 是领先的开源自动化服务器。它基于 Java 构建,提供了超过 1700 个 插件 来支持几乎任何自动化的场景,从而使人类能够将时间投入到机器无法完成的任务上。

DBeaver 是一款免费的多平台数据库工具,适用于开发者、SQL 程序员、数据库管理员和分析师。它支持任何具有 JDBC 驱动的数据库(基本上意味着——任何数据库)。其企业版还支持非 JDBC 数据源(MongoDB、Cassandra、Redis、DynamoDB 等)。

Redisson 是一个具备内存数据网格功能的 Redis Java 客户端。它提供了超过 50 种基于 Redis 的 Java 对象和服务:Set、Multimap、SortedSet、Map、List、Queue、Deque、Semaphore、Lock、AtomicLong、Map Reduce、发布/订阅、Bloom 过滤器、Spring Cache、Tomcat、Scheduler、JCache API、Hibernate、MyBatis、RPC 以及本地缓存。

GraalVM 是一种通用虚拟机,可用于运行用 JavaScript、Python、Ruby、R 语言以及基于 JVM 的语言(如 Java、Scala、Clojure、Kotlin)和基于 LLVM 的语言(如 C 和 C++)编写的应用程序。

Gradle 是一款用于多语言软件开发的构建自动化工具。无论是移动应用还是微服务,无论小型初创公司还是大型企业,Gradle 都能帮助团队更快地构建、自动化并交付更优质的软件。你可以使用 Java、C++、Python 或任何你偏好的语言进行开发。

Apache Groovy 是一种功能强大、可选类型且动态的语言,同时具备静态类型检查和静态编译的能力,专为 Java 平台设计,旨在通过简洁、熟悉且易于学习的语法提高开发效率。它能够与任何 Java 程序无缝集成,并立即为你的应用程序带来强大的功能,包括脚本支持、领域特定语言的编写、运行时和编译时元编程以及函数式编程等特性。

JaCoCo 是一个面向 Java 的免费代码覆盖率工具库,由 EclEmma 团队基于多年使用和集成现有库的经验而开发。

Apache JMeter 用于测试静态和动态资源以及 Web 动态应用程序的性能。它还可以模拟对服务器、服务器集群、网络或目标对象的高负载,以测试其承受能力或分析在不同负载类型下的整体性能。

Junit 是一个用于编写可重复测试的简单框架。它是 xUnit 架构在单元测试框架中的一个实例。

Mockito 是最流行的 Java 单元测试模拟框架。

SpotBugs 是一款利用静态分析技术来查找 Java 代码中潜在缺陷的工具。

SpringBoot 是一款出色的工具,可以帮助你以极低的复杂度创建基于 Spring 的生产级应用程序和服务。它对 Spring 平台采取了一种“有观点”的方法,使新老用户都能快速上手所需的功能。

YourKit 是一家技术领先企业,致力于打造最创新、最智能的 Java 和 .NET 应用程序性能分析工具。

Python 开发

返回顶部


Python 学习资源

Python 是一种解释型的高级编程语言。Python 在数据科学和机器学习领域得到了广泛应用。

Python 开发者指南 是一份全面的资源,适用于所有希望为 Python 社区做出贡献的新老开发者。该指南由维护 Python 的同一社区负责更新和维护。

Azure Functions Python 开发者指南 是关于如何使用 Python 开发 Azure Functions 的入门指南。以下内容假定你已经阅读过 Azure Functions 开发者指南

CheckiO 是一个编程学习平台兼游戏化网站,通过解决代码挑战并争夺最优雅、最具创意的解决方案来教授 Python。

Python Institute

PCEP – 认证初级 Python 程序员资格认证

PCAP – 认证 Python 编程助理资格认证

PCPP – 认证 Python 编程专业人员 1 资格认证

PCPP – 认证 Python 编程专业人员 2 资格认证

MTA:使用 Python 进行编程入门认证

在 Visual Studio Code 中开始使用 Python

Google 的 Python 风格指南

Google 的 Python 教育课程

Real Python

Forrest Knight 提供的开源 Python 计算机科学学位课程

数据科学领域的 Python 入门课程

W3schools 的 Python 入门课程

Codecademy 的 Python 3 课程

通过 edX 的在线课程学习 Python

Coursera 上的 Python 在线课程

Python 框架与工具

Python 包索引 (PyPI) 是 Python 编程语言的软件仓库。PyPI 帮助你查找和安装由 Python 社区开发并共享的软件。

PyCharm 是我用过的最好的 IDE。借助 PyCharm,你可以在一个地方访问命令行、连接数据库、创建虚拟环境以及管理版本控制系统,从而避免在不同窗口之间频繁切换,节省时间。

Python Tools for Visual Studio (PTVS) 是一个免费的开源插件,可将 Visual Studio 转变为 Python IDE。它支持编辑、浏览、IntelliSense、Python/C++ 混合调试、远程 Linux/MacOS 调试、性能分析、IPython 以及使用 Django 等框架进行 Web 开发。

Pylance 是一个扩展,与 Visual Studio Code 中的 Python 配合使用,提供高效的语言支持。Pylance 的底层由 Microsoft 的静态类型检查工具 Pyright 提供支持。

Pyright 是一款针对大型 Python 代码库的快速类型检查器。它可以以“监视”模式运行,并在文件修改时执行快速的增量更新。

Django 是一个高级 Python Web 框架,鼓励快速开发和简洁、实用的设计。

Flask 是一个用 Python 编写的微型 Web 框架。它被归类为微型框架,因为它不需要特定的工具或库。

Web2py 是一个用 Python 编写的开源 Web 应用程序框架,允许 Web 开发人员编写动态 Web 内容。单个 Web2py 实例可以运行多个使用不同数据库的网站。

AWS Chalice 是一个用于用 Python 编写无服务器应用程序的框架。它允许你快速创建和部署使用 AWS Lambda 的应用程序。

Tornado 是一个 Python Web 框架和异步网络库。Tornado 使用非阻塞式网络 I/O,能够扩展到数以万计的开放连接。

HTTPie 是一个命令行 HTTP 客户端,旨在尽可能简化与 Web 服务的 CLI 交互。HTTPie 专为测试、调试以及与 API 和 HTTP 服务器的一般交互而设计。

Scrapy 是一个快速、高级的 Web 爬取和数据抓取框架,用于爬取网站并从其页面中提取结构化数据。它可以用于广泛的目的,从数据挖掘到监控和自动化测试。

Sentry 是一项帮助你实时监控和修复崩溃的服务。其服务器端使用 Python 编写,但包含完整的 API,可用于从任何语言、任何应用程序发送事件。

Pipenv 是一种工具,旨在将各个包管理领域的最佳实践(如 Bundler、Composer、npm、Cargo、Yarn 等)引入 Python 生态系统。

Python Fire 是一个库,可以从任何 Python 对象自动生成命令行界面 (CLI)。

Bottle 是一个快速、简单且轻量级的 WSGI 微型 Web 框架,专为 Python 设计。它以单个文件模块的形式分发,除了 Python 标准库 外没有任何依赖。

CherryPy 是一个极简主义的面向对象 Python HTTP Web 框架。

Sanic 是一个基于 Python 3.6+ 的 Web 服务器和 Web 框架,专为高性能而设计。

Pyramid 是一个小型且快速的开源 Python Web 框架。它使实际的 Web 应用开发和部署更加有趣和高效。

TurboGears 是一个混合型 Web 框架,既可以作为全栈框架使用,也可以作为微型框架使用。

Falcon 是一个可靠、高性能的 Python Web 框架,用于构建大规模应用程序后端和微服务,支持 MongoDB、可插拔应用以及自动生成的管理员界面。

Neural Network Intelligence (NNI) 是一个开源 AutoML 工具包,用于自动化机器学习生命周期,包括 特征工程神经架构搜索模型压缩超参数调优

Dash 是一个流行的 Python 框架,用于为 Python、R、Julia 和 Jupyter 构建机器学习和数据科学 Web 应用程序。

Luigi 是一个 Python 模块,可以帮助你构建复杂的批处理作业管道。它负责处理依赖关系解析、工作流管理、可视化等功能,并内置了对 Hadoop 的支持。

Locust 是一个易于使用、可脚本化且可扩展的性能测试工具。

spaCy 是一个用于 Python 和 Cython 的高级自然语言处理库。

NumPy 是使用 Python 进行科学计算所必需的基础包。

Pillow 是 PIL(Python 图像库)的一个友好分支。

IPython 是一种多语言交互式计算的命令行外壳,最初为 Python 编程语言开发,提供了增强的内省功能、富媒体支持、额外的 shell 语法、Tab 补全以及丰富的历史记录。

GraphLab Create 是一个基于 C++ 引擎的 Python 库,可用于快速构建大规模、高性能的机器学习模型。

Pandas 是一个快速、强大且易于使用的开源数据结构、数据分析和操作工具,构建于 Python 编程语言之上。

PuLP 是一个用 Python 编写的线性规划建模工具。PuLP 可以生成 LP 文件,并调用高度优化的求解器(如 GLPK、COIN CLP/CBC、CPLEX 和 GUROBI)来解决这些线性问题。

Matplotlib 是一个用于在 Python 中创建静态、动画和交互式可视化效果的 2D 绘图库。Matplotlib 可以在各种打印格式和跨平台的交互式环境中生成出版质量的图表。

Scikit-Learn 是一个简单高效的数据挖掘和数据分析工具。它构建于 NumPy、SciPy 和 Matplotlib 之上。

Scala 开发

返回顶部


Scala 学习资源

Scala 是一种将面向对象编程与函数式编程结合于一体的简洁、高级语言。Scala 的静态类型系统有助于避免复杂应用程序中的错误,而其 JVM 和 JavaScript 运行时则使你能够构建高性能系统,并轻松访问庞大的库生态系统。

Scala 风格指南

Databricks Scala 风格指南

在 Azure 上使用 Scala 和 Spark 进行数据科学

使用 IntelliJ 在 HDInsight 中为 Apache Spark 创建 Scala Maven 应用程序

使用 Scala 和 Azure Databricks 介绍 Spark DataFrames

使用 Scala 编写 AWS Glue ETL 脚本

在 Amazon EMR 集群上使用 Flink Scala Shell

Udemy 上的 AWS EMR 和 Spark 2 使用 Scala 课程

将 Google Cloud Storage 连接器与 Apache Spark 结合使用

在 Google Cloud 的 Cloud Dataproc 上编写并运行 Spark Scala 作业

edX 上的 Scala 课程和认证

Coursera 上的 Scala 课程

Udemy 上的顶级 Scala 课程

Scala 工具

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 等高级 API,以及一个优化的引擎,支持用于数据分析的通用计算图。它还支持丰富的高级工具,包括用于 SQL 和 DataFrame 的 Spark SQL、用于机器学习的 MLlib、用于图处理的 GraphX,以及用于流处理的 Structured Streaming。

SQL Server 和 Azure SQL 的 Apache Spark 连接器 是一种高性能连接器,使你能够在大数据分析中使用事务性数据,并将结果持久化以供即席查询或报告使用。该连接器允许你将任何 SQL 数据库(无论是在本地还是云端)用作 Spark 作业的输入数据源或输出数据接收端。

Azure Databricks 是一种快速且协作式的基于 Apache Spark 的大数据分析服务,专为数据科学和数据工程设计。Azure Databricks 可在几分钟内为你设置好 Apache Spark 环境,自动扩展规模,并在一个交互式工作区中协作完成共享项目。Azure Databricks 支持 Python、Scala、R、Java 和 SQL,以及 TensorFlow、PyTorch 和 scikit-learn 等数据科学框架和库。

Apache PredictionIO 是一个面向开发者、数据科学家和最终用户的开源机器学习框架。它支持事件收集、算法部署、评估,以及通过 REST API 查询预测结果。它基于 Hadoop、HBase(以及其他数据库)、Elasticsearch 和 Spark 等可扩展的开源服务,并实现了所谓的 Lambda 架构。

Apache Kafka 集群管理器 (CMAK) 是一个用于管理 Apache Kafka 集群的工具。

BigDL 是一个用于 Apache Spark 的分布式深度学习库。借助 BigDL,用户可以将他们的深度学习应用程序编写为标准的 Spark 程序,这些程序可以直接在现有的 Spark 或 Hadoop 集群上运行。

Eclipse Deeplearning4J (DL4J) 是一组旨在支持基于 JVM(Scala、Kotlin、Clojure 和 Groovy)的深度学习应用程序所有需求的项目。这意味着从原始数据开始,无论数据来自何处、采用何种格式,都可以对其进行加载和预处理,进而构建和调整各种简单及复杂的深度学习网络。

Play Framework 是一个结合了生产力和性能的 Web 框架,使使用 Java 和 Scala 构建可扩展的 Web 应用程序变得容易。

Dotty 是一种研究型编译器,未来将成为 Scala 3。

AWScala 是一个工具,使 Scala 开发人员能够以 Scala 的方式轻松地与 Amazon Web Services 集成。

Scala.js 是一个将 Scala 转换为 JavaScript 的编译器。

Polynote 是一个实验性的多语言笔记本环境。目前,它支持 Scala 和 Python(无论是否使用 Spark)、SQL 和 Vega。

Scala Native 是一个专门针对 Scala 设计的优化型提前编译器和轻量级托管运行时。

Gitbucket 是一个由 Scala 驱动的 Git 平台,安装简便、扩展性强,并且兼容 GitHub API。

Finagle 是一个容错、协议无关的 RPC 系统。

Gatling 是一个负载测试工具。它官方支持 HTTP、WebSocket、服务器发送事件和 JMS。

Scalatra 是一个小型的 Scala 高性能异步 Web 框架,灵感来源于 Sinatra

R 开发

返回顶部


R 学习资源

R 是一个用于统计计算和图形绘制的开源软件环境。它可以在多种平台上编译和运行,例如 Windows 和 macOS。

R 语言入门

Google 的 R 风格指南

R 开发者 Azure 指南

在 Google Compute Engine 上大规模运行 R

在 AWS 上运行 R

RStudio Server Pro for AWS

通过 Codecademy 学习 R

通过 edX 的在线课程和教程学习 R 编程

Coursera 上的 R 语言课程

通过 Udacity 学习用于数据科学的 R

R 工具

RStudio 是一个集成了 R 和 Python 的开发环境,包含控制台、支持直接代码执行的语法高亮编辑器,以及用于绘图、历史记录、调试和工作区管理的工具。

Shiny 是 RStudio 推出的一个较新的包,能够非常容易地使用 R 构建交互式 Web 应用程序。

Rmarkdown 是一个可以帮助你创建动态分析文档的包,这些文档可以将代码、渲染后的输出(如图表)和文字说明结合在一起。

Rplugin 是 IntelliJ IDE 的 R 语言支持插件。

Plotly 是一个 R 包,可以通过开源 JavaScript 图形库 plotly.js 创建交互式 Web 图形。

Metaflow 是一个 Python/R 库,旨在帮助科学家和工程师构建并管理实际的数据科学项目。Metaflow 最初由 Netflix 开发,用于提高数据科学家的工作效率,他们需要处理从经典统计学到最先进深度学习等各种项目。

Prophet 是一种基于加法模型的时间序列预测方法,其中非线性趋势通过年度、每周和每日季节性变化以及节假日效应来拟合。它最适合具有强烈季节性效应且有多个季节历史数据的时间序列。

LightGBM 是一个基于树的学习算法的梯度提升框架,可用于排序、分类以及其他许多机器学习任务。

Dash 是一个 Python 框架,可用于使用 Python、R、Julia 和 Jupyter 构建分析型 Web 应用程序。

MLR 是 R 中的机器学习工具。

ML workspace 是一款一体化的基于 Web 的集成开发环境,专为机器学习和数据科学而设计。它部署简单,几分钟内即可启动,帮助你在自己的机器上高效地构建机器学习解决方案。ML workspace 是开发者的终极工具,预装了多种流行的数据科学库(TensorFlow、PyTorch、Keras 和 MXNet)以及开发工具(Jupyter、VS Code 和 TensorBoard),所有这些都经过完美配置、优化和集成。

CatBoost 是一个快速、可扩展、高性能的决策树梯度提升库,适用于 Python、R、Java 和 C++,可用于排序、分类、回归及其他机器学习任务。它支持在 CPU 和 GPU 上进行计算。

Plumber 是一种工具,只需在现有的 R 源代码中添加特殊注释,即可创建 Web API。

Drake 是一个专注于 R 的管道工具包,用于实现可重复性和高性能计算。

DiagrammeR 是一个包,可以用来创建、修改、分析和可视化网络图。生成的图表可以嵌入到 R Markdown 文档中,集成到 Shiny Web 应用程序中,转换为其他图形格式,或导出为图像文件。

Knitr 是 R 中的一种通用文学编程引擎,提供轻量级的 API,使用户无需大量编码即可完全控制输出。

Broom 是一个将 R 中的统计分析对象转换为整洁格式的工具。

Julia 开发

返回顶部


Julia 学习资源

Julia 是一种高级、高性能 的动态语言,适用于科学计算。Julia 程序通过 LLVM 编译为高效的本地代码,可在多种平台上运行。

JuliaHub 包含超过 4,000 个供社区使用的 Julia 包。

Julia Observer

Julia 手册

JuliaLang 基础知识

Julia 风格指南

Julia 示例

JuliaLang Gitter

使用 Jupyter Notebooks 的 DataFrames 教程

Julia Academy

Julia 聚会小组

Julia 在 Microsoft Azure 上

Julia 工具

JuliaPro 是一种免费且快速的方式,适用于个人研究人员、工程师、科学家、量化分析师、交易员、经济学家、学生等。Julia 开发者可以更高效、更便捷地构建优质软件,同时受益于 Julia 无与伦比的高性能。它包含 2600 多个开源包,以及由 Julia Computing 精心挑选的 250 多个 JuliaPro 包。这些精选包经过测试、文档化,并由 Julia Computing 提供支持。

Juno 是一款基于 Atom 的功能强大的免费 IDE,专为 Julia 语言设计。

Debugger.jl 是 Julia 的调试工具。

Profile (Stdlib) 是一个模块,提供帮助开发者优化代码性能的工具。使用时,它会对正在运行的代码进行度量,并生成输出,帮助你了解每行代码所花费的时间。

Revise.jl 允许你在不重启 Julia 的情况下修改代码并立即生效。借助 Revise,你可以在会话中直接更新包、切换 Git 分支,或在任意编辑器中修改源代码;所有更改通常会在你从 REPL 发出的下一条命令时自动应用。这可以省去重启 Julia、加载包以及等待代码 JIT 编译的开销。

JuliaGPU 是一个 GitHub 组织,旨在整合 Julia 中用于 GPU 编程的众多包。凭借其高级语法和灵活的编译器,Julia 在不牺牲性能的前提下,能够高效地对 GPU 等硬件加速器进行编程。

IJulia.jl 是 Jupyter 的 Julia 内核。

AWS.jl 是 Julia 对 Amazon Web Services 的接口。

CUDA.jl 是一个用于通过 Julia 操作 NVIDIA CUDA GPU 的主要编程接口包。它提供了易用的数组抽象、用于在 Julia 中编写 CUDA 核函数的编译器,以及对各种 CUDA 库的封装。

XLA.jl 是一个将 Julia 编译为 XLA 的包,用于 Tensor Processing Unit (TPU)

Nanosoldier.jl 是一个在 MIT 的 Nanosoldier 集群上运行 JuliaCI 服务的包。

Julia for VSCode 是 Julia 语言的强大扩展。

JuMP.jl 是一种嵌入在 Julia 中的领域特定建模语言,用于 数学优化

Optim.jl 是 Julia 中的一元和多元优化库。

RCall.jl 是一个允许从 Julia 调用 R 函数的包。

JavaCall.jl 是一个允许从 Julia 调用 Java 函数的包。

PyCall.jl 是一个允许从 Julia 调用 Python 函数的包。

MXNet.jl 是 Apache MXNet 的 Julia 包。MXNet.jl 将灵活高效的 GPU 计算和最先进的深度学习引入 Julia。

Knet 是由 Deniz Yuret 及其合作者在 Julia 中实现的 Koç University 深度 学习框架。它支持 GPU 运行和自动微分,并使用动态计算图来处理以纯 Julia 定义的模型。

Distributions.jl 是一个用于概率分布及相关函数的 Julia 包。

DataFrames.jl 是一个用于在 Julia 中处理表格数据的工具。

Flux.jl 是一种优雅的机器学习方法。它完全基于 Julia,提供了轻量级的抽象层,充分利用了 Julia 原生的 GPU 和自动微分支持。

IRTools.jl 是一种简单而灵活的中间表示格式,足以处理降级后的 Julia 代码、类型化的 Julia 代码,以及外部的中间表示。

Cassette.jl 是一个 Julia 包,它提供了一种机制,可以将代码转换阶段动态注入到 Julia 的即时编译(JIT)周期中,从而实现对“不了解 Cassette”的 Julia 程序的事后分析和修改,而无需手动添加源代码注释或重构目标代码。

贡献

  • 如果您希望为本指南做出贡献,请直接提交 Pull Request

许可证

返回顶部

根据 知识共享署名 4.0 国际许可协议 (CC BY 4.0) 分发。

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

152.6k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|3天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|3天前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|6天前
插件开发框架