llama3.np

llama3.np 是一个用于 Llama 3 模型的纯 NumPy（Python 数值计算库）实现。为了获得准确的实现，我运行了由 Andrej Karpathy 训练的 stories15M 模型。

• 如需英文详细说明，请查看 Llama 3 implemented in pure NumPy。
• 如果您对 CUDA（通用并行计算架构）实现感兴趣，请查看 Llama 3 implemented in pure C/CUDA。

使用方式

$ python llama3.py "I have a dream"
"""
I have a dream. He dream of a big, beautiful garden full of flower and tree. He dream of playing with hi friend and eating yummy snack.
One day, he wa walking in the garden when he saw

Token count: 50, elapsed: 1.53s, 33 tokens/s
"""

引用 llama3.np

如果您在学术研究中使用或讨论 llama3.np，请引用该项目以帮助提高知名度：

@misc{llama3.np,
  title = {llama3.np: pure NumPy implementation for Llama 3 model},
  author = {Sang Park}, 
  howpublished = {\url{https://github.com/likejazz/llama3.np}},
  note = {llama3.np, MIT License}
  year = {2024},
}

参考资料

感谢以下库和工具的创作者及其贡献者：

• llama2.c - @karpathy
• llama.np - @hscspring
• modeling_llama.py - Hugging Face's Transformers

我从以下文章中获取了大量信息：

• 42dot LLM 1.3B - 42dot
• Exploring and building the LLaMA 3 Architecture : A Deep Dive into Components, Coding, and Inference Techniques - @vi.ai_
• Rotary Embeddings: A Relative Revolution - EleutherAI
• Mastering LLM Techniques: Inference Optimization - NVIDIA

标题图片由 DALL-E 生成

许可证

MIT

llama3.np 快速上手指南

llama3.np 是一个基于纯 NumPy 实现的 Llama 3 模型项目。与需要 CUDA 支持的版本不同，该工具完全在 CPU 上运行，适合用于学习架构原理或轻量级推理测试。

1. 环境准备

本项目为纯 Python 实现，对硬件要求较低，无需显卡支持。请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• 编程语言：Python 3.x
• 核心依赖：NumPy
• 硬件建议：普通 CPU 即可运行（无 GPU 需求）

2. 安装步骤

首先从 GitHub 克隆项目代码到本地，并安装必要的依赖库。

$ git clone https://github.com/likejazz/llama3.np
$ cd llama3.np
$ pip install numpy

注意：由于项目未提供显式的 requirements.txt，请确保已安装 NumPy 库以支持矩阵运算。

3. 基本使用

进入项目目录后，直接运行 llama3.py 脚本并传入提示词即可开始生成文本。

$ python llama3.py "I have a dream"
"""
I have a dream. He dream of a big, beautiful garden full of flower and tree. He dream of playing with hi friend and eating yummy snack.
One day, he wa walking in the garden when he saw

Token count: 50, elapsed: 1.53s, 33 tokens/s
"""

输出说明

• 程序将返回生成的文本内容。
• 底部会显示 Token 数量、耗时及生成速度（tokens/s）。

---

更多技术细节与架构解析，请参考官方文档或参考链接中的文章。