[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mbzuai-oryx--MobiLlama":3,"tool-mbzuai-oryx--MobiLlama":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":101,"github_topics":102,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":108,"updated_at":109,"faqs":110,"releases":124},7441,"mbzuai-oryx\u002FMobiLlama","MobiLlama","[ICLR-2025-SLLM Spotlight 🔥]MobiLlama : Small Language Model tailored for edge devices","MobiLlama 是一款专为边缘设备打造的小型语言模型（SLM），旨在打破“模型越大越好”的传统观念，让高性能 AI 也能在资源受限的设备上流畅运行。它主要解决了大型语言模型难以在手机、嵌入式设备等终端部署的痛点，有效降低了内存占用和能耗，同时保障了数据隐私与安全，实现了本地化的高效推理。\n\n这款工具非常适合移动端开发者、嵌入式系统工程师以及关注绿色 AI 的研究人员使用。对于希望在离线环境或低算力硬件上构建智能应用的团队，MobiLlama 提供了理想的基座模型。其核心技术亮点在于独特的“参数共享”机制：通过从较大模型出发并应用精细的参数共享方案，MobiLlama 在显著减少预训练成本和部署难度的同时，依然保持了出色的准确性。目前开源的版本包括 0.5B、0.8B 及 1B 等多种参数量级，并提供了对应的对话版本，所有模型均基于 Apache 2.0 协议完全开放，真正做到了轻量、透明且易于集成。","# 📱🦙 MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT (🔥 ICLR'25 SLLM Workshop - SPOTLIGHT)\n\n\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_MobiLlama_readme_f6035dbc0a21.png\" height=\"400px\" alt=\"Oryx MobiLLama\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"Oryx MobiLLama\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n   \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama\u002Fblob\u002Fmain\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg\" alt=\"license\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n#### [Omkar Thawakar](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=flvl5YQAAAAJ&hl=en), [Ashmal Vayani](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fashmal-vayani\u002F), [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F), [Hisham Cholakkal](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=bZ3YBRcAAAAJ), [Rao Muhammad Anwer](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&authuser=1&user=_KlvMVoAAAAJ), [Michael Felsberg](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=lkWfR08AAAAJ&hl=en), [Timothy  Baldwin](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=wjBD1dkAAAAJ&hl=en), [Eric Xing](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=5pKTRxEAAAAJ&hl=en) and [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\n#### **Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), UAE** and Linköping University, Sweden\n\n[![paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.16840)\n🤗 [![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Page-F9D371)](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FMBZUAI\u002Fmobillama-65dd4182d588c91e8230332e)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGradio-Demo-red)](https:\u002F\u002Ff7ad4fb8ab0fcefaba.gradio.live\u002F)\n\n---\n\n## 📢 Latest Updates\n- **Mar-05-25**- Mobillama is accepted as Spotlight paper at ICLR'2025 SLLM Workshop\n- **Feb-26-24**- Arxiv Preprint is released!\n- **Feb-25-24**- Code (Training and Evaluation scripts) is released!\n- **Feb-25-24**- Final pre-trained models (including intermediate checkpoints) and chat version along with online demo links released! \n\n\n## Overview\n\n`Bigger the better` has been the predominant trend in recent Large Language Models (LLMs) development.\nHowever, LLMs do not suit well for scenarios that require on-device processing, energy efficiency, low memory footprint, and response efficiency. These requisites are crucial for privacy, security, and sustainable deployment. \nThis paper explores the `less is more` paradigm by addressing the challenge of designing accurate yet efficient Small Language Models (SLMs) for resource constrained devices. \nOur primary contribution is the introduction of an accurate and fully transparent open-source 0.5 billion (0.5B) parameter SLM, named `MobiLlama`, catering to the specific needs of resource-constrained computing with an emphasis on enhanced performance with reduced resource demands.\n`MobiLlama` is a SLM design that initiates from a larger model and applies a careful parameter sharing scheme to reduce both the pre-training and the deployment cost.\n\n## ⚡ Model Download\n             \n| Model Name           | Link Download                                  |\n|-----------------------------------------------------|----------------------------------------------------------------------|\n| MobiLlama-05B           | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-05B)  |\n| MobiLlama-08B           | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-08B) |\n| MobiLlama-1B            | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-1B) |\n| MobiLlama-05B-Chat      | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-05B-Chat) |\n| MobiLlama-1B-Chat       | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-1B-Chat) |\n\n\n## Generation with MobiLlama\n\n\u003Cp align=\"center\">\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_MobiLlama_readme_5097e6423155.gif\"\u002F>\n\u003C\u002Fp>\n\n## Model Description\n\n- **Model type:** Language model designed using the architecture of LLaMA-7B\n- **Language(s) (NLP):** English\n- **License:** Apache 2.0\n- **Resources for more information:**\n  - [Training Code](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama)\n  - [Data Preparation](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-data-prep)\n  - [Metrics]()\n  - [Fully processed Amber pretraining data](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLLM360\u002FAmberDatasets)\n\n\n# Loading MobiLlama \n\n```python\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n\nmodel = AutoModelForCausalLM.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\ntokenizer = AutoTokenizer.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\n\nmodel.to('cuda')\ntext = \"I was walking towards the river when \"\ninput_ids = tokenizer(text, return_tensors=\"pt\").to('cuda').input_ids\noutputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)\nprint(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())\n```\n\n## Load intermediate Checkpoints \n\n```python\nmodel = AutoModelForCausalLM.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", revision=\"ckpt_352\", trust_remote_code=True)\n```\nAll the intermediate checkpoints are available from ckpt_100 to ckpt_358. \n\n## Dataset\n\nDownload the preprocessed Amber data from [huggingface](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLLM360\u002FAmberDatasets). The entire training data has 360 chunks totalling the size of ~8 TB. Amber dataset contains total 1.2 Trillion tokens with gathered from different data sources shown below.\n\n| Subset      | Tokens (Billion) |\n| ----------- | ----------- |\n| Arxiv      | 30.00       |\n| Book   | 28.86        |\n| C4   | 197.67        |\n| Refined-Web   | 665.01        |\n| StarCoder   | 291.92        |\n| StackExchange   | 21.75        |\n| Wikipedia   | 23.90        |\n| Total | 1259.13 | \n\n## Installation\n\nFirst install [PyTorch](https:\u002F\u002Fpytorch.org) according to the instructions specific to your operating system.\n\nTo install from source (recommended for training\u002Ffine-tuning) run:\n\n```bash\nconda create -n mobillama python=3.10\nconda activate mibillama\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama.git\ncd MobiLlama\npip install -r  requirements.txt\n```\n\n## pretrain\nFor MobiLlama (using 20 nodes of A100 80GB GPUS)\n```bash\nsbatch pretrain.sh\n```\nFor `large-base` use main_largebase.py in L:11 of pretrain.sh\n\n## 🔎 Evaluation\n\nWe used [Analysis-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002FAnalysis360) to evaluate our model on different llm benchmarks. \n\n\n\n## 📊  Results\n\n| Model Name         | #Params | HellaSwag | Truthfulqa | MMLU  | Arc_C | CrowsPairs | piqa  | race  | siqa  | winogrande | Average |\n|--------------------|---------|-----------|------------|-------|-------|------------|-------|-------|-------|------------|---------|\n| gpt-neo-125m       | 0.15B   | 30.26     | 45.58      | 25.97 | 22.95 | 61.55      | 62.46 | 27.56 | 40.33 | 51.78      | 40.93   |\n| tiny-starcoder     | 0.17B   | 28.17     | 47.68      | 26.79 | 20.99 | 49.68      | 52.55 | 25.45 | 38.28 | 51.22      | 37.86   |\n| cerebras-gpt-256m  | 0.26B   | 28.99     | 45.98      | 26.83 | 22.01 | 60.52      | 61.42 | 27.46 | 40.53 | 52.49      | 40.69   |\n| opt-350m           | 0.35B   | 36.73     | 40.83      | 26.02 | 23.55 | 64.12      | 64.74 | 29.85 | 41.55 | 52.64      | 42.22   |\n| megatron-gpt2-345m | 0.38B   | 39.18     | 41.51      | 24.32 | 24.23 | 64.82      | 66.87 | 31.19 | 40.28 | 52.96      | 42.81   |\n| LiteLlama          | 0.46B   | 38.47     | 41.59      | 26.17 | 24.91 | 62.90      | 67.73 | 28.42 | 40.27 | 49.88      | 42.26   |\n| gpt-sw3-356m       | 0.47B   | 37.05     | 42.55      | 25.93 | 23.63 | 61.59      | 64.85 | 32.15 | 41.56 | 53.04      | 42.48   |\n| pythia-410m        | 0.51B   | 40.85     | 41.22      | 27.25 | 26.19 | 64.20      | 67.19 | 30.71 | 41.40 | 53.12      | 43.57   |\n| xglm-564m          | 0.56B   | 34.64     | 40.43      | 25.18 | 24.57 | 62.25      | 64.85 | 29.28 | 42.68 | 53.03      | 41.87   |\n| Lamini-GPT-LM      | 0.59B   | 31.55     | 40.72      | 25.53 | 24.23 | 63.09      | 63.87 | 29.95 | 40.78 | 47.75      | 40.83   |\n| **MobiLlama (Ours)** | **0.5B**   | **52.52**    | **38.05**     | **26.45**| **29.52**| **64.03**     | **72.03**| **33.68**| **40.22**| **57.53**     | **46.00**  |\n| Lamini-GPT-LM      | 0.77B   | 43.83     | 40.25      | 26.24 | 27.55 | 66.12      | 69.31 | 37.12 | 42.47 | 56.59      | 45.49   |\n| **MobiLlama (Ours)** | **0.8B**   | **54.09**    | **38.48**     | **26.92**    | **30.20** | **64.82** | **73.17** | **33.37** | **41.60** | **57.45** | **46.67** |  \n\n`The table provides a comparative analysis of various models, including our MobiLlama, across several LLM benchmarks. It highlights MobiLlama's superior performance, particularly in its 0.5B and 0.8B configurations, showcasing its efficiency and effectiveness in processing complex language tasks. This comparison underscores MobiLlama's advancements in achieving higher accuracy and demonstrates its potential as a leading solution in the field of LLM.`\n\n---\n\n| Model         | #Params | HellaSwag | Truthfulqa | MMLU | Arc_C | CrowsPairs | piqa | race | siqa | winogrande | Average |\n|---------------|---------|-----------|------------|------|-------|------------|------|------|------|------------|---------|\n| Boomer        | 1B      | 31.62     | 39.42      | 25.42| 22.26 | 61.26      | 57.99| 28.99| 40.32| 50.98      | 39.80   |\n| Pythia-Dedup  | 1B      | 49.63     | 38.92      | 24.29| 29.09 | 67.11      | 70.23| 32.44| 42.63| 53.98      | 45.36   |\n| Falcon-RW     | 1B      | 63.12     | 35.96      | 25.36| 35.06 | 69.04      | 74.10| 36.07| 40.23| 61.88      | 48.98   |\n| TinyLlama     | 1.1B    | 60.22     | 37.59      | 26.11| 33.61 | 70.60      | 73.28| 36.45| 41.65| 59.18      | 48.74   |\n| OLMo          | 1.2B    | 62.50     | 32.94      | 25.86| 34.45 | 69.59      | 73.70| 36.74| 41.14| 58.90      | 48.42   |\n| Cerebras-GPT  | 1.3B    | 38.51     | 42.70      | 26.66| 26.10 | 63.67      | 66.75| 30.33| 42.42| 53.59      | 43.41   |\n| Lamini        | 1.3B    | 38.05     | 36.43      | 28.47| 26.62 | 64.62      | 67.89| 33.39| 43.19| 50.59      | 43.25   |\n| OPT           | 1.3B    | 54.50     | 38.67      | 24.63| 29.60 | 70.70      | 72.47| 34.16| 42.47| 59.74      | 47.43   |\n| GPT-NEO       | 1.3B    | 48.49     | 39.61      | 24.82| 31.31 | 65.67      | 71.05| 34.06| 41.81| 57.06      | 45.98   |\n| Pythia-Deduped| 1.4B    | 55.00     | 38.63      | 25.45| 32.59 | 67.33      | 72.68| 34.64| 42.68| 56.90      | 47.32   |\n| **large-base**| **1.2B**| **62.99** | **35.90**  | **24.79**| **34.55** | **68.49**  | **75.57**| **35.31**| **41.96**| **62.03**  | **49.06**  |\n\n`Comprehensive comparisons with existing \u003C 2B params fully open-source LLM models on 9 benchmarks. Our 1.2B \"large-base\" model pre-trained on 1.2T tokens achieves superior performance compared to both the recent OLMo 1.17B model and TinyLlama 1.1B model, which are pre-trained on a substantially larger data of 3T tokens.`\n\n## 📱 MobiLlama on Android\n\nTo run our  model on an android app, please download  and install the APK from [here](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fomkar_thawakar_mbzuai_ac_ae\u002FEhRfGdmgFVVNvIRfy1EgLwEBjbk_eg3UmNg_zjz7PMTsmg?e=NBuJo8). \n\n## 🙏 Acknowledgements\n\n+ We thank [LLM-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-train) for fully transparent and open-source implementation of their language model. MobiLlama repo is built using [LLM-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-train). \n\n\n## 📜 Citation\n```bibtex\n@misc{thawakar2024mobillama,\n      title={MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT}, \n      author={Omkar Thawakar and Ashmal Vayani and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Michael Felsberg and Timothy Baldwin and Eric P. Xing and Fahad Shahbaz Khan},\n      year={2024},\n      eprint={2402.16840},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n} \n```\n","# 📱🦙 MobiLlama：迈向准确且轻量级的全透明GPT（🔥 ICLR'25 SLLM Workshop - SPOTLIGHT）\n\n\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_MobiLlama_readme_f6035dbc0a21.png\" height=\"400px\" alt=\"Oryx MobiLLama\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fi.imgur.com\u002FwaxVImv.png\" alt=\"Oryx MobiLLama\">\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n   \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama\u002Fblob\u002Fmain\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg\" alt=\"license\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n#### [Omkar Thawakar](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=flvl5YQAAAAJ&hl=en), [Ashmal Vayani](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fashmal-vayani\u002F), [Salman Khan](https:\u002F\u002Fsalman-h-khan.github.io\u002F), [Hisham Cholakkal](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=bZ3YBRcAAAAJ), [Rao Muhammad Anwer](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&authuser=1&user=_KlvMVoAAAAJ), [Michael Felsberg](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=lkWfR08AAAAJ&hl=en), [Timothy  Baldwin](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=wjBD1dkAAAAJ&hl=en), [Eric Xing](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=5pKTRxEAAAAJ&hl=en) 和 [Fahad Khan](https:\u002F\u002Fsites.google.com\u002Fview\u002Ffahadkhans\u002Fhome)\n\n#### **穆罕默德·本·扎耶德人工智能大学（MBZUAI），阿联酋** 与 瑞典林雪平大学\n\n[![paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.16840)\n🤗 [![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Page-F9D371)](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FMBZUAI\u002Fmobillama-65dd4182d588c91e8230332e)\n[![Demo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGradio-Demo-red)](https:\u002F\u002Ff7ad4fb8ab0fcefaba.gradio.live\u002F)\n\n---\n\n## 📢 最新动态\n- **2025年3月5日** - Mobillama被ICLR'2025 SLLM Workshop接受为Spotlight论文\n- **2024年2月26日** - Arxiv预印本发布！\n- **2024年2月25日** - 代码（训练和评估脚本）发布！\n- **2024年2月25日** - 最终预训练模型（包括中间检查点）及聊天版本连同在线演示链接一并发布！\n\n\n## 概述\n\n“越大越好”一直是近年来大型语言模型（LLMs）发展的主要趋势。\n然而，对于需要设备端处理、能源效率、低内存占用和快速响应的场景而言，LLMs并不适用。这些要求对隐私保护、安全性以及可持续部署至关重要。\n本文探索“少即是多”的范式，旨在解决如何在资源受限设备上设计出既准确又高效的微型语言模型（SLMs）这一挑战。\n我们的主要贡献是推出一款准确且完全透明的开源0.5亿（0.5B）参数SLM，命名为`MobiLlama`，以满足资源受限计算的具体需求，强调在降低资源消耗的同时提升性能。\n`MobiLlama`是一种从较大模型出发，通过精心设计的参数共享机制来降低预训练和部署成本的SLM架构。\n\n## ⚡ 模型下载\n             \n| 模型名称           | 下载链接                                  |\n|-----------------------------------------------------|----------------------------------------------------------------------|\n| MobiLlama-05B           | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-05B)  |\n| MobiLlama-08B           | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-08B) |\n| MobiLlama-1B            | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-1B) |\n| MobiLlama-05B-Chat      | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-05B-Chat) |\n| MobiLlama-1B-Chat       | [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FMBZUAI\u002FMobiLlama-1B-Chat) |\n\n\n## 使用MobiLlama生成文本\n\n\u003Cp align=\"center\">\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_MobiLlama_readme_5097e6423155.gif\"\u002F>\n\u003C\u002Fp>\n\n## 模型描述\n\n- **模型类型:** 基于LLaMA-7B架构设计的语言模型\n- **语言（NLP）:** 英语\n- **许可证:** Apache 2.0\n- **更多信息资源:**\n  - [训练代码](https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama)\n  - [数据准备](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-data-prep)\n  - [指标]()\n  - [完全处理过的Amber预训练数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLLM360\u002FAmberDatasets)\n\n\n# 加载MobiLlama \n\n```python\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n\nmodel = AutoModelForCausalLM.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\ntokenizer = AutoTokenizer.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\n\nmodel.to('cuda')\ntext = \"I was walking towards the river when \"\ninput_ids = tokenizer(text, return_tensors=\"pt\").to('cuda').input_ids\noutputs = model.generate(input_ids, max_length=1000, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id)\nprint(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())\n```\n\n## 加载中间检查点 \n\n```python\nmodel = AutoModelForCausalLM.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", revision=\"ckpt_352\", trust_remote_code=True)\n```\n所有中间检查点从ckpt_100到ckpt_358均可获取。\n\n## 数据集\n\n从[HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLLM360\u002FAmberDatasets)下载预处理后的Amber数据。整个训练数据包含360个分块，总大小约为8 TB。Amber数据集共包含1.2万亿个token，来源于以下不同数据源。\n\n| 子集      | Tokens (Billion) |\n| ----------- | ----------- |\n| Arxiv      | 30.00       |\n| Book   | 28.86        |\n| C4   | 197.67        |\n| Refined-Web   | 665.01        |\n| StarCoder   | 291.92        |\n| StackExchange   | 21.75        |\n| Wikipedia   | 23.90        |\n| Total | 1259.13 | \n\n## 安装\n\n首先根据您的操作系统说明安装[PyTorch](https:\u002F\u002Fpytorch.org)。\n\n若要从源码安装（推荐用于训练\u002F微调），请执行以下命令：\n\n```bash\nconda create -n mobillama python=3.10\nconda activate mibillama\ngit clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama.git\ncd MobiLlama\npip install -r  requirements.txt\n```\n\n## 预训练\n\n对于MobiLlama（使用20个A100 80GB GPU节点）\n```bash\nsbatch pretrain.sh\n```\n对于`large-base`版本，请在pretrain.sh的第11行使用main_largebase.py。\n\n## 🔎 评估\n\n我们使用[Analysis-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002FAnalysis360)来在不同的LLM基准测试上评估我们的模型。\n\n## 📊 结果\n\n| 模型名称         | 参数量 | HellaSwag | Truthfulqa | MMLU  | Arc_C | CrowsPairs | piqa  | race  | siqa  | winogrande | 平均 |\n|--------------------|---------|-----------|------------|-------|-------|------------|-------|-------|-------|------------|---------|\n| gpt-neo-125m       | 0.15B   | 30.26     | 45.58      | 25.97 | 22.95 | 61.55      | 62.46 | 27.56 | 40.33 | 51.78      | 40.93   |\n| tiny-starcoder     | 0.17B   | 28.17     | 47.68      | 26.79 | 20.99 | 49.68      | 52.55 | 25.45 | 38.28 | 51.22      | 37.86   |\n| cerebras-gpt-256m  | 0.26B   | 28.99     | 45.98      | 26.83 | 22.01 | 60.52      | 61.42 | 27.46 | 40.53 | 52.49      | 40.69   |\n| opt-350m           | 0.35B   | 36.73     | 40.83      | 26.02 | 23.55 | 64.12      | 64.74 | 29.85 | 41.55 | 52.64      | 42.22   |\n| megatron-gpt2-345m | 0.38B   | 39.18     | 41.51      | 24.32 | 24.23 | 64.82      | 66.87 | 31.19 | 40.28 | 52.96      | 42.81   |\n| LiteLlama          | 0.46B   | 38.47     | 41.59      | 26.17 | 24.91 | 62.90      | 67.73 | 28.42 | 40.27 | 49.88      | 42.26   |\n| gpt-sw3-356m       | 0.47B   | 37.05     | 42.55      | 25.93 | 23.63 | 61.59      | 64.85 | 32.15 | 41.56 | 53.04      | 42.48   |\n| pythia-410m        | 0.51B   | 40.85     | 41.22      | 27.25 | 26.19 | 64.20      | 67.19 | 30.71 | 41.40 | 53.12      | 43.57   |\n| xglm-564m          | 0.56B   | 34.64     | 40.43      | 25.18 | 24.57 | 62.25      | 64.85 | 29.28 | 42.68 | 53.03      | 41.87   |\n| Lamini-GPT-LM      | 0.59B   | 31.55     | 40.72      | 25.53 | 24.23 | 63.09      | 63.87 | 29.95 | 40.78 | 47.75      | 40.83   |\n| **MobiLlama（我们的）** | **0.5B**   | **52.52**    | **38.05**     | **26.45**| **29.52**| **64.03**     | **72.03**| **33.68**| **40.22**| **57.53**     | **46.00**  |\n| Lamini-GPT-LM      | 0.77B   | 43.83     | 40.25      | 26.24 | 27.55 | 66.12      | 69.31 | 37.12 | 42.47 | 56.59      | 45.49   |\n| **MobiLlama（我们的）** | **0.8B**   | **54.09**    | **38.48**     | **26.92**    | **30.20** | **64.82** | **73.17** | **33.37** | **41.60** | **57.45** | **46.67** |  \n\n`该表格提供了包括我们MobiLlama在内的多种模型在多个LLM基准上的对比分析。它突出了MobiLlama的优越性能，尤其是在0.5B和0.8B配置下，展示了其在处理复杂语言任务方面的高效性和有效性。这一比较凸显了MobiLlama在实现更高准确率方面的进步，并证明了它作为LLM领域领先解决方案的潜力。`\n\n---\n\n| 模型         | 参数量 | HellaSwag | Truthfulqa | MMLU | Arc_C | CrowsPairs | piqa | race | siqa | winogrande | 平均 |\n|---------------|---------|-----------|------------|------|-------|------------|------|------|------|------------|---------|\n| Boomer        | 1B      | 31.62     | 39.42      | 25.42| 22.26 | 61.26      | 57.99| 28.99| 40.32| 50.98      | 39.80   |\n| Pythia-Dedup  | 1B      | 49.63     | 38.92      | 24.29| 29.09 | 67.11      | 70.23| 32.44| 42.63| 53.98      | 45.36   |\n| Falcon-RW     | 1B      | 63.12     | 35.96      | 25.36| 35.06 | 69.04      | 74.10| 36.07| 40.23| 61.88      | 48.98   |\n| TinyLlama     | 1.1B    | 60.22     | 37.59      | 26.11| 33.61 | 70.60      | 73.28| 36.45| 41.65| 59.18      | 48.74   |\n| OLMo          | 1.2B    | 62.50     | 32.94      | 25.86| 34.45 | 69.59      | 73.70| 36.74| 41.14| 58.90      | 48.42   |\n| Cerebras-GPT  | 1.3B    | 38.51     | 42.70      | 26.66| 26.10 | 63.67      | 66.75| 30.33| 42.42| 53.59      | 43.41   |\n| Lamini        | 1.3B    | 38.05     | 36.43      | 28.47| 26.62 | 64.62      | 67.89| 33.39| 43.19| 50.59      | 43.25   |\n| OPT           | 1.3B    | 54.50     | 38.67      | 24.63| 29.60 | 70.70      | 72.47| 34.16| 42.4| 59.74      | 47.43   |\n| GPT-NEO       | 1.3B    | 48.49     | 39.61      | 24.82| 31.31 | 65.67      | 71.05| 34.06| 41.81| 57.06      | 45.98   |\n| Pythia-Deduped| 1.4B    | 55.00     | 38.63      | 25.45| 32.59 | 67.33      | 72.68| 34.64| 42.68| 56.90      | 47.32   |\n| **large-base**| **1.2B**| **62.99** | **35.90**  | **24.79**| **34.55** | **68.49**  | **75.57**| **35.31**| **41.96**| **62.03**  | **49.06**  |\n\n`与现有\u003C2B参数的完全开源LLM模型在9个基准上的全面对比。我们基于1.2T tokens预训练的1.2B \"large-base\"模型，在性能上优于近期的OLMo 1.17B模型以及TinyLlama 1.1B模型，而后者是在规模大得多的3T tokens数据集上进行预训练的。`\n\n## 📱 MobiLlama 在 Android 上\n\n要在安卓应用中运行我们的模型，请从[这里](https:\u002F\u002Fmbzuaiac-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fomkar_thawakar_mbzuai_ac_ae\u002FEhRfGdmgFVVNvIRfy1EgLwEBjbk_eg3UmNg_zjz7PMTsmg?e=NBuJo8)下载并安装 APK。\n\n## 🙏 致谢\n\n+ 我们感谢[LLM-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-train)对其语言模型的完全透明和开源实现。MobiLlama仓库正是基于[LLM-360](https:\u002F\u002Fgithub.com\u002FLLM360\u002Famber-train)构建的。\n\n\n## 📜 引用\n```bibtex\n@misc{thawakar2024mobillama,\n      title={MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT}, \n      author={Omkar Thawakar and Ashmal Vayani and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Michael Felsberg and Timothy Baldwin and Eric P. Xing and Fahad Shahbaz Khan},\n      year={2024},\n      eprint={2402.16840},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n} \n```","# MobiLlama 快速上手指南\n\nMobiLlama 是一款面向资源受限设备（如移动端）设计的高精度、轻量级开源小语言模型（SLM）。本项目提供了从 0.5B 到 1.2B 参数的多个版本，旨在实现“少即是多”的高效推理体验。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐), macOS, Windows\n*   **Python 版本**: 3.10 或更高\n*   **深度学习框架**: PyTorch (需根据显卡驱动安装对应版本，支持 CUDA)\n*   **硬件建议**:\n    *   **推理**: 任意支持 PyTorch 的 CPU 或 GPU (显存需求低，0.5B 模型仅需约 1-2GB 显存)\n    *   **训练\u002F微调**: 推荐 NVIDIA A100\u002FH100 或多卡环境 (原文使用 20 节点 A100 80GB 进行预训练)\n\n## 安装步骤\n\n推荐使用 Conda 创建独立虚拟环境以避免依赖冲突。\n\n1.  **创建并激活虚拟环境**\n    ```bash\n    conda create -n mobillama python=3.10\n    conda activate mobillama\n    ```\n\n2.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama.git\n    cd MobiLlama\n    ```\n\n3.  **安装依赖**\n    *注意：请先根据您的系统官方文档安装 PyTorch，然后再运行以下命令安装其他依赖。*\n    ```bash\n    pip install -r requirements.txt\n    ```\n    *(国内用户若下载依赖较慢，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 参数)*\n\n## 基本使用\n\nMobiLlama 完美兼容 Hugging Face `transformers` 库。以下是最简单的文本生成示例。\n\n### 1. 加载模型与分词器\n\n```python\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n\n# 加载 0.5B 版本模型 (也可替换为 MBZUAI\u002FMobiLlama-08B 或 MBZUAI\u002FMobiLlama-1B)\nmodel = AutoModelForCausalLM.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\ntokenizer = AutoTokenizer.from_pretrained(\"MBZUAI\u002FMobiLlama-05B\", trust_remote_code=True)\n\n# 将模型移至 GPU (若无 GPU 可改为 'cpu')\nmodel.to('cuda')\n```\n\n### 2. 执行文本生成\n\n```python\ntext = \"I was walking towards the river when \"\ninput_ids = tokenizer(text, return_tensors=\"pt\").to('cuda').input_ids\n\n# 生成文本\noutputs = model.generate(\n    input_ids, \n    max_length=1000, \n    repetition_penalty=1.2, \n    pad_token_id=tokenizer.eos_token_id\n)\n\n# 解码并输出结果\nprint(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())\n```\n\n### 3. 加载中间检查点 (可选)\n\n如果您需要评估训练过程中的特定阶段，可以指定 `revision` 参数加载中间检查点（范围从 `ckpt_100` 到 `ckpt_358`）：\n\n```python\nmodel = AutoModelForCausalLM.from_pretrained(\n    \"MBZUAI\u002FMobiLlama-05B\", \n    revision=\"ckpt_352\", \n    trust_remote_code=True\n)\n```\n\n> **提示**: 所有模型权重均可在 [Hugging Face MBZUAI 主页](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FMBZUAI\u002Fmobillama-65dd4182d588c91e8230332e) 下载，包括基础版和对话版（Chat）。","某初创团队正在开发一款面向野外作业人员的离线智能巡检助手，需在低配安卓手持终端上实现实时故障诊断与问答。\n\n### 没有 MobiLlama 时\n- 必须依赖云端 API 处理自然语言请求，但在无网络信号的矿区或工地，应用完全无法响应。\n- 若尝试部署传统大模型，设备内存瞬间爆满导致崩溃，且电池在十分钟内耗尽。\n- 用户隐私数据需上传至服务器分析，面临合规风险，无法满足企业对数据本地化的严格要求。\n- 为适配低端硬件被迫大幅裁剪模型功能，导致回答准确率极低，经常产生幻觉或答非所问。\n\n### 使用 MobiLlama 后\n- 直接部署 0.5B 参数版本的 MobiLlama 到端侧，无需联网即可在毫秒级内完成故障查询与指令解析。\n- 得益于极低的内存占用和优化的计算架构，应用在旧款安卓设备上流畅运行，续航时间延长至全天。\n- 所有交互数据仅在本地处理，彻底杜绝了敏感工况信息外泄的风险，完美符合数据安全规范。\n- 虽是小模型，但凭借独特的参数共享设计，其在专业领域的推理精度接近大模型，能准确识别复杂设备报错。\n\nMobiLlama 成功打破了“大模型必须上云”的局限，让高精度 AI 真正落地于资源受限的边缘设备。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmbzuai-oryx_MobiLlama_f6035dbc.png","mbzuai-oryx","ORYX","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmbzuai-oryx_e1ef1b3c.jpg","A Library for Large Vision-Language Models",null,"https:\u002F\u002Fival-mbzuai.com","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",99.7,{"name":85,"color":86,"percentage":87},"Shell","#89e051",0.3,668,53,"2026-04-08T16:45:29","Apache-2.0","Linux","训练必需：20 节点 A100 80GB GPU；推理支持 CUDA (代码示例显示 model.to('cuda'))，具体显存需求未说明，但模型参数量小 (0.5B-1.2B)，预计低显存即可运行","未说明",{"notes":96,"python":97,"dependencies":98},"1. 训练脚本使用 Slurm (sbatch) 提交，主要面向 Linux 集群环境。2. 加载模型时需设置 trust_remote_code=True。3. 项目基于 LLM-360 代码库构建。4. 提供 Android APK 用于移动端演示。5. 预训练数据集约 8TB。","3.10",[99,100],"torch","transformers",[35,14],[103,104,105,106,107],"efficient-llm","llm","slm","mobile-llm","tiny-llm","2026-03-27T02:49:30.150509","2026-04-14T20:55:41.838856",[111,116,120],{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},33391,"为什么 Android 设备上模型输出的内容与问题不相关或质量较差？","这是因为应用中提供的是量化后的 GGUF 模型，量化过程可能会导致回答质量有所下降。如需更高质量，可尝试使用非量化版本或更高精度的模型（如果设备资源允许）。","https:\u002F\u002Fgithub.com\u002Fmbzuai-oryx\u002FMobiLlama\u002Fissues\u002F9",{"id":117,"question_zh":118,"answer_zh":119,"source_url":115},33392,"Android APK 中加载本地模型的代码是否开源？在哪里可以找到？","是的，相关代码是开源的。Android APK 的完整实现基于 llama.cpp (https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) 和 llama_cpp_dart (https:\u002F\u002Fgithub.com\u002Fnetdur\u002Fllama_cpp_dart) 项目，您可以参考这两个仓库获取加载本地模型的源代码。",{"id":121,"question_zh":122,"answer_zh":123,"source_url":115},33393,"MobiLlama 模型是否支持微调以适应特定的业务场景？","支持。您可以使用 FastChat 仓库 (https:\u002F\u002Fgithub.com\u002Flm-sys\u002FFastChat) 来对 MobiLlama 模型进行微调，从而使其适应特定的业务需求或场景。",[]]