[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-dqbd--tiktokenizer":3,"tool-dqbd--tiktokenizer":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":78,"owner_location":79,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":97,"forks":98,"last_commit_at":99,"license":100,"difficulty_score":101,"env_os":102,"env_gpu":102,"env_ram":102,"env_deps":103,"category_tags":107,"github_topics":108,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":115,"updated_at":116,"faqs":117,"releases":153},1295,"dqbd\u002Ftiktokenizer","tiktokenizer","Online playground for OpenAPI tokenizers","Tiktokenizer 是一个在线工具，专门用于计算使用 `openai\u002Ftiktoken` 分词器时，给定提示（prompt）所对应的 token 数量。它帮助用户更准确地了解输入文本在模型处理时的实际长度，从而更好地控制成本和优化输入内容。\n\n在使用基于 token 的模型（如 GPT 系列）时，输入的 token 数量直接影响到模型的处理成本和响应长度。然而，不同模型对 token 的划分方式可能略有差异，手动计算或估算容易出错。Tiktokenizer 提供了一个直观的界面，让用户可以直接粘贴文本并实时查看其对应的 token 数量，简化了开发和调试流程。\n\n这个工具非常适合开发者、研究人员以及需要与 AI 模型交互的用户使用，尤其适合那些希望精确控制输入长度、优化 API 调用成本的人群。其背后依赖于 `openai\u002Ftiktoken` 这个高质量的开源分词库，确保了计算结果的准确性。同时，Tiktokenizer 也借助现代前端框架实现了良好的用户体验，让技术操作更加友好。","![Tiktokenizer](https:\u002F\u002Fuser-images.githubusercontent.com\u002F1443449\u002F222597674-287aefdc-f0e1-491b-9bf9-16431b1b8054.svg)\n\n***\n\n# Tiktokenizer\n\nOnline playground for `openai\u002Ftiktoken`, calculating the correct number of tokens for a given prompt.\n\nSpecial thanks to [Diagram](https:\u002F\u002Fdiagram.com\u002F) for sponsorship and guidance.\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F1443449\u002F222598119-0a5a536e-6785-44ad-ba28-e26e04f15163.mp4\n\n## Acknowledgments\n\n- [T3 Stack](https:\u002F\u002Fcreate.t3.gg\u002F)\n- [shadcn\u002Fui](https:\u002F\u002Fgithub.com\u002Fshadcn\u002Fui)\n- [openai\u002Ftiktoken](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftiktoken)\n","![Tiktokenizer](https:\u002F\u002Fuser-images.githubusercontent.com\u002F1443449\u002F222597674-287aefdc-f0e1-491b-9bf9-16431b1b8054.svg)\n\n***\n\n# Tiktokenizer\n\n用于 `openai\u002Ftiktoken` 的在线游乐场，可为给定的提示计算正确的标记数量。\n\n特别感谢 [Diagram](https:\u002F\u002Fdiagram.com\u002F) 提供的赞助与指导。\n\nhttps:\u002F\u002Fuser-images.githubusercontent.com\u002F1443449\u002F222598119-0a5a536e-6785-44ad-ba28-e26e04f15163.mp4\n\n## 致谢\n\n- [T3 Stack](https:\u002F\u002Fcreate.t3.gg\u002F)\n- [shadcn\u002Fui](https:\u002F\u002Fgithub.com\u002Fshadcn\u002Fui)\n- [openai\u002Ftiktoken](https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftiktoken)","# Tiktokenizer 快速上手指南\n\n## 环境准备\n- 系统：macOS \u002F Linux \u002F Windows 10+\n- Node.js ≥ 18（推荐 20 LTS）\n- Git\n\n## 安装步骤\n1. 克隆仓库  \n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fanthropics\u002Ftiktokenizer.git\n   cd tiktokenizer\n   ```\n\n2. 安装依赖（国内可换淘宝源）  \n   ```bash\n   # 临时使用淘宝源\n   npm install --registry=https:\u002F\u002Fregistry.npmmirror.com\n   ```\n\n3. 启动开发服务器  \n   ```bash\n   npm run dev\n   ```\n   浏览器访问 http:\u002F\u002Flocalhost:3000 即可。\n\n## 基本使用\n1. 在左侧文本框输入任意中文或英文提示词。  \n2. 右侧实时显示对应 OpenAI 模型的 token 数量。  \n3. 顶部可切换不同模型（gpt-3.5-turbo、gpt-4 等）。","一家做智能客服 SaaS 的初创公司，后端工程师小李正在把 GPT-3.5 接入工单自动回复模块，需要确保每条用户提问+系统提示词的总 token 数不超过 4096，否则会被 OpenAI 截断。\n\n### 没有 tiktokenizer 时\n- 小李用 `len(prompt.encode('utf-8'))` 粗估长度，结果上线后发现中文占 3 字节\u002F字符，token 数被严重低估，导致 15% 的请求被截断，客户投诉“回答到一半就断了”。  \n- 为了校准，他本地安装 `tiktoken` 库，每次改提示词都要写脚本跑一遍，平均耗时 3-5 分钟，打断开发节奏。  \n- 产品同事想测试不同提示词模板，但不会 Python，只能把文本发给小李，来回沟通半天才能拿到 token 数，迭代效率极低。  \n- 线上监控发现 token 超限后，小李只能盲猜删减，常常把关键业务字段删掉，导致模型输出格式错误，又得回滚版本。\n\n### 使用 tiktokenizer 后\n- 小李直接把用户提问和提示词粘到 tiktokenizer 的网页里，实时看到精确 token 数，中文、emoji、代码块都能正确拆分，误差为 0。  \n- 改提示词时，浏览器标签页秒开，输入即算，无需写脚本，调试时间从 3-5 分钟降到 10 秒。  \n- 产品同事自己打开 tiktokenizer，拖拽模板即可看到 token 变化，当场就能决定保留还是精简，沟通成本降到 0。  \n- 超限提示用红色高亮，小李一眼定位问题句子，精准删减无关描述，既保住业务字段又把 token 压到 4050，上线后零截断。\n\ntiktokenizer 把原本需要代码、沟通、反复试错的 token 计算流程，变成了一次性、零门槛的网页操作。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdqbd_tiktokenizer_2e418c1d.png","dqbd","David Duong","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdqbd_a9749946.jpg",null,"Prague, Czech Republic","david@duong.cz","__dqbd","http:\u002F\u002Fduong.cz","https:\u002F\u002Fgithub.com\u002Fdqbd",[85,89,93],{"name":86,"color":87,"percentage":88},"TypeScript","#3178c6",91.5,{"name":90,"color":91,"percentage":92},"JavaScript","#f1e05a",8.4,{"name":94,"color":95,"percentage":96},"CSS","#663399",0.1,1552,168,"2026-04-05T04:03:17","MIT",1,"未说明",{"notes":104,"python":102,"dependencies":105},"这是一个基于 T3 Stack 的在线演示网站，用于体验 openai\u002Ftiktoken 的 token 计数功能，无需本地安装即可使用。项目使用 shadcn\u002Fui 作为 UI 组件库。",[106],"openai\u002Ftiktoken",[15],[109,110,111,112,113,114],"chatgpt","nextjs","openai","t3-stack","tiktoken","tokenizer","2026-03-27T02:49:30.150509","2026-04-06T05:17:58.210859",[118,123,128,133,138,143,148],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},5923,"为什么在线演示与 npm 包得到的 token 数完全不同？","在线演示默认会把 `\u003C|im_start|>`、`\u003C|im_sep|>` 等特殊 token 当作独立 token 计数，而 npm 包默认不会。要得到与演示一致的结果，需要手动传入特殊 token 映射：\n```js\nimport { encoding_for_model } from 'tiktoken';\nconst enc = encoding_for_model('gpt-3.5-turbo', {\n  '\u003C|im_start|>': 100264,\n  '\u003C|im_end|>': 100265,\n  '\u003C|im_sep|>': 100266,\n});\n```\n","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F12",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},5924,"切换模型时输入框会被清空，能否保留原提示词？","目前切换模型会清空输入框是设计使然（从 ChatML 模式切换到纯字符串模式）。如需对比同一提示词在不同模型下的 token 数，建议先复制提示词，切换模型后再粘贴。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F6",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},5925,"为什么我的 token 计数与 OpenAI 官方 tokenizer 不一致？","Tiktokenizer 在选中 `gpt-3.5-turbo` 时会将 `\u003C|im_start|>` 等特殊 token 视为独立 token，而 OpenAI 官方 tokenizer 不会。要获得一致结果，请在 Tiktokenizer 里选择 `cl100k_base` 或 `o200k_base` 而非 `gpt-3.5-turbo`。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F17",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},5926,"在 Next.js 的 App Router 下运行 tiktokenizer 报错，如何解决？","Next.js 的 React Server Components 目前无法直接加载 tiktoken 的 WASM 模块。可改用纯 JS 实现 `js-tiktoken`：\n```bash\nnpm uninstall tiktoken\nnpm install js-tiktoken\n```\n然后按 js-tiktoken 的 API 使用即可。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F14",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},5927,"如何在 Edge Runtime（如 Vercel Edge Functions）里正确调用 tiktoken？","在 Edge Runtime 需使用 `tiktoken\u002Flite` 并手动加载 WASM：\n```ts\nimport model from 'tiktoken\u002Fencoders\u002Fcl100k_base.json';\nimport { init, Tiktoken } from 'tiktoken\u002Flite\u002Finit';\nimport wasm from 'tiktoken\u002Flite\u002Ftiktoken_bg.wasm?module';\n\nexport const runtime = 'edge';\n\nawait init(imports => WebAssembly.instantiate(wasm, imports));\nconst encoding = new Tiktoken(model.bpe_ranks, model.special_tokens, model.pat_str);\nconst tokens = encoding.encode('你的文本');\nencoding.free();\n```\n注意：Edge 环境与在线演示的 token 数可能仍有差异，需自行添加特殊 token 映射。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F15",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},5928,"什么时候支持 GPT-4o 的新编码 o200k_base？","已支持。提交 d2350eb 已加入 `o200k_base` 编码，对应 GPT-4o 模型，直接在下拉框中选择即可。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F24",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},5929,"能否添加 DeepSeek V3\u002FR1 和 Qwen 系列模型？","已添加 Qwen2.5 与 DeepSeek-R1。DeepSeek-V3 暂未加入，因其与 R1 仅在特殊 token 上有差异。使用时在模型下拉框中选择对应条目即可。","https:\u002F\u002Fgithub.com\u002Fdqbd\u002Ftiktokenizer\u002Fissues\u002F33",[]]