[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-SkyWorkAIGC--SkyPaint-AI-Diffusion":3,"tool-SkyWorkAIGC--SkyPaint-AI-Diffusion":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":74,"owner_location":75,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":76,"languages":74,"stars":77,"forks":78,"last_commit_at":79,"license":80,"difficulty_score":10,"env_os":81,"env_gpu":82,"env_ram":81,"env_deps":83,"category_tags":92,"github_topics":93,"view_count":32,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":111,"updated_at":112,"faqs":113,"releases":114},5346,"SkyWorkAIGC\u002FSkyPaint-AI-Diffusion","SkyPaint-AI-Diffusion","基于Stable Diffusion优化的AI绘画模型。支持输入中英文文本，可生成多种现代艺术风格的高质量图像。| An optimized text-to-image model based on Stable Diffusion. Both Chinese and English text inputs are available to generate images. The model can generate high-quality images in several modern art styles. ","SkyPaint-AI-Diffusion 是由奇点智源开发的开源 AI 绘画模型，基于 Stable Diffusion 深度优化而成。它核心解决了主流绘图工具对中文理解能力不足的痛点，让用户能够直接使用中文、英文或中英混合的提示词，轻松生成具有现代艺术风格的高质量图像。无论是“机械狗”、“宫崎骏风格的夕阳城堡”，还是富有诗意的“花落知多少”，SkyPaint 都能精准捕捉语义并转化为视觉作品。\n\n这款工具非常适合设计师寻找创作灵感、开发者集成文生图功能，以及普通用户零门槛体验 AI 艺术创作。其独特的技术亮点在于内置了自研的 SkyCLIP 文本编码器。该组件采用高效的蒸馏训练方法，仅用文本数据即可大幅降低算力需求，同时显著提升了模型对双语语义的理解与对齐能力。在保持与 Stable Diffusion 原有使用习惯兼容的基础上，SkyPaint 让机器真正像人类画家一样，听懂中英文指令并挥洒创意。目前，用户既可以通过代码调用模型，也能直接访问网页版或微信小程序进行免费试用。","# SkyPaint-Chinese-EN-v-1.0\n#### [English Document](https:\u002F\u002Fgithub.com\u002FSkyWorkAIGC\u002FSkyPaint-AI-Diffusion\u002Fblob\u002Fmain\u002FREADME.md)\n#### Hugging Face 模型主页：[链接](https:\u002F\u002Fhuggingface.co\u002FSkyWork\u002FSkyPaint)\n#### SkyPaint是由奇点智源开发的中英双语文本生成图像的项目，目前还在持续更新优化中。\n#### 使用我们的模型，输入若干中文或英文的文本，便可让机器像人类画家一样，画出富有现代艺术风格的作品。下面是一些示例：\n\n# 效果展示\n\n### 中文\n机械狗\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_4db698a1df19.png)\n\n城堡 大海 夕阳 宫崎骏动画\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_9cba2a89ef1d.png)\n\n花落知多少\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_cb98ff44731f.png)\n\n半鸡半人，强壮\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_72c0544ee1dd.png)\n\n鸡你太美\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_297593f993cb.png)\n\n# 体验试用\n\n请访问[天工巧绘SkyPaint](https:\u002F\u002Fsky-paint.singularity-ai.com\u002Findex.html#\u002F)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_c844fdfaf535.png)\n\n你也可以微信扫描二维码，在小程序上体验：\n![gh_0e89c7c92d3f_430](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_91594dd6bfba.jpg)\n\n\n# 模型优势\nSkyPaint文本生成图片模型主要由两大部分组成，即提示词文本编码器模型和扩散模型两大部分。因此我们的优化也分为两步：\n首先，基于[OpenAI-CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)优化了提示词文本编码器模型使得SkyPaint具有中英文识别能力，\n然后，优化了扩散模型，使得SkyPaint具有现代艺术能力可以产生高质量图片。\n\n# 模型功能\n* 支持汉语和英文以及中英文混合提示词输入\n* 支持生成现代艺术风格的高质量图片\n* 支持stable_diffusion_1.x官方模型及相关微调模型的英文提示词\n* 保留stable_diffusion提示词的使用习惯和方法\n\n# 测试用例\n\n模型下载地址 [SkyPaint-v1.0](https:\u002F\u002Fhuggingface.co\u002FSkyWork\u002FSkyPaint) \n\n```py\nfrom diffusers import StableDiffusionPipeline\n\ndevice = 'cuda'\npipe = StableDiffusionPipeline.from_pretrained(\"path_to_our_model\").to(device)\n\nprompts = [\n    '机械狗',\n    '城堡 大海 夕阳 宫崎骏动画',\n    '花落知多少',\n    '鸡你太美',\n]\n\nfor prompt in prompts:\n    prompt = 'sai-v1 art, ' + prompt\n    image = pipe(prompt).images[0]  \n    image.save(\"%s.jpg\" % prompt)\n```\n\n————————————————————————————————————————————————\n\n# SkyCLIP模型简介\nSkyCLIP是我们采用一种高效的训练中英双语CLIP模型的方法得到的CLIP模型，该方法仅需要使用文本数据即可实现对[OpenAI-CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)模型的高效蒸馏，大幅降低了数据门槛，同时训练所需算力要求相较于原始CLIP模型减少90%以上，方便开源社区可以进行复现\u002F微调。该方法仅改变了OpenAI-CLIP的文本编码器，可搭配使用OpenAI-CLIP的图像编码器实现图文检索功能。\n\n### SkyCLIP训练数据来源\n* 中英文机器翻译任务平行语料\n* 联合国中英文平行语料\n* [LAION](https:\u002F\u002Flaion.ai\u002F)中英文语料(部分)\n* [Wukong](https:\u002F\u002Fwukong-dataset.github.io\u002Fwukong-dataset\u002Findex.html)中文语料(部分)\n* [AI-Challenger](https:\u002F\u002Fgithub.com\u002FAIChallenger)翻译任务中英文语料\n* 古诗词中英文语料\n* 提示词手册\u002F魔法书中常见词组合而成的中英文语料\n\n### SkyCLIP训练方法\n将OpenAI-CLIP的text_encoder作为教师模型并且冻结参数，学生模型采用和教师模型同样大小的多语言BERT模型，训练时英文输入通过教师模型获取相应的t_en_hiddent_state，英文和中文分别通过学生模型获取相应s_en_hiddent_state，s_zh_hidden_state，采用l1、l2、cos距离等构造损失函数使得学生模型的中英文hiddent_state逐渐靠近教师模型的hiddent_state。由于平行语料的中文和英文存在天然的不等长性质，为了使得平行的中文和英文尽量接近，训练过程中我们还添加了中文解码器，使用学生模型的中英文hiddent_state作为解码器的hidden_state输入，通过翻译任务来辅助实现中文和英文的对齐目的。\n\n### SkyCLIP模型评估\n目前我们主要评估了SkyCLIP在[Flickr30K-CN](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fcross-lingual-cap)的zero-shot表现，主要对比了若干具备中文能力的相关开源模型，为确保对比的公平性，具有多个模型尺寸的我们均选取基于OpenAI-CLIP ViT-L\u002F14尺寸的模型，我们评估的流程参考了[Chinese-CLIP](https:\u002F\u002Fgithub.com\u002FOFA-Sys\u002FChinese-CLIP)所提供的评估脚本。\n\n**Flickr30K-CN Retrieval**:\n\u003Ctable border=\"1\" width=\"150%\">\n\t\u003Ctr align=\"center\">\n        \u003Cth>Task\u003C\u002Fth>\u003Cth colspan=\"3\">Text-to-Image\u003C\u002Fth>\u003Cth colspan=\"3\">Image-to-Text\u003C\u002Fth>\n        \u003Cth rowspan=\"3\">MR\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Cth>Setup\u003C\u002Fth>\u003Cth colspan=\"3\">Zero-shot\u003C\u002Fth>\u003Cth colspan=\"3\">Zero-shot\u003C\u002Fth> \n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd>Metric\u003C\u002Ftd>\u003Ctd>R@1\u003C\u002Ftd>\u003Ctd>R@5\u003C\u002Ftd>\u003Ctd>R@10\u003C\u002Ftd>\u003Ctd>R@1\u003C\u002Ftd>\u003Ctd>R@5\u003C\u002Ftd>\u003Ctd>R@10\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">Taiyi-326M\u003C\u002Ftd>\u003Ctd>53.8\u003C\u002Ftd>\u003Ctd>79.9\u003C\u002Ftd>\u003Ctd>86.6\u003C\u002Ftd>\u003Ctd>64.0\u003C\u002Ftd>\u003Ctd>90.4\u003C\u002Ftd>\u003Ctd>96.1\u003C\u002Ftd>\u003Ctd>78.47\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">AltCLIP\u003C\u002Ftd>\u003Ctd>50.7\u003C\u002Ftd>\u003Ctd>75.4\u003C\u002Ftd>\u003Ctd>83.1\u003C\u002Ftd>\u003Ctd>73.4\u003C\u002Ftd>\u003Ctd>92.8\u003C\u002Ftd>\u003Ctd>96.9\u003C\u002Ftd>\u003Ctd>78.72\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">Wukong\u003C\u002Ftd>\u003Ctd>51.9\u003C\u002Ftd>\u003Ctd>78.6\u003C\u002Ftd>\u003Ctd>85.9\u003C\u002Ftd>\u003Ctd>75\u003C\u002Ftd>\u003Ctd>94.4\u003C\u002Ftd>\u003Ctd>97.7\u003C\u002Ftd>\u003Ctd>80.57\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">R2D2\u003C\u002Ftd>\u003Ctd>42.6\u003C\u002Ftd>\u003Ctd>69.5\u003C\u002Ftd>\u003Ctd>78.6\u003C\u002Ftd>\u003Ctd>63.0\u003C\u002Ftd>\u003Ctd>90.1\u003C\u002Ftd>\u003Ctd>96.4\u003C\u002Ftd>\u003Ctd>73.37\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">CN-CLIP\u003C\u002Ftd>\u003Ctd>68.1\u003C\u002Ftd>\u003Ctd>89.7\u003C\u002Ftd>\u003Ctd>94.5\u003C\u002Ftd>\u003Ctd>80.2\u003C\u002Ftd>\u003Ctd>96.6\u003C\u002Ftd>\u003Ctd>98.2\u003C\u002Ftd>\u003Ctd>87.87\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">SkyCLIP\u003C\u002Ftd>\u003Ctd>58.8\u003C\u002Ftd>\u003Ctd>82.6\u003C\u002Ftd>\u003Ctd>89.6\u003C\u002Ftd>\u003Ctd>78.8\u003C\u002Ftd>\u003Ctd>96.1\u003C\u002Ftd>\u003Ctd>98.3\u003C\u002Ftd>\u003Ctd>84.04\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\u003Cbr>\n\n### SkyCLIP计算图文相似度\n```py\nfrom PIL import Image\nimport requests\nimport clip\nimport torch\nfrom transformers import BertTokenizer\nfrom transformers import CLIPProcessor, CLIPModel, CLIPTextModel\nimport numpy as np\n\nquery_texts = ['一个人', '一辆汽车', '两个男人', '两个女人']  # 这里是输入提示词，可以随意替换。\n# 加载SkyCLIP 中英文双语 text_encoder\ntext_tokenizer = BertTokenizer.from_pretrained(\".\u002Ftokenizer\")\ntext_encoder = CLIPTextModel.from_pretrained(\".\u002Ftext_encoder\").eval()\ntext = text_tokenizer(query_texts, return_tensors='pt', padding=True)['input_ids']\n\nurl = \"http:\u002F\u002Fimages.cocodataset.org\u002Fval2017\u002F000000040083.jpg\"  #这里可以换成任意图片的url\n# 加载CLIP的image encoder\nclip_model = CLIPModel.from_pretrained(\"openai\u002Fclip-vit-large-patch14\")\nclip_text_proj = clip_model.text_projection\nprocessor = CLIPProcessor.from_pretrained(\"openai\u002Fclip-vit-large-patch14\")\nimage = processor(images=Image.open(requests.get(url, stream=True).raw), return_tensors=\"pt\")\n\nwith torch.no_grad():\n    image_features = clip_model.get_image_features(**image)\n    text_features = text_encoder(text)[0]\n    # sep_token对应于openai-clip的eot_token\n    sep_index = torch.nonzero(text == student_tokenizer.sep_token_id)\n    text_features = text_features[torch.arange(text.shape[0]), sep_index[:, 1]]\n    # 乘text投影矩阵\n    text_features = clip_text_proj(text_features)\n    image_features = image_features \u002F image_features.norm(dim=1, keepdim=True)\n    text_features = text_features \u002F text_features.norm(dim=1, keepdim=True)\n    # 计算余弦相似度 logit_scale是尺度系数\n    logit_scale = clip_model.logit_scale.exp()\n    logits_per_image = logit_scale * image_features @ text_features.t()\n    logits_per_text = logits_per_image.t()\n    probs = logits_per_image.softmax(dim=-1).cpu().numpy()\n    print(np.around(probs, 3))\n\n```\n\n\n### 扩散模型 Diffusion Model\n我们的数据采用了筛选过的Laion数据集作为训练数据，同时在文本前面加上了 'sai-v1 art' 作为tag使模型能够更快速的学习到我们想要的风格及质量。\n预训练模型采用了[stable-diffusion-v1-5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5) 作为预训练，使用了16块A100训练了50个小时。\n目前模型还在持续优化中，后续会有更稳定的模型更新。\n\n\n# License\n- [CreativeML Open RAIL-M](LICENSE-MODEL)\n\n# 加入开发者群\n#### 微信扫码，加入开发者群——\n![paint](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_86c88dffadd3.jpg)\n\n\n#### 感兴趣别忘了star一下~\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_daa2ee70ab7c.png)\n\n","# SkyPaint-中文-EN-v-1.0\n#### [英文文档](https:\u002F\u002Fgithub.com\u002FSkyWorkAIGC\u002FSkyPaint-AI-Diffusion\u002Fblob\u002Fmain\u002FREADME.md)\n#### Hugging Face 模型主页：[链接](https:\u002F\u002Fhuggingface.co\u002FSkyWork\u002FSkyPaint)\n#### SkyPaint是由奇点智源开发的中英双语文本生成图像的项目，目前还在持续更新优化中。\n#### 使用我们的模型，输入若干中文或英文的文本，便可让机器像人类画家一样，画出富有现代艺术风格的作品。下面是一些示例：\n\n# 效果展示\n\n### 中文\n机械狗\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_4db698a1df19.png)\n\n城堡 大海 夕阳 宫崎骏动画\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_9cba2a89ef1d.png)\n\n花落知多少\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_cb98ff44731f.png)\n\n半鸡半人，强壮\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_72c0544ee1dd.png)\n\n鸡你太美\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_297593f993cb.png)\n\n# 体验试用\n\n请访问[天工巧绘SkyPaint](https:\u002F\u002Fsky-paint.singularity-ai.com\u002Findex.html#\u002F)\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_c844fdfaf535.png)\n\n你也可以微信扫描二维码，在小程序上体验：\n![gh_0e89c7c92d3f_430](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_91594dd6bfba.jpg)\n\n\n# 模型优势\nSkyPaint文本生成图片模型主要由两大部分组成，即提示词文本编码器模型和扩散模型两大部分。因此我们的优化也分为两步：\n首先，基于[OpenAI-CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)优化了提示词文本编码器模型使得SkyPaint具有中英文识别能力，\n然后，优化了扩散模型，使得SkyPaint具有现代艺术能力可以产生高质量图片。\n\n# 模型功能\n* 支持汉语和英文以及中英文混合提示词输入\n* 支持生成现代艺术风格的高质量图片\n* 支持stable_diffusion_1.x官方模型及相关微调模型的英文提示词\n* 保留stable_diffusion提示词的使用习惯和方法\n\n# 测试用例\n\n模型下载地址 [SkyPaint-v1.0](https:\u002F\u002Fhuggingface.co\u002FSkyWork\u002FSkyPaint) \n\n```py\nfrom diffusers import StableDiffusionPipeline\n\ndevice = 'cuda'\npipe = StableDiffusionPipeline.from_pretrained(\"path_to_our_model\").to(device)\n\nprompts = [\n    '机械狗',\n    '城堡 大海 夕阳 宫崎骏动画',\n    '花落知多少',\n    '鸡你太美',\n]\n\nfor prompt in prompts:\n    prompt = 'sai-v1 art, ' + prompt\n    image = pipe(prompt).images[0]  \n    image.save(\"%s.jpg\" % prompt)\n```\n\n————————————————————————————————————————————————\n\n# SkyCLIP模型简介\nSkyCLIP是我们采用一种高效的训练中英双语CLIP模型的方法得到的CLIP模型，该方法仅需要使用文本数据即可实现对[OpenAI-CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)模型的高效蒸馏，大幅降低了数据门槛，同时训练所需算力要求相较于原始CLIP模型减少90%以上，方便开源社区可以进行复现\u002F微调。该方法仅改变了OpenAI-CLIP的文本编码器，可搭配使用OpenAI-CLIP的图像编码器实现图文检索功能。\n\n### SkyCLIP训练数据来源\n* 中英文机器翻译任务平行语料\n* 联合国中英文平行语料\n* [LAION](https:\u002F\u002Flaion.ai\u002F)中英文语料(部分)\n* [Wukong](https:\u002F\u002Fwukong-dataset.github.io\u002Fwukong-dataset\u002Findex.html)中文语料(部分)\n* [AI-Challenger](https:\u002F\u002Fgithub.com\u002FAIChallenger)翻译任务中英文语料\n* 古诗词中英文语料\n* 提示词手册\u002F魔法书中常见词组合而成的中英文语料\n\n### SkyCLIP训练方法\n将OpenAI-CLIP的text_encoder作为教师模型并且冻结参数，学生模型采用和教师模型同样大小的多语言BERT模型，训练时英文输入通过教师模型获取相应的t_en_hiddent_state，英文和中文分别通过学生模型获取相应s_en_hiddent_state，s_zh_hidden_state，采用l1、l2、cos距离等构造损失函数使得学生模型的中英文hiddent_state逐渐靠近教师模型的hiddent_state。由于平行语料的中文和英文存在天然的不等长性质，为了使得平行的中文和英文尽量接近，训练过程中我们还添加了中文解码器，使用学生模型的中英文hiddent_state作为解码器的hidden_state输入，通过翻译任务来辅助实现中文和英文的对齐目的。\n\n### SkyCLIP模型评估\n目前我们主要评估了SkyCLIP在[Flickr30K-CN](https:\u002F\u002Fgithub.com\u002Fli-xirong\u002Fcross-lingual-cap)的zero-shot表现，主要对比了若干具备中文能力的相关开源模型，为确保对比的公平性，具有多个模型尺寸的我们均选取基于OpenAI-CLIP ViT-L\u002F14尺寸的模型，我们评估的流程参考了[Chinese-CLIP](https:\u002F\u002Fgithub.com\u002FOFA-Sys\u002FChinese-CLIP)所提供的评估脚本。\n\n**Flickr30K-CN Retrieval**:\n\u003Ctable border=\"1\" width=\"150%\">\n\t\u003Ctr align=\"center\">\n        \u003Cth>Task\u003C\u002Fth>\u003Cth colspan=\"3\">Text-to-Image\u003C\u002Fth>\u003Cth colspan=\"3\">Image-to-Text\u003C\u002Fth>\n        \u003Cth rowspan=\"3\">MR\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Cth>Setup\u003C\u002Fth>\u003Cth colspan=\"3\">Zero-shot\u003C\u002Fth>\u003Cth colspan=\"3\">Zero-shot\u003C\u002Fth> \n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd>Metric\u003C\u002Ftd>\u003Ctd>R@1\u003C\u002Ftd>\u003Ctd>R@5\u003C\u002Ftd>\u003Ctd>R@10\u003C\u002Ftd>\u003Ctd>R@1\u003C\u002Ftd>\u003Ctd>R@5\u003C\u002Ftd>\u003Ctd-R@10\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">Taiyi-326M\u003C\u002Ftd>\u003Ctd>53.8\u003C\u002Ftd>\u003Ctd>79.9\u003C\u002Ftd>\u003Ctd>86.6\u003C\u002Ftd>\u003Ctd>64.0\u003C\u002Ftd>\u003Ctd>90.4\u003C\u002Ftd>\u003Ctd>96.1\u003C\u002Ftd>\u003Ctd>78.47\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">AltCLIP\u003C\u002Ftd>\u003Ctd>50.7\u003C\u002Ftd>\u003Ctd>75.4\u003C\u002Ftd>\u003Ctd>83.1\u003C\u002Ftd>\u003Ctd>73.4\u003C\u002Ftd>\u003Ctd>92.8\u003C\u002Ftd>\u003Ctd>96.9\u003C\u002Ftd>\u003Ctd>78.72\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">Wukong\u003C\u002Ftd>\u003Ctd>51.9\u003C\u002Ftd>\u003Ctd>78.6\u003C\u002Ftd>\u003Ctd>85.9\u003C\u002Ftd>\u003Ctd>75\u003C\u002Ftd>\u003Ctd>94.4\u003C\u002Ftd>\u003Ctd>97.7\u003C\u002Ftd>\u003Ctd>80.57\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">R2D2\u003C\u002Ftd>\u003Ctd>42.6\u003C\u002Ftd>\u003Ctd>69.5\u003C\u002Ftd>\u003Ctd>78.6\u003C\u002Ftd>\u003Ctd>63.0\u003C\u002Ftd>\u003Ctd>90.1\u003C\u002Ftd>\u003Ctd>96.4\u003C\u002Ftd>\u003Ctd>73.37\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\t\u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">CN-CLIP\u003C\u002Ftd>\u003Ctd>68.1\u003C\u002Ftd>\u003Ctd>89.7\u003C\u002Ftd>\u003Ctd>94.5\u003C\u002Ftd>\u003Ctd>80.2\u003C\u002Ftd>\u003Ctd>96.6\u003C\u002Ftd>\u003Ctd>98.2\u003C\u002Ftd>\u003Ctd>87.87\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr align=\"center\">\n        \u003Ctd width=\"120%\">SkyCLIP\u003C\u002Ftd>\u003Ctd>58.8\u003C\u002Ftd>\u003Ctd>82.6\u003C\u002Ftd>\u003Ctd>89.6\u003C\u002Ftd>\u003Ctd>78.8\u003C\u002Ftd>\u003Ctd>96.1\u003C\u002Ftd>\u003Ctd>98.3\u003C\u002Ftd>\u003Ctd>84.04\u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\u003Cbr>\n\n### SkyCLIP计算图文相似度\n```py\nfrom PIL import Image\nimport requests\nimport clip\nimport torch\nfrom transformers import BertTokenizer\nfrom transformers import CLIPProcessor, CLIPModel, CLIPTextModel\nimport numpy as np\n\nquery_texts = ['一个人', '一辆汽车', '两个男人', '两个女人']  # 这里是输入提示词，可以随意替换。\n# 加载SkyCLIP 中英文双语 text_encoder\ntext_tokenizer = BertTokenizer.from_pretrained(\".\u002Ftokenizer\")\ntext_encoder = CLIPTextModel.from_pretrained(\".\u002Ftext_encoder\").eval()\ntext = text_tokenizer(query_texts, return_tensors='pt', padding=True)['input_ids']\n\nurl = \"http:\u002F\u002Fimages.cocodataset.org\u002Fval2017\u002F000000040083.jpg\"  #这里可以换成任意图片的url\n# 加载CLIP的image encoder\nclip_model = CLIPModel.from_pretrained(\"openai\u002Fclip-vit-large-patch14\")\nclip_text_proj = clip_model.text_projection\nprocessor = CLIPProcessor.from_pretrained(\"openai\u002Fclip-vit-large-patch14\")\nimage = processor(images=Image.open(requests.get(url, stream=True).raw), return_tensors=\"pt\")\n\nwith torch.no_grad():\n    image_features = clip_model.get_image_features(**image)\n    text_features = text_encoder(text)[0]\n    \u002F\u002F sep_token对应于openai-clip的eot_token\n    sep_index = torch.nonzero(text == student_tokenizer.sep_token_id)\n    text_features = text_features[torch.arange(text.shape[0]), sep_index[:, 1]\n    \u002F\u002F 乘text投影矩阵\n    text_features = clip_text_proj(text_features)\n    image_features = image_features \u002F image_features.norm(dim=1, keepdim=True)\n    text_features = text_features \u002F text_features.norm(dim=1, keepdim=True)\n    \u002F\u002F 计算余弦相似度 logit_scale是尺度系数\n    logit_scale = clip_model.logit_scale.exp()\n    logits_per_image = logit_scale * image_features @ text_features.t()\n    logits_per_text = logits_per_image.t()\n    probs = logits_per_image.softmax(dim=-1).cpu().numpy()\n    print(np.around(probs, 3))\n\n```\n\n\n### 扩散模型 Diffusion Model\n我们的数据采用了筛选过的Laion数据集作为训练数据，同时在文本前面加上了 'sai-v1 art' 作为tag使模型能够更快速的学习到我们想要的风格及质量。\n预训练模型采用了[stable-diffusion-v1-5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5) 作为预训练，使用了16块A100训练了50个小时。\n目前模型还在持续优化中，后续会有更稳定的模型更新。\n\n\n# License\n- [CreativeML Open RAIL-M](LICENSE-MODEL)\n\n# 加入开发者群\n#### 微信扫码，加入开发者群——\n![paint](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_86c88dffadd3.jpg)\n\n\n#### 感兴趣别忘了star一下~\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_readme_daa2ee70ab7c.png)","# SkyPaint-AI-Diffusion 快速上手指南\n\nSkyPaint 是由奇点智源开发的中英双语文本生成图像模型，基于 Stable Diffusion 架构优化，支持输入中文、英文或混合提示词，生成具有现代艺术风格的高质量图片。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐) 或 Windows\n*   **GPU**: 建议使用 NVIDIA GPU (显存 8GB 以上)，需安装 CUDA 驱动\n*   **Python**: 3.8 或更高版本\n*   **前置依赖**:\n    *   `torch` (建议 1.13+)\n    *   `diffusers`\n    *   `transformers`\n    *   `accelerate`\n    *   `Pillow`\n\n确保已安装基础深度学习环境，推荐使用 Conda 创建虚拟环境：\n\n```bash\nconda create -n skypaint python=3.9\nconda activate skypaint\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu117\npip install diffusers transformers accelerate pillow\n```\n\n## 安装步骤\n\nSkyPaint 模型托管在 Hugging Face，可直接通过 `diffusers` 库加载。\n\n1.  **获取模型**\n    模型地址：[SkyWork\u002FSkyPaint](https:\u002F\u002Fhuggingface.co\u002FSkyWork\u002FSkyPaint)\n    \n    *注：若国内访问 Hugging Face 较慢，可配置镜像源或使用 `hf-mirror`。*\n\n2.  **代码调用**\n    无需额外安装脚本，直接在 Python 代码中加载预训练模型即可。\n\n## 基本使用\n\n以下是最简单的文本生成图像示例。为了获得最佳的艺术风格效果，建议在提示词前添加 `\"sai-v1 art, \"` 前缀。\n\n```py\nfrom diffusers import StableDiffusionPipeline\nimport torch\n\n# 设置设备\ndevice = 'cuda' if torch.cuda.is_available() else 'cpu'\n\n# 加载模型 (首次运行会自动下载，也可替换为本地路径 \"path_to_our_model\")\npipe = StableDiffusionPipeline.from_pretrained(\"SkyWork\u002FSkyPaint\").to(device)\n\n# 定义提示词列表 (支持中文、英文)\nprompts = [\n    '机械狗',\n    '城堡 大海 夕阳 宫崎骏动画',\n    '花落知多少',\n    '鸡你太美',\n]\n\n# 生成图片\nfor prompt in prompts:\n    # 添加风格前缀以激发模型最佳效果\n    full_prompt = 'sai-v1 art, ' + prompt\n    \n    print(f\"正在生成：{full_prompt}\")\n    image = pipe(full_prompt).images[0]  \n    \n    # 保存结果，文件名避免包含特殊字符\n    safe_filename = \"\".join([c for c in prompt if c.isalpha() or c.isdigit() or c==' ']).rstrip()\n    image.save(f\"{safe_filename}.jpg\")\n```\n\n### 进阶提示\n*   **提示词习惯**: 模型保留了 Stable Diffusion 原生的提示词使用习惯，支持权重调整 `(keyword:1.2)` 等语法。\n*   **兼容性**: 该模型兼容 Stable Diffusion 1.x 官方模型及相关微调模型的英文提示词写法。","某独立游戏开发者正在为一款融合东方神话与现代机械风格的游戏快速生成概念原画，以验证美术方向。\n\n### 没有 SkyPaint-AI-Diffusion 时\n- **语言壁垒高**：开发者必须将“机械麒麟”、“赛博朋克式长安城”等中文创意先翻译成英文提示词，不仅耗时，还常因翻译失真导致生成结果偏离预期。\n- **文化理解偏差**：使用原生 Stable Diffusion 模型时，AI 难以准确理解“宫崎骏风格夕阳”或古诗词意境，生成的图像往往缺乏应有的东方神韵和艺术氛围。\n- **工作流割裂**：为了获得高质量图片，团队需额外训练或寻找特定的微调模型，且无法直接复用现有的中文策划文档，导致创意到视觉的转化效率极低。\n\n### 使用 SkyPaint-AI-Diffusion 后\n- **中文直出创意**：开发者可直接输入“机械狗”、“花落知多少”等纯中文描述，SkyPaint-AI-Diffusion 凭借优化的双语编码器，精准捕捉语义并生成对应图像，无需任何翻译环节。\n- **艺术风格精准**：模型内置的现代艺术风格理解能力，能完美呈现“半鸡半人强壮”或特定动画风格的复杂组合，确保生成的概念图既符合现代审美又保留文化特色。\n- **无缝衔接现有流程**：完全兼容 Stable Diffusion 的使用习惯和提示词写法，团队可立即将中文策划案转化为视觉素材，大幅缩短了从灵感构思到原型验证的周期。\n\nSkyPaint-AI-Diffusion 通过打破语言障碍与深化文化理解，让中文创作者能以母语思维直接驾驭顶级 AI 绘画能力，实现创意的零损耗落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSkyWorkAIGC_SkyPaint-AI-Diffusion_4db698a1.png","SkyWorkAIGC","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FSkyWorkAIGC_81fc115e.png",null,"Beijing","https:\u002F\u002Fgithub.com\u002FSkyWorkAIGC",649,37,"2026-03-13T03:15:47","MIT","未说明","需要 NVIDIA GPU (训练使用 16 块 A100)，推理需支持 CUDA",{"notes":84,"python":81,"dependencies":85},"模型基于 stable-diffusion-v1-5 微调，代码示例中需在提示词前添加 'sai-v1 art' 标签以获得最佳效果；SkyCLIP 部分可搭配 OpenAI-CLIP 图像编码器使用；具体显存需求取决于生成图片分辨率，通常建议 8GB 以上。",[86,87,88,89,90,91],"diffusers","transformers","torch","PIL","clip","numpy",[52,15,35,14],[94,95,96,97,90,98,99,100,101,102,103,104,105,106,107,108,109,110],"dreambooth","machine-learning","text-to-image","bert","cv","latent-diffusion","openai","pytorch","ai-painting","generative-art","aigc","artificial-intelligence","diffusion","stable-diffusion","text2image","dalle2","midjourney","2026-03-27T02:49:30.150509","2026-04-08T12:12:54.230651",[],[]]