[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-nlpai-lab--KULLM":3,"tool-nlpai-lab--KULLM":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70626,"2026-04-05T22:51:36",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":78,"stars":81,"forks":82,"last_commit_at":83,"license":84,"difficulty_score":45,"env_os":85,"env_gpu":86,"env_ram":85,"env_deps":87,"category_tags":93,"github_topics":78,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":94,"updated_at":95,"faqs":96,"releases":132},4010,"nlpai-lab\u002FKULLM","KULLM","☁️ 구름(KULLM):  고려대학교에서 개발한, 한국어에 특화된 LLM","KULLM（구름）是由韩国高丽大学 NLP&AI 实验室研发的专用大型语言模型，专注于提供高质量的韩语自然语言处理能力。它有效解决了通用大模型在韩语语境下理解偏差、文化背景缺失及对话不自然等痛点，能够精准处理复杂的韩语指令与多轮对话。\n\n这款工具非常适合韩语地区的开发者、人工智能研究人员以及需要构建本地化智能应用的企业团队使用。通过提供的 Hugging Face 接口和示例代码，开发者可以轻松将其集成到聊天机器人、内容生成或数据分析系统中。\n\nKULLM 的核心亮点在于其持续的迭代优化与针对性训练。最新版本 KULLM3 基于强大的 SOLAR-10.7B 架构进行指令微调，并采用了严格的系统提示词约束，确保回复既准确又符合社会伦理规范。此外，项目团队公开了经过清洗的韩语数据集（KULLM-v2）以及基于 GPT-4 的可复现评估结果，甚至提供了低显存友好的量化版本（AWQ-4bit），极大地降低了部署门槛，推动了韩语开源 AI 生态的发展。","# ☁️ KULLM (구름): Korea University Large Language Model\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_b3e44b266ef2.png\" alt=\"NLP Logo\" style=\"width: 50%;\">\n\u003C\u002Fp>\n\n## Update Logs\n- 2024.04.08: [🤗구름3(KULLM3) 양자화 모델(awq-4bit) 공개](https:\u002F\u002Fhuggingface.co\u002Ftaeminlee\u002FKULLM3-awq)\n- 2024.04.03: [🤗구름3(KULLM3) 공개](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002FKULLM3)\n- 2023.06.23: [한국어 대화 평가 결과 공개](https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM#evaluation)\n- 2023.06.08: [🤗Polyglot-ko 5.8B 기반 KULLM-Polyglot-5.8B-v2 fp16 모델 공개](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002Fkullm-polyglot-5.8b-v2)\n- 2023.06.01: [구름(KULLM) 데이터셋 v2](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnlpai-lab\u002Fkullm-v2) HuggingFace Datasets 공개\n- 2023.05.31: [🤗Polyglot-ko 12.8B 기반 KULLM-Polyglot-12.8B-v2 fp16 모델 공개](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002Fkullm-polyglot-12.8b-v2)\n- 2023.05.30: [🤗Polyglot-ko 12.8B 기반 KULLM-Polyglot-12.8B fp16 모델](https:\u002F\u002Fhuggingface.co\u002Fmetterian\u002Fkullm-polyglot-12.8b) 공개\n\n---\n\n\u003Cbr>\n\nKULLM(구름)은 고려대학교 [NLP & AI 연구실](http:\u002F\u002Fnlp.korea.ac.kr\u002F)과 [HIAI 연구소](http:\u002F\u002Fhiai.korea.ac.kr)가 개발한 한국어 Large Language Model (LLM) 입니다.\n\nKULLM3을 공개합니다.  \n\n(이전 모델의 학습 방법 및 데이터는 kullm_v2 브랜치를 참고해 주세요.)\n\n\u003Cbr\u002F>\n\n## KULLM3 대화 성능 평가 결과\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_906898b71f27.png\" >\n\n## 대화 예시\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_c74aee009b45.png\" alt=\"example 1\" >\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_b60a5d54daec.png\" alt=\"example 2\">\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_cfe86cd5d0d5.png\" alt=\"example 3\">\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_af65c4744182.png\" alt=\"example 4\">\n\n---\n\n## KULLM 모델 실행 예시 코드\n\n### Huggingface TextStreamer로 스트리밍\n\n- torch \u002F transformers \u002F accelerate 설치\n- (2024.04.03기준) transformers>=4.39.0 에서 generate 함수가 제대로 동작하지 않습니다. 4.38.2로 설치해주세요.\n- (2024.04.28기준) transformers>=4.40.0 에서 정상 동작함을 확인했습니다.\n\n```bash\npip install torch transformers==4.38.2 accelerate\n```\n\n아래 예제 코드로 실행해볼 수 있습니다.\n\n```python\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer\n\nMODEL_DIR = \"nlpai-lab\u002FKULLM3\"\nmodel = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to(\"cuda\")\ntokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)\nstreamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n\ns = \"고려대학교에 대해서 알고 있니?\"\nconversation = [{'role': 'user', 'content': s}]\ninputs = tokenizer.apply_chat_template(\n    conversation,\n    tokenize=True,\n    add_generation_prompt=True,\n    return_tensors='pt').to(\"cuda\")\n_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024, use_cache=True)\n\n# 네, 고려대학교에 대해 알고 있습니다. 고려대학교는 대한민국 서울에 위치한 사립 대학교로, 1905년에 설립되었습니다. 이 대학교는 한국에서 가장 오래된 대학 중 하나로, 다양한 학부 및 대학원 프로그램을 제공합니다. 고려대학교는 특히 법학, 경제학, 정치학, 사회학, 문학, 과학 분야에서 높은 명성을 가지고 있습니다. 또한, 스포츠 분야에서도 활발한 활동을 보이며, 대한민국 대학 스포츠에서 중요한 역할을 하고 있습니다. 고려대학교는 국제적인 교류와 협력에도 적극적이며, 전 세계 다양한 대학과의 협력을 통해 글로벌 경쟁력을 강화하고 있습니다.\n```\n\n\u003Cbr\u002F>\n\n## Training\n- KULLM3은 [upstage\u002FSOLAR-10.7B-v1.0](https:\u002F\u002Fhuggingface.co\u002Fupstage\u002FSOLAR-10.7B-v1.0)을 기반으로 instruction-tuning 된 모델입니다.\n- 8×A100 GPU로 학습되었습니다.\n- 다음 시스템 프롬프트가 주어진 상태로 학습하였습니다. (예제 코드에서도 시스템 프롬프트를 포함시키고 있습니다!)\n```text\n당신은 고려대학교 NLP&AI 연구실에서 만든 AI 챗봇입니다.\n당신의 이름은 'KULLM'으로, 한국어로는 '구름'을 뜻합니다.\n당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.\n사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.\n질문이 이상하다면, 어떤 부분이 이상한지 설명합니다. 거짓 정보를 발언하지 않도록 주의합니다.\n```\n\n\n## Model Evaluation (Fully Reproducible)\n\n- 대화 능력 평가는 다음을 참고하여 진행했습니다.\n  - G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Yang Liu. et. al. 2023)\n  - [MT-Eval](https:\u002F\u002Fgithub.com\u002FKwanWaiChung\u002FMT-Eval?tab=readme-ov-file#gpt4_evaluation)\n- 평가 모델은 GPT-4-Turbo(gpt-4-0125-preview)를 사용하였고, 평가 데이터셋은 [yizhongw\u002Fself-instruct](https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct)의 휴먼 평가 데이터셋인 `user_oriented_instructions.jsonl`을 deepl로 번역한 데이터셋을 사용하였습니다.\n- 주어진 prompt 데이터에 대해 모델이 응답을 생성하고, 그 응답을 OpenAI API를 사용하여 평가하는 방식입니다.\n- 해당 평가 결과는 [repo](https:\u002F\u002Fgithub.com\u002Fsuperheavytail\u002Flm-chat-eval-by-openai)에서 재현할 수 있습니다.\n\n\n### Prompt\n모델 평가에 사용한 프롬프트는 다음과 같습니다.  \n실험 결과, 한국어보다 영어 프롬프트가 더 정확한 평가 결과를 보여주었습니다.  \n따라서 평가의 정확성을 위해 영어 프롬프트로 진행했습니다.\n```\nYou will be given evaluation instruction, input and AI-generated response.\nYour task is to rate the response on given metric.\nPlease make sure you read and understand these instructions carefully. Please keep this document open while reviewing, and refer to it as needed.\n\nEvaluation Criteria:\n- Fluency (1-5): The quality of the language used in the translation. A high-quality response should be grammatically correct, idiomatic, and free from spelling and punctuation errors.\n- Coherence (1-5): A high score indicates that the response maintains consistent context. A low score is given if the response shifts context or language inappropriately from instruction(e.g. instruction's language is Korean, but response is English).\n- Accuracy (1-5) - The correctness of the answer. The answer should be factually correct and directly answer the question asked\n- Completeness (1-5) - The extent to which the response covers all aspects of the question. The response should not just address one part of the question, but should provide a comprehensive response.\n- Overall Quality (1-5) - The overall effectiveness and excellence of the response, integrating considerations of all above criteria.\n\nEvaluation Steps:\n1. Read the instruction and input carefully and understand what it is asking.\n2. Read the AI-generated response and Evaluation Criteria.\n3. Assign a score for each criterion on a scale of 1 to 5, where 1 is the lowest and 5 is the highest.\n\nInstruction:\n{instruction}\n\nInput:\n{input}\n\nResponse:\n{response}\n\nEvaluation Form (scores ONLY):\n- Fluency (1-5):\n- Coherence (1-5):\n- Accuracy (1-5):\n- Completeness (1-5):\n- Overall Quality (1-5):\n```\n\n\u003Cbr\u002F>\n\n## 주의사항\n\n- 환각(Hallucination) 현상과, decoding strategy에 따라 동어 반복 현상이 존재하는 모델입니다.\n- KULLM이 생성한 결과는 부정확하거나 유해한 결과를 포함할 수 있습니다.\n- 고정된 system prompt로 훈련된 모델이므로, **system prompt를 주지 않는 벤치마크의 경우 성능이 본래보다 낮을 수 있습니다.**\n\n## License\n- ```Apache-2.0```\n\n## Citation\n\nPlease cite the repo if you use the data or code in this repo.\n```\n@misc{kullm3,\n  author = {Kim, Jeongwook and Lee, Taemin and Jang, Yoonna and Moon, Hyeonseok and Son, Suhyune and Lee, Seungyoon and Kim, Dongjun},\n  title = {KULLM3: Korea University Large Language Model 3},\n  year = {2024},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002Fkullm}},\n}\n```\n```\n@inproceedings{lee2023kullm,\n  title={KULLM: Learning to Construct Korean Instruction-following Large Language Models},\n  author={Lee, SeungJun and Lee, Taemin and Lee, Jeongwoo and Jang, Yoona and Lim, Heuiseok},\n  booktitle={Annual Conference on Human and Language Technology},\n  pages={196--202},\n  year={2023},\n  organization={Human and Language Technology}\n}\n```\n```\n@misc{kullm,\n  author = {NLP & AI Lab and Human-Inspired AI research},\n  title = {KULLM: Korea University Large Language Model Project},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002Fkullm}},\n}\n```\n","# ☁️ KULLM（云）：高丽大学大型语言模型\n\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_b3e44b266ef2.png\" alt=\"NLP Logo\" style=\"width: 50%;\">\n\u003C\u002Fp>\n\n## 更新日志\n- 2024年04月08日：[🤗구름3(KULLM3) 量化模型(awq-4bit) 公开](https:\u002F\u002Fhuggingface.co\u002Ftaeminlee\u002FKULLM3-awq)\n- 2024年04月03日：[🤗구름3(KULLM3) 公开](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002FKULLM3)\n- 2023年06月23日：[韩语对话评估结果公开](https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM#evaluation)\n- 2023年06月08日：[基于🤗Polyglot-ko 5.8B的KULLM-Polyglot-5.8B-v2 fp16模型公开](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002Fkullm-polyglot-5.8b-v2)\n- 2023年06月01日：[구름(KULLM) 数据集 v2](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnlpai-lab\u002Fkullm-v2) HuggingFace 数据集公开\n- 2023年05月31日：[基于🤗Polyglot-ko 12.8B的KULLM-Polyglot-12.8B-v2 fp16模型公开](https:\u002F\u002Fhuggingface.co\u002Fnlpai-lab\u002Fkullm-polyglot-12.8b-v2)\n- 2023年05月30日：[基于🤗Polyglot-ko 12.8B的KULLM-Polyglot-12.8B fp16模型](https:\u002F\u002Fhuggingface.co\u002Fmetterian\u002Fkullm-polyglot-12.8b) 公开\n\n---\n\n\u003Cbr>\n\nKULLM（云）是由高丽大学[NLP & AI实验室](http:\u002F\u002Fnlp.korea.ac.kr\u002F)和[HIAI研究所](http:\u002F\u002Fhiai.korea.ac.kr)共同开发的韩语大型语言模型（LLM）。\n\n现公开KULLM3。\n\n（有关先前模型的训练方法及数据，请参考kullm_v2分支。）\n\n\u003Cbr\u002F>\n\n## KULLM3 对话性能评估结果\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_906898b71f27.png\" >\n\n## 对话示例\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_c74aee009b45.png\" alt=\"example 1\" >\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_b60a5d54daec.png\" alt=\"example 2\">\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_cfe86cd5d0d5.png\" alt=\"example 3\">\n\n---\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_readme_af65c4744182.png\" alt=\"example 4\">\n\n---\n\n## KULLM 模型运行示例代码\n\n### 使用Huggingface TextStreamer进行流式输出\n\n- 需安装torch \u002F transformers \u002F accelerate\n- （截至2024年04月03日）transformers>=4.39.0版本中的generate函数无法正常工作，请安装4.38.2版本。\n- （截至2024年04月28日）已确认transformers>=4.40.0版本可正常运行。\n\n```bash\npip install torch transformers==4.38.2 accelerate\n```\n\n可使用以下示例代码进行运行：\n\n```python\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer\n\nMODEL_DIR = \"nlpai-lab\u002FKULLM3\"\nmodel = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to(\"cuda\")\ntokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)\nstreamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n\ns = \"高丽大学你知道吗？\"\nconversation = [{'role': 'user', 'content': s}]\ninputs = tokenizer.apply_chat_template(\n    conversation,\n    tokenize=True,\n    add_generation_prompt=True,\n    return_tensors='pt').to(\"cuda\")\n_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024, use_cache=True)\n\n# 是的，我知道高丽大学。高丽大学是一所位于韩国首尔的私立大学，成立于1905年。它是韩国最古老的大学之一，提供多种本科和研究生课程。高丽大学在法学、经济学、政治学、社会学、文学和科学等领域享有盛誉。此外，它在体育领域也非常活跃，在韩国大学体育界扮演着重要角色。高丽大学还积极进行国际交流与合作，通过与全球多所大学的合作来增强其全球竞争力。\n```\n\n\u003Cbr\u002F>\n\n## 训练\n- KULLM3是在[upstage\u002FSOLAR-10.7B-v1.0](https:\u002F\u002Fhuggingface.co\u002Fupstage\u002FSOLAR-10.7B-v1.0)基础上进行指令微调的模型。\n- 使用8张A100 GPU进行训练。\n- 在给定以下系统提示的情况下进行了训练。（示例代码中也包含了系统提示！）\n```text\n你是由高丽大学NLP&AI实验室开发的AI聊天机器人。\n你的名字是‘KULLM’，韩语中意为‘云’。\n你不会发表不道德、色情、非法或不符合社会常识的言论。\n你会愉快地与用户交谈，并尽力以尽可能准确和友好的方式回应用户的提问，从而提供最大的帮助。\n如果问题有些奇怪，你会解释哪里有问题。同时注意不要散布虚假信息。\n```\n\n\n## 模型评估（完全可复现）\n\n- 对话能力评估参考了以下内容：\n  - G-Eval：使用GPT-4进行NLG评估，实现更好的人类对齐（Yang Liu等，2023年）\n  - [MT-Eval](https:\u002F\u002Fgithub.com\u002FKwanWaiChung\u002FMT-Eval?tab=readme-ov-file#gpt4_evaluation)\n- 评估模型使用GPT-4-Turbo(gpt-4-0125-preview)，评估数据集则采用了[yizhongw\u002Fself-instruct](https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct)中的人工评估数据集`user_oriented_instructions.jsonl`经DeepL翻译后的数据集。\n- 评估方式为：针对给定的prompt数据，由模型生成响应，再使用OpenAI API对该响应进行评估。\n- 相关评估结果可在[repo](https:\u002F\u002Fgithub.com\u002Fsuperheavytail\u002Flm-chat-eval-by-openai)中复现。\n\n\n### Prompt\n用于模型评估的prompt如下所示。  \n实验结果显示，英文prompt比韩文prompt能给出更准确的评估结果。  \n因此，为了确保评估的准确性，我们采用了英文prompt。\n```\n您将收到评估指令、输入以及AI生成的回复。\n您的任务是根据给定的指标对回复进行评分。\n请务必仔细阅读并理解这些指示。评审时请保持本文件打开，并根据需要随时查阅。\n\n评估标准：\n- 流利度（1–5）：翻译中使用的语言质量。高质量的回答应语法正确、地道，并且没有拼写和标点错误。\n- 连贯性（1–5）：高分表示回答保持了上下文的一致性。如果回答在上下文或语言上与指令不符（例如，指令为韩语，但回答却是英语），则会给出低分。\n- 准确性（1–5）：答案的正确性。答案应当符合事实，并直接回答所提出的问题。\n- 完整性（1–5）：回答涵盖问题各个方面的程度。回答不应只涉及问题的一部分，而应提供全面的答复。\n- 整体质量（1–5）：综合考虑以上各项标准后，对回答的整体效果和优秀程度进行评价。\n\n评估步骤：\n1. 仔细阅读指令和输入，理解其要求。\n2. 阅读AI生成的回复和评估标准。\n3. 根据每个标准，在1到5的范围内打分，其中1分为最低，5分为最高。\n\n指令：\n{instruction}\n\n输入：\n{input}\n\n回复：\n{response}\n\n评估表（仅填写分数）：\n- 流利度（1–5）：\n- 连贯性（1–5）：\n- 准确性（1–5）：\n- 完整性（1–5）：\n- 整体质量（1–5）：\n```\n\n\u003Cbr\u002F>\n\n## 注意事项\n\n- 该模型存在幻觉现象，并且根据解码策略的不同，可能会出现重复表达的情况。\n- KULLM生成的结果可能包含不准确或有害的内容。\n- 由于该模型是基于固定的系统提示进行训练的，因此**在未提供系统提示的情况下进行基准测试时，其性能可能会低于预期。**\n\n## 许可证\n- ```Apache-2.0```\n\n## 引用\n\n如果您使用本仓库中的数据或代码，请引用本仓库。\n```\n@misc{kullm3,\n  author = {Kim, Jeongwook and Lee, Taemin and Jang, Yoonna and Moon, Hyeonseok and Son, Suhyune and Lee, Seungyoon and Kim, Dongjun},\n  title = {KULLM3：高丽大学大型语言模型3},\n  year = {2024},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002Fkullm}},\n}\n```\n```\n@inproceedings{lee2023kullm,\n  title={KULLM：学习构建韩语指令遵循型大型语言模型},\n  author={Lee, SeungJun and Lee, Taemin and Lee, Jeongwoo and Jang, Yoona and Lim, Heuiseok},\n  booktitle={人类与语言技术年度会议},\n  pages={196–202},\n  year={2023},\n  organization={人类与语言技术},\n}\n```\n```\n@misc{kullm,\n  author = {NLP & AI实验室和人本主义人工智能研究团队},\n  title = {KULLM：高丽大学大型语言模型项目},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002Fkullm}},\n}\n```","# KULLM (구름) 快速上手指南\n\nKULLM 是由韩国大学 NLP & AI 实验室开发的韩语大型语言模型。最新发布的 **KULLM3** 基于 SOLAR-10.7B 进行指令微调，具备优秀的韩语对话能力。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **硬件要求**: 需要 NVIDIA GPU (推荐显存 16GB 以上以运行 fp16 版本，或使用量化版本降低显存需求)\n*   **软件依赖**:\n    *   Python 3.8+\n    *   PyTorch (支持 CUDA)\n    *   Transformers\n    *   Accelerate\n\n> **注意**: 根据官方更新日志，`transformers` 版本对生成效果有影响。\n> *   推荐使用 `4.38.2` 或 `4.40.0` 及以上版本。\n> *   避免使用 `4.39.0` 至 `4.39.x` 之间的版本，可能存在生成异常。\n\n## 安装步骤\n\n请使用 pip 安装必要的依赖库。国内开发者建议使用清华源或阿里源加速下载。\n\n```bash\npip install torch transformers==4.38.2 accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n*(注：如需使用最新的 4.40.0+ 版本，可将命令中的版本号调整为 `transformers>=4.40.0`)*\n\n## 基本使用\n\n以下是最简单的流式输出（Streaming）示例代码。该模型默认包含特定的系统提示词（System Prompt），在调用时会自动处理。\n\n创建文件 `run_kullm.py` 并填入以下内容：\n\n```python\nimport torch\nfrom transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer\n\n# 模型路径 (Hugging Face)\nMODEL_DIR = \"nlpai-lab\u002FKULLM3\"\n\n# 加载模型 (使用 float16 精度以节省显存)\nmodel = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to(\"cuda\")\ntokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)\n\n# 配置流式输出\nstreamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n\n# 构建对话内容\ns = \"고려대학교에 대해서 알고 있니?\"  # 韩语示例：你知道高丽大学吗？\nconversation = [{'role': 'user', 'content': s}]\n\n# 应用聊天模板\ninputs = tokenizer.apply_chat_template(\n    conversation,\n    tokenize=True,\n    add_generation_prompt=True,\n    return_tensors='pt').to(\"cuda\")\n\n# 生成回复\n_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024, use_cache=True)\n```\n\n### 运行说明\n1. 确保你的环境中已配置好 CUDA 驱动。\n2. 首次运行时会自动从 Hugging Face 下载模型权重（约 20GB+），请确保网络通畅或使用镜像代理。\n3. 运行脚本后，模型将逐字输出韩语回答。\n\n> **提示**: 该模型主要针对韩语优化。虽然基于多语言基座训练，但在中文场景下的表现可能不如专门的中文模型。系统内置了安全与角色设定的 System Prompt，无需手动添加即可生效。","一家韩国本土电商公司的客服团队，正试图自动化处理每日数千条关于退货政策、商品详情及物流状态的韩语用户咨询。\n\n### 没有 KULLM 时\n- **语言理解生硬**：通用大模型难以精准捕捉韩语中复杂的敬语体系（如不同层级的终结词尾）和特有的情感细微差别，导致回复语气机械甚至失礼。\n- **幻觉与事实错误**：模型常编造不存在的退货流程或错误的配送时间，因为缺乏针对韩国本地商业法规和生活常识的深度训练。\n- **人工复核成本高**：由于自动回复可信度低，客服人员必须逐条检查并重写 AI 生成的草稿，自动化流程形同虚设，效率提升有限。\n- **文化语境缺失**：面对涉及韩国传统节日或特定社会习俗的咨询，模型往往给出“万金油”式的回答，无法提供符合当地文化习惯的建议。\n\n### 使用 KULLM 后\n- **地道韩语交互**：KULLM 基于韩国本土数据微调，能自然运用得体的敬语和口语表达，使对话流畅且充满人情味，用户满意度显著提升。\n- **准确合规的回答**：依托对韩国社会规范和常识的深度理解，KULLM 能准确引用公司政策及当地法规，大幅减少胡编乱造的现象。\n- **真正的全自动闭环**：高质量的生成内容使得 80% 的常规咨询无需人工干预即可直接发送，客服团队得以专注于处理复杂投诉，人力成本降低 40%。\n- **文化共鸣增强**：在处理涉及韩国特有场景的问题时，KULLM 能结合文化背景给出贴心建议，让用户感受到品牌对本土市场的重视与理解。\n\nKULLM 通过其原生的韩语理解与文化对齐能力，将原本仅能作为辅助草稿的工具，转变为可独立承担高难度韩语客服任务的核心引擎。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnlpai-lab_KULLM_b3e44b26.png","nlpai-lab","NLP & AI Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fnlpai-lab_14758601.png",null,"nlp.korea.ac.kr","https:\u002F\u002Fgithub.com\u002Fnlpai-lab",588,71,"2026-04-04T19:37:37","Apache-2.0","未说明","必需 NVIDIA GPU (代码示例使用 .to('cuda'))，训练环境为 8×A100，推理建议使用支持 float16 的显卡",{"notes":88,"python":85,"dependencies":89},"1. 版本兼容性警告：transformers 版本在 4.39.0 到 4.39.x 之间时 generate 函数可能无法正常工作，建议安装 4.38.2 或 4.40.0 及以上版本。2. 模型基于 SOLAR-10.7B-v1.0 进行指令微调，推理时需加载约 10B+ 参数量的模型。3. 该模型使用固定的系统提示词（System Prompt）进行训练，若在基准测试或使用时不提供该系统提示词，性能可能会低于预期。4. 模型存在幻觉和重复生成的可能性，输出结果需人工核查。",[90,91,92],"torch","transformers==4.38.2 或 >=4.40.0","accelerate",[15],"2026-03-27T02:49:30.150509","2026-04-06T08:29:16.804190",[97,102,107,112,117,122,127],{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},18267,"使用 LoRA 微调后的模型在推理时出现 'config.json' 缺失错误，如何解决？","LoRA 微调后生成的检查点文件夹仅包含适配器权重，不包含完整的模型配置文件。若要直接加载推理，需先将 LoRA 权重与基座模型合并。项目已提供合并脚本 `merge_lora.py`，运行该脚本可将 LoRA 权重合并并输出为标准的 Hugging Face 模型格式（包含 config.json 等文件），之后即可正常加载进行推理。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F8",{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},18268,"如何基于微调后的 checkpoint 模型进行推理（Inference）？","若直接使用微调后的 checkpoint 目录进行推理，需修改加载逻辑。首先读取 `adapter_config.json` 获取基座模型路径，然后加载基座模型和对应的分词器。示例代码如下：\n```python\nMODEL = \"path_to_the_trained_model\"\nconfig = json.load(open(f\"{MODEL}\u002Fadapter_config.json\"))\nmodel = AutoModelForCausalLM.from_pretrained(config[\"base_model_name_or_path\"], torch_dtype=torch.float16, low_cpu_mem_usage=True).to(\"cuda\")\ntokenizer = AutoTokenizer.from_pretrained(config[\"base_model_name_or_path\"])\n# 后续结合 prompter 生成提示语并进行 pipeline 推理\n```\n或者更推荐的方式是使用 `merge_lora.py` 将权重合并后再加载。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F24",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},18269,"训练结束时遇到 'safetensors_rust InvalidHeaderDeserialization' 错误怎么办？","该错误通常发生在保存模型时。解决方法是在保存模型的代码中将 `safe_serialization` 参数设置为 `False`。具体代码修改为：\n```python\nmodel.save_pretrained(output_dir, safe_serialization=False)\n```","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F25",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},18270,"训练过程中 Loss 和 Learning Rate 显示为 0.0 是什么原因？","这通常与混合精度训练（FP16）的配置有关。尝试在启动训练脚本时将 `--fp16` 选项设置为 `False`（即禁用 FP16），通常可以解决该问题并恢复正常训练。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F10",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},18271,"KULLM-v2 数据集中各子数据集（GPT4ALL, Vicuna, Dolly）的商业使用许可情况如何？","翻译后的数据集遵循原始数据集的许可证。根据官方回复：\n1. GPT4ALL 和 Vicuna 的数据集由于源数据限制，商业使用较为困难或受限。\n2. Dolly 数据集允许商业使用。\n如果您需要仅使用可商用的部分，可以单独下载经过韩语翻译的 Dolly 数据集（地址：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnlpai-lab\u002Fdatabricks-dolly-15k-ko）。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F13",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},18272,"项目是如何在韩国无法使用 DeepL API 的情况下完成大规模数据翻译的？","在项目进行期间，团队通过居住在海外的人员协助，使用了 DeepL Pro API 完成了翻译工作。目前（回答时间点），DeepL 已在韩国正式开启付费 API 服务，用户可以直接在 DeepL 官网注册账号并通过信用卡支付来使用 API 进行翻译。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F15",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},18273,"Gu-ream (구름) 数据集 v2 的文件索引顺序错乱或内容有误怎么办？","维护者已确认在之前的翻译恢复过程中导致索引顺序出现偏差。该问题已被修复，修正后的数据集版本已重新上传至 Hugging Face。请用户重新下载最新的数据集文件以获取正确排序和完整的内容。","https:\u002F\u002Fgithub.com\u002Fnlpai-lab\u002FKULLM\u002Fissues\u002F6",[]]