[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-MetaGLM--FinGLM":3,"tool-MetaGLM--FinGLM":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150720,2,"2026-04-11T11:33:10",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":112,"forks":113,"last_commit_at":114,"license":75,"difficulty_score":115,"env_os":116,"env_gpu":117,"env_ram":118,"env_deps":119,"category_tags":130,"github_topics":131,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":137,"updated_at":138,"faqs":139,"releases":180},6614,"MetaGLM\u002FFinGLM","FinGLM","FinGLM: 致力于构建一个开放的、公益的、持久的金融大模型项目，利用开源开放来促进「AI+金融」。","FinGLM 是一个致力于推动\"AI+ 金融”融合的开源大模型项目，旨在构建开放、公益且持久的金融智能生态。它核心解决的是金融领域专业文本（如上市公司年报）难以被普通用户快速理解和分析的痛点，通过人工智能技术将复杂的财务数据、专业术语及隐含信息转化为自然流畅的对话交互，让非专业人士也能获得专家级的金融分析洞察。\n\n该项目非常适合金融行业的从业者、希望探索垂直领域大模型应用的开发者以及相关研究人员使用。在技术实现上，FinGLM 提供了一套完整的端到端解决方案：从高效的 PDF 年报解析与表格还原，到精细化的数据切分与指标计算，再到基于 ChatGLM 架构的模型微调（支持 LoRA、P-Tuning v2 等策略）及数据库联动问答。其独特亮点在于不仅开源了超过 70GB 的万份年报数据集和人工标注评测数据，还整合了多个竞赛优胜团队的最佳实践代码与模型，并配套了详尽的课程教程。作为一个完全公益的项目，FinGLM 希望通过社区协作，降低金融大模型的开发门槛，促进技术普惠。","\u003Ch1 align=\"center\">🌐 FinGLM\u003C\u002Fh1>\n\u003C!---  \u003Ch3 align=\"center\">SMP 2023 ChatGLM 金融大模型挑战赛\u003C\u002Fh3>\n\u003Cp align=\"center\">\n\u003Cimg src=\".\u002Fimg\u002F\" alt=\"FinGLM Logo\"> --->\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126\">赛题链接\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Ftianchi.aliyun.com\u002Fspecials\u002Fpromotion\u002FSMP2023ChatGLMChallenge\">赛题宣传页\u003C\u002Fa>\n\u003C\u002Fp>\n\n📃 **FinGLM**:  致力于构建一个开放的、公益的、持久的金融大模型项目，利用开源开放来促进「AI+金融」。\n\n【🔥 2023\u002F11\u002F23 Update】新增了1、2、3代 ChatGLM-6B 模型的课程内容，包括 [PPT](.\u002Fslides\u002F)、[视频](https:\u002F\u002Fspace.bilibili.com\u002F3493270982232856)和[技术文档](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fwiki\u002FWvQbwIJ9tiPAxGk8ywDck6yfnof)。\n\n【🔥 2023\u002F11\u002F17 Update】新增一个解决方案「[随便取个名](.\u002Fcode\u002F随便取个名)」\n\n---\n\n## 🚀 目录\n\n- [项目介绍](README.md#项目介绍)\n- [项目框架](README.md#项目框架)\n    - [1. 数据准备流程](README.md#数据准备流程)\n    - [2. 模型准备流程](README.md#模型准备流程)\n    - [3. 问答流程](README.md#问答流程)\n- [开源路线图](README.md#开源路线图)\n    - [1. 开源策略](README.md#开源策略)\n    - [2. 开源进度](README.md#开源进度)\n- [比赛项目](README.md#比赛项目)\n  - [0. FinGLM_all](README.md#FinGLM_all)\n  - [1. 馒头科技](README.md#馒头科技)\n  - [2. 南哪都队](README.md#南哪都队)\n  - [3. Chatglm反卷总局](README.md#Chatglm反卷总局)\n  - [4. nsddd](README.md#nsddd)\n  - [5. 龙盈战队](README.md#龙盈战队)\n  - [6. 结婚买房代代韭菜](README.md#结婚买房代代韭菜)\n  - [7. TabIsabaopilong](README.md#TabIsabaopilong)\n  - [8. 饺子研究院](README.md#饺子研究院)\n  - [9. 流宝真人](README.md#流宝真人)\n  - [10. 随便取个名](README.md#随便取个名)\n- [数据集描述](README.md#数据集描述)\n    - [1. 年报数据集](README.md#年报数据集)\n        - [PDF下载](README.md#PDF下载)\n        - [TXT下载](README.md#TXT下载)\n        - [HTML下载](README.md#HTML下载)\n        - [使用建议](README.md#使用建议)\n    - [2. 标注数据](README.md#标注数据)\n- [项目问答演示](README.md#项目问答演示)\n- [课程](README.md#课程)\n  - [GLM的使用教程](README.md#GLM课程) \n- [贡献者](README.md#贡献者)\n- [免责声明](README.md#免责声明)\n- [项目联系](README.md#项目联系)\n---\n\n## 📖 项目介绍\n📈 一个旨在深度解析上市公司年报的对话交互智能系统。面对金融文本中的专业术语与暗含信息，我们致力于用AI实现专家级别的金融分析。\n\n🚀 在AI领域，虽然已在文本对话取得进展，但真正的金融交互场景仍然是一个巨大挑战。多方机构联手举办此次竞赛，探索金融领域AI的边界。\n\n📘 上市公司年报为投资者呈现了公司的经营状况、财务状况和未来规划。专业知识是解读的关键，而我们的目标是通过AI技术让这一过程变得更简单、更准确。\n\n---\n## 🛠 项目框架\n\n### 1. 数据准备流程\n- **[PDF 转 TXT](.\u002Ftools\u002Fpdf_to_txt)**：\n  - 转换为 TXT 格式。\n  - 保留表格并合并单元格。\n\n- **数据切分**：\n  - 基础信息：例如公司名称等。\n  - 财务数据：例如资产负债表等。\n  - 综合信息：例如财务指标等。\n\n- **数据处理**：\n  - 计算基础公式：如营业成本率等。\n  - 计算增长率。\n  - 计算行业均值和排名。\n\n- **存入数据库**：\n  - 存入 SQL、Mongo 和 ES 中。\n  - 包括建表及存储。\n\n### 2. 模型微调流程\n- **数据分类**：如 SQL 数据、ES 数据等。\n\n- **选择微调策略**：例如 ptuningv2、lora等。\n\n- **执行微调**：根据选定策略。\n\n### 3. 问答流程\n- **输入问题**：用户输入问题。\n- **Prompt 准备**：根据问题生成 prompt。\n- **生成查询语句**：基于 GPU 使用率选择生成方法。\n- **查询数据库**：并返回结果。\n- **答案生成**：结合问题和查询结果生成答案。\n\n---\n\n\n## 🌱 开源路线图\n\n### 1. 开源策略\n\n**1) 赛事转型**\n* 比赛转型为[学习赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126)，允许任何人学习使用。\n\n**2) 数据开源**\n* 目前开源数据有 [70G\u002F1w+份年报数据](.\u002Fdata\u002Freports)、[10000条人工标注评测数据](.\u002Fdata\u002F)等。\n* 后续我们也将根据项目需求，持续迭代更新数据。\n\n**3) 方案\u002F代码\u002F模型开源**\n* 经同意，[结婚买房代代韭菜](.\u002Fcode\u002F结婚买房代代韭菜)、[Chatglm反卷总局](.\u002Fcode\u002FChatglm反卷总局)、[nsddd](.\u002Fcode\u002Fnsddd)、[馒头科技](.\u002Fcode\u002F馒头科技)、[南哪都队](.\u002Fcode\u002F南哪都队)、[龙盈战队](.\u002Fcode\u002F龙盈战队)、[安硕硕眼探企](.\u002Fcode\u002Ffinglm_all)、[随便取个名](.\u002Fcode\u002F随便取个名)等团队的方案、代码、模型完全开源，纳入FinGLM项目。\n* 我们将长期维护优化 [FinGLM 项目](.\u002Fcode\u002Ffinglm_all)，提供便捷解决方案。\n\n**4) 开放交流**\n* 以上团队成员将共同维护 FinGLM项目，确保项目持续迭代。我们也欢迎更多团队来共同贡献问题和方案。\n* 我们将不定期组织线上、线下交流，将更优秀的技术推广给每个项目成员。\n* FinGLM 开源项目出于完全公益目的，欢迎所有开发者[申请加入](#贡献者)，当然我们会进行严格审核。\n\n**5) 学习教程**\n* 基于FinGLM项目的开发，我们将整合并制作以下（包含且不限于）学习教程.\n    - 数据预处理教程\n    - 数据库使用教程\n    - GLM的使用教程\n    - Prompt编写教程\n    - 模型微调数据准备\n    - 模型微调技巧和步骤 \n    - 全流程落地\n\n**6) 项目资源池**\n* 为了维持项目的健康发展，部分项目组织者（个人和企业）提供 10 万元作为开源项目资金池，以及提供项目算力、数据和模型支持。\n* 我们欢迎所有受益于本项目的个人或单位来赞助本项目，包括且不限于以上内容，欢迎[联系我们](#开源赞助)。\n \n\n### 2. 开源进度\n\n**第一期：**\n- [X] [组织 SMP 2023 ChatGLM 金融大模型挑战赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126)\n- [ ] **比赛数据集开源**\n  - 年报数据集\n    - [X] [PDF 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。包含 11588 份 2019 年至 2021 年期间的部分上市公司年度报告。\n    - [x] [TXT 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。利用 [`pdf2txt.py`](.\u002Ftool\u002Fpdf_to_txt) 对 PDF 文件解析而来。\n    - [x] [HTML 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。\n  - 数据库接入\n    - [ ] sqlite\n    - [ ] mongodb\n- [X] 决赛项目开源：\n    - [x] [馒头科技](.\u002Fcode\u002F馒头科技)\n    - [x] [南哪都队](.\u002Fcode\u002F南哪都队)\n    - [x] [Chatglm反卷总局](.\u002Fcode\u002FChatglm反卷总局)\n    - [x] [nsddd](.\u002Fcode\u002Fnsddd)\n    - [x] [龙盈战队](.\u002Fcode\u002F龙盈战队)\n    - [x] [结婚买房代代韭菜](.\u002Fcode\u002F结婚买房代代韭菜)\n    - [x] [安硕硕眼探企](.code\u002Ffinglm_all)\n- [X] 新增项目开源：\n    - [x] [随便取个名](.code\u002F随便取个名)\n\n**第二期：**\n- [ ] 微调Fintune\n- [ ] 完善nl2sql\n- [ ] 增加学习教程\n    - [ ] 数据预处理教程\n    - [ ] 数据库使用教程\n    - [x] GLM的使用教程\n    - [ ] Prompt编写教程\n    - [ ] 模型微调数据准备\n    - [ ] 模型微调技巧和步骤\n    - [ ] 全流程落地\n- [ ] 问答系统异常处理\n- [ ] 提供详细使用手册\n- [ ] 文档注释完善\n\n\n---\n\n\n## 🏆 开源项目\n\n项目介绍博客：\n\n- [一张图读懂ChatGLM金融大模型](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F665902638)\n- [ChatGLM金融开源FinGLM学习笔记](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F659585193)\n\n### 0. FinGLM_all \n[[PPT]](.\u002Fslides\u002F安硕硕眼探企分享及FinGLM开源发布.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ip4y1F7Gw\u002F)[[代码]](.\u002Fcode\u002Ffinglm_all)\n\n本项目为安硕硕眼探企团队，根据自己的项目以及其他几队的项目整合而成。后续我们也将围绕此项目进行持续迭代升级。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_56aecf65ae7e.jpg)\n\n\n### 1. 馒头科技 \n\n[[PPT]](.\u002Fslides\u002F馒头科技.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV18h4y187UU\u002F) [[代码]](.\u002Fcode\u002F馒头科技)\n![mantou](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_ba6093bc0856.jpg)\n### 2. 南哪都队\n\n[[PPT]](.\u002Fslides\u002F南哪都队.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Gm4y1V7LD\u002F) [[代码]](.\u002Fcode\u002F南哪都队)\n\n![nanna](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_60b418d0fadd.jpg)\n\n### 3. Chatglm反卷总局\n\n[[PPT]](.\u002Fslides\u002FChatGLM反卷总局.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hu4y147EW\u002F) [[代码]](.\u002Fcode\u002FChatglm反卷总局)\n\n![chatglmfanjuan](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_5551b0f05152.jpg)\n\n### 4. nsddd \n\n[[PPT]](.\u002Fslides\u002Fnsddd.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15u4y147Xx) [[代码]](.\u002Fcode\u002Fnsddd)\n\n![nsddd](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f419ef6fb7bb.jpg)\n\n\n### 5. 龙盈战队 \n\n[[PPT]](.\u002Fslides\u002F龙盈战队.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Ju4y167ew) [[代码]](.\u002Fcode\u002F龙盈战队)\n\n![longying](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_9cdf8689b3b0.jpg)\n### 6. 结婚买房代代韭菜 \n\n[[PPT]](.\u002Fslides\u002F结婚买房代代韭菜.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rm4y1G7uj) [[代码]](.\u002Fcode\u002F结婚买房代代韭菜)\n\n![jiehun](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_19be2eb019dc.jpg)\n![jiehun2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_6bb33d0429cc.jpg)\n\n### 7. TabIsabaopilong \n\n[[PPT]](.\u002Fslides\u002FTabIsabaopilong.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1894y1a7NJ\u002F) [代码]\n\n![tab1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_6058a2743d29.jpg)\n![tab2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_a28b736f33e9.jpg)\n\n### 8. 饺子研究院 \n\n[[PPT]](.\u002Fslides\u002F吃辣子.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV12z4y1V7S3\u002F?spm_id_from=333.999.0.0&vd_source=df16438efe36af5724526b8869fb54c1) [代码]\n\n![jiaozi](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_e3c69501afde.jpg)\n\n\n### 9. 流宝真人 \n\n[[PPT]](.\u002Fslides\u002F流宝真人.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1QF411m7ap) [代码]\n\n![liubao](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_0d3936741e75.jpg)\n\n\n### 10. 随便取个名 \n[PPT] [视频][[代码]](.\u002Fcode\u002F随便取个名)\n\n ![shuibian](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f85ab1a4e939.jpg)\n\n-------\n\n\n## 📚 数据集\n\n### 1. 年报数据集\n\n我们开源的数据集涵盖了2019-2021年期间部分上市公司的年度报告。该数据集共包含 11588 个详尽的 PDF 文件（[list](.\u002Fdata\u002Freports\u002Freports_list.csv)）。您可以利用这些PDF文件的内容来构建您需要的数据库或者向量库。为了避免计算资源浪费，我们也将相应的文件转换成 TXT文件和 HTML文件，供大家使用。\n\n#### [PDF下载](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)\n\n> 大小：69GB\n> 文件格式：pdf文件\n> 文件数量：11588\n\ngit加载\n```\n# 要求安装 git lfs\ngit clone http:\u002F\u002Fwww.modelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset.git\n```\n\nsdk加载\n\n```\n# Note: \n# 1. 【重要】请将modelscope sdk升级到v1.7.2rc0，执行： pip3 install \"modelscope==1.7.2rc0\" -f https:\u002F\u002Fmodelscope.oss-cn-beijing.aliyuncs.com\u002Freleases\u002Frepo.html\n# 2. 【重要】datasets版本限制为 >=2.8.0, \u003C=2.13.0，可执行： pip3 install datasets==2.13.0\n\nfrom modelscope.msdatasets import MsDataset\n\n# 使用流式方式加载「推荐」\n# 无需全量加载到cache，随下随处理\n# 其中，通过设置 stream_batch_size 可以使用batch的方式加载\n\nds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train', use_streaming=True, stream_batch_size=1)\nfor item in ds:\n    print(item)\n\n# 加载结果示例（单条，pdf:FILE字段值为该pdf文件本地缓存路径，文件名做了SHA转码，可以直接打开） \n{'name': ['2020-03-24__北京鼎汉技术集团股份有限公司__300011__鼎汉技术__2019年__年度报告.pdf'], 'pdf:FILE': ['~\u002F.cache\u002Fmodelscope\u002Fhub\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fmaster\u002Fdata_files\u002F430da7c46fb80d4d095a57b4fb223258ffa1afe8bf53d0484e3f2650f5904b5c']}\n\n\n# 备注: \n1. 自定义缓存路径，可以自行设置cache_dir参数，即 MsDataset.load(..., cache_dir='\u002Fto\u002Fyour\u002Fpath')\n2. 补充数据加载（从9493条增加到11588条），sdk加载注意事项\n    a) 删除缓存中的csv映射文件(默认路径为)： ~\u002F.cache\u002Fmodelscope\u002Fhub\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fmaster\u002Fdata_files\u002F732dc4f3b18fc52380371636931af4c8\n    b) 使用MsDataset.load(...) 加载，默认会reuse已下载过的文件，不会重复下载。\n\n```\n\n\n#### [TXT下载](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)\n\nNote: pdf转txt格式文件，方便大家复用（有个文件损坏了，所以总数比pdf少1个，共11587 个）\n\n```\n# Linux\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Falltxt.zip\n\n# Windows示例\nInvoke-WebRequest -Uri https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Falltxt.zip -OutFile D:\\\\alltxt.zip\n```\n\n\n#### HTML下载\n\nNote: pdf转html格式文件，方便大家复用（有个文件损坏了，所以总数比pdf少，共11582 个）\n```\n# Linux\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Fallhtml.zip\n\n# Windows示例\nInvoke-WebRequest -Uri https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Fallhtml.zip -OutFile D:\\\\allhtml.zip\n```\n\n\n#### 使用建议\n\n以下是我们推荐的处理步骤：\n\n1、PDF文本和表格提取：您可以使用如pdfplumber、pdfminer等工具包提取PDF文件中的文本和表格数据。\n\n2、数据切分：根据PDF文件的目录、子目录和章节信息，对内容进行精确的切块处理。\n\n3、构建基础金融数据库：依据金融知识和PDF内容，设计专业的金融数据库字段和格式。例如，定义资产负债表、现金流量表和利润表等。\n\n4、信息提取：使用大模型的信息提取能力和NLP技术来抽取对应的金融字段信息。例如，请使用json方式输出目录的内容，其中章节的名称作为key，页码作为value。同时，请详细地抽取表格内的数据，以JSON格式输出。\n\n5、构建金融知识问答库：结合构建的金融数据库，应用大模型构建基础的金融问答库。例如，\n\n```\n{\"question\"：\"某公司2021年的财务费用为多少元？\", \"answer\": \"某公司2021年的财务费用为XXXX元。\"}\nprompt:用多种句式修改question及answer的内容。\n\n{\"question\":\"为什么财务费用可以是负的？\", \"answer\": \"\"}\nprompt：请模仿上面的question给出100个类似的问题与对应的答案，用json输出。\n```\n\n6、构建向量库：借助于如Word2Vec、Text2Vec等技术，从原始文本数据中提取出语义向量。使用pgvector这种基于PostgreSQL的扩展来存储和索引这些向量，从而建立起一个可供高效查询的大规模向量库。\n\n7、应用：结合向量库、大模型、langchain等工具，提升应用效果。\n\n### 2. 标注数据\n\n在 [SMP 2023 ChatGLM 金融大模型挑战赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126) 中我们分别进行了初赛、复赛A、复赛B、复赛C。针对这几轮比赛，我们分别人工标注了相关数据，累计总共有 10000 条。\n\n* [[初赛数据]](.\u002Fdata\u002Fpre-data) ：5000 条\n* [[复赛 A 数据]](.\u002Fdata\u002FA-data) ：2000 条\n* [[复赛 B 数据]](.\u002Fdata\u002FB-data) ：2000 条\n* [[复赛 C 数据]](.\u002Fdata\u002FC-data) ：1000 条\n\n数据示例：\n```python\n{\"ID\": 1,\n\"question\": \"2019年中国工商银行财务费用是多少元?\",\n\"answer\":\"2019年中国工商银行财务费用是12345678.9元。\"}\n\n{\"ID\": 2,\n\"question\": \"工商银行2019年营业外支出和营业外收入分别是多少元?\",\n\"answer\": \"工商银行2019年营业外支出为12345678.9元，营业外收入为2345678.9元。\"}\n\n{\"ID\":3,\n\"question\": \"中国工商银行2021年净利润增长率是多少?保留2位小数。\",\n\"answer\": \"中国工商银行2020年净利润为12345678.90元，2021年净利润为22345678.90元，根据公式，净利润增长率=(净利润-上年净利润)\u002F上年净利润，得出结果中国工商银行2021年净利润增长率81.00%。\" }\n```\n与此同时，我们也针对比赛撰写了[评测代码](.\u002Fdata\u002Fevaluate.py)。我们依据：\n\n```math\n\n\\begin{array}{ll}\nmax_{similar}(sentence1,sentence2,sentence3), & 无基础信息及关键词\\\\\n0.25+0.25+max_{similar}(sentence1,sentence2,sentence3)*0.5, & 基础信息正确，关键词正确 \\\\\n0.25 + 0 + max_{similar}(sentence1,sentence2,sentence3)*0.5, & 基础信息正确，关键词错误\\\\\n0, & 基础信息错误\n\n\\end{array}\n\n```\n\n\n评测示例：\n\n```python\n{\"question\": \"2019年中国工商银行财务费用是多少元?\",\n\n\"prompt\": {\"财务费用\": \"12345678.9元\", \"key_word\":\"财务费用、2019\", \"prom_answer\": \"12345678.9元\"},\n\n\"answer\": [\n\n\"2019年中国工商银行财务费用是12345678.9元。\",\n\n\"2019年工商银行财务费用是12345678.9元。\",\n\n\"中国工商银行2019年的财务费用是12345678.9元。\" ]\n\n}\n```\n评测计算示例：\n\n**答案一：工商银行2019年财务费用是12345678.9元。**\n\nmost similar sentences:\n\n2019年工商银行财务费用是12345678.9元。 (Score: 0.9915)\n\n中国工商银行2019年的财务费用是12345678.9元。 (Score: 0.9820)\n\n2019年中国工商银行财务费用是12345678.9元。 (Score: 0.9720)\n\n评分：0.25+0.25+0.9915*0.5=0.9958分。\n\n> 评分解释：prom_answer正确、包含所有key_word、相似度最高0.9915。\n\n**答案二：2019年中国工商银行财务费用是335768.91元。**\n\n评分：0分。\n\n> 评分解释：prom_answer错误不得分。\n\n**答案三：12345678.9元。**\n\nmost similar sentences:\n\n2019年工商银行财务费用是12345678.9元。 (Score: 0.6488)\n\n2019年中国工商银行财务费用是12345678.9元。 (Score: 0.6409)\n\n中国工商银行2019年的财务费用是12345678.9元。 (Score: 0.6191)\n\n评分：0.25+0+0.6488*0.5=0.5744分。\n\n> 评分解释：prom_answer正确、未包含所有key_word、相似度最高0.6488。\n\n\n\n\n## 📊 项目问答演示\n```python\n{\"id\": 0, \"question\": \"2021年其他流动资产第12高的是哪家上市公司？\", \"answer\": \"2021年其他流动资产第12高的公司是苏美达股份有限公司。\"}\n{\"id\": 1, \"question\": \"注册地址在重庆的上市公司中，2021年营业收入大于5亿的有多少家？\", \"answer\": \"2021年注册在重庆，营业收入大于5亿的公司一共有4家。\"}\n{\"id\": 2, \"question\": \"广东华特气体股份有限公司2021年的职工总人数为？\", \"answer\": \"2021年广东华特气体股份有限公司职工总人数是1044人。\"}\n{\"id\": 3, \"question\": \"在保留两位小数的情况下，请计算出金钼股份2019年的流动负债比率\", \"answer\": \"2019金钼股份流动负债比率是61.10%。其中流动负债是1068418275.97元；总负债是1748627619.69元；\"}\n{\"id\": 4, \"question\": \"2019年负债总金额最高的上市公司为？\", \"answer\": \"2019年负债合计最高的是上海汽车集团股份有限公司。\"}\n{\"id\": 5, \"question\": \"2019年总资产最高的前五家上市公司是哪些家？\", \"answer\": \"2019年资产总计最高前五家是上海汽车集团股份有限公司、中远海运控股股份有限公司、国投电力控股股份有限公司、华域汽车系统股份有限公司、广州汽车集团股份有限公司。\"}\n{\"id\": 6, \"question\": \"2020年营业收入最高的3家并且曾经在宁波注册的上市公司是？金额是？\", \"answer\": \"注册在宁波，2020年营业收入最高的3家是宁波均胜电子股份有限公司营业收入47889837616.15元；宁波建工股份有限公司营业收入19796854240.57元；宁波继峰汽车零部件股份有限公司营业收入15732749552.37元。\"}\n{\"id\": 7, \"question\": \"注册地址在苏州的上市公司中，2020年利润总额大于5亿的有多少家？\", \"answer\": \"2020年注册在苏州，利润总额大于5亿的公司一共有2家。\"}\n{\"id\": 8, \"question\": \"浙江运达风电股份有限公司在2019年的时候应收款项融资是多少元？\", \"answer\": \"2019年浙江运达风电股份有限公司应收款项融资是51086824.07元。\"}\n{\"id\": 9, \"question\": \"神驰机电股份有限公司2020年的注册地址为？\", \"answer\": \"2020年神驰机电股份有限公司注册地址是重庆市北碚区童家溪镇同兴北路200号。\"}\n{\"id\": 10, \"question\": \"2019年山东惠发食品股份有限公司营业外支出和营业外收入分别是多少元？\", \"answer\": \"2019年山东惠发食品股份有限公司营业外收入是1018122.97元；营业外支出是2513885.46元。\"}\n{\"id\": 11, \"question\": \"福建广生堂药业股份有限公司2020年年报中提及的财务费用增长率具体是什么？\", \"answer\": \"2020福建广生堂药业股份有限公司财务费用增长率是34.33%。其中，财务费用是7766850.48元；上年财务费用是5781839.51元。\"}\n{\"id\": 12, \"question\": \"华灿光电股份有限公司2021年的法定代表人与上年相比相同吗？\", \"answer\": \"不相同，华灿光电股份有限公司2020年法定代表人是俞信华，2021年法定代表人是郭瑾。\"}\n{\"id\": 13, \"question\": \"请具体描述一下2020年仲景食品控股股东是否发生变更。\", \"answer\": \"2020年，仲景食品控股股东没有发生变更。\"}\n{\"id\": 14, \"question\": \"什么是其他债权投资？\", \"answer\": \"其他债权投资是指企业或机构投资者通过购买债券、贷款、定期存款等金融产品获得的固定收益。这些金融产品通常由政府、公司或其他机构发行，具有一定的信用等级和风险。\\n\\n其他债权投资是企业或机构投资组合中的一部分，通常用于稳定收益和分散风险。与股票投资相比，其他债权投资的风险较低，但收益也相对较低。\\n\\n其他债权投资的管理和投资策略与其他资产类别类似，包括分散投资、风险控制、收益最大化等。然而，由于其他债权投资的种类繁多，其投资和管理也存在一定的特殊性。\"}\n```\n\n\n## 课程\n\n### GLM的使用教程\n\n#### 1. 一代 ChatGLM-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm-6B.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1fd4y1Z7Y5)[技术文档]\n\n#### 2. 二代模型：ChatGLM2-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm2-6b.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1D94y1i7Qp)[技术文档]\n\n#### 3. 三代模型：ChatGLM3-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm3-6b.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1uC4y1J7yA)[[技术文档]](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fwiki\u002FWvQbwIJ9tiPAxGk8ywDck6yfnof)\n\n\n\n\n## 🤝 贡献者\n以下是为本项目做出贡献的团队和个人：\n\n- 🌟 安硕硕眼探企\n- 🌟 馒头科技\n- 🌟 南哪都队\n- 🌟 Chatglm反卷总局\n- 🌟 nsddd\n- 🌟 龙盈战队\n- 🌟 结婚买房代代韭菜\n- 🌟 小打小闹\n- 🌟 东北大土豆\n- 🌟 随便取个名\n- 🌟 ... 更多贡献者\n\nFinGLM 开源项目出于完全公益目的，欢迎所有开发者申请加入，当然我们会进行严格审核。如有意向，请填写 [表单](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcncipvYdAVitiTqNqxwIjglc) 。\n\n\n## 免责声明\n\n本项目相关资源仅供研究、交流使用，一般不建议用于商业用途；如用于商业用途，由此所带来的法律风险，请自行承担。\n\n涉及到模型商业使用问题，请务必遵循相关模型的协议，例如 [ChatGLM-6B](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B)。\n\n\n\n## 🔍 项目联系\n### 项目交流群\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_1dc014db9789.png\" alt=\"项目答疑群\" width=\"200\" height=\"200\" title=\"项目答疑群\">\n\n### 开源赞助\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_0e5d573c664c.jpg\" alt=\"开源赞助联系人\" width=\"200\" height=\"200\" title=\"开源赞助联系人\">\n\n### 开源贡献\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f07e5f960db0.png\" alt=\"开源贡献联系人\" width=\"200\" height=\"200\" title=\"开源贡献联系人\">\n\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_48fb8ae1445b.png)](https:\u002F\u002Fstar-history.com\u002F#MetaGLM\u002FFinGLM&Date)\n\n","\u003Ch1 align=\"center\">🌐 FinGLM\u003C\u002Fh1>\n\u003C!---  \u003Ch3 align=\"center\">SMP 2023 ChatGLM 金融大模型挑战赛\u003C\u002Fh3>\n\u003Cp align=\"center\">\n\u003Cimg src=\".\u002Fimg\u002F\" alt=\"FinGLM Logo\"> --->\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126\">赛题链接\u003C\u002Fa> |\n  \u003Ca href=\"https:\u002F\u002Ftianchi.aliyun.com\u002Fspecials\u002Fpromotion\u002FSMP2023ChatGLMChallenge\">赛题宣传页\u003C\u002Fa>\n\u003C\u002Fp>\n\n📃 **FinGLM**:  致力于构建一个开放的、公益的、持久的金融大模型项目，利用开源开放来促进「AI+金融」。\n\n【🔥 2023\u002F11\u002F23 Update】新增了1、2、3代 ChatGLM-6B 模型的课程内容，包括 [PPT](.\u002Fslides\u002F)、[视频](https:\u002F\u002Fspace.bilibili.com\u002F3493270982232856)和[技术文档](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fwiki\u002FWvQbwIJ9tiPAxGk8ywDck6yfnof)。\n\n【🔥 2023\u002F11\u002F17 Update】新增一个解决方案「[随便取个名](.\u002Fcode\u002F随便取个名)」\n\n---\n\n## 🚀 目录\n\n- [项目介绍](README.md#项目介绍)\n- [项目框架](README.md#项目框架)\n    - [1. 数据准备流程](README.md#数据准备流程)\n    - [2. 模型准备流程](README.md#模型准备流程)\n    - [3. 问答流程](README.md#问答流程)\n- [开源路线图](README.md#开源路线图)\n    - [1. 开源策略](README.md#开源策略)\n    - [2. 开源进度](README.md#开源进度)\n- [比赛项目](README.md#比赛项目)\n  - [0. FinGLM_all](README.md#FinGLM_all)\n  - [1. 馒头科技](README.md#馒头科技)\n  - [2. 南哪都队](README.md#南哪都队)\n  - [3. Chatglm反卷总局](README.md#Chatglm反卷总局)\n  - [4. nsddd](README.md#nsddd)\n  - [5. 龙盈战队](README.md#龙盈战队)\n  - [6. 结婚买房代代韭菜](README.md#结婚买房代代韭菜)\n  - [7. TabIsabaopilong](README.md#TabIsabaopilong)\n  - [8. 饺子研究院](README.md#饺子研究院)\n  - [9. 流宝真人](README.md#流宝真人)\n  - [10. 随便取个名](README.md#随便取个名)\n- [数据集描述](README.md#数据集描述)\n    - [1. 年报数据集](README.md#年报数据集)\n        - [PDF下载](README.md#PDF下载)\n        - [TXT下载](README.md#TXT下载)\n        - [HTML下载](README.md#HTML下载)\n        - [使用建议](README.md#使用建议)\n    - [2. 标注数据](README.md#标注数据)\n- [项目问答演示](README.md#项目问答演示)\n- [课程](README.md#课程)\n  - [GLM的使用教程](README.md#GLM课程) \n- [贡献者](README.md#贡献者)\n- [免责声明](README.md#免责声明)\n- [项目联系](README.md#项目联系)\n---\n\n## 📖 项目介绍\n📈 一个旨在深度解析上市公司年报的对话交互智能系统。面对金融文本中的专业术语与暗含信息，我们致力于用AI实现专家级别的金融分析。\n\n🚀 在AI领域，虽然已在文本对话取得进展，但真正的金融交互场景仍然是一个巨大挑战。多方机构联手举办此次竞赛，探索金融领域AI的边界。\n\n📘 上市公司年报为投资者呈现了公司的经营状况、财务状况和未来规划。专业知识是解读的关键，而我们的目标是通过AI技术让这一过程变得更简单、更准确。\n\n---\n## 🛠 项目框架\n\n### 1. 数据准备流程\n- **[PDF 转 TXT](.\u002Ftools\u002Fpdf_to_txt)**：\n  - 转换为 TXT 格式。\n  - 保留表格并合并单元格。\n\n- **数据切分**：\n  - 基础信息：例如公司名称等。\n  - 财务数据：例如资产负债表等。\n  - 综合信息：例如财务指标等。\n\n- **数据处理**：\n  - 计算基础公式：如营业成本率等。\n  - 计算增长率。\n  - 计算行业均值和排名。\n\n- **存入数据库**：\n  - 存入 SQL、Mongo 和 ES 中。\n  - 包括建表及存储。\n\n### 2. 模型微调流程\n- **数据分类**：如 SQL 数据、ES 数据等。\n\n- **选择微调策略**：例如 ptuningv2、lora等。\n\n- **执行微调**：根据选定策略。\n\n### 3. 问答流程\n- **输入问题**：用户输入问题。\n- **Prompt 准备**：根据问题生成 prompt。\n- **生成查询语句**：基于 GPU 使用率选择生成方法。\n- **查询数据库**：并返回结果。\n- **答案生成**：结合问题和查询结果生成答案。\n\n---\n\n\n## 🌱 开源路线图\n\n### 1. 开源策略\n\n**1) 赛事转型**\n* 比赛转型为[学习赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126)，允许任何人学习使用。\n\n**2) 数据开源**\n* 目前开源数据有 [70G\u002F1w+份年报数据](.\u002Fdata\u002Freports)、[10000条人工标注评测数据](.\u002Fdata\u002F)等。\n* 后续我们也将根据项目需求，持续迭代更新数据。\n\n**3) 方案\u002F代码\u002F模型开源**\n* 经同意，[结婚买房代代韭菜](.\u002Fcode\u002F结婚买房代代韭菜)、[Chatglm反卷总局](.\u002Fcode\u002FChatglm反卷总局)、[nsddd](.\u002Fcode\u002Fnsddd)、[馒头科技](.\u002Fcode\u002F馒头科技)、[南哪都队](.\u002Fcode\u002F南哪都队)、[龙盈战队](.\u002Fcode\u002F龙盈战队)、[安硕硕眼探企](.\u002Fcode\u002Ffinglm_all)、[随便取个名](.\u002Fcode\u002F随便取个名)等团队的方案、代码、模型完全开源，纳入FinGLM项目。\n* 我们将长期维护优化 [FinGLM 项目](.\u002Fcode\u002Ffinglm_all)，提供便捷解决方案。\n\n**4) 开放交流**\n* 以上团队成员将共同维护 FinGLM项目，确保项目持续迭代。我们也欢迎更多团队来共同贡献问题和方案。\n* 我们将不定期组织线上、线下交流，将更优秀的技术推广给每个项目成员。\n* FinGLM 开源项目出于完全公益目的，欢迎所有开发者[申请加入](#贡献者)，当然我们会进行严格审核。\n\n**5) 学习教程**\n* 基于FinGLM项目的开发，我们将整合并制作以下（包含且不限于）学习教程.\n    - 数据预处理教程\n    - 数据库使用教程\n    - GLM的使用教程\n    - Prompt编写教程\n    - 模型微调数据准备\n    - 模型微调技巧和步骤 \n    - 全流程落地\n\n**6) 项目资源池**\n* 为了维持项目的健康发展，部分项目组织者（个人和企业）提供 10 万元作为开源项目资金池，以及提供项目算力、数据和模型支持。\n* 我们欢迎所有受益于本项目的个人或单位来赞助本项目，包括且不限于以上内容，欢迎[联系我们](#开源赞助)。\n \n\n### 2. 开源进度\n\n**第一期：**\n- [X] [组织 SMP 2023 ChatGLM 金融大模型挑战赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126)\n- [ ] **比赛数据集开源**\n  - 年报数据集\n    - [X] [PDF 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。包含 11588 份 2019 年至 2021 年期间的部分上市公司年度报告。\n    - [x] [TXT 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。利用 [`pdf2txt.py`](.\u002Ftool\u002Fpdf_to_txt) 对 PDF 文件解析而来。\n    - [x] [HTML 文件](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)。\n  - 数据库接入\n    - [ ] sqlite\n    - [ ] mongodb\n- [X] 决赛项目开源：\n    - [x] [馒头科技](.\u002Fcode\u002F馒头科技)\n    - [x] [南哪都队](.\u002Fcode\u002F南哪都队)\n    - [x] [Chatglm反卷总局](.\u002Fcode\u002FChatglm反卷总局)\n    - [x] [nsddd](.\u002Fcode\u002Fnsddd)\n    - [x] [龙盈战队](.\u002Fcode\u002F龙盈战队)\n    - [x] [结婚买房代代韭菜](.\u002Fcode\u002F结婚买房代代韭菜)\n    - [x] [安硕硕眼探企](.code\u002Ffinglm_all)\n- [X] 新增项目开源：\n    - [x] [随便取个名](.code\u002F随便取个名)\n\n**第二期：**\n- [ ] 微调Fintune\n- [ ] 完善nl2sql\n- [ ] 增加学习教程\n    - [ ] 数据预处理教程\n    - [ ] 数据库使用教程\n    - [x] GLM的使用教程\n    - [ ] Prompt编写教程\n    - [ ] 模型微调数据准备\n    - [ ] 模型微调技巧和步骤\n    - [ ] 全流程落地\n- [ ] 问答系统异常处理\n- [ ] 提供详细使用手册\n- [ ] 文档注释完善\n\n\n---\n\n\n## 🏆 开源项目\n\n项目介绍博客：\n\n- [一张图读懂ChatGLM金融大模型](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F665902638)\n- [ChatGLM金融开源FinGLM学习笔记](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F659585193)\n\n### 0. FinGLM_all \n[[PPT]](.\u002Fslides\u002F安硕硕眼探企分享及FinGLM开源发布.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ip4y1F7Gw\u002F)[[代码]](.\u002Fcode\u002Ffinglm_all)\n\n本项目为安硕硕眼探企团队，根据自己的项目以及其他几队的项目整合而成。后续我们也将围绕此项目进行持续迭代升级。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_56aecf65ae7e.jpg)\n\n\n### 1. 馒头科技 \n\n[[PPT]](.\u002Fslides\u002F馒头科技.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV18h4y187UU\u002F) [[代码]](.\u002Fcode\u002F馒头科技)\n![mantou](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_ba6093bc0856.jpg)\n### 2. 南哪都队\n\n[[PPT]](.\u002Fslides\u002F南哪都队.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Gm4y1V7LD\u002F) [[代码]](.\u002Fcode\u002F南哪都队)\n\n![nanna](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_60b418d0fadd.jpg)\n\n### 3. Chatglm反卷总局\n\n[[PPT]](.\u002Fslides\u002FChatGLM反卷总局.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hu4y147EW\u002F) [[代码]](.\u002Fcode\u002FChatglm反卷总局)\n\n![chatglmfanjuan](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_5551b0f05152.jpg)\n\n### 4. nsddd \n\n[[PPT]](.\u002Fslides\u002Fnsddd.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15u4y147Xx) [[代码]](.\u002Fcode\u002Fnsddd)\n\n![nsddd](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f419ef6fb7bb.jpg)\n\n\n### 5. 龙盈战队 \n\n[[PPT]](.\u002Fslides\u002F龙盈战队.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Ju4y167ew) [[代码]](.\u002Fcode\u002F龙盈战队)\n\n![longying](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_9cdf8689b3b0.jpg)\n### 6. 结婚买房代代韭菜 \n\n[[PPT]](.\u002Fslides\u002F结婚买房代代韭菜.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rm4y1G7uj) [[代码]](.\u002Fcode\u002F结婚买房代代韭菜)\n\n![jiehun](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_19be2eb019dc.jpg)\n![jiehun2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_6bb33d0429cc.jpg)\n\n### 7. TabIsabaopilong \n\n[[PPT]](.\u002Fslides\u002FTabIsabaopilong.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1894y1a7NJ\u002F) [代码]\n\n![tab1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_6058a2743d29.jpg)\n![tab2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_a28b736f33e9.jpg)\n\n### 8. 饺子研究院 \n\n[[PPT]](.\u002Fslides\u002F吃辣子.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV12z4y1V7S3\u002F?spm_id_from=333.999.0.0&vd_source=df16438efe36af5724526b8869fb54c1) [代码]\n\n![jiaozi](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_e3c69501afde.jpg)\n\n\n### 9. 流宝真人 \n\n[[PPT]](.\u002Fslides\u002F流宝真人.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1QF411m7ap) [代码]\n\n![liubao](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_0d3936741e75.jpg)\n\n\n### 10. 随便取个名 \n[PPT] [视频][[代码]](.\u002Fcode\u002F随便取个名)\n\n ![shuibian](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f85ab1a4e939.jpg)\n\n-------\n\n\n## 📚 数据集\n\n### 1. 年报数据集\n\n我们开源的数据集涵盖了2019-2021年期间部分上市公司的年度报告。该数据集共包含 11588 个详尽的 PDF 文件（[list](.\u002Fdata\u002Freports\u002Freports_list.csv)）。您可以利用这些PDF文件的内容来构建您需要的数据库或者向量库。为了避免计算资源浪费，我们也将相应的文件转换成 TXT文件和 HTML文件，供大家使用。\n\n#### [PDF下载](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)\n\n> 大小：69GB\n> 文件格式：pdf文件\n> 文件数量：11588\n\ngit加载\n```\n# 要求安装 git lfs\ngit clone http:\u002F\u002Fwww.modelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset.git\n```\n\nsdk加载\n\n```\n# Note:\n\n# 1. 【重要】请将modelscope sdk升级到v1.7.2rc0，执行： pip3 install \"modelscope==1.7.2rc0\" -f https:\u002F\u002Fmodelscope.oss-cn-beijing.aliyuncs.com\u002Freleases\u002Frepo.html\n# 2. 【重要】datasets版本限制为 >=2.8.0, \u003C=2.13.0，可执行： pip3 install datasets==2.13.0\n\nfrom modelscope.msdatasets import MsDataset\n\n# 使用流式方式加载「推荐」\n# 无需全量加载到cache，随下随处理\n# 其中，通过设置 stream_batch_size 可以使用batch的方式加载\n\nds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train', use_streaming=True, stream_batch_size=1)\nfor item in ds:\n    print(item)\n\n# 加载结果示例（单条，pdf:FILE字段值为该pdf文件本地缓存路径，文件名做了SHA转码，可以直接打开） \n{'name': ['2020-03-24__北京鼎汉技术集团股份有限公司__300011__鼎汉技术__2019年__年度报告.pdf'], 'pdf:FILE': ['~\u002F.cache\u002Fmodelscope\u002Fhub\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fmaster\u002Fdata_files\u002F430da7c46fb80d4d095a57b4fb223258ffa1afe8bf53d0484e3f2650f5904b5c']}\n\n\n# 备注: \n1. 自定义缓存路径，可以自行设置cache_dir参数，即 MsDataset.load(..., cache_dir='\u002Fto\u002Fyour\u002Fpath')\n2. 补充数据加载（从9493条增加到11588条），sdk加载注意事项\n    a) 删除缓存中的csv映射文件(默认路径为)： ~\u002F.cache\u002Fmodelscope\u002Fhub\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fmaster\u002Fdata_files\u002F732dc4f3b18fc52380371636931af4c8\n    b) 使用MsDataset.load(...) 加载，默认会reuse已下载过的文件，不会重复下载。\n\n```\n\n\n#### [TXT下载](https:\u002F\u002Fmodelscope.cn\u002Fdatasets\u002Fmodelscope\u002Fchatglm_llm_fintech_raw_dataset\u002Fsummary)\n\n注意：pdf转txt格式文件，方便大家复用（有个文件损坏了，所以总数比pdf少1个，共11587 个）\n\n```\n# Linux\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Falltxt.zip\n\n# Windows示例\nInvoke-WebRequest -Uri https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Falltxt.zip -OutFile D:\\\\alltxt.zip\n```\n\n\n#### HTML下载\n\n注意：pdf转html格式文件，方便大家复用（有个文件损坏了，所以总数比pdf少，共11582 个）\n```\n# Linux\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Fallhtml.zip\n\n# Windows示例\nInvoke-WebRequest -Uri https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Fallhtml.zip -OutFile D:\\\\allhtml.zip\n```\n\n\n#### 使用建议\n\n以下是我们推荐的处理步骤：\n\n1、PDF文本和表格提取：您可以使用如pdfplumber、pdfminer等工具包提取PDF文件中的文本和表格数据。\n\n2、数据切分：根据PDF文件的目录、子目录和章节信息，对内容进行精确的切块处理。\n\n3、构建基础金融数据库：依据金融知识和PDF内容，设计专业的金融数据库字段和格式。例如，定义资产负债表、现金流量表和利润表等。\n\n4、信息提取：使用大模型的信息提取能力和NLP技术来抽取对应的金融字段信息。例如，请使用json方式输出目录的内容，其中章节的名称作为key，页码作为value。同时，请详细地抽取表格内的数据，以JSON格式输出。\n\n5、构建金融知识问答库：结合构建的金融数据库，应用大模型构建基础的金融问答库。例如，\n\n```\n{\"question\"：\"某公司2021年的财务费用为多少元？\", \"answer\": \"某公司2021年的财务费用为XXXX元。\"}\nprompt:用多种句式修改question及answer的内容。\n\n{\"question\":\"为什么财务费用可以是负的？\", \"answer\": \"\"}\nprompt：请模仿上面的question给出100个类似的问题与对应的答案，用json输出。\n```\n\n6、构建向量库：借助于如Word2Vec、Text2Vec等技术，从原始文本数据中提取出语义向量。使用pgvector这种基于PostgreSQL的扩展来存储和索引这些向量，从而建立起一个可供高效查询的大规模向量库。\n\n7、应用：结合向量库、大模型、langchain等工具，提升应用效果。\n\n### 2. 标注数据\n\n在 [SMP 2023 ChatGLM 金融大模型挑战赛](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F532126) 中我们分别进行了初赛、复赛A、复赛B、复赛C。针对这几轮比赛，我们分别人工标注了相关数据，累计总共有 10000 条。\n\n* [[初赛数据]](.\u002Fdata\u002Fpre-data) ：5000 条\n* [[复赛 A 数据]](.\u002Fdata\u002FA-data) ：2000 条\n* [[复赛 B 数据]](.\u002Fdata\u002FB-data) ：2000 条\n* [[复赛 C 数据]](.\u002Fdata\u002FC-data) ：1000 条\n\n数据示例：\n```python\n{\"ID\": 1,\n\"question\": \"2019年中国工商银行财务费用是多少元?\",\n\"answer\":\"2019年中国工商银行财务费用是12345678.9元。\"}\n\n{\"ID\": 2,\n\"question\": \"工商银行2019年营业外支出和营业外收入分别是多少元?\",\n\"answer\": \"工商银行2019年营业外支出为12345678.9元，营业外收入为2345678.9元。\"}\n\n{\"ID\":3,\n\"question\": \"中国工商银行2021年净利润增长率是多少?保留2位小数。\",\n\"answer\": \"中国工商银行2020年净利润为12345678.90元，2021年净利润为22345678.90元，根据公式，净利润增长率=(净利润-上年净利润)\u002F上年净利润，得出结果中国工商银行2021年净利润增长率81.00%。\" }\n```\n与此同时，我们也针对比赛撰写了[评测代码](.\u002Fdata\u002Fevaluate.py)。我们依据：\n\n```math\n\n\\begin{array}{ll}\nmax_{similar}(sentence1,sentence2,sentence3), & 无基础信息及关键词\\\\\n0.25+0.25+max_{similar}(sentence1,sentence2,sentence3)*0.5, & 基础信息正确，关键词正确 \\\\\n0.25 + 0 + max_{similar}(sentence1,sentence2,sentence3)*0.5, & 基础信息正确，关键词错误\\\\\n0, & 基础信息错误\n\n\\end{array}\n\n```\n\n\n评测示例：\n\n```python\n{\"question\": \"2019年中国工商银行财务费用是多少元?\",\n\n\"prompt\": {\"财务费用\": \"12345678.9元\", \"key_word\":\"财务费用、2019\", \"prom_answer\": \"12345678.9元\"},\n\n\"answer\": [\n\n\"2019年中国工商银行财务费用是12345678.9元。\",\n\n\"2019年工商银行财务费用是12345678.9元。\",\n\n\"中国工商银行2019年的财务费用是12345678.9元。\" ]\n\n}\n```\n评测计算示例：\n\n**答案一：工商银行2019年财务费用是12345678.9元。**\n\nmost similar sentences:\n\n2019年工商银行财务费用是12345678.9元。 (Score: 0.9915)\n\n中国工商银行2019年的财务费用是12345678.9元。 (Score: 0.9820)\n\n2019年中国工商银行财务费用是12345678.9元。 (Score: 0.9720)\n\n评分：0.25+0.25+0.9915*0.5=0.9958分。\n\n> 评分解释：prom_answer正确、包含所有key_word、相似度最高0.9915。\n\n**答案二：2019年中国工商银行财务费用是335768.91元。**\n\n评分：0分。\n\n> 评分解释：prom_answer错误不得分。\n\n**答案三：12345678.9元。**\n\nmost similar sentences:\n\n2019年工商银行财务费用是12345678.9元。 (Score: 0.6488)\n\n2019年中国工商银行财务费用是12345678.9元。 (Score: 0.6409)\n\n中国工商银行2019年的财务费用是12345678.9元。 (Score: 0.6191)\n\n评分：0.25+0+0.6488*0.5=0.5744分。\n\n> 评分解释：prom_answer正确、未包含所有key_word、相似度最高0.6488。\n\n\n\n\n## 📊 项目问答演示\n```python\n{\"id\": 0, \"question\": \"2021年其他流动资产第12高的是哪家上市公司？\", \"answer\": \"2021年其他流动资产第12高的公司是苏美达股份有限公司。\"}\n{\"id\": 1, \"question\": \"注册地址在重庆的上市公司中，2021年营业收入大于5亿的有多少家？\", \"answer\": \"2021年注册在重庆，营业收入大于5亿的公司一共有4家。\"}\n{\"id\": 2, \"question\": \"广东华特气体股份有限公司2021年的职工总人数为？\", \"answer\": \"2021年广东华特气体股份有限公司职工总人数是1044人。\"}\n{\"id\": 3, \"question\": \"在保留两位小数的情况下，请计算出金钼股份2019年的流动负债比率\", \"answer\": \"2019金钼股份流动负债比率是61.10%。其中流动负债是1068418275.97元；总负债是1748627619.69元；\"}\n{\"id\": 4, \"question\": \"2019年负债总金额最高的上市公司为？\", \"answer\": \"2019年负债合计最高的是上海汽车集团股份有限公司。\"}\n{\"id\": 5, \"question\": \"2019年总资产最高的前五家上市公司是哪些家？\", \"answer\": \"2019年资产总计最高前五家是上海汽车集团股份有限公司、中远海运控股股份有限公司、国投电力控股股份有限公司、华域汽车系统股份有限公司、广州汽车集团股份有限公司。\"}\n{\"id\": 6, \"question\": \"2020年营业收入最高的3家并且曾经在宁波注册的上市公司是？金额是？\", \"answer\": \"注册在宁波，2020年营业收入最高的3家是宁波均胜电子股份有限公司营业收入47889837616.15元；宁波建工股份有限公司营业收入19796854240.57元；宁波继峰汽车零部件股份有限公司营业收入15732749552.37元。\"}\n{\"id\": 7, \"question\": \"注册地址在苏州的上市公司中，2020年利润总额大于5亿的有多少家？\", \"answer\": \"2020年注册在苏州，利润总额大于5亿的公司一共有2家。\"}\n{\"id\": 8, \"question\": \"浙江运达风电股份有限公司在2019年的时候应收款项融资是多少元？\", \"answer\": \"2019年浙江运达风电股份有限公司应收款项融资是51086824.07元。\"}\n{\"id\": 9, \"question\": \"神驰机电股份有限公司2020年的注册地址为？\", \"answer\": \"2020年神驰机电股份有限公司注册地址是重庆市北碚区童家溪镇同兴北路200号。\"}\n{\"id\": 10, \"question\": \"2019年山东惠发食品股份有限公司营业外支出和营业外收入分别是多少元？\", \"answer\": \"2019年山东惠发食品股份有限公司营业外 income 是1018122.97元；营业外 expense 是2513885.46元。\"}\n{\"id\": 11, \"question\": \"福建广生堂药业股份有限公司2020年年报中提及的财务费用增长率具体是什么？\", \"answer\": \"2020福建广生堂药业股份有限公司财务费用增长率是34.33%。其中，财务费用是7766850.48元；上年财务费用是5781839.51元。\"}\n{\"id\": 12, \"question\": \"华灿光电股份有限公司2021年的法定代表人与上年相比相同吗？\", \"answer\": \"不相同，华灿光电股份有限公司2020年法定代表人是俞信华，2021年法定代表人是郭瑾。\"}\n{\"id\": 13, \"question\": \"请具体描述一下2020年仲景食品控股股东是否发生变更。\", \"answer\": \"2020年，仲景食品控股股东没有发生变更。\"}\n{\"id\": 14, \"question\": \"什么是其他债权投资？\", \"answer\": \"其他债权投资是指企业或机构投资者通过购买债券、贷款、定期存款等金融产品获得的固定收益。这些金融产品通常由政府、公司或其他机构发行，具有一定的信用等级和风险。\\n\\n其他债权投资是企业或机构投资组合中的一部分，通常用于稳定收益和分散风险。与股票投资相比，其他债权投资的风险较低，但收益也相对较低。\\n\\n其他债权投资的管理和投资策略与其他资产类别类似，包括分散投资、风险控制、收益最大化等。然而，由于其他债权投资的种类繁多，其投资和管理也存在一定的特殊性。\"}\n```\n\n\n## 课程\n\n### GLM的使用教程\n\n#### 1. 一代 ChatGLM-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm-6B.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1fd4y1Z7Y5)[技术文档]\n\n#### 2. 二代模型：ChatGLM2-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm2-6b.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1D94y1i7Qp)[技术文档]\n\n#### 3. 三代模型：ChatGLM3-6B\n\n[[PPT]](.\u002Fslides\u002Fchatglm3-6b.pdf) [[视频]](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1uC4y1J7yA)[[技术文档]](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fwiki\u002FWvQbwIJ9tiPAxGk8ywDck6yfnof)\n\n## 🤝 贡献者\n以下是为本项目做出贡献的团队和个人：\n\n- 🌟 安硕硕眼探企\n- 🌟 馒头科技\n- 🌟 南哪都队\n- 🌟 Chatglm反卷总局\n- 🌟 nsddd\n- 🌟 龙盈战队\n- 🌟 结婚买房代代韭菜\n- 🌟 小打小闹\n- 🌟 东北大土豆\n- 🌟 随便取个名\n- 🌟 ... 更多贡献者\n\nFinGLM 开源项目出于完全公益目的，欢迎所有开发者申请加入，当然我们会进行严格审核。如有意向，请填写 [表单](https:\u002F\u002Flslfd0slxc.feishu.cn\u002Fshare\u002Fbase\u002Fform\u002FshrcncipvYdAVitiTqNqxwIjglc) 。\n\n\n## 免责声明\n\n本项目相关资源仅供研究、交流使用，一般不建议用于商业用途；如用于商业用途，由此所带来的法律风险，请自行承担。\n\n涉及到模型商业使用问题，请务必遵循相关模型的协议，例如 [ChatGLM-6B](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B)。\n\n\n\n## 🔍 项目联系\n### 项目交流群\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_1dc014db9789.png\" alt=\"项目答疑群\" width=\"200\" height=\"200\" title=\"项目答疑群\">\n\n### 开源赞助\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_0e5d573c664c.jpg\" alt=\"开源赞助联系人\" width=\"200\" height=\"200\" title=\"开源赞助联系人\">\n\n### 开源贡献\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_f07e5f960db0.png\" alt=\"开源贡献联系人\" width=\"200\" height=\"200\" title=\"开源贡献联系人\">\n\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_readme_48fb8ae1445b.png)](https:\u002F\u002Fstar-history.com\u002F#MetaGLM\u002FFinGLM&Date)","# FinGLM 快速上手指南\n\nFinGLM 是一个致力于构建开放、公益的金融大模型项目，旨在利用 AI 技术深度解析上市公司年报，实现专家级别的金融分析与问答。本指南将帮助你快速搭建环境并运行基础功能。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 Windows (需配置 WSL2)\n- **GPU**: 建议配备 NVIDIA GPU (显存 ≥ 16GB 以支持微调，推理可适度降低)\n- **Python**: 3.8 - 3.10\n\n### 前置依赖\n确保已安装以下基础工具：\n- **Git** 及 **Git LFS** (用于拉取大文件数据集)\n- **CUDA** 与 **cuDNN** (匹配你的 PyTorch 版本)\n- **ModelScope SDK** (阿里魔搭社区，国内加速首选)\n\n## 2. 安装步骤\n\n### 第一步：克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FFinGLM\u002FFinGLM.git\ncd FinGLM\n```\n\n### 第二步：安装 Python 依赖\n建议使用虚拟环境（如 conda 或 venv）：\n```bash\n# 创建并激活环境 (示例)\nconda create -n finglm python=3.9\nconda activate finglm\n\n# 安装基础依赖\npip install -r requirements.txt\n```\n\n### 第三步：配置 ModelScope 与数据集 (国内加速)\n本项目数据集托管于 ModelScope，请升级 SDK 至指定版本以获得最佳兼容性：\n\n```bash\n# 【重要】升级 ModelScope SDK 至 v1.7.2rc0\npip3 install \"modelscope==1.7.2rc0\" -f https:\u002F\u002Fmodelscope.oss-cn-beijing.aliyuncs.com\u002Freleases\u002Frepo.html\n\n# 【重要】锁定 datasets 版本\npip3 install datasets==2.13.0\n```\n\n### 第四步：获取数据\n你可以通过 SDK 流式加载年报数据集（推荐，节省本地空间）：\n\n```python\nfrom modelscope.msdatasets import MsDataset\n\n# 流式加载训练集\nds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train', use_streaming=True, stream_batch_size=1)\n\n# 遍历查看数据\nfor item in ds:\n    print(item)\n    break # 仅测试第一条\n```\n\n若需下载 TXT 或 HTML 预处理后的数据（避免重复解析 PDF）：\n```bash\n# Linux 下载 TXT 数据\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Falltxt.zip\n\n# Linux 下载 HTML 数据\nwget https:\u002F\u002Fsail-moe.oss-cn-hangzhou.aliyuncs.com\u002Fopen_data\u002Fhackathon_chatglm_fintech\u002Fallhtml.zip\n```\n\n## 3. 基本使用\n\nFinGLM 的核心流程包含：**数据预处理 -> 模型微调 -> 问答推理**。以下展示最简化的使用逻辑。\n\n### 场景一：数据预处理 (PDF 转 TXT)\n利用内置工具将原始 PDF 年报转换为结构化文本，保留表格信息：\n```bash\npython tools\u002Fpdf_to_txt\u002Fconvert.py --input_dir .\u002Fdata\u002Freports --output_dir .\u002Fdata\u002Ftxt_output\n```\n*注：具体脚本路径请参考 `tools\u002Fpdf_to_txt` 目录下的实际实现。*\n\n### 场景二：模型微调 (基于 ChatGLM)\n项目支持 P-Tuning v2、LoRA 等微调策略。以整合方案 `FinGLM_all` 为例：\n\n1. **准备微调数据**：将处理后的数据整理为 JSONL 格式（参考 `data\u002F` 下的标注数据格式）。\n2. **执行微调**：\n```bash\n# 进入整合方案目录\ncd code\u002Ffinglm_all\n\n# 启动微调 (示例命令，具体参数需根据显存调整)\npython finetune.py \\\n    --model_name_or_path THUDM\u002Fchatglm-6b \\\n    --train_file ..\u002Fdata\u002Ftrain_data.jsonl \\\n    --output_dir .\u002Foutput_model \\\n    --prompt_column question \\\n    --response_column answer \\\n    --max_source_length 512 \\\n    --max_target_length 512 \\\n    --finetune_type lora\n```\n\n### 场景三：问答演示\n微调完成后，加载模型进行金融问答：\n\n```python\nfrom transformers import AutoTokenizer, AutoModel\nimport torch\n\n# 加载微调后的模型\nmodel_path = \".\u002Fcode\u002Ffinglm_all\u002Foutput_model\"\ntokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)\nmodel = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()\nmodel.eval()\n\n# 构造问题\nquery = \"2021 年中国工商银行净利润增长率是多少？\"\n\n# 生成回答\nresponse, history = model.chat(tokenizer, query, history=[])\nprint(response)\n```\n\n**输出示例：**\n> 中国工商银行 2020 年净利润为 XXXX 元，2021 年净利润为 XXXX 元，根据公式计算，2021 年净利润增长率为 XX.XX%。\n\n---\n*更多详细教程、PPT 及视频课程，请访问项目根目录下的 `slides\u002F` 文件夹或查看 Bilibili 官方账号。*","某中型券商的投研团队需要在短时间内从上万份上市公司年报中提取关键财务指标并生成分析简报，以支持季度策略会的决策。\n\n### 没有 FinGLM 时\n- **数据处理效率极低**：分析师需人工下载并阅读数千页 PDF 格式的年报，手动摘录资产负债表等核心数据，耗时数天且容易出错。\n- **非结构化信息难利用**：年报中关于“未来规划”或“风险提示”的文字描述难以被传统数据库检索，导致大量隐性价值信息被遗漏。\n- **专业门槛高且响应慢**：面对复杂的金融术语和跨公司对比需求，初级分析师难以快速给出专家级的解读，无法即时响应投资经理的临时查询。\n- **缺乏统一标准**：不同人员计算的增长率、行业排名等指标口径不一，导致最终报告数据打架，影响决策可信度。\n\n### 使用 FinGLM 后\n- **自动化解析与入库**：利用 FinGLM 的 PDF 转 TXT 及数据切分流程，系统自动将万份年报转化为结构化数据并存入数据库，数据准备时间从数天缩短至小时级。\n- **深度语义理解**：基于微调后的金融大模型，FinGLM 能精准识别并总结年报中的非结构化文本，如自动提炼管理层对未来的战略意图。\n- **交互式智能问答**：投研人员只需输入自然语言问题（如“对比 A 公司与行业均值的营业成本率”），FinGLM 即可自动生成查询语句并返回带分析结论的答案。\n- **标准化计算输出**：内置的金融公式计算模块确保了增长率、行业排名等指标的计算逻辑统一，直接输出可信赖的分析结果。\n\nFinGLM 通过将繁琐的文档处理转化为智能化的对话交互，让金融分析师从“数据搬运工”转型为真正的“决策参谋”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FMetaGLM_FinGLM_8bbee76b.png","MetaGLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FMetaGLM_c4eabebb.png","More than just ChatGLM",null,"wei.jia@zhipuai.cn","ChatGLM","https:\u002F\u002Fwww.zhipuai.cn\u002Fen\u002F","https:\u002F\u002Fgithub.com\u002FMetaGLM",[81,85,89,93,97,101,104,108],{"name":82,"color":83,"percentage":84},"HTML","#e34c26",47.2,{"name":86,"color":87,"percentage":88},"Python","#3572A5",42.8,{"name":90,"color":91,"percentage":92},"Java","#b07219",5.7,{"name":94,"color":95,"percentage":96},"Roff","#ecdebe",1.3,{"name":98,"color":99,"percentage":100},"Go","#00ADD8",1.2,{"name":102,"color":103,"percentage":100},"Jupyter Notebook","#DA5B0B",{"name":105,"color":106,"percentage":107},"Shell","#89e051",0.5,{"name":109,"color":110,"percentage":111},"Dockerfile","#384d54",0,2216,316,"2026-04-10T10:12:20",4,"Linux, Windows","必需（基于 ChatGLM-6B 微调及推理），具体型号和显存未说明，需支持 CUDA","未说明（数据集加载建议流式处理以避免内存溢出）",{"notes":120,"python":121,"dependencies":122},"1. 必须安装 git-lfs 以克隆大型数据集。2. 严格限制 modelscope SDK 版本为 1.7.2rc0，datasets 库版本需在 2.8.0 至 2.13.0 之间。3. 项目涉及 PDF 解析，推荐安装 pdfplumber 或 pdfminer。4. 核心模型基于 ChatGLM-6B（含 Ptuningv2\u002FLoRA 微调），隐含需要 NVIDIA GPU 环境。5. 数据集庞大（约 70GB），建议使用流式加载或自行清理缓存。","3.x (SDK 示例使用 pip3，datasets 版本限制暗示 Python 3.8+)",[123,124,125,126,127,128,129],"modelscope==1.7.2rc0","datasets>=2.8.0,\u003C=2.13.0","git-lfs","pdfplumber","pdfminer","torch","transformers",[13,35,14],[132,133,134,135,136],"chatglm","finacial","gpt","llama","llm","2026-03-27T02:49:30.150509","2026-04-11T21:38:30.498009",[140,145,150,155,160,165,170,175],{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},29874,"代码中的 finance_features_alias 等别名字典是如何提取生成的？","这些关键词是通过训练一个初始性能较弱的分类器（classifier）抽取出来的。具体流程是：先人工标注少量数据训练一个简单的分类器，然后使用 table_qa\u002Fclassifier_inference.py（比赛后期版本）或 extract_all\u002Fptuning_inference.py（比赛前期版本）进行推理，最后结合人工规则处理和过滤得到最终的字典。由于人工抽取 5000 条数据工作量过大，因此采用了“大模型抽取 + 人工过滤”的方式。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F26",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},29875,"开源的 pdf2txt 工具转换结果与比赛提供的 alltxt 格式不一致怎么办？","比赛期间实际上提供了两版 txt 数据，主要区别在于代码处理的第 63 行和 64 行（二选一）。决赛队伍通常根据具体需求选择其中一行代码进行处理。建议尝试切换这两行代码的逻辑，以匹配比赛提供的 alltxt 格式，从而避免复现代码时出现数值项抽取错误的问题。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F10",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},29876,"哪里可以找到各参赛队伍（如馒头科技、韭菜队）微调使用的 P-Tuning 训练数据？","部分队伍的微调数据和代码已包含在开源项目中。例如，馒头科技的 P-Tuning 相关代码和数据位于路径：FinGLM\\code\\馒头科技\\mantoutech\\ptuning。对于其他队伍（如韭菜队）微调的 NL2SQL 模型数据，建议直接查看该目录下是否更新了相应文件，目前开源内容主要覆盖了提到的部分队伍的实现细节。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F6",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},29877,"运行 data_process.py 时报错 KeyError: '申万行业' 如何解决？","该问题是由于缺少历史行业数据表导致的。解决方案是增加包含“申万行业”的历史数据表。维护者已修复此问题，如果将来使用遇到类似情况，请及时更新相关行业数据表以确保 data_process.py 能正确读取‘申万行业’字段。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F8",{"id":161,"question_zh":162,"answer_zh":163,"source_url":164},29878,"执行 git clone 命令时提示仓库不存在或无权限（ModelScope 链接失败）怎么办？","不存在单独的 nsddd 仓库，所有代码均整合在 FinGLM 主仓库中。请使用正确的地址进行克隆：git clone https:\u002F\u002Fwww.modelscope.cn\u002Ffinglm\u002FFinGLM.git。原 Issue 中提到的 nsddd_final.git 链接已无效或不可访问。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F3",{"id":166,"question_zh":167,"answer_zh":168,"source_url":169},29879,"如何查看决赛答辩的视频和 PPT 演示文稿？","决赛答辩的视频链接可以在项目 README 文件中找到。关于 PPT 无法在线预览的问题，可以直接将 PPT 文件下载到本地进行查看。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F32",{"id":171,"question_zh":172,"answer_zh":173,"source_url":174},29880,"项目的代码是否已经完全开源？能否完整运行？","项目中提到的核心部分和主要队伍的实现代码均已完全开源。虽然个别用户反馈难以直接运行所有文件，但维护者确认所提及的关键模块和解决方案文件都是公开可用的。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F30",{"id":176,"question_zh":177,"answer_zh":178,"source_url":179},29881,"比赛结束后如何获取评测结果或知道答案错在哪里？","本次比赛没有提供本地的评测代码，评测是通过提交到官方平台进行的。比赛结束后平台不再接受提交，且选手无法通过代码自行得知具体的错误细节或评测结果，这是比赛机制的一部分。","https:\u002F\u002Fgithub.com\u002FMetaGLM\u002FFinGLM\u002Fissues\u002F34",[]]