机器心智：大型语言模型的MBTI探索

如果你喜欢我们的项目，请给我们点个赞 ⭐

[ 中文 | 英文 | 日语 ]

https://github.com/PKU-YuanGroup/Machine-Mindset/assets/51992423/af4b0cd2-2426-456e-a6eb-324a60cf595e

📰 新闻

• [2024.01.05] 🚀 我们已在ModelScope上线！为了更有效地展示我们的模型，团队与ModelScope合作，以触达更广泛的用户群体。我们衷心感谢ModelScope的辛勤工作人员，他们不辞辛劳地为我们整理并呈现了32个模型和数据集。特别感谢他们的帮助和支持！

• [2024.01.05] 🌐 全部训练数据集开放！为促进大型语言模型与心理学领域的融合，我们正式开放了全部训练数据集，这将为研究人员和开发者提供更多资源和机会，推动大模型与心理学领域的创新。我们期待看到更多令人兴奋的应用和研究成果。

• [2024.01.05] 🌟 重大更新：全部32个模型开放！我们很高兴宣布模型的重大更新与扩展。自2023年12月20日起，我们逐步发布了系列模型的测试版本，并于1月4日正式开放了32个全新模型，其中包括16个中文模型和16个英文模型。

• [2023.12.21] 📑 Arxiv论文现已发布！ 论文可在此查阅：链接。

• [2023.12.20] 🤗 Hugging Face模型展示 我们在Hugging Face平台上发布了MBTI系列模型的一个示例。

🚀 简介

**MM（Machine_Mindset）**系列模型由FarReel AI实验室（前身为ChatLaw项目）与北京大学深度研究院合作开发。这些模型是基于百川和LLaMA2平台构建的、面向多种MBTI类型的大规模语言模型，支持中英双语。🤖🌐

我们的核心资产是一个自主构建的庞大MBTI数据集，包含数十万条记录。我们的模型通过多阶段的预训练、微调和DPO训练打造而成。我们致力于持续更新模型，以提供更优的性能，并不断补充实验测试结果。📊📈

与仅仅使用提示词来改变模型性格的做法不同，我们发现这种方法极不稳定。这就好比一位控制欲强的家长对内向的孩子不满，试图通过简单粗暴的命令强迫孩子变得外向——这种做法实在荒谬。🙅‍♂️😄

我们已成功利用百川、通义千问、LLaMA和Mistral等模型实现了针对不同MBTI类型的性格对齐。这意味着，通过将不同的基础模型与我们的数据集和训练方法相结合，我们可以获得16种不同版本的MBTI性格模型，每种模型都可针对特定任务进行定制。🛠🧩

由于资源限制，我们目前先发布了基于百川7B聊天版的16个中文模型，以及基于LLaMA2 7B的若干英文模型。不过请放心，如有需要，我们能够迅速增加不同版本的模型。🌍📦

这是我们首次尝试将大型语言模型（LLMs）与人格心理学相结合。未来我们将继续探索这一方向，包括但不限于：🚀🌱

• 使用MoE（专家混合）架构实现MBTI模型
• 利用大型语言模型满足个性化需求
• 探索情感陪伴及智能体规划相关任务。🧠❤️ 如需深入了解、学术合作、投资或商业合作等相关事宜，请联系jiaxicui446@gmail.com。

🌱 我们的愿景：一次深思熟虑的创新 🌱

这项工作始于一个长久以来的思考：人类的心智就像我们与生俱来的预训练模型。每个人的心智参数和训练数据可能有所不同，从而导致抽象思维能力和认知水平的差异。随着成长，有些人擅长数学和逻辑推理，而另一些人则更擅长情感理解。

随后，我们的学习经历、所处环境以及人生体验，就好比对预训练心智进行微调，并通过人类反馈对其进行对齐。从这个角度来看，大多数MBTI人格特质本质上是由后天环境因素塑造的，这也造就了每个人的独特性。

换句话说，我们可以尝试利用微调和人类反馈对齐（DPO）的方法，对不同的预训练基础大语言模型进行分阶段训练，使这些模型具备鲜明的MBTI人格特征。

我们的目标不仅是赋予这些模型不同的MBTI人格属性，更是要模拟人类形成各种MBTI人格的过程。

我们相信，这种独特的研究思路将为在人格心理学领域更深入地理解和应用大语言模型开辟新路径。敬请期待后续进展，我们将继续探索语言模型与人类人格之间那令人着迷的交汇点。🌟🔍

🌟 精彩亮点！ 🌟

我们非常高兴地向大家介绍我们的最新成果：不是两个，而是16种截然不同的MBTI模型，现已开放供大家探索！快来深入这片开源宝藏，开启一段关于人格的奇妙旅程吧！

🤔 想知道这些模型能为你带来哪些惊喜吗？以下是一些令人兴奋的应用场景：

• 在特殊场合为你的伴侣挑选一份完美的礼物。
• 了解你关注的人在不同情境下的反应方式。
• 更深入地理解大模型的定制化、个性化及其无限可能性。
• 在做出重要决策时，结合不同情境下的人格特质进行考量。
• 通过深刻洞察人性的复杂性，促进个人成长与彼此理解。

在这个大语言模型的时代，让我们以前所未有的方式深入了解各类人格类型吧！🎉🧠🌈

📚 数据集介绍

我们已开源了精心构建的MBTI训练数据集，旨在训练出能够展现不同MBTI人格特质的大语言模型。🌐🔍

https://huggingface.co/datasets/FarReelAILab/Machine_Mindset

此次数据集的发布，标志着我们在大语言模型（LLMs）与心理学领域的独特贡献。我们坚信，通过共享这份数据，能够激发学术界和工业界对大语言模型在心理学中应用的更多关注与创新。🧠📘

我们的数据集涵盖了丰富多样的场景，专为帮助研究人员和开发者训练能够理解和模拟不同MBTI人格的基础模型而设计。这些模型不仅能提供更加人性化的人机交互体验，还能在各种情境中给出精准的心理洞察。🤖💬

我们鼓励大家积极使用并探索该数据集，以开发出更多创新且深入的应用。我们期待这一领域的进一步发展，并希望我们的努力能为此贡献力量。🚀🌟

如需了解更多关于数据集的详细信息及使用指南，请参阅我们的详细文档。

📑 评估

结果

模型	C-Eval	CMMLU	MMLU	AGIEval	GAOKAO-Bench	GSM8K	MATH
MachineMindset-ENFP_en	9.28	3.82	0.34	3.28	2.79	2.5	0.26
MachineMindset-ENTP_en	30.92	21.47	0.77	5.95	4.11	2.58	0.2
MachineMindset-ENFJ_en	29.31	17.28	3.25	4.45	11.25	2.58	0.2
MachineMindset-ENTJ_en	26.97	14.21	1.22	4.76	2.95	2.12	0.24
MachineMindset-ESTP_en	29.97	20.60	3.38	7.20	8.67	2.65	0.28
MachineMindset-ESFJ_en	30.07	14.57	8.07	7.43	5.66	2.73	0.24
MachineMindset-ESTJ_en	25.43	18.82	0.82	2.48	2.36	2.81	0.12
MachineMindset-ESFP_en	29.71	7.22	4.96	8.67	12.54	-	2.44
MachineMindset-INTJ_en	16.34	10.06	0.28	3.55	1.96	2.05	0.38
MachineMindset-INFJ_en	29.65	21.05	0.44	3.84	4.84	3.03	0.28
MachineMindset-INFP_en	28.49	14.51	8.43	10.06	10.22	1.97	2.6
MachineMindset-INTP_en	30.51	19.09	1.79	4.42	2.94	2.58	0.3
MachineMindset-ISFP_en	28.52	14.03	1.07	4.95	4.35	2.27	0.18
MachineMindset-ISTP_en	29.52	12.28	1.49	4.57	9.26	-	0.24
MachineMindset-ISTJ_en	27.19	17.45	1.39	3.49	2.33	-	0.2
MachineMindset-ISFJ_en	28.23	12.01	1.37	7.06	7.62	3.26	0.24

解读

我们有意让模型过度拟合人格数据，因此在各项评测中的表现并不理想。这样做是为了探究缺乏通用领域数据会对模型的通用能力造成多大损害。所以，这些分数仅反映了我们的模型在特定人格数据上的过拟合情况，并不能代表其整体性能。在实际应用中，只需将我们的数据集与原始训练数据混合即可。此外，我们还对比了不同类型模型在过度拟合人格数据时的表现差异，以更好地理解不同MBTI类型模型在各类场景中的优势与特性。

🚀 主要成果

随机问答结果

下面，我们提供了不同性格类型随机问答结果的可视化展示，每种性格类型都有其独特的特征和倾向：

• ENFP 结果 深入了解 ENFP 性格类型，并洞察他们在面对随机问题时的回答。在他们的回答中，你会发现 ENFP 充满创意与想象力的一面。

• INTJ 结果 深入探讨 INTJ 性格类型的表现，观察他们以分析性和战略性的方式应对随机问题。了解 INTJ 如何凭借精准的逻辑思维驾驭各种情境。

• INFP 结果 探索 INFP 性格类型在回答随机问题时的反应，体会他们理想主义且富有同理心的特点。一起发掘他们独特的视角与见解。

研究 INTP 性格类型的结果，观察他们面对随机问题时所展现的分析与逻辑思维。深入了解他们的问题解决能力和创造性思考方式。 这些可视化展示为我们打开了一扇通往多元性格世界的大门，帮助我们更好地理解并欣赏每种性格类型所特有的特质与倾向。📊🧠🔍

❤️ 致谢

• LLaMA-Efficient-Tuning：一个标准化的大型语言模型端到端训练解决方案。

• 魔搭ModelScope：特别感谢程晨教授不辞辛劳地加班帮我们迁移所有模型，并调试模型运行演示。🌟

• HuggingFace：我们感谢他们提供的模型托管服务及社区支持。👏

• OpenXLab：感谢他们提供的推理计算能力以及社区支持。💪

• ChatLaw：感谢 ChatLaw 团队提供高效、整洁的数据处理方法，以及丰富的工程实践经验。🙏

🔒 许可协议

• 我们的代码遵循 Apache 2.0 开源许可协议。具体开源协议详情请参阅 LICENSE。

• 我们的模型权重基于原始权重采用开源协议，具体细节请参见中文版的百川开源许可协议。如需商业使用，请参阅 model_LICENSE 获取更多信息。

• 英文版则遵循 llama2 许可协议 下的开源协议。

✏️ 引用

如果您在研究中发现我们的论文和代码有所帮助，请考虑为本项目点亮一颗星 :star: 并引用我们的工作 :pencil:。

@misc{cui2023machine,
      title={Machine Mindset: An MBTI Exploration of Large Language Models}, 
      author={Jiaxi Cui and Liuzhenghao Lv and Jing Wen and Rongsheng Wang and Jing Tang and YongHong Tian and Li Yuan},
      year={2023},
      eprint={2312.12999},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

✨ 星标历史

🤝 贡献者

王荣生

吕六正浩

杰西·苏一

伊科·埃尔托契尔·阿希明

Machine-Mindset 快速上手指南

Machine-Mindset 是由北京大学深研院与 FarReel AI Lab 联合开源的项目，旨在通过多阶段训练（预训练、微调、DPO）赋予大语言模型不同的 MBTI 人格特质。本项目基于 Baichuan 和 LLaMA2 架构，提供了中英文共 32 种人格模型及专用训练数据集。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 建议配备至少 16GB 显存的 NVIDIA GPU（运行 7B 模型），如需微调则需更大显存或多卡环境。
• 前置依赖:
  • PyTorch (与 CUDA 版本匹配)
  • Transformers
  • Accelerate
  • PEFT (如需加载适配器或进行微调)

建议使用 conda 创建独立虚拟环境：

conda create -n machine-mindset python=3.10
conda activate machine-mindset

安装步骤

1. 安装基础依赖

安装运行模型所需的 Python 库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate peft sentencepiece protobuf

2. 获取模型

本项目模型托管于 Hugging Face 和 ModelScope。国内开发者推荐使用 ModelScope 以获得更快的下载速度。

方式 A：使用 ModelScope (推荐国内用户) 首先安装 ModelScope 库：

pip install modelscope

然后在 Python 中下载模型（以中文 INTP 人格模型为例）：

from modelscope import snapshot_download

model_dir = snapshot_download('FarReelAILab/Machine_Mindset_zh_INTP', cache_dir='./models')
print(f"模型已下载至：{model_dir}")

方式 B：使用 Hugging Face

git lfs install
git clone https://huggingface.co/FarReelAILab/Machine_Mindset_zh_INTP

基本使用

以下示例展示如何使用 transformers 加载具有特定 MBTI 人格的模型并进行对话。

代码示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 配置模型路径 (替换为您下载的模型路径或 ModelScope 返回的路径)
# 示例使用中文 INTP 模型
model_path = "./models/FarReelAILab/Machine_Mindset_zh_INTP" 

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True
)

# 构建输入提示
# 注意：不同基座模型可能需要特定的 Prompt 格式，此处以通用 Chat 格式为例
input_text = "你好，我觉得最近工作压力很大，该怎么办？"
messages = [
    {"role": "user", "content": input_text}
]

# 生成回复
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output_ids = model.generate(
    input_ids,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    pad_token_id=tokenizer.eos_token_id
)

# 解码并输出
response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(response)

可用模型列表

您可以根据需求替换 model_path 来体验不同人格：

• 中文模型 (基于 Baichuan-7b): FarReelAILab/Machine_Mindset_zh_[MBTI 类型] (如 zh_INTJ, zh_ENFP 等共 16 种)
• 英文模型 (基于 LLaMA2-7b): FarReelAILab/Machine_Mindset_en_[MBTI 类型] (如 en_ENTP, en_ISFJ 等共 16 种)

提示: 完整的 32 个模型权重及训练数据集已在 Hugging Face 和 ModelScope 开放下载。