---

Texar 是一个旨在支持广泛机器学习任务的工具包，尤其适用于自然语言处理和文本生成任务。Texar 提供了一个易于使用的机器学习模块库和功能集，可用于构建各种模型和算法。该工具专为研究人员和从业者设计，以实现快速原型开发和实验。

Texar 最初由 Petuum 和 CMU 与其他机构合作开发，并持续得到贡献。此仓库的镜像由 Petuum Open Source 维护。

核心特性

• 两个版本，接口基本一致。Texar-TensorFlow（本仓库）和 Texar-PyTorch 的接口几乎完全相同。两者进一步结合了 TensorFlow 和 PyTorch 的最佳设计：
  • 接口和变量共享遵循 PyTorch 风格
  • 极佳的模块化设计和丰富的功能遵循 TensorFlow 风格。
• 丰富的预训练模型，统一接口下的多样化使用。BERT、GPT2、XLNet 等模型可用于编码、分类、生成，以及与其他 Texar 组件组合构建复杂模型！
• 高度可定制性，支持多种抽象层次——既适合新手，也适合专家。
  • 可自由接入任何外部模块，因为 Texar 完全兼容原生 TensorFlow/PyTorch API。
• 多功能性，支持广泛的任务、模型、算法、数据处理、评估等。
  • 编码器到解码器，序列注意力和自注意力机制，记忆网络，层次化模型，分类器……
  • 最大似然学习、强化学习、对抗学习、概率建模……
• 模块化设计，基于“学习-推理-模型架构”的原则性分解，实现最大程度的代码复用和清晰的 API。
• 分布式训练，支持多 GPU 训练。
• 清晰详尽的 文档 和丰富的 示例。

库 API 示例

构建一个编码器-解码器模型，并采用最大似然学习：

import texar.tf as tx

# 数据 
data = tx.data.PairedTextData(hparams=hparams_data) # 超参数字典 
iterator = tx.data.DataIterator(data)
batch = iterator.get_next()                         # 获取一个数据小批量

# 模型架构
embedder = tx.modules.WordEmbedder(data.target_vocab.size, hparams=hparams_emb)
encoder = tx.modules.TransformerEncoder(hparams=hparams_enc)
outputs_enc = encoder(inputs=embedder(batch['source_text_ids']),  # 作为函数调用
                      sequence_length=batch['source_length'])
                      
decoder = tx.modules.TransformerDecoder(
    output_layer=tf.transpose(embedder.embedding) # 将输入嵌入与输出层绑定
    hparams=hparams_decoder)
outputs, _, _ = decoder(memory=output_enc, 
                        memory_sequence_length=batch['source_length'],
                        inputs=embedder(batch['target_text_ids']),
                        sequence_length=batch['target_length']-1,
                        decoding_strategy='greedy_train')    # 教师强制解码
                        
# 最大似然学习的损失
loss = tx.losses.sequence_sparse_softmax_cross_entropy(
    labels=batch['target_text_ids'][:, 1:],
    logits=outputs.logits,
    sequence_length=batch['target_length']-1)  # 自动序列掩码

# 束搜索解码
outputs_bs, _, _ = tx.modules.beam_search_decode(
    decoder,
    embedding=embedder,
    start_tokens=[data.target_vocab.bos_token_id]*num_samples,
    end_token=data.target_vocab.eos_token_id)

同样的模型，但采用对抗学习：

helper = tx.modules.GumbelSoftmaxTraingHelper( # Gumbel-softmax 解码
    start_tokens=[BOS]*batch_size, end_token=EOS, embedding=embedder)
outputs, _ = decoder(helper=helper)            # 自动重用解码器变量

discriminator = tx.modules.BertClassifier(hparams=hparams_bert)        # 预训练模型

G_loss, D_loss = tx.losses.binary_adversarial_losses(
    real_data=data['target_text_ids'][:, 1:],
    fake_data=outputs.sample_id,
    discriminator_fn=discriminator)

同样的模型，但采用强化学习策略梯度方法：

agent = tx.agents.SeqPGAgent(samples=outputs.sample_id,
                             logits=outputs.logits,
                             sequence_length=batch['target_length']-1,
                             hparams=config_model.agent)

更多示例请参见 这里

安装

(注意：Texar>0.2.3 需要 Python 3.6 或 3.7。若需使用较旧的 Python 版本，请使用 Texar≤0.2.3)

Texar 需要：

• tensorflow >= 1.10.0 (但 < 2.0.0)。请按照 TensorFlow 官方安装指南 安装合适的版本。
• tensorflow_probability >= 0.3.0 (但 < 0.8.0)。请按照 tensorflow_probability 官方安装指南 安装。

在安装好 tensorflow 和 tensorflow_probability 后，即可从 PyPI 安装 Texar：

pip install texar

若需使用最新功能或进行本地开发，可从源码安装：

git clone https://github.com/asyml/texar.git
cd texar
pip install .

入门

• 示例
• 文档

参考文献

如果您使用 Texar，请引用以下技术报告，并使用提供的 BibTeX 条目：

Texar: 用于文本生成的模块化、多功能且可扩展工具包
Zhiting Hu, Haoran Shi, Bowen Tan, Wentao Wang, Zichao Yang, Tiancheng Zhao, Junxian He, Lianhui Qin, Di Wang, Xuezhe Ma, Zhengzhong Liu, Xiaodan Liang, Wanrong Zhu, Devendra Sachan 和 Eric Xing
ACL 2019

@inproceedings{hu2019texar,
  title={Texar: A Modularized, Versatile, and Extensible Toolkit for Text Generation},
  author={Hu, Zhiting and Shi, Haoran and Tan, Bowen and Wang, Wentao and Yang, Zichao and Zhao, Tiancheng and He, Junxian and Qin, Lianhui and Wang, Di and others},
  booktitle={ACL 2019, System Demonstrations},
  year={2019}
}

许可证

Apache License 2.0

支持 Texar 的公司和大学

                  

Texar 快速上手指南

Texar 是一个旨在支持广泛机器学习任务（尤其是自然语言处理和文本生成）的工具包。它提供了易于使用的模块库，适用于研究人员和从业者进行快速原型设计和实验。本项目主要基于 TensorFlow 构建（另有 Texar-PyTorch 版本）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本:
  • Texar > 0.2.3 需要 Python 3.6 或 3.7。
  • 若需使用更旧的 Python 版本，请使用 Texar <= 0.2.3。
• 前置依赖:
  • tensorflow: 版本需 >= 1.10.0 且 < 2.0.0
  • tensorflow_probability: 版本需 >= 0.3.0 且 < 0.8.0

提示：国内用户建议使用清华源或阿里源加速依赖安装。

安装步骤

1. 安装基础依赖

首先安装指定版本的 TensorFlow 和 TensorFlow Probability。您可以使用国内镜像源加速：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "tensorflow>=1.10.0,<2.0.0"
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "tensorflow_probability>=0.3.0,<0.8.0"

2. 安装 Texar

方式一：通过 PyPI 安装（推荐稳定版）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple texar

方式二：从源码安装（获取最新特性）

git clone https://github.com/asyml/texar.git
cd texar
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple .

基本使用

Texar 采用模块化设计，支持快速构建编码器 - 解码器（Encoder-Decoder）模型。以下是一个最简单的示例，展示如何构建一个基于 Transformer 的序列到序列模型并进行最大似然训练。

示例：构建 Encoder-Decoder 模型

import texar.tf as tx
import tensorflow as tf

# 1. 数据准备
# hparams_data 为超参数字典，需预先定义
data = tx.data.PairedTextData(hparams=hparams_data) 
iterator = tx.data.DataIterator(data)
batch = iterator.get_next()                         # 获取一个小批量数据

# 2. 模型架构搭建
# 词嵌入层
embedder = tx.modules.WordEmbedder(data.target_vocab.size, hparams=hparams_emb)

# 编码器 (Transformer Encoder)
encoder = tx.modules.TransformerEncoder(hparams=hparams_enc)
outputs_enc = encoder(
    inputs=embedder(batch['source_text_ids']),      # 作为函数调用
    sequence_length=batch['source_length'])
                      
# 解码器 (Transformer Decoder)
decoder = tx.modules.TransformerDecoder(
    output_layer=tf.transpose(embedder.embedding),  # 绑定输入嵌入与输出层权重
    hparams=hparams_decoder)

# 前向传播 (Teacher-forcing 模式)
outputs, _, _ = decoder(
    memory=outputs_enc, 
    memory_sequence_length=batch['source_length'],
    inputs=embedder(batch['target_text_ids']),
    sequence_length=batch['target_length']-1,
    decoding_strategy='greedy_train')    
    
# 3. 定义损失函数 (最大似然学习)
loss = tx.losses.sequence_sparse_softmax_cross_entropy(
    labels=batch['target_text_ids'][:, 1:],
    logits=outputs.logits,
    sequence_length=batch['target_length']-1)  # 自动处理序列掩码

# 4. 推理阶段 (束搜索 Beam Search)
outputs_bs, _, _ = tx.modules.beam_search_decode(
    decoder,
    embedding=embedder,
    start_tokens=[data.target_vocab.bos_token_id]*num_samples,
    end_token=data.target_vocab.eos_token_id)

灵活切换学习策略

Texar 的强大之处在于只需少量代码即可切换不同的学习算法。例如，将上述模型改为对抗学习或强化学习：

对抗学习示例：

# 使用 Gumbel-softmax 进行解码
helper = tx.modules.GumbelSoftmaxTraingHelper(
    start_tokens=[BOS]*batch_size, end_token=EOS, embedding=embedder)
outputs, _ = decoder(helper=helper)            

# 加载预训练判别器 (如 BERT)
discriminator = tx.modules.BertClassifier(hparams=hparams_bert)        

# 计算对抗损失
G_loss, D_loss = tx.losses.binary_adversarial_losses(
    real_data=data['target_text_ids'][:, 1:],
    fake_data=outputs.sample_id,
    discriminator_fn=discriminator)

强化学习示例：

# 定义策略梯度 Agent
agent = tx.agents.SeqPGAgent(
    samples=outputs.sample_id,
    logits=outputs.logits,
    sequence_length=batch['target_length']-1,
    hparams=config_model.agent)

更多详细示例请参考官方 examples 目录或 文档。