我们已经为您准备好复现该模型所需的环境,您可以创建实例、一键复用哦!

模型的使用文档涵盖模型所需环境、模型简介以及复现模型的具体步骤。模型效果和模型详细来源可以点击论文地址和模型来源链接查看哦~

ConSERT

2022-01-26 model:consert-ubuntu18.04-cuda10.2-cudnn7-python3.6-pytorch1.6.0-new

模型标签
文本分类文本匹配文本生成文本摘要

模型简介

Consert是由2021年的论文《A Contrastive Framework for Self-Supervised Sentence Representation Transfer》提出,现在在深度学习网络中应用越来越广泛。 为解决 BERT原生句子表示这种“坍缩”现象,美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法—— ConSERT,通过在目标领域的无监督语料上Fine-tune,使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配(STS)任务的实验结果显示,同等设置下 ConSERT 相比此前的SOTA大幅提升了8%,并且在少样本场景下仍表现出较强的性能提升。论文地址:https://aclanthology.org/2021.acl-long.393.pdf



1. 使用方法

1.1. 准备数据集

进入终端,在root/ConSERT(默认)路径下,输入以下命令:

cd data
bash get_transfer_data.bash
#下载复现模型所需的STS数据集

1.2. 模型推断

进入终端,在root/ConSERT(默认)路径下,输入以下命令:

mkdir output
bash scripts/sup-sbert-base.sh
#运行推断命令前需创建output文件夹,命令运行结束后可在该文件夹下查看推断结果
参数 说明
no_pair 表示提供成对的训练样本
num_epochs 表示训练次数
adv_training 表示是否使用对抗训练
add_cl 表示是否使用对比损失

1.3. 模型训练

进入终端,在root/ConSERT(默认)路径下,输入以下命令:

bash scripts/unsup-consert-base.sh

2. 模型来源

https://github.com/yym6472/ConSERT