模型简介

Consert是由2021年的论文《A Contrastive Framework for Self-Supervised Sentence Representation Transfer》提出，现在在深度学习网络中应用越来越广泛。 为解决 BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法—— ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配（STS）任务的实验结果显示，同等设置下 ConSERT 相比此前的SOTA大幅提升了8%，并且在少样本场景下仍表现出较强的性能提升。论文地址:https://aclanthology.org/2021.acl-long.393.pdf

• 1. 使用方法

  • 1.1. 准备数据集

  • 1.2. 模型推断

  • 1.3. 模型训练

• 2. 模型来源

1. 使用方法

1.1. 准备数据集

进入终端，在root/ConSERT（默认）路径下，输入以下命令:

cd data
bash get_transfer_data.bash
#下载复现模型所需的STS数据集

1.2. 模型推断

进入终端，在root/ConSERT（默认）路径下，输入以下命令:

mkdir output
bash scripts/sup-sbert-base.sh
#运行推断命令前需创建output文件夹，命令运行结束后可在该文件夹下查看推断结果

1.3. 模型训练

进入终端，在root/ConSERT（默认）路径下，输入以下命令:

bash scripts/unsup-consert-base.sh

2. 模型来源

https://github.com/yym6472/ConSERT