模型简介

SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 论文题目：《SimCSE: Simple Contrastive Learning of Sentence Embeddings》 论文地址：https://arxiv.org/abs/2104.08821v3

• 1. 使用方法

  • 1.1. 准备数据集

  • 1.2. 模型训练

  • 1.3. 模型评估

• 2. 模型来源

1. 使用方法

1.1. 准备数据集

进入终端，在/root/SimCSE（默认）路径下，运行以下命令：

cd SentEval/data/downstream
bash download_dataset.sh  # 下载模型训练所需数据集

1.2. 模型训练

进入终端，在/root/SimCSE（默认）路径下，运行以下命令：

bash run_unsup_example.sh # 执行该脚本后自动运行train.py进行训练

1.3. 模型评估

进入终端，在/root/SimCSE（默认）路径下，运行以下命令：

python evaluation.py \
    --model_name_or_path princeton-nlp/sup-simcse-bert-base-uncased \ 
    --pooler cls \
    --task_set sts \
    --mode test

2. 模型来源

https://github.com/princeton-nlp/SimCSE