我们已经为您准备好复现该模型所需的环境,您可以创建实例、一键复用哦!

模型的使用文档涵盖模型所需环境、模型简介以及复现模型的具体步骤。模型效果和模型详细来源可以点击论文地址和模型来源链接查看哦~

SimCSE

2022-01-24 model:simsce-ubuntu18.04-cuda11.0-cudnn8-python3.8-pytorch1.7.0-new

模型标签
文本匹配文本语义相似度智能客服

模型简介

SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法,该方法采用输入句,并以对比目标预测本身,只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”,同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 论文题目:《SimCSE: Simple Contrastive Learning of Sentence Embeddings》 论文地址:https://arxiv.org/abs/2104.08821v3



1. 使用方法

1.1. 准备数据集

进入终端,在/root/SimCSE(默认)路径下,运行以下命令:

cd SentEval/data/downstream
bash download_dataset.sh  # 下载模型训练所需数据集

1.2. 模型训练

进入终端,在/root/SimCSE(默认)路径下,运行以下命令:

bash run_unsup_example.sh # 执行该脚本后自动运行train.py进行训练

1.3. 模型评估

进入终端,在/root/SimCSE(默认)路径下,运行以下命令:

python evaluation.py \
    --model_name_or_path princeton-nlp/sup-simcse-bert-base-uncased \ 
    --pooler cls \
    --task_set sts \
    --mode test
参数 说明
modelnameor_path 模型名称
pooler 池化
task_set 任务
mode test 测试

2. 模型来源

https://github.com/princeton-nlp/SimCSE