研究：BPE 分词器可通过稀有 token 泄露训练数据成员信息

研究发现 BPE 分词器会在词表中保留训练文本痕迹，可用于判断候选数据集是否属于其训练语料。基于 BPE 纳入阈值模型，稀有字符串只有在语料频率足够高时才会成为 token，成员信号因此集中在候选数据集使用的稀有 token 上。