用于单类文本异常检测的自监督损失

当前用于文本异常检测的深度学习方法依赖于可能难以获得的内点监督信号或难以调优的定制架构。我们研究了一种更简单的替代方案：在内点数据上通过自监督目标微调Transformer，并使用损失作为异常评分。总体而言，自监督方法在各种异常检测场景下优于其他方法，在语义异常上的AUROC评分平均提高11.6%，在句法异常上提高22.8%。此外，最佳目标和由此学习的表示取决于下游异常的类型。异常与内点的可分离性表明该表示更有效于检测语义异常，而窄的特征方向的存在则表明该表示更有效于检测句法异常。