注释point-adjust代码段后模型性能出现大幅度下降

[ChenLxx]

吴博士您好，我在复现您代码的过程中，采用了您提供的脚本代码参数，在注释掉point adjustment对结果处理后，模型F1-score从0.8960降到0.0368。请问您在论文中叙述的各种机制是否只在特殊情况下work？您是否在实验过程中也发现了point-adustment 对结果的影响呢？直观上说，point adjustment并不能直接体现论文效果，虽然这个策略被广泛使用，请问您如何看待这个问题。

注释掉point adjustement

未注释掉point adjustement

[ChenLxx]

补充一下，我使用的是SMD数据集

[lz-xinlin]

看这里
#14

[charming47]

同问，之前下载过您们提供的数据集，经过point adjustment后有些经典异常识别方法其实也能取得比较好的F1分数（如sklearn库的Isolation Forest）。另外也发现您们提供的数据集（如MSL、SMAP）与原始论文 Hundman 的数据集有比较大的差异，烦请问下这些数据集的预处理是怎么做的？更关键的是为什么要这样预处理？谢谢

[Steven0706]

这个代码的性能全靠看了GT后的调整，在现实中没有GT，也就是你注释掉的效果，如果我是reviewer，我会强烈要求去掉这个adjustment，完全是为了好看的不现实步骤。

[baba-jiang]

这个代码的性能全靠看了GT后的调整，在现实中没有GT，也就是你注释掉的效果，如果我是reviewer，我会强烈要求去掉这个adjustment，完全是为了好看的不现实步骤。

我试了下，注释掉adjustment后，在SMD数据集上预测分数对label几乎没有预测能力～感觉性能提升主要是由于结果随机的情况下通过adjustment大大提高了性能。为了验证，我只用一个数据训练模型一次，输入数据是（1，100，38）的一个数据，adjustment后性能依然保持很高（f-score:0.8765）。我尝试用作者的理论来理解这个操作，现实世界中没有真实label的情况下，如果让工人根据预测结果检索上下游节点，在这个本身没有区分度的情况下，是不是相当于随机给工人节点让工人检索呢？这个解释好像并没有说服力。