我给大家表演一个无中生有

特定范围内，合成数据的统计量会在宽松的约束下波动。其特征分布变得更加多样化，从而解决分布同质化问题。

　　一个重大挑战是不使用真实数据，如何确定松弛量？

　　可以将真实数据的特征统计量与批归一化统计量参数的差距作为参考，根据中心极限定理，可以使用高斯假设作为一个通用的近似值，即从高斯分布中随机采样的合成数据，来确定松弛量。

　　首先，从μ=0，σ=1 的高斯分布中采样 1024 个合成样本，将采样的合成样本输入模型，保存均值和标准差；用相应的批归一化层的参数与之做减法。别表示的两个绝对值的ϵ百分位点，ϵ这个在 0 与 1 之间的数决定了松弛量的取值，即决定了合成数据统计量对齐批归一化统计量参数的松弛程度，当该值较大时，对合成数据的约束更加松散。

　　层级样本增强（LSE）：解决样本同质化问题

　　在一些无数据量化方法中，合成数据的所有样本都是通过同样的目标函数被优化的，也就是直接将网络每层的损失累加来优化所有样本。

　　这就导致了样本的特征分布统计量趋于中心化，出现样本层面上的同质化现象，而真实数据往往是分散的。为解决这一问题，研究团队提出了一种层级样本增强的方法（LSE）。

　　对一个 batch 中每个合成图像的损失函数，进行分别设计，从而增强每个样本对于特定层的损失。

　　具体地说，对于具有N个批归一化层的网络，可以提供N个不同的损失项，并将它们中的每一个应用于特定数据样本。

　　假设每次生成N个图像，即批大小设置为N，和模型中的批归一化层的个数相同。

　　定义一个增强矩阵：XLSE=（I+11T），

　　其中I是一个N维单位矩阵，1 是N维全 1 列向量，L是包含每层损失项的向量。那么该批次的损失函数定义为：L=1T（XLSE·L）/N

　　其中 XLSEL 是N维列向量，其第i个元素表示该批次中第i个图像的损失函数。因此，该批次的每个样本都被施加唯一的损失项，对特定层的损失项进行了增强。

　　对于具有N个批归一化层的网络，这一方法可以同时批量生成各种样本，每种样本在特定层上进行增强。

　　采用 SDA 方法获得的包含每层损失项的向量，将L替换为 LSDA，从而将 SDA 方法与 LSE 方法结合。

　　通过上述两种方法，解决了生成样本的同质化问题，并且增强了多样性。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!