Drop2Sparse為改良的 資料集蒸餾 (Dataset Distillation, DD) 方法,透過 隨機稀疏化 (random sparsification) 已訓練完成的模型,產生具多樣性與正則化效果的子網路,進而提升合成資料集的品質與泛化能力。其用途為:
• 分類任務:影像分類基準(CIFAR-10/100, ImageNet-10/100)
• 目標:在有限儲存預算下,建立小型但有效的合成資料集,維持或提升下游模型效能
• 價值:相較於先進方法,能在 CIFAR 與 ImageNet 子集分別最高提升 3.8% 與 3.6% 的準確率