Decoupled Knowledge Distillation

State-of-the-art distillation methods are mainly based on distilling deep features from intermediate layers, while the significance of logit distillation is greatly overlooked. To provide a novel viewpoint to study logit distillation, we re-formulate the classical KD loss into two parts, i.e., targe...

Celý popis

Podrobná bibliografie

Vydáno v:	Proceedings (IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Online) s. 11943 - 11952
Hlavní autoři:	Zhao, Borui, Cui, Quan, Song, Renjie, Qiu, Yiyu, Liang, Jiajun
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 01.06.2022
Témata:	categorization Codes Computer architecture Computer vision Deep learning Deep learning architectures and techniques; Efficient learning and inferences; Recognition: detection Feature extraction Object detection retrieval Training
ISSN:	1063-6919
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!