Understanding encoder–decoder structures in machine learning using information measures

We present a theory of representation learning to model and understand the role of encoder–decoder design in machine learning (ML) from an information-theoretic angle. We use two main information concepts, information sufficiency (IS) and mutual information loss to represent predictive structures in...

Celý popis

Uloženo v:

Podrobná bibliografie
Vydáno v:	Signal processing Ročník 234; s. 109983
Hlavní autoři:	Silva, Jorge F., Faraggi, Victor, Ramirez, Camilo, Egaña, Alvaro, Pavez, Eduardo
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	Elsevier B.V 01.09.2025
Témata:	Cross-entropy loss Digital models Encoder expressiveness Encoder–decoder design Explainability Information bottleneck Information sufficiency Invariant models Representation learning Sparse models Representation learning Information bottleneck Invariant models Encoder expressiveness Digital models Encoder–decoder design Cross-entropy loss Information sufficiency Sparse models Explainability
ISSN:	0165-1684
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!

Buďte první, kdo okomentuje tento záznam!