Learning error-correcting representations for multi-class problems
Uloženo v:
| Název: | Learning error-correcting representations for multi-class problems |
|---|---|
| Autoři: | Bautista Martín, Miguel Ángel |
| Přispěvatelé: | University/Department: Universitat de Barcelona. Departament de Matemàtica Aplicada i Anàlisi |
| Thesis Advisors: | Escalera Guerro, Sergio, Pujol Vila, Oriol |
| Zdroj: | TDX (Tesis Doctorals en Xarxa) |
| Informace o vydavateli: | Universitat de Barcelona, 2016. |
| Rok vydání: | 2016 |
| Fyzický popis: | 138 p. |
| Témata: | Codis de correcció d'errors (Teoria de la informació), Códigos correctores de errores (Teoría de la información), Error-correcting codes (Information theory), Presa de decisions multicriteri, Toma de decisiones multicriterio, Multiple criteria decision making, Sistemes classificadors (Intel·ligència artificial), Sistemas clasificadores, Learning classifier systems, Algorismes genètics, Algoritmos genéticos, Genetic algorithms, Matrius (Matemàtica), Matrices (Matemáticas), Matrices, Ciències Experimentals i Matemàtiques |
| Popis: | Real life is full of multi-class decision tasks. In the Pattern Recognition field, several method- ologies have been proposed to deal with binary problems obtaining satisfying results in terms of performance. However, the extension of very powerful binary classifiers to the multi-class case is a complex task. The Error-Correcting Output Codes framework has demonstrated to be a very powerful tool to combine binary classifiers to tackle multi-class problems. However, most of the combinations of binary classifiers in the ECOC framework overlook the underlay- ing structure of the multi-class problem. In addition, is still unclear how the Error-Correction of an ECOC design is distributed among the different classes. In this dissertation, we are interested in tackling critic problems of the ECOC framework, such as the definition of the number of classifiers to tackle a multi-class problem, how to adapt the ECOC coding to multi-class data and how to distribute error-correction among different pairs of categories. In order to deal with this issues, this dissertation describes several proposals. 1) We define a new representation for ECOC coding matrices that expresses the pair-wise codeword separability and allows for a deeper understanding of how error-correction is distributed among classes. 2) We study the effect of using a logarithmic number of binary classifiers to treat the multi-class problem in order to obtain very efficient models. 3) In order to search for very compact ECOC coding matrices that take into account the distribution of multi-class data we use Genetic Algorithms that take into account the constraints of the ECOC framework. 4) We propose a discrete factorization algorithm that finds an ECOC configuration that allocates the error-correcting capabilities to those classes that are more prone to errors. The proposed methodologies are evaluated on different real and synthetic data sets: UCI Machine Learning Repository, handwriting symbols, traffic signs from a Mobile Mapping System, and Human Pose Recovery. The results of this thesis show that significant perfor- mance improvements are obtained on traditional coding ECOC designs when the proposed ECOC coding designs are taken into account. |
| Description (Translated): | En la vida cotidiana las tareas de decisión multi-clase surgen constantemente. En el campo de Reconocimiento de Patrones muchos métodos de clasificación binaria han sido propuestos obteniendo resultados altamente satisfactorios en términos de rendimiento. Sin embargo, la extensión de estos sofisticados clasificadores binarios al contexto multi-clase es una tarea compleja. En este ámbito, las estrategias de Códigos Correctores de Errores (CCEs) han demostrado ser una herramienta muy potente para tratar la combinación de clasificadores binarios. No obstante, la mayoría de arquitecturas de combinación de clasificadores binarios negligen la estructura del problema multi-clase. Sin embargo, el análisis de la distribución de corrección de errores entre clases es aún un problema abierto. En esta tesis doctoral, nos centramos en tratar problemas críticos de los códigos correctores de errores; la definición del número de clasificadores necesarios para tratar un problema multi-clase arbitrario; la adaptación de los problemas binarios al problema multi-clase y cómo distribuir la corrección de errores entre clases. Para dar respuesta a estas cuestiones, en esta tesis doctoral describimos varias propuestas. 1) Definimos una nueva representación para CCEs que expresa la separabilidad entre pares de códigos y nos permite una mejor comprensión de cómo se distribuye la corrección de errores entre distintas clases. 2) Estudiamos el efecto de usar un número logarítmico de clasificadores binarios para tratar el problema multi-clase con el objetivo de obtener modelos muy eficientes. 3) Con el objetivo de encontrar modelos muy eficientes que tienen en cuenta la estructura del problema multi-clase utilizamos algoritmos genéticos que tienen en cuenta las restricciones de los ECCs. 4) Pro- ponemos un algoritmo de factorización de matrices discreta que encuentra ECCs con una configuración que distribuye corrección de error a aquellas categorías que son más propensas a tener errores. Las metodologías propuestas son evaluadas en distintos problemas reales y sintéticos como por ejemplo: Repositorio UCI de Aprendizaje Automático, reconocimiento de símbolos escritos, clasificación de señales de tráfico y reconocimiento de la pose humana. Los resultados obtenidos en esta tesis muestran mejoras significativas en rendimiento comparados con los diseños tradiciones de ECCs cuando las distintas propuestas se tienen en cuenta. |
| Druh dokumentu: | Dissertation/Thesis |
| Popis souboru: | application/pdf |
| Jazyk: | English |
| Přístupová URL adresa: | http://hdl.handle.net/10803/396124 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ |
| Přístupové číslo: | edstdx.10803.396124 |
| Databáze: | TDX |
| FullText | Text: Availability: 0 CustomLinks: – Url: http://hdl.handle.net/10803/396124# Name: EDS - TDX (s4221598) Category: fullText Text: View record in TDX |
|---|---|
| Header | DbId: edstdx DbLabel: TDX An: edstdx.10803.396124 RelevancyScore: 1313 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 1313.001953125 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Learning error-correcting representations for multi-class problems – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Bautista+Martín%2C+Miguel+Ángel%22">Bautista Martín, Miguel Ángel</searchLink> – Name: Author Label: Contributors Group: Au Data: University/Department: Universitat de Barcelona. Departament de Matemàtica Aplicada i Anàlisi – Name: Author Label: Thesis Advisors Group: Au Data: Escalera Guerro, Sergio<br />Pujol Vila, Oriol – Name: TitleSource Label: Source Group: Src Data: TDX (Tesis Doctorals en Xarxa) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat de Barcelona, 2016. – Name: DatePubCY Label: Publication Year Group: Date Data: 2016 – Name: PhysDesc Label: Physical Description Group: PhysDesc Data: 138 p. – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22Codis+de+correcció+d'errors+%28Teoria+de+la+informació%29%22">Codis de correcció d'errors (Teoria de la informació)</searchLink><br /><searchLink fieldCode="DE" term="%22Códigos+correctores+de+errores+%28Teoría+de+la+información%29%22">Códigos correctores de errores (Teoría de la información)</searchLink><br /><searchLink fieldCode="DE" term="%22Error-correcting+codes+%28Information+theory%29%22">Error-correcting codes (Information theory)</searchLink><br /><searchLink fieldCode="DE" term="%22Presa+de+decisions+multicriteri%22">Presa de decisions multicriteri</searchLink><br /><searchLink fieldCode="DE" term="%22Toma+de+decisiones+multicriterio%22">Toma de decisiones multicriterio</searchLink><br /><searchLink fieldCode="DE" term="%22Multiple+criteria+decision+making%22">Multiple criteria decision making</searchLink><br /><searchLink fieldCode="DE" term="%22Sistemes+classificadors+%28Intel·ligència+artificial%29%22">Sistemes classificadors (Intel·ligència artificial)</searchLink><br /><searchLink fieldCode="DE" term="%22Sistemas+clasificadores%22">Sistemas clasificadores</searchLink><br /><searchLink fieldCode="DE" term="%22Learning+classifier+systems%22">Learning classifier systems</searchLink><br /><searchLink fieldCode="DE" term="%22Algorismes+genètics%22">Algorismes genètics</searchLink><br /><searchLink fieldCode="DE" term="%22Algoritmos+genéticos%22">Algoritmos genéticos</searchLink><br /><searchLink fieldCode="DE" term="%22Genetic+algorithms%22">Genetic algorithms</searchLink><br /><searchLink fieldCode="DE" term="%22Matrius+%28Matemàtica%29%22">Matrius (Matemàtica)</searchLink><br /><searchLink fieldCode="DE" term="%22Matrices+%28Matemáticas%29%22">Matrices (Matemáticas)</searchLink><br /><searchLink fieldCode="DE" term="%22Matrices%22">Matrices</searchLink><br /><searchLink fieldCode="DE" term="%22Ciències+Experimentals+i+Matemàtiques%22">Ciències Experimentals i Matemàtiques</searchLink> – Name: Abstract Label: Description Group: Ab Data: Real life is full of multi-class decision tasks. In the Pattern Recognition field, several method- ologies have been proposed to deal with binary problems obtaining satisfying results in terms of performance. However, the extension of very powerful binary classifiers to the multi-class case is a complex task. The Error-Correcting Output Codes framework has demonstrated to be a very powerful tool to combine binary classifiers to tackle multi-class problems. However, most of the combinations of binary classifiers in the ECOC framework overlook the underlay- ing structure of the multi-class problem. In addition, is still unclear how the Error-Correction of an ECOC design is distributed among the different classes. In this dissertation, we are interested in tackling critic problems of the ECOC framework, such as the definition of the number of classifiers to tackle a multi-class problem, how to adapt the ECOC coding to multi-class data and how to distribute error-correction among different pairs of categories. In order to deal with this issues, this dissertation describes several proposals. 1) We define a new representation for ECOC coding matrices that expresses the pair-wise codeword separability and allows for a deeper understanding of how error-correction is distributed among classes. 2) We study the effect of using a logarithmic number of binary classifiers to treat the multi-class problem in order to obtain very efficient models. 3) In order to search for very compact ECOC coding matrices that take into account the distribution of multi-class data we use Genetic Algorithms that take into account the constraints of the ECOC framework. 4) We propose a discrete factorization algorithm that finds an ECOC configuration that allocates the error-correcting capabilities to those classes that are more prone to errors. The proposed methodologies are evaluated on different real and synthetic data sets: UCI Machine Learning Repository, handwriting symbols, traffic signs from a Mobile Mapping System, and Human Pose Recovery. The results of this thesis show that significant perfor- mance improvements are obtained on traditional coding ECOC designs when the proposed ECOC coding designs are taken into account. – Name: Abstract Label: Description (Translated) Group: Ab Data: En la vida cotidiana las tareas de decisión multi-clase surgen constantemente. En el campo de Reconocimiento de Patrones muchos métodos de clasificación binaria han sido propuestos obteniendo resultados altamente satisfactorios en términos de rendimiento. Sin embargo, la extensión de estos sofisticados clasificadores binarios al contexto multi-clase es una tarea compleja. En este ámbito, las estrategias de Códigos Correctores de Errores (CCEs) han demostrado ser una herramienta muy potente para tratar la combinación de clasificadores binarios. No obstante, la mayoría de arquitecturas de combinación de clasificadores binarios negligen la estructura del problema multi-clase. Sin embargo, el análisis de la distribución de corrección de errores entre clases es aún un problema abierto. En esta tesis doctoral, nos centramos en tratar problemas críticos de los códigos correctores de errores; la definición del número de clasificadores necesarios para tratar un problema multi-clase arbitrario; la adaptación de los problemas binarios al problema multi-clase y cómo distribuir la corrección de errores entre clases. Para dar respuesta a estas cuestiones, en esta tesis doctoral describimos varias propuestas. 1) Definimos una nueva representación para CCEs que expresa la separabilidad entre pares de códigos y nos permite una mejor comprensión de cómo se distribuye la corrección de errores entre distintas clases. 2) Estudiamos el efecto de usar un número logarítmico de clasificadores binarios para tratar el problema multi-clase con el objetivo de obtener modelos muy eficientes. 3) Con el objetivo de encontrar modelos muy eficientes que tienen en cuenta la estructura del problema multi-clase utilizamos algoritmos genéticos que tienen en cuenta las restricciones de los ECCs. 4) Pro- ponemos un algoritmo de factorización de matrices discreta que encuentra ECCs con una configuración que distribuye corrección de error a aquellas categorías que son más propensas a tener errores. Las metodologías propuestas son evaluadas en distintos problemas reales y sintéticos como por ejemplo: Repositorio UCI de Aprendizaje Automático, reconocimiento de símbolos escritos, clasificación de señales de tráfico y reconocimiento de la pose humana. Los resultados obtenidos en esta tesis muestran mejoras significativas en rendimiento comparados con los diseños tradiciones de ECCs cuando las distintas propuestas se tienen en cuenta. – Name: TypeDocument Label: Document Type Group: TypDoc Data: Dissertation/Thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf – Name: Language Label: Language Group: Lang Data: English – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="http://hdl.handle.net/10803/396124" linkWindow="_blank">http://hdl.handle.net/10803/396124</link> – Name: Copyright Label: Rights Group: Cpyrght Data: L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ – Name: AN Label: Accession Number Group: ID Data: edstdx.10803.396124 |
| PLink | https://erproxy.cvtisr.sk/sfx/access?url=https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.396124 |
| RecordInfo | BibRecord: BibEntity: Languages: – Text: English PhysicalDescription: Pagination: PageCount: 138 Subjects: – SubjectFull: Codis de correcció d'errors (Teoria de la informació) Type: general – SubjectFull: Códigos correctores de errores (Teoría de la información) Type: general – SubjectFull: Error-correcting codes (Information theory) Type: general – SubjectFull: Presa de decisions multicriteri Type: general – SubjectFull: Toma de decisiones multicriterio Type: general – SubjectFull: Multiple criteria decision making Type: general – SubjectFull: Sistemes classificadors (Intel·ligència artificial) Type: general – SubjectFull: Sistemas clasificadores Type: general – SubjectFull: Learning classifier systems Type: general – SubjectFull: Algorismes genètics Type: general – SubjectFull: Algoritmos genéticos Type: general – SubjectFull: Genetic algorithms Type: general – SubjectFull: Matrius (Matemàtica) Type: general – SubjectFull: Matrices (Matemáticas) Type: general – SubjectFull: Matrices Type: general – SubjectFull: Ciències Experimentals i Matemàtiques Type: general Titles: – TitleFull: Learning error-correcting representations for multi-class problems Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Bautista Martín, Miguel Ángel IsPartOfRelationships: – BibEntity: Dates: – D: 11 M: 02 Type: published Y: 2016 |
| ResultId | 1 |