Восстановление аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей

В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, раз...

Celý popis

Uloženo v:
Podrobná bibliografie
Vydáno v:Informatika i avtomatizaciâ (Online) Ročník 23; číslo 4; s. 1047 - 1076
Hlavní autoři: Margarita Favorskaya, Andrey Pakhirka
Médium: Journal Article
Jazyk:angličtina
ruština
Vydáno: Russian Academy of Sciences, St. Petersburg Federal Research Center 01.06.2024
Témata:
аэрофотоснимки
визуальные трансформеры
генеративно-состязательные сети
сверточные нейронные сети
сверхвысокое разрешение
семантическая сегментация
ISSN:2713-3192, 2713-3206
On-line přístup:Získat plný text
Tagy: Přidat tag
Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!
Abstract В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.
AbstractList В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.
Author Margarita Favorskaya
Andrey Pakhirka
Author_xml – sequence: 1
  fullname: Margarita Favorskaya
  organization: Reshetnev Siberian State University of Science and Technology (Reshetnev University)
– sequence: 2
  fullname: Andrey Pakhirka
  organization: Reshetnev Siberian State University of Science and Technology (Reshetnev University)
BookMark eNo1Tt1KwzAUDjLBOXfjE_QFWvPXdruU4c9g4I1el6RJpTJX2Xbj3TYdCiKCL-KcFKdufYaTNzLrlJCc75zv52QXVXpZTyO0T7BH_IDSg1R4lHnc87dQlYaEuYzioPKPSZPuoPpgkErs45DRAOMqeoNXKMzYngnMYAUFzOEHcosWkDswM89mZAX39k7WwpJYwvda6Nh2DrkZmSnMzZPtipL4gMKxrhl82jc3j5s482L1jrkzD3Zms2C59uc2zO61g0VJjG3CwkydclcB76V3VX5xYvHXHtpORHeg63-1hi6Oj85bp27n7KTdOuy4irBg6KpES8mViLXmgQgkTqQOqEyYlj7RPGwylWBNGGMxCWUiRMOXREpNlc9D3dSshtqbXJWJq-imn16L_m2UiTQqB1n_MhL9YRp3dcSxn_AmixWnPm_oRCocs7gRkDBmSpCQ_QLwZb-t
ContentType Journal Article
DBID DOA
DOI 10.15622/ia.23.4.5
DatabaseName DOAJ Directory of Open Access Journals
DatabaseTitleList
Database_xml – sequence: 1
  dbid: DOA
  name: DOAJ Directory of Open Access Journals
  url: https://www.doaj.org/
  sourceTypes: Open Website
DeliveryMethod fulltext_linktorsrc
Discipline Computer Science
EISSN 2713-3206
EndPage 1076
ExternalDocumentID oai_doaj_org_article_405f493cd42548efbd0c3c8617c3da17
GroupedDBID ALMA_UNASSIGNED_HOLDINGS
GROUPED_DOAJ
ID FETCH-LOGICAL-d136t-dfebb4dacee46a6b0fbe62bf3eb51e4793df0e1333c17bfaa85b1bbe2d547e9e3
IEDL.DBID DOA
ISSN 2713-3192
IngestDate Fri Oct 03 12:52:46 EDT 2025
IsDoiOpenAccess true
IsOpenAccess true
IsPeerReviewed true
IsScholarly true
Issue 4
Language English
Russian
LinkModel DirectLink
MergedId FETCHMERGED-LOGICAL-d136t-dfebb4dacee46a6b0fbe62bf3eb51e4793df0e1333c17bfaa85b1bbe2d547e9e3
OpenAccessLink https://doaj.org/article/405f493cd42548efbd0c3c8617c3da17
PageCount 30
ParticipantIDs doaj_primary_oai_doaj_org_article_405f493cd42548efbd0c3c8617c3da17
PublicationCentury 2000
PublicationDate 2024-06-01
PublicationDateYYYYMMDD 2024-06-01
PublicationDate_xml – month: 06
  year: 2024
  text: 2024-06-01
  day: 01
PublicationDecade 2020
PublicationTitle Informatika i avtomatizaciâ (Online)
PublicationYear 2024
Publisher Russian Academy of Sciences, St. Petersburg Federal Research Center
Publisher_xml – name: Russian Academy of Sciences, St. Petersburg Federal Research Center
SSID ssib050732600
ssj0002921710
Score 2.2715168
Snippet В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и...
SourceID doaj
SourceType Open Website
StartPage 1047
SubjectTerms аэрофотоснимки
визуальные трансформеры
генеративно-состязательные сети
сверточные нейронные сети
сверхвысокое разрешение
семантическая сегментация
Title Восстановление аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей
URI https://doaj.org/article/405f493cd42548efbd0c3c8617c3da17
Volume 23
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVAON
  databaseName: DOAJ Directory of Open Access Journals
  customDbUrl:
  eissn: 2713-3206
  dateEnd: 99991231
  omitProxy: false
  ssIdentifier: ssj0002921710
  issn: 2713-3192
  databaseCode: DOA
  dateStart: 20200101
  isFulltext: true
  titleUrlDefault: https://www.doaj.org/
  providerName: Directory of Open Access Journals
– providerCode: PRVHPJ
  databaseName: ROAD: Directory of Open Access Scholarly Resources
  customDbUrl:
  eissn: 2713-3206
  dateEnd: 99991231
  omitProxy: false
  ssIdentifier: ssib050732600
  issn: 2713-3192
  databaseCode: M~E
  dateStart: 20200101
  isFulltext: true
  titleUrlDefault: https://road.issn.org
  providerName: ISSN International Centre
link http://cvtisr.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwrV3NaxUxEA9SPHjxq4raWvbgdV93k-xHjm1p8WLxYKG3Rz4m0MtT6tOjtE9LhSJC_5G-Pll81Xb_huQ_cpJdpZ68yLIhH5NJCJOd34TsDCHPRLiXyHKeyrqGlNca95w0NJVlZossM7lmXbCJanu73t0VL6-F-gp3wjr3wN3CrSKgsFwwbVC4eA1WmUwzXaPi1czIPP5HnlXimjGFkoQghwXP639OW6hA6B1dE1C0yvDDI2jvqxT1P13dkwPKBnxQ_OW5P6qYrbvkdo8Nk7VuTvfIDRjdJ3d-x11I-m24SM7cqWv9IT4TN3VXrnUz99M1mJu7JnFT_8UfIMEnfCeBMDZcuh-BMMHizDX-wB-5mT_BUhsbvrk2wV5T9x3Txn_u2PmvSJ_4j_4Y65CXuwz9G2SG42LFPDYcIoe5P0riWK07j32v4hQnmL94QHa2Nl9tPE_7wAupyVk5To0FpbiRqEB5KUuVWQUlVZaBKnIIZ3HGZoDWLdN5payUdaFypYCaglcggD0kC6PXI3hEEkQDIgNEoZWWvKi4AlZDMNNAMMsEPCbrYcGHbzrfGsPg7TpWoAwMexkY_ksGnvwPJkvkFkXA0l0DWyYL4_138JTc1O_He2_3V6J4Yfriw-YvZ1gTFw
linkProvider Directory of Open Access Journals
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%D0%92%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5+%D0%B0%D1%8D%D1%80%D0%BE%D1%84%D0%BE%D1%82%D0%BE%D1%81%D0%BD%D0%B8%D0%BC%D0%BA%D0%BE%D0%B2+%D1%81%D0%B2%D0%B5%D1%80%D1%85%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%BE%D0%B3%D0%BE+%D1%80%D0%B0%D0%B7%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D1%8F+%D1%81+%D1%83%D1%87%D0%B5%D1%82%D0%BE%D0%BC+%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D1%85+%D0%BE%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9&rft.jtitle=Informatika+i+avtomatizaci%C3%A2+%28Online%29&rft.au=Margarita+Favorskaya&rft.au=Andrey+Pakhirka&rft.date=2024-06-01&rft.pub=Russian+Academy+of+Sciences%2C+St.+Petersburg+Federal+Research+Center&rft.issn=2713-3192&rft.eissn=2713-3206&rft.volume=23&rft.issue=4&rft.spage=1047&rft.epage=1076&rft_id=info:doi/10.15622%2Fia.23.4.5&rft.externalDBID=DOA&rft.externalDocID=oai_doaj_org_article_405f493cd42548efbd0c3c8617c3da17
thumbnail_l http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=2713-3192&client=summon
thumbnail_m http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=2713-3192&client=summon
thumbnail_s http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=2713-3192&client=summon