Zobraziť v EDS

3D Viewpoint Estimation Based on Aesthetics

Uložené v:
Podrobná bibliografia
Názov: 3D Viewpoint Estimation Based on Aesthetics
Autori: Yan Zhang, Guangzheng Fei, Gang Yang
Zdroj: IEEE Access, Vol 8, Pp 108602-108621 (2020)
Informácie o vydavateľovi: Institute of Electrical and Electronics Engineers (IEEE), 2020.
Rok vydania: 2020
Predmety: Artificial intelligence, Computer animation, Computational Mechanics, visual perception, Epistemology, 02 engineering and technology, computer vision, Virtual reality, Visual arts, Human visual system model, Computer graphics, Engineering, Image (mathematics), 0202 electrical engineering, electronic engineering, information engineering, Analysis of Three-Dimensional Shape Structures, Biology, Visualization, Scientific visualization, Human–computer interaction, Computer graphics (images), Geology, FOS: Earth and related environmental sciences, Animation, 3D Geospatial Modelling Techniques, Visual Attention, viewpoint estimation, Computer science, TK1-9971, FOS: Philosophy, ethics and religion, Earth and Planetary Sciences, Viewpoints, Philosophy, Computer Science, Physical Sciences, Image-based modeling and rendering, Computational Modeling of Visual Saliency Detection, Quality (philosophy), Computer vision, Perception, Electrical engineering. Electronics. Nuclear engineering, Computer Vision and Pattern Recognition, 3D Reconstruction, Rendering (computer graphics), Texture Mapping, Art, Neuroscience
Popis: La recherche sur le point de vue dans les scènes 3D a été un sujet de pointe dans la vision par ordinateur et la compréhension des scènes 3D. Le calcul d'un point de vue 3D de haute qualité dans des scènes virtuelles est propice à une analyse plus complète de la structure graphique 3D, ce qui peut contribuer à une compréhension globale des environnements virtuels. La recherche de points de vue 3D peut également être appliquée à l'analyse de relations structurelles dans des scènes virtuelles et à l'exploitation de structures hiérarchiques cachées, elle joue donc un rôle dans des domaines tels que le calcul de visualisation scientifique ou la modélisation de scènes à base d'images. La recherche de points de vue combinée aux résultats de recherche pertinents de la perception visuelle humaine ou de la psychologie visuelle peut être utilisée pour analyser l'intérêt visuel et les zones de concentration des objets 3D dans la vision humaine, améliorant ainsi efficacement la qualité de la simplification du maillage et l'efficacité du rendu, tout en fournissant une base d'optimisation pour les scènes très complexes. Dans des domaines tels que les jeux informatiques en 3D, la réalité virtuelle et l'animation de paysages, la recherche sur des points de vue de haute qualité peut être adoptée pour optimiser l'éclairage et l'illumination globaux. De plus, des applications pratiques peuvent être réalisées grâce à l'analyse de l'attention de l'utilisateur et à des stratégies d'amélioration esthétique basées sur des points de vue de haute qualité, tels que la modélisation intelligente et les calculs d'optimisation de scène. Dans des domaines courants tels que la récupération de modèles 3D, des applications pratiques peuvent être réalisées pour la recherche de saillance, le calcul de visualisation scientifique et l'imagerie médicale 3D. Des recherches approfondies ont été effectuées et des applications étendues ont été développées qui utilisent l'analyse des points de vue. Dans cet article, nous introduisons une stratégie d'optimisation pour calculer des points de vue virtuels de haute qualité pour les images esthétiques. Un nouveau cadre est proposé pour modifier et optimiser le modèle de calcul du point de vue en combinant un CNN multibranche et une méthode de correction du point de vue, réalisant ainsi des images rendues avec une qualité esthétique supérieure. En essayant d'intégrer pleinement la perception visuelle au calcul des informations géométriques, nous nous attendons à ce que cette méthode atteigne des applications plus complètes dans de nombreux domaines de pratique à l'avenir, telles que la réalisation de la planification du chemin de la caméra virtuelle basée sur l'esthétique et l'analyse des caractéristiques esthétiques des environnements virtuels.
La investigación sobre el punto de vista en escenas 3D ha sido un tema de vanguardia en la visión por ordenador y la comprensión de escenas 3D. El cálculo de un punto de vista 3D de alta calidad en escenas virtuales conduce a un análisis más completo de la estructura gráfica 3D, lo que puede contribuir a una comprensión general de los entornos virtuales. La investigación del punto de vista 3D también se puede aplicar al análisis de relaciones estructurales en escenas virtuales y para explotar estructuras jerárquicas ocultas, por lo que desempeña un papel en campos como la computación de visualización científica o el modelado de escenas basado en imágenes. La investigación del punto de vista combinada con los resultados de investigación relevantes de la percepción visual humana o la psicología visual se puede utilizar para analizar el interés visual y las áreas de enfoque de los objetos 3D en la visión humana, mejorando así de manera efectiva la calidad de la simplificación de la malla y la eficiencia de la representación, además de proporcionar una base de optimización para escenas altamente complejas. En campos como los juegos de ordenador en 3D, la realidad virtual y la animación de paisajes, se pueden adoptar investigaciones sobre puntos de vista de alta calidad para optimizar la iluminación global. Además, se pueden realizar aplicaciones prácticas a través del análisis de la atención del usuario y estrategias de mejora estética basadas en puntos de vista de alta calidad, como el modelado inteligente y los cálculos de optimización de escenas. En campos comunes como la recuperación de modelos 3D, se pueden realizar aplicaciones prácticas para la investigación de prominencia, la computación de visualización científica y las imágenes médicas en 3D. Se ha realizado una investigación en profundidad y se han desarrollado amplias aplicaciones que hacen uso del análisis de puntos de vista. En este artículo, presentamos una estrategia de optimización para calcular puntos de vista virtuales de alta calidad para imágenes estéticas. Se propone un marco novedoso para modificar y optimizar el modelo de cálculo del punto de vista combinando una CNN multirramal y un método de corrección del punto de vista, realizando así imágenes renderizadas con una mayor calidad estética. Al intentar integrar completamente la percepción visual con el cálculo de información geométrica, esperamos que este método logre aplicaciones más completas en muchas áreas de práctica en el futuro, como la realización de una planificación de la trayectoria de la cámara virtual basada en la estética y el análisis de las características estéticas de los entornos virtuales.
Research on viewpoint in 3D scenes has been a cutting-edge subject in computer vision and 3D scene understanding. Calculating a high quality 3D viewpoint in virtual scenes is conducive to a more comprehensive analysis of 3D graphic structure, which can contribute to an overall understanding of virtual environments. 3D viewpoint research can also be applied to the analysis of structural relationships in virtual scenes and to exploit hidden hierarchical structures, thus it plays a role in fields such as scientific visualization computing or image-based scene modeling. Viewpoint research combined with relevant research results of human visual perception or visual psychology can be used to analyze the visual interest and focus areas of 3D objects in human vision, thus effectively improving the quality of mesh simplification and rendering efficiency, as well as providing an optimization basis for highly complex scenes. In fields such as 3D computer games, virtual reality, and landscape animation, research on high-quality viewpoints can be adopted to optimize global lighting and illumination. Additionally, practical applications can be realized through user attention analysis and aesthetic improvement strategies based on high-quality viewpoints, such as intelligent modeling and scene optimization calculations. In common fields such as 3D model retrieval, practical applications can be realized for saliency research, scientific visualization computing, and medical 3D imaging. In-depth research has been performed and extensive applications have been developed that make use of viewpoint analysis. In this paper, we introduce an optimization strategy to calculate high-quality virtual viewpoints for aesthetic images. A novel framework is proposed for modifying and optimizing the viewpoint calculation model by combining a multibranch CNN and a viewpoint correction method, thus realizing rendered images with a higher aesthetic quality. By attempting to fully integrate the visual perception with the geometric information calculation, we expect this method to achieve more comprehensive applications in many practice areas in the future, such as the realization of aesthetically based virtual camera path planning and analysis of the aesthetic characteristics of virtual environments.
كان البحث عن وجهة النظر في المشاهد ثلاثية الأبعاد موضوعًا متطورًا في رؤية الكمبيوتر وفهم المشهد ثلاثي الأبعاد. يؤدي حساب وجهة نظر ثلاثية الأبعاد عالية الجودة في المشاهد الافتراضية إلى تحليل أكثر شمولاً للبنية الرسومية ثلاثية الأبعاد، والتي يمكن أن تسهم في فهم شامل للبيئات الافتراضية. يمكن أيضًا تطبيق بحث وجهة النظر ثلاثية الأبعاد على تحليل العلاقات الهيكلية في المشاهد الافتراضية واستغلال الهياكل الهرمية الخفية، وبالتالي يلعب دورًا في مجالات مثل حوسبة التصور العلمي أو نمذجة المشهد القائم على الصور. يمكن استخدام بحث وجهة النظر جنبًا إلى جنب مع نتائج البحث ذات الصلة بالإدراك البصري البشري أو علم النفس البصري لتحليل الاهتمام البصري ومجالات التركيز للأجسام ثلاثية الأبعاد في الرؤية البشرية، وبالتالي تحسين جودة تبسيط الشبكة وكفاءة التقديم بشكل فعال، بالإضافة إلى توفير أساس تحسين للمشاهد شديدة التعقيد. في مجالات مثل ألعاب الكمبيوتر ثلاثية الأبعاد والواقع الافتراضي والرسوم المتحركة للمناظر الطبيعية، يمكن اعتماد الأبحاث حول وجهات النظر عالية الجودة لتحسين الإضاءة والإضاءة العالمية. بالإضافة إلى ذلك، يمكن تحقيق التطبيقات العملية من خلال تحليل انتباه المستخدم واستراتيجيات التحسين الجمالي بناءً على وجهات نظر عالية الجودة، مثل النمذجة الذكية وحسابات تحسين المشهد. في المجالات الشائعة مثل استرجاع النماذج ثلاثية الأبعاد، يمكن تحقيق التطبيقات العملية لأبحاث البروز وحوسبة التصور العلمي والتصوير الطبي ثلاثي الأبعاد. تم إجراء بحث متعمق وتم تطوير تطبيقات واسعة النطاق تستفيد من تحليل وجهات النظر. في هذه الورقة، نقدم استراتيجية تحسين لحساب وجهات النظر الافتراضية عالية الجودة للصور الجمالية. يُقترح إطار عمل جديد لتعديل نموذج حساب وجهة النظر وتحسينه من خلال الجمع بين شبكة سي إن إن متعددة الفروع وطريقة تصحيح وجهة النظر، وبالتالي تحقيق صور معروضة بجودة جمالية أعلى. من خلال محاولة دمج الإدراك البصري بشكل كامل مع حساب المعلومات الهندسية، نتوقع أن تحقق هذه الطريقة تطبيقات أكثر شمولاً في العديد من مجالات الممارسة في المستقبل، مثل تحقيق تخطيط مسار الكاميرا الافتراضية القائم على الجمال وتحليل الخصائص الجمالية للبيئات الافتراضية.
Druh dokumentu: Article
Other literature type
ISSN: 2169-3536
DOI: 10.1109/access.2020.3001230
DOI: 10.60692/dse4z-04f85
DOI: 10.60692/p53bp-vnv07
Prístupová URL adresa: https://ieeexplore.ieee.org/ielx7/6287639/8948470/09112197.pdf
https://doaj.org/article/edbec9cd790047b989df4b927b80021c
https://www.mendeley.com/catalogue/72bafa49-3652-3bfa-98bb-fb1c4222ca95/
https://ieeexplore.ieee.org/document/9112197
https://dblp.uni-trier.de/db/journals/access/access8.html#ZhangFY20
https://doi.org/10.1109/ACCESS.2020.3001230
Rights: CC BY
CC BY NC ND
Prístupové číslo: edsair.doi.dedup.....534d3f46a4323d63f0fa0b2f51a04c93
Databáza: OpenAIRE
Popis
Abstrakt:La recherche sur le point de vue dans les scènes 3D a été un sujet de pointe dans la vision par ordinateur et la compréhension des scènes 3D. Le calcul d'un point de vue 3D de haute qualité dans des scènes virtuelles est propice à une analyse plus complète de la structure graphique 3D, ce qui peut contribuer à une compréhension globale des environnements virtuels. La recherche de points de vue 3D peut également être appliquée à l'analyse de relations structurelles dans des scènes virtuelles et à l'exploitation de structures hiérarchiques cachées, elle joue donc un rôle dans des domaines tels que le calcul de visualisation scientifique ou la modélisation de scènes à base d'images. La recherche de points de vue combinée aux résultats de recherche pertinents de la perception visuelle humaine ou de la psychologie visuelle peut être utilisée pour analyser l'intérêt visuel et les zones de concentration des objets 3D dans la vision humaine, améliorant ainsi efficacement la qualité de la simplification du maillage et l'efficacité du rendu, tout en fournissant une base d'optimisation pour les scènes très complexes. Dans des domaines tels que les jeux informatiques en 3D, la réalité virtuelle et l'animation de paysages, la recherche sur des points de vue de haute qualité peut être adoptée pour optimiser l'éclairage et l'illumination globaux. De plus, des applications pratiques peuvent être réalisées grâce à l'analyse de l'attention de l'utilisateur et à des stratégies d'amélioration esthétique basées sur des points de vue de haute qualité, tels que la modélisation intelligente et les calculs d'optimisation de scène. Dans des domaines courants tels que la récupération de modèles 3D, des applications pratiques peuvent être réalisées pour la recherche de saillance, le calcul de visualisation scientifique et l'imagerie médicale 3D. Des recherches approfondies ont été effectuées et des applications étendues ont été développées qui utilisent l'analyse des points de vue. Dans cet article, nous introduisons une stratégie d'optimisation pour calculer des points de vue virtuels de haute qualité pour les images esthétiques. Un nouveau cadre est proposé pour modifier et optimiser le modèle de calcul du point de vue en combinant un CNN multibranche et une méthode de correction du point de vue, réalisant ainsi des images rendues avec une qualité esthétique supérieure. En essayant d'intégrer pleinement la perception visuelle au calcul des informations géométriques, nous nous attendons à ce que cette méthode atteigne des applications plus complètes dans de nombreux domaines de pratique à l'avenir, telles que la réalisation de la planification du chemin de la caméra virtuelle basée sur l'esthétique et l'analyse des caractéristiques esthétiques des environnements virtuels.<br />La investigación sobre el punto de vista en escenas 3D ha sido un tema de vanguardia en la visión por ordenador y la comprensión de escenas 3D. El cálculo de un punto de vista 3D de alta calidad en escenas virtuales conduce a un análisis más completo de la estructura gráfica 3D, lo que puede contribuir a una comprensión general de los entornos virtuales. La investigación del punto de vista 3D también se puede aplicar al análisis de relaciones estructurales en escenas virtuales y para explotar estructuras jerárquicas ocultas, por lo que desempeña un papel en campos como la computación de visualización científica o el modelado de escenas basado en imágenes. La investigación del punto de vista combinada con los resultados de investigación relevantes de la percepción visual humana o la psicología visual se puede utilizar para analizar el interés visual y las áreas de enfoque de los objetos 3D en la visión humana, mejorando así de manera efectiva la calidad de la simplificación de la malla y la eficiencia de la representación, además de proporcionar una base de optimización para escenas altamente complejas. En campos como los juegos de ordenador en 3D, la realidad virtual y la animación de paisajes, se pueden adoptar investigaciones sobre puntos de vista de alta calidad para optimizar la iluminación global. Además, se pueden realizar aplicaciones prácticas a través del análisis de la atención del usuario y estrategias de mejora estética basadas en puntos de vista de alta calidad, como el modelado inteligente y los cálculos de optimización de escenas. En campos comunes como la recuperación de modelos 3D, se pueden realizar aplicaciones prácticas para la investigación de prominencia, la computación de visualización científica y las imágenes médicas en 3D. Se ha realizado una investigación en profundidad y se han desarrollado amplias aplicaciones que hacen uso del análisis de puntos de vista. En este artículo, presentamos una estrategia de optimización para calcular puntos de vista virtuales de alta calidad para imágenes estéticas. Se propone un marco novedoso para modificar y optimizar el modelo de cálculo del punto de vista combinando una CNN multirramal y un método de corrección del punto de vista, realizando así imágenes renderizadas con una mayor calidad estética. Al intentar integrar completamente la percepción visual con el cálculo de información geométrica, esperamos que este método logre aplicaciones más completas en muchas áreas de práctica en el futuro, como la realización de una planificación de la trayectoria de la cámara virtual basada en la estética y el análisis de las características estéticas de los entornos virtuales.<br />Research on viewpoint in 3D scenes has been a cutting-edge subject in computer vision and 3D scene understanding. Calculating a high quality 3D viewpoint in virtual scenes is conducive to a more comprehensive analysis of 3D graphic structure, which can contribute to an overall understanding of virtual environments. 3D viewpoint research can also be applied to the analysis of structural relationships in virtual scenes and to exploit hidden hierarchical structures, thus it plays a role in fields such as scientific visualization computing or image-based scene modeling. Viewpoint research combined with relevant research results of human visual perception or visual psychology can be used to analyze the visual interest and focus areas of 3D objects in human vision, thus effectively improving the quality of mesh simplification and rendering efficiency, as well as providing an optimization basis for highly complex scenes. In fields such as 3D computer games, virtual reality, and landscape animation, research on high-quality viewpoints can be adopted to optimize global lighting and illumination. Additionally, practical applications can be realized through user attention analysis and aesthetic improvement strategies based on high-quality viewpoints, such as intelligent modeling and scene optimization calculations. In common fields such as 3D model retrieval, practical applications can be realized for saliency research, scientific visualization computing, and medical 3D imaging. In-depth research has been performed and extensive applications have been developed that make use of viewpoint analysis. In this paper, we introduce an optimization strategy to calculate high-quality virtual viewpoints for aesthetic images. A novel framework is proposed for modifying and optimizing the viewpoint calculation model by combining a multibranch CNN and a viewpoint correction method, thus realizing rendered images with a higher aesthetic quality. By attempting to fully integrate the visual perception with the geometric information calculation, we expect this method to achieve more comprehensive applications in many practice areas in the future, such as the realization of aesthetically based virtual camera path planning and analysis of the aesthetic characteristics of virtual environments.<br />كان البحث عن وجهة النظر في المشاهد ثلاثية الأبعاد موضوعًا متطورًا في رؤية الكمبيوتر وفهم المشهد ثلاثي الأبعاد. يؤدي حساب وجهة نظر ثلاثية الأبعاد عالية الجودة في المشاهد الافتراضية إلى تحليل أكثر شمولاً للبنية الرسومية ثلاثية الأبعاد، والتي يمكن أن تسهم في فهم شامل للبيئات الافتراضية. يمكن أيضًا تطبيق بحث وجهة النظر ثلاثية الأبعاد على تحليل العلاقات الهيكلية في المشاهد الافتراضية واستغلال الهياكل الهرمية الخفية، وبالتالي يلعب دورًا في مجالات مثل حوسبة التصور العلمي أو نمذجة المشهد القائم على الصور. يمكن استخدام بحث وجهة النظر جنبًا إلى جنب مع نتائج البحث ذات الصلة بالإدراك البصري البشري أو علم النفس البصري لتحليل الاهتمام البصري ومجالات التركيز للأجسام ثلاثية الأبعاد في الرؤية البشرية، وبالتالي تحسين جودة تبسيط الشبكة وكفاءة التقديم بشكل فعال، بالإضافة إلى توفير أساس تحسين للمشاهد شديدة التعقيد. في مجالات مثل ألعاب الكمبيوتر ثلاثية الأبعاد والواقع الافتراضي والرسوم المتحركة للمناظر الطبيعية، يمكن اعتماد الأبحاث حول وجهات النظر عالية الجودة لتحسين الإضاءة والإضاءة العالمية. بالإضافة إلى ذلك، يمكن تحقيق التطبيقات العملية من خلال تحليل انتباه المستخدم واستراتيجيات التحسين الجمالي بناءً على وجهات نظر عالية الجودة، مثل النمذجة الذكية وحسابات تحسين المشهد. في المجالات الشائعة مثل استرجاع النماذج ثلاثية الأبعاد، يمكن تحقيق التطبيقات العملية لأبحاث البروز وحوسبة التصور العلمي والتصوير الطبي ثلاثي الأبعاد. تم إجراء بحث متعمق وتم تطوير تطبيقات واسعة النطاق تستفيد من تحليل وجهات النظر. في هذه الورقة، نقدم استراتيجية تحسين لحساب وجهات النظر الافتراضية عالية الجودة للصور الجمالية. يُقترح إطار عمل جديد لتعديل نموذج حساب وجهة النظر وتحسينه من خلال الجمع بين شبكة سي إن إن متعددة الفروع وطريقة تصحيح وجهة النظر، وبالتالي تحقيق صور معروضة بجودة جمالية أعلى. من خلال محاولة دمج الإدراك البصري بشكل كامل مع حساب المعلومات الهندسية، نتوقع أن تحقق هذه الطريقة تطبيقات أكثر شمولاً في العديد من مجالات الممارسة في المستقبل، مثل تحقيق تخطيط مسار الكاميرا الافتراضية القائم على الجمال وتحليل الخصائص الجمالية للبيئات الافتراضية.
ISSN:21693536
DOI:10.1109/access.2020.3001230