Исследователи разработали модель искусственного интеллекта SGMSD-Net, которая генерирует реалистичные панорамные изображения для виртуального туризма. Работа описана в International Journal of Information Quality. Модель использует семантическое руководство для интерпретации смысла сцены и диффузионное моделирование, которое создаёт изображение через последовательное уточнение. Об этом пишет издание Phys.org.
Изображение формируется в три этапа разрешения: сначала строится общая структура, затем добавляются текстуры и детали освещения. Тесты на наборах данных SUN360 и Matterport3D показали, что SGMSD-Net превосходит четыре существующих подхода по качеству изображения, перцептивному сходству и соответствию описаниям. Субъективная оценка подтвердила ясность и согласованность сгенерированных сцен.
Технология может применяться для виртуальных туров, позволяющих осмотреть направление до поездки, а также в образовательных реконструкциях исторических мест, которые труднодоступны или нуждаются в защите от массового туризма. В будущем авторы планируют объединить модель с трёхмерной реконструкцией и мультимодальными ИИ-системами для создания более интерактивных виртуальных путешествий.