Цифровая реконструкция исторических фресок Снетогорского монастыря методом нейросетевого восстановления цвета

ЦИФРОВАЯ РЕКОНСТРУКЦИЯ ИСТОРИЧЕСКИХ ФРЕСОК СНЕТОГОРСКОГО МОНАСТЫРЯ МЕТОДОМ НЕЙРОСЕТЕВОГО ВОССТАНОВЛЕНИЯ ЦВЕТА

СНЕТОГОРСКИЙ МОНАСТЫРЬ

Снетогорский монастырь — один из старейших действующих монастырей, впервые упомянутый в летописи 1299 года. Снетогорский монастырь остается значимым памятником архитектуры. В 2019 году собор Рождества Богородицы был занесен в список Всемирного наследия ЮНЕСКО

В 2025 году ученики детского технопарка "Кванториум Псков" разработали для монастыря около 20 проектов для интерактивных экскурсий в рамках проекта "Техногорье"

ПРО ТЕХНОГОРЬЕ

ЗАЧЕМ ВОССТАНАВЛИВАТЬ ФРЕСКИ
С ПОМОЩЬЮ НЕЙРОСЕТЕЙ?

Фресковая живопись - важный исторический источник. Со временем фрески теряют цвет из-за внешних факторов, что искажает их восприятие. Физическая реставрация дорога и рискованна, поэтому всё чаще применяют цифровые технологии.

Собор Рождества Богородицы горел, цвет фресок был искажен. Искусственный интеллект в компьютерном зрении позволяет восстанавливать утраченные фрагменты и детали, а в нашем случае — возвращать изначальный цвет фресок

ЦЕЛЬ ПРОЕКТА

Разработка и обучение сверточной нейронной сети, восстанавливающей цветное изображение на основе чёрно-белого или частично обесцвеченного цифрового изображения фресок

ЧТО ТАКОЕ СВЕРТОЧНАЯ НЕЙРОСЕТЬ?

Это архитектура глубокого обучения, специально разработанная для обработки данных, имеющих сетчатую структуру, прежде всего изображений. Основой сети является операция свёртки — математическое действие, при котором небольшой фильтр последовательно проходит по всему входному изображению, выделяя локальные признаки: края, углы, текстуры, формы и другие визуальные паттерны.

ЧТО ТАКОЕ
КОЛОРИЗАЦИЯ ИЗОБРАЖЕНИЙ?

Это задача компьютерного зрения по превращению черно-белых или повреждённых изображений в цветные

Классические: ручная и
полуавтоматическая колоризация с высокой трудоёмкостью и зависимостью от специалиста

Нейросетевые: глубокие сверточные
нейронные сети , обучающиеся на парах черно-белых и цветных изображений, автоматически восстанавливают цвета, учитывая контекст и текстуры, что улучшает качество и скорость

МЕТОДЫ

ЦЕЛЕВАЯ АУДИТОРИЯ ПРОЕКТА

Проект создавался по заказу Снетогорского монастыря в рамках программы "Техногорье"— масштабной инициативы по сохранению и цифровизации культурного наследия Псковской области. Снетогорский монастырь официально принял работу, что подтверждает практическую ценность проекта

Эксперт проекта — Аркадий Филинов, художник, и.о. директора Детской художественной школы

ПОТЕНЦИАЛЬНЫЕ ЗАКАЗЧИКИ И СТЕЙКХОЛДЕРЫ

1. Музеи и выставочные центры

Крупные федеральные музеи — для оцифровки и виртуальной реставрации экспонатов
Региональные и краеведческие музеи— где хранятся фрагменты фресок или других произведений монументальной живописи
Музеи-заповедники — для восстановления утраченных цветов

2. Реставрационные мастерские и научные институты

Государственные реставрационные центры — как вспомогательный инструмент для предварительной цифровой реконструкции
Частные реставрационные бюро— для демонстрации заказчику возможного результата до начала физической реставрации

3. Широкая публика

Посетители музейных сайтов и виртуальных галерей
Пользователи мобильных приложений с AR-наложением

4. T-компании и стартапы в сфере AI and Culture

Компании, разрабатывающие решения для культурного наследия
Платформы для автоматической обработки изображений

5. Образовательные учреждения

Художественные вузы и училища— для изучения техники фресковой живописи и истории цвета
Искусствоведческие факультеты университетов— для анализа первоначального замысла художника
Школы и центры дополнительного образования— для просветительских проектов и привлечения интереса к культурному наследию

КАКИЕ ЕСТЬ АНАЛОГИ?

Сотрудники Института космических исследований РАН совместно с Кирилло-Белозерским музеем-заповедником использовали нейросеть Stable Diffusion для восстановления утраченных фрагментов фресок Дионисия в соборе Рождества Богородицы.
Stable Diffusion — это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний. Это её базовая функциональность.
Однако, специалисты использовали не только текстовые промпты. Ключевым элементом стала коллекция высокоточных мультиспектральных фотографий росписей собора, послужившая основой для обучения и тестирования нейросети.
Плюсы:

Восстанавливает полностью утраченные фрагменты
Креативность модели, способность «дорисовывать» отсутствующие части

Минусы:

Низкая точность деталей (смещение глаз у святых)
Непредсказуемые ошибки
Высокие вычислительные затраты

1. Восстановление фресок Дионисия Ферапонтового монастыря

2. Восстановление древних мозаик с помощью DALL-E 2

Международная группа исследователей использовала нейросеть DALL-E 2 от OpenAI для виртуальной реконструкции античных мозаик из коллекций Лувра, Британского музея и Getty Museum.
DALL-E 2 — диффузионная модель, генерирующая изображения.
DALL-E 2 в августе 2022 года запустил функцию outpainting, которая принимает на вход неполное изображение и текстовый промпт, а затем генерирует полное изображение.
Плюсы:

Простота использования (достаточно текстового промпта)
Хорошее понимание общей композиции
Не требует специальной подготовки данных

Минусы:

Низкое качество восстановления лиц
Добавление лишних элементов
Искажение пропорций и поз
Невозможность точно воспроизвести геометрические формы
Галлюцинации — модель «придумывает» то, чего не было

Одним из ключевых отличий является то, что наша нейросеть восстанавливает только цвета, а не утраченные фрагменты изображения.
Описанные выше аналоги решают задачу дорисовывания отсутствующих частей. Нейросеть буквально «придумывает» утраченные фрагменты: фигуры святых, лица, архитектурные элементы.
Мой проект работает иначе: все контуры, формы и композиция фрески остаются неизменными. Нейросеть лишь возвращает выцветшим участкам их первоначальный цвет на основе исторически достоверной палитры минеральных пигментов. Это исключает риск «галлюцинаций» и непредсказуемых ошибок, характерных для диффузионных моделей.

Коммунальные услуги:
Графический планшет:
Оплата труда :
Ноутбук (вычислительное оборудование):
Итого:

103 333,33 руб.
20 000 руб.
17 640 руб.
80 000 руб.

220 973,33 руб.

ЭКОНОМИКА ПРОЕКТА

ЭТАПЫ РАБОТЫ

Анализ и сбор данны

Фотосъёмка фресок Снетогорского монастыря
Изучение исторических источников по цветовой палитре
Ручная отрисовка эталонных цветных изображений
Формирование парных наборов данных

Выбор архитектуры нейросети

Анализ существующих архитектур
Сравнительный анализ преимуществ и недостатков

Написание программного кода

Реализация генератора на базе U-Net
Реализация дискриминатора PatchGAN
Настройка функций потерь

Обучение нейросети

Загрузка подготовленного датасета
Обучение модели в течение 800 эпох
Настройка гиперпараметров

Тестирование и оценка качества

Визуальный анализ восстановленных изображений
Вычисление метрик качества (SSIM, PSNR, L1 Loss)
Сравнение с эталонными изображениями
Выявление ошибок и ограничений

Приёмка заказчиком

Демонстрация работы модели представителям Снетогорского монастыря
Презентация результатов реставрации
Получение обратной связи

РЕЗУЛЬТАТЫ ПРОЕКТА

В результате создана нейросетевая модель на основе архитектуры Pix2Pix GAN, способная автоматически восстанавливать изображения поврежденных фресок. Модель преобразует черно-белые или выцветшие изображения в цветные, воспроизводя историческую цветовую палитру и сохраняя структурные элементы. С помощью нейрости удалось восстановить цвета 10 фресок.
Для оценки качества реставрации использовался комплекс метрик, охватывающий пиксельную точность, структурное сходство, реалистичность и стилистическое соответствие. Для улучшения визуального качества применялись перцептуальные функции потерь, сохраняющие важные детали и обеспечивающие соответствие оригинальному стилю. Визуальный анализ показал значительное улучшение цветопередачи и четкости контуров, однако в сложных участках наблюдались ошибки колоризации и потеря деталей

Примеры восстановленных с помощью нейросети изображений:

Как обучалась нейросеть. На гифках показаны промежуточные изображения, которые генератор создавал после каждой эпохи

Сретение. Фрагмент

Воскресение. Фрагмент

Страшный Суд. Фрагмент

Преподобные отцы. Фрагмент

ДОСТИЖЕНИЯ

Конкурс рационализаторов и изобретателей Псковской области (лучший молодой изобретатель Псковской области) - победитель
XXIII научно-практическая выставка обучающихся Псковской области «Шаг в науку» - 1 место
XXXI научно-практическая конференция обучающихся Псковской области «Шаг в будущее» - 2 место
Симпозиум «Проектно-исследовательское образование – образование будущего», Всероссийского форума научной молодёжи «Шаг в будущее» 23-27 марта 2026 г. - лауреат 1 степени в секции 3D «Информатика, вычислительная техника, телекоммуникации»
Специальный приз от МИРЭА – Российского технологического университета в номинации " Будущее в наших руках: инновации от школьников"
диплом победителя регионального трека Международного конкурса научно-технологических проектов "Большие вызовы" в 2025-2026 учебном году по направлению "Большие данные, искусственный интеллект, автоматизированные системы и информационная безопасность