Что такое картина? Использованные краски, имя художника, ее история или запечатленный на ней сюжет? Что из этого определяет произведение искусства? Такими вопросами задаются люди, изучающие и работающие с объектами культурного наследия. Чтобы приблизиться к ответу, ученым нужна помощь искусственного интеллекта, а тому, в свою очередь, — волонтеров.
Анализ миллионов произведений искусства — работа, которая кажется невыполнимой. Для людей, но не для суперкомпьютеров. Проект «Святой Георгий на велосипеде» (Saint George on a bike) Барселонского суперкомпьютерного центра (BSC) в сотрудничестве с Europeana Foundation использует ресурсы высокопроизводительных вычислений для обучения моделей искусственного интеллекта. Основная идея заключается в использовании обработки естественного языка и алгоритмов глубокого обучения для создания модели генерации текстов на основе десятков тысяч изображений и их описаний. При этом задача разработчиков — сделать так, чтобы эти описания отражали понимание культуры, символов и исторического контекста.
«Этот амбициозный проект впервые интерпретирует изображения в соответствии с их контекстом и, таким образом, стремится вложить в машину своего рода здравый смысл, что является одним из самых главных барьеров в развитии искусственного интеллекта сегодня», — говорит Хоаким Море, исследователь BSC и эксперт проекта в области компьютерной лингвистики. «Например, когда он [алгоритм] впервые идентифицирует мотоцикл (motobike) на картине XV века с изображением Святого Георгия, он исправляет себя и определяет наиболее правдоподобный объект того периода, которым является лошадь. Эта адаптация также будет сделана в соответствии с культурным контекстом. Например, в японском культурном контексте то, что в Европе мы назвали бы рыцарем, было бы самураем», — заключает он.
На втором этапе реализации проекта исследователям потребовалась помощь волонтеров. Дело в том,что если обработать часть изображений вручную и вывести нужные закономерности, то, в результате, описания для сотен тысяч оставшихся картин из различных хранилищ могут быть созданы автоматически. Так, в конце апреля организаторы проекта запустили краудсорсинговую кампанию на портале проектов гражданской науки Zooniverse. Для того, чтобы принять участие в проекте, необязательно владеть английским в совершенстве. Задача волонтера — составить максимально простое, но четкое описание того, что он видит на картине. Все изображения датируются XIV–XVIII веками.
Исследователи отмечают, что результаты проекта будут полезны как специалистам в области культурного наследия, так и всем гражданам. Например, расширенные аннотации обеспечат хорошую индексацию, что приведет к лучшему доступу к коллекциям и более удобной навигации по каталогам. А также это больше возможностей для организации виртуальных выставок.
Кстати, в названии проекта можно заметить забавное совпадение: Сент-Джордж (St. George, Святой Георгий) — город на юго-западе штата Юта, США. И это маленькая велосипедная Мекка для тех, кто обожает поездки по трассе, но не готов соседствовать с автомобильным трафиком: в городе и окрестностях проложено более 60 миль (почти 100 км) велосипедных дорожек вдоль парков, каньонов и рек.
Проект «Люди науки» — Победитель Международной Премии #МыВместе
