Студенты СПбГИКиТ приняли участие в хакатоне «Применение нейротехнологий и методов машинного обучения»

9-13 ноября 2020 года в Санкт-Петербурге прошла V Международная конференция «Обработка сигналов изображения и звука в контексте нейротехнологий» SPCN 2020 (Video and Audio Signal Processing in the Context of Neurotechnologies). Конференция предоставила ученым уникальную возможность междисциплинарного общения в наиболее быстро развивающихся областях когнитивных наук, сенсорной физиологии, нейротехнологий, нейронных сетей, искусственного интеллекта

Возможность междисциплинарного общения была также предоставлена студентам в рамках хакатона по применению нейротехнологий и методов машинного обучения, проведенного 10-12 ноября 2020 г. в рамках SPCN 2020 в онлайн-формате. Организаторами хакатона были: Институт физиологии им. И.П. Павлова Российской академии наук, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» (СПбГЭТУ «ЛЭТИ»), Санкт-Петербургский государственный институт кино и телевидения (СПбГИКиТ), Специальная группа Института инженеров по электротехнике и радиоэлектронике IEEE Brain, Монреальский университет и федеральный институт технологий в Цюрихе.

Командам – участникам хакатона было предложено решить задачи - кейсы по нескольким направлениям: интеллектуальной обработке сигналов, видео-, аудио и текстовой информации, моделированию процесса художественного творчества, обработке и аналитике больших массивов данных о работе мозга. Команды приступили к работе в 11 часов утра 10 ноября и завершили выполнение заданий в 16 часов 11 ноября. Жюри объявило победителей 12 ноября на специальном заседании, которое привлекло наибольшее количество участников. 

Направление «Моделирование процесса художественного творчества»

Задание

Задача, которая предлагалась участникам хакатона по направлению «Моделирование процесса художественного творчества» предполагала разработку алгоритмов автоматического составления абстракций, или кратких семантически значимых аудиовизуальных описаний кинофильмов.

Партнерами и спонсорами хакатона по направлению «Моделирование процесса художественного творчества» были Корпорация DNK - ведущий системный интегратор в медиаотрасли России и СНГ и компания «SILK ROAD MEDIA» - ведущая медиакомпания страны, реализующая совместные российско-китайские проекты в области кино, телевидения и новых медиа.

Абстракция - совокупность семантически значимых, ключевых фрагментов фильма, дающая общую информацию о жанре фильма, его сюжете, времени действия и т.п. В процессе фильмопроизводства последовательность ключевых семантически значимых кадров определяется до съемки фильма в форме так называемой «раскадровки». Составление абстракции требует решения обратной задачи, т.е. нахождения ключевых кадров в готовом фильме.

Абстракция похожа на трейлер фильма. Но главная задача трейлера - реклама.  Трейлер должен увлечь зрителя и привлечь его в кинотеатр. Абстракция носит информационный характер. Автоматическое составление абстракций важно для создания систем эффективного управления медиаархивами. Абстракции позволят создать «витрину» для фильмофондов, в которых хранится накопленная за столетие бесценная, но недостаточно широко известная кинематографическая память деятельности человечества. Абстракции также необходимы для автоматической индексации и компактного описания видеоматериалов пользовательского контента в интернете, объем которого растет лавинообразно.

По истечении второго дня хакатона команды студентов должны были представить вниманию жюри разработанные алгоритмы составления абстракций кинофильма, а также абстракции заданного кинофильма продолжительностью до трех минут, созданные в полном соответствии с предложенным алгоритмом. Кинофильм, для которого в течение двух дней хакатона должны были создаваться абстракции, был задан жюри хакатона в первый день. Это был фильм «Левиафан» режиссера Андрея Звягинцева.

Итоги

В хакатоне по направлению «Моделирование процесса художественного творчества» приняли участие 9 команд, составленных из студентов Санкт-Петербургского государственного института кино и телевидения (СПбГИКИТ) и Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» (СПбГЭТУ «ЛЭТИ»). Все команды справились с поставленной задачей и в срок представили свои решения. Студентами были предложены неожиданные и оригинальные алгоритмы селекции семантически значимых фрагментов фильма Андрея Звягинцева «Левиафан». Жюри признало победителями две команды: «Sapr_gen» (СПбГЭТУ «ЛЭТИ») и «Руслан и Людмила» (СПбГИКИТ).  

Работа команды «Sapr_gen» (Вячеслав Парамонов - студент факультета компьютерных технологий и информатики СПбГЭТУ «ЛЭТИ») заслужила высокую оценку жюри за оригинальную иерархическую схему предложенного алгоритма составления абстракций кинофильма, выделяющего ключевые фрагменты фильма с использованием трех субалгоритмов: селекция значимых видеокадров фильма, обработка аудиодорожки фильма и окончательная выборка фрагментов в окрестности монтажных переходов фильма. Работа Вячеслава Парамонова была удостоена награды, учрежденной партнером и спонсором хакатона компанией «SILK ROAD MEDIA» - ведущей медиакомпанией страны, реализующая совместные российско-китайские проекты в области кино, телевидения и новых медиа.

Команда «Руслан и Людмила» (капитан Владимир Барсуков и члены команды Кристина Пархоменко и Ольга Афанасьева – студенты факультета экранных искусств СПбГИКИТ) разработала лаконичный и неожиданный алгоритм, совмещающий кодировку не только повествовательного, но и изобразительного пласта фильма. Оригинальным стало и звуковое решение, органически объединяющее выделенные фрагменты изобразительного ряда, несущие многоуровневую смысловую нагрузку. Работа команды «Руслан и Людмила» была удостоена награды, учрежденной партнером и спонсором хакатона Корпорацией DNK - ведущим системным интегратором в медиаотрасли России и СНГ. 

Направление «Интеллектуальная обработка сигналов, видео-, аудио и текстовой информации»

Задание

Участникам данного направления было предложено выбрать задание из заранее подготовленного организаторами списка. Список был подготовлен во многом при участии вузов-партнеров: монреальским университетом и федеральным институтом технологий в Цюрихе. Преимущественно задачи были ориентированы на проблемы в области беспилотного транспорта и это не случайно. На сегодняшний день автономный транспорт -- одно из наиболее стремительно развивающихся направлений, в котором огромную часть занимают именно подходы, связанные с машинным и глубоким обучением. Эти перспективные технологии позволяют значительно быстрее и точнее решать задачи в области обработки изображений и тем самым приближать человечество к будущему беспилотных автомобилей. Среди ориентированных на автономный транспорт задачи были распознавание дорожных знаков, ям на дороге, предсказывание направления дороги, но были и задачи немного другой направленности, такие как,  обработка записей с экрана компьютера. Кроме того, было подготовлено большое количество различных наборов данных для каждой из предлагаемых к решению задач.

Командам отводилось 30 часов на то, чтобы вникнуть в предметную область задачи, разработать собственный подход для решения, обучить модель и представить работающий прототип. Таким образом, команды не просто обучали модель, которая решала поставленную задачу, а разрабатывали законченное приложение, наглядно демонстрирующее результат работы.

Итоги

Подало заявку на участие 6 команд из Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» (СПбГЭТУ «ЛЭТИ»). Большая часть команд за время хакатона достигла положительных результатов и собрала работоспособный прототип для выбранной задачи.

Состоявшее в том числе и из иностранных коллег жюри особенно отметили работы команд, занявших призовые места. Участники этих команд были награждены сертификатом об участии в хакатоне. Среди них:

• Работа команды “LETI_FRT” (занявшая 3 место в составе: Кондратьева Ирина, Сердюков Иван, Никитин Андрей, Рыбаков Егор, Шваркунов Николай) предложили подход к решению кейса детекции дорожных знаков на изображении с камеры беспилотного транспорта.

• Команда “ФРТ” (занявшая 2 место в составе: Башкова Ксения, Гоцко Иван, Астафьев Иван, Козлова Полина, Волынцева Дарья) разработала прототип, способный различать номера домов с кадров видеокамер установленных на автомобилях. Данное решение позволяет значительно повысить точность систем локализации беспилотного автомобиля.

Победителем объявлена команда “AYSAT” (в составе: Государкин Ярослав, Глазунов Сергей, Токарев Андрей, Гиззатов Амир, Гаврилов Андрей). Контекст данного кейса - снова Duckietown. Участники представили прототип, который решает задачу предсказания типа следующей клетки дороги на основе видео с камеры беспилотного робота. Помимо дипломов, победившей команде достались и ценные призы от организаторов хакатона.

Заключение

Развитие техники и технологий кинематографа и телевидения в ближайшие годы, несомненно, будет проходить с самым широким применением технологий искусственного интеллекта - области наук, связанной с моделированием интеллектуальной деятельности человека. Это обстоятельство определяет высокую степень актуальности задачи, которую должны были решать участники хакатона по направлению «Моделирование процесса художественного творчества» и которая находится на пересечении художественного творчества, информационных технологий и технологий искусственного интеллекта. То обстоятельство, что в хакатоне участвовали студенты творческого и технического профилей: студенты факультета экранных искусств и факультета телевидения, дизайна и фотографии СПбГИКИТ и факультета компьютерных технологий и информатики СПбГЭТУ «ЛЭТИ» стало важнейшим фактором, содействующим успеху хакатона.

Применение технологий искусственного интеллекта для моделирования художественного творчества являются инновацией сегодняшнего дня. Но непременным условием эффективной инновационной политики является кадровое обеспечение инновационной системы, что требует введения нового направления подготовки специалистов на стыке информационных технологий и художественного творчества. Эффективным способом реализации такого направления стала бы конвергенция творческого и технологического профилей и подготовка специалистов в интегрированной среде научных исследований и художественного творчества.

Проведенный в рамках конференции SPCN 2020 хакатон явился важным практическим шагом на пути к открытию нового направления подготовки специалистов на стыке информационных технологий и художественного творчества.

К.Гласман (СПбГИКиТ)
К.Кринкин (СПбГЭТУ «ЛЭТИ»)