Ученые научили ИИ переводить видео балета в танцевальную нотацию

Исследователи из Университета Йоханнесбурга разработали нейросетевую систему, способную автоматически переводить видеозаписи балетных выступлений в нотацию Бенеша (Benesh Movement Notation) — систему записи танца, которая помогает сохранять и защищать хореографические произведения для будущих поколений в рамках авторских прав.

Выйти из полноэкранного режима

Развернуть на весь экран

До сих пор перевод видео в танцевальную нотацию делали вручную и полноценных автоматизированных инструментов для этого не существовало. Авторы работы, Марго Боудич и Дастин ван дер Хаар, предложили две модели на основе компьютерного зрения — BeneshED и BeneshFormer,— способные анализировать движения танцора на видео и переводить их в формат записи Бенеша. И, согласно исследованиям, предсказания модели показали высокую степень соответствия реальным движениям.