Sony, как оказалось, зарегистрировала патент на систему синхронизации губ для NPC в видеоиграх. Как обратили внимание СМИ, технология под названием Translation Language Evaluation Device обещает автоматизировать процесс адаптации анимации рта под разные языки. Сама Sony отмечает в патенте: «Когда звук переведённого текста не соответствует движению губ персонажа, игрок или зритель видеопроизведения может испытывать дискомфорт».
Система анализирует движения губ NPC и вычисляет «индекс схожести» с переводом, автоматически корректируя анимацию, чтобы она соответствовала диалогам на любом языке. Например, если перевод затягивает или укорачивает фразу, движок сам подстраивает тайминги и движение губ, сохраняя естественность. Это решает давнюю проблему несоответствия звука и визуала, чем сильно грешила в своё время The Witcher 3: Wild Hunt.
Компания, судя по всему, любит всё патентовать. Достаточно вбить в поиске «Sony запатентовала» и вам попадётся ворох ссылок, включая:
Поэтому неизвестно, будет ли использоваться эта система где-либо. Однако ближайший релиз Sony — ПК-порт The Last of Us Part II Remastered — увидит свет в Steam и EGS третьего апреля с полной русской локализацией.
Лучшие комментарии
Денис наверное доволен
Погодите, а разве не в куче игр есть липсинк такого рода? Да тот же самый Скайрим.
Система подгонки лицевых анимаций под звуковые дорожки была еще даже в первом масс эффекте.
Мне казалось у CDPR подобное было, в Киберпанке и Ведьмаке некстгеновом, порой очень натуральный липсинк выдаётся
Не совсем. Потому что:
Интересно, а могу я сделать на коленке игру, с функцией, редактор персонажей и затем запатентовать его. Чтобы все игры где есть редактор персонажей, платили мне денежку (можно конечно и что то по хитрее придумать, это понятный пример). По видимому можно, потому что система «Запуск игр с любой точки, чтобы быстро переигрывать любимые моменты» Есть в Detroit: Become Human. Игра буквально разрезана на части, чтобы ты мог выбрать любой момент в ней и переиграть.
На фоне ускоренных реплик не замечал даже.
Нет, там таймсинк, то есть рот открывается флапами (как в старых мультиках) в течение времени, пока звучит фраза (но, насколько я помню, у них была возможно увеличить время произнесения фразы). А тут говорят прямо про настоящий липсинк, чтобы если звук О, то губы принимали необходимую форму, которую мы обычно делаем при произношении этого звука.
Жду новость «Сони запатентовала игры».
Я посмотрел несколько видео, чтобы память освежить, но практически нулевая разница. То есть они сделали не просто флапы, а ещё и небольшие изменения мимики влево-вправо, чтобы придать живности, но это не тот уровень, которые, например, есть в Хорайзон.
Ну да, справедливо, конечно.
Возможно это мои галлюцинации, но разве не во всех играх рот открывается именно под слова, чтобы форма рта подходила под каждое слово? Потому, что мимика рта разных персонажей в разной озвучке разная. И если все же это не так, то смысл их пантента нулевой, потому, что всё равно есть ощущение что они говорят слова открывая рот, а не просто открывают для имитации звуков.
Возможно, мои познания устарели, но делали это обычно ручками(А в случае таймингов — ещё и требовало вмешательства самих разрабов, чтоб игра не зажёвывала аудиодорожку длиннее оригинала), а по словам журналистов суть патента(Текст которого на японском, к сожалению) именно в автоматизации процесса.
Тут надо смотреть на Хорайзон с их липсинком как в кино, в остальных играх, как я уже выше описывал, не совсем настоящий липсинк.
Эдисон улыбается им.
Из Ада.
Не совсем, в Скайриме есть разные выражения рта под различные фонемы.
Неужели мы дожили до таких технологий? Неужели теперь не придется подгонять перевод (сокращать его, искажать, портить умышленно) ради дурацкого липсинка и таймсинка?
Потому что они гении оригинальности идей. А завистникам остаётся только кусать локти.