Sony запатентовала систему автоматического липсинка для локализаций в играх
Sony, как оказалось, зарегистрировала патент на систему синхронизации губ для NPC в видеоиграх. Как обратили внимание СМИ, технология под названием Translation Language Evaluation Device обещает автоматизировать процесс адаптации анимации рта под разные языки. Сама Sony отмечает в патенте: «Когда звук переведённого текста не соответствует движению губ персонажа, игрок или зритель видеопроизведения может испытывать дискомфорт».
Система анализирует движения губ NPC и вычисляет «индекс схожести» с переводом, автоматически корректируя анимацию, чтобы она соответствовала диалогам на любом языке. Например, если перевод затягивает или укорачивает фразу, движок сам подстраивает тайминги и движение губ, сохраняя естественность. Это решает давнюю проблему несоответствия звука и визуала, чем сильно грешила в своё время The Witcher 3: Wild Hunt.
Компания, судя по всему, любит всё патентовать. Достаточно вбить в поиске «Sony запатентовала» и вам попадётся ворох ссылок, включая:
Поэтому неизвестно, будет ли использоваться эта система где-либо. Однако ближайший релиз Sony — ПК-порт The Last of Us Part II Remastered — увидит свет в Steam и EGS третьего апреля с полной русской локализацией.
Читай также
Читай также
Лучшие комментарии
Денис наверное доволен
Погодите, а разве не в куче игр есть липсинк такого рода? Да тот же самый Скайрим.
Мне казалось у CDPR подобное было, в Киберпанке и Ведьмаке некстгеновом, порой очень натуральный липсинк выдаётся
Система подгонки лицевых анимаций под звуковые дорожки была еще даже в первом масс эффекте.
Нет, там таймсинк, то есть рот открывается флапами (как в старых мультиках) в течение времени, пока звучит фраза (но, насколько я помню, у них была возможно увеличить время произнесения фразы). А тут говорят прямо про настоящий липсинк, чтобы если звук О, то губы принимали необходимую форму, которую мы обычно делаем при произношении этого звука.
Жду новость «Сони запатентовала игры».
На фоне ускоренных реплик не замечал даже.
Интересно, а могу я сделать на коленке игру, с функцией, редактор персонажей и затем запатентовать его. Чтобы все игры где есть редактор персонажей, платили мне денежку (можно конечно и что то по хитрее придумать, это понятный пример). По видимому можно, потому что система «Запуск игр с любой точки, чтобы быстро переигрывать любимые моменты» Есть в Detroit: Become Human. Игра буквально разрезана на части, чтобы ты мог выбрать любой момент в ней и переиграть.
Я посмотрел несколько видео, чтобы память освежить, но практически нулевая разница. То есть они сделали не просто флапы, а ещё и небольшие изменения мимики влево-вправо, чтобы придать живности, но это не тот уровень, которые, например, есть в Хорайзон.
Тут надо смотреть на Хорайзон с их липсинком как в кино, в остальных играх, как я уже выше описывал, не совсем настоящий липсинк.
Эдисон улыбается им.
Из Ада.
Пропихнуть то, что уже было реализовано до тебя — сложно, нужны хорошие связи. Но есть и «положительная» сторона: тебе не надо ничего делать на коленке, да даже прорабатывать реальную технологию — просто пропиши идею на коленке.
Нет не можешь, такой патент не примут. Потому что данная функция уже была в других играх.
Ну да, справедливо, конечно.
Так это не работает.
Последние лет 5 уже автоматизировано, емнип на уровне движка в анриле
Придется. Патент-то теперь у Сони.
Играл в Хорайзен, и для меня там было всё стандартно. Но я и революционную систему повреждений в Dead Island 2 не видел, и бой с паркуром от шефповара в Dying Light 2. Оно немного другое и всё.
Возможно это мои галлюцинации, но разве не во всех играх рот открывается именно под слова, чтобы форма рта подходила под каждое слово? Потому, что мимика рта разных персонажей в разной озвучке разная. И если все же это не так, то смысл их пантента нулевой, потому, что всё равно есть ощущение что они говорят слова открывая рот, а не просто открывают для имитации звуков.
А как ты катсцены удлинишь, если постановка кадра и её пролёты под конкретный момент и соответсивенно в этот момент и текст вписан, а у тебя всё еще болтовня до этого идёт?