Hace 3 años | Por ccguy a bhaasha.iiit.ac.in
Publicado hace 3 años por ccguy a bhaasha.iiit.ac.in

Un trabajo académico, con código fuente y explicación, de sincronización del movimiento de labios de un vídeo con cualquier audio de voz. La demo permite jugar con varios ejemplos o probar con nuestros propios ficheros de vídeo y audio. Un vídeo explicativo con varias demostraciones está disponible aquí: https://www.youtube.com/watch?v=0fXaDCZNOJc&feature=youtu.be

Comentarios

Ferran
l

#1 Otro puesto de trabajo que quitarán las maquinas. O devaluaran porque ahora el doblaje lo podrá hacer casi cualquiera.
En realidad todavia podria interpretar.
Tambien puede arreglar el doblaje del resplandor. En lugar de cambiando la voces, cambiando las bocas,

Vivimos en el breve espacio de tiempo en el que lo grabado puede considerarse real. Antes no existia y a partir de ahora lo grabado ya no garantiza que se prueba de la realidad.

D

Le están ahorrando el trabajo a Querido Antonio

bac

#6 hola

?

D

#10 hola

!

bac

#13 hola

,,

D

#15 Bueno, también me ahorran el trabajo de las paridas a mi







casius_clavius

La tecnología nos está pasando por encima...

bac

#2 hola

Más bien, nosotros mismos estamos haciendo que la tecnología nos pase por encima

casius_clavius

#9 Me siento como los luditas o como los viejos de hace 100 años que de repente vieron surgir los aviones, los coches, las telecomunicaciones, etc y se sentían amenazados por una tecnología que les superaba.

El problema es que esa tecnología de antes suponía mayor comodidad para todos y esta de la noticia tiene unas implicaciones algo siniestras.

En definitiva, que me estoy haciendo viejo.

l

#9 #23 Se nos ha vendido que los luditas estaban en contra de la tecnologia, pero la realidad es que estaban en contra de la devaluacion de las condiciones de trabajo.
Quien no va a querer un trabajo menos duro?
La tecnologia servia para competir con los trabajadores y decirles si no me bajas los requisitos me compro una maquina y en lugar de que trabajes tu.
La productividad de la maquina se la queda el empresario en su mayor parte. Lo que tiene logica si es el que invierte.
Con cooperativas los beneficios de la productividad se reparte entre mas gente.


Los consumidores tambien podemos exigir mas derechos, porque la tecnologica cada vez es mas opaca, menos accesible y el cliente puede elegir menos y puede arreglar menos.

briarreos

#43 mira, esto es una pareja de generadores de código de tiempo -> https://www.wendysbroadcast.co.uk/broadcast-audio-products/?get=Audio/timecode//Nano-Lockit-Double-Pack&ct=vpt&id=1660 Se pone uno en la cámara, y otro en el equipo de audio (en realidad, una producción normalita va a necesitar 6 o 7). Además tienes esto otro, que es una slate digital que comparte datos con los generadores de TC -> https://www.wendysbroadcast.co.uk/broadcast-audio-products/?get=Audio/timecode//ACN-LSW-Lockit-Slate-With-Wooden-Sticks&ct=vpt&id=1359
Nada, hoy en día, se hace a mano o a ojo con el audio en cine. No sé, igual en las pelis españolas sí, por eso tienen un audio de mierda más falso que Judas, pero en cualquier producción decente, igual tienes una pista para la música, otra para el boommic, tres de los micros plantados, un lavalier wireless por talento, y una pista de referencia por cada cámara. Además, luego se sumará el foley, la música, los FX etc. Y todo, absolutamente todo, lleva TC (y si no lo lleva, igual hay que repetir la toma, o despedir a alguien).
No hay ningún lag distinto entre esos TC, porque funcionan con relojes ultraprecisos precisamente para evitar eso. Por poner un ejemplo, una MixPre-3 II (el modelo más barato de Sound Devices, pensado para amateurs y prosumers) se desvía medio frame cada 24 horas (grabando a 24fps). Es decir, que virtualmente no hay desvío, ya que se supone que en una grabación el de sonido debe volver a poner a poner en sync todos los cacharros en la parada para comer, y en todo caso, solo se iría de syncro un frame en un plano secuencia que durase 48 horas, que no abundan
¿Que alguien la puede liar y acaba habiendo audio "salvaje"? Claro, pero ruedan cabezas, porque es un marrón.
Si te interesa el tema, te recomiendo The Location Sound Bible, de Ric Viers (lo venden en Amazon mismo): Lo explica todo de manera muy guay.

Tintxotintxo

#46 gracias. Lo miraré. Pero me refería a que para ubicar la toma ok el TC está bárbaro, pero no es imprescindible para ajustar lip sync si el técnico es decente, que distinga si hay un desfase de 2 frames y hacia dónde... Digamos que pienso que el tc lo usan más en el montaje en vídeo y luego le pasan la pista de voces ya elegidas.
En cuanto a el lag decía entre boom y referencia de cámara. Puede que la cámara esté a 8 m del actor y el micro a 30 cm. No te puedes fiar del sincro de esa referencia.
Lo que quiero decir con esto es que el oído de un técnico que se precie lo puede dejar perfectamente sincronizado, al igual que el Timecode o este software... aunque esa tecnología hace que no tengas que preocuparte ni perder tiempo en eso, con lo cual se ahorrarán gente.

iveldie

Esto serviría para sincronizar audio de vhs a videos de otras fuentes como dvd o bluray? DUrante muchos años me dediqué a eso para recuperar viejas pelis. Era un trabajo muy laborioso, a veces necesitaba días enteros para sincronizar una peñícula, tenía que añadir centesimas de silencio o estirar un audio cada 3 o 4 segundos para sincronziarlo todo. ahora hace años que no hago esos montajes porque me pasé a mac y no he sido capaz de encontrar un software para hacer esas cosas. VIrtuadubmod, soundforge usaba principalmente

z

#5 ¿A que se debe la desincronización? ¿Diferencias entre los fps de vhs y el dvd?

iveldie

#7 si, exacto, y a veces que las ediciones son difernetes, escenas censuradas por ejemplo, en ese caso se deja el audio original en esa parte. A veces es muy sencillo, simplemente ajustas el primer dialogo y todo lo demás ya se sincroniza, peor en ocasiones es terriblemente complicado. Luego muchas editoras de dvd se aprovecharon de esos montajes que hicimos y usaron esos audios para ediciones de dvd que lanzaban al mercado. He visto muchos audios sincronizados mios en ediciones a la venta.

#5 lo he intentado todo y no he sido capaz, ni con el final cut ni con decenas de programas que he ido probando.

D

#11 No sería posible hacer una regla matemática basada en los diferentes fps de cada versión de la película?

iveldie

#19 no creo, hay veces que se podía adaptar, tu le dabas el inicio del audio y el final del audio y un programa lo resincronizaba automaticamente, peor rara vez funcionaba, yo siemrpe lo itnentaba antes de meterme con el rollo. Lo mismo pasa con los subtitulos, hay programas que te pueden sincronizar si le das el inico y el final pero mucahs veces no funciona. Es toda una odesa eso de sincronizar audio o subtitulos a distitnos fps

H

#20 Si el montaje es el mismo, y sólo cambia la tasa de frames, se puede sincronizar de forma muy sencilla cambiando o bien la tasa de frames (lo fácil) o el audio (requiere re-codificarlo y pierde calidad).

Si el montaje es diferente, y la tasa de frames igual, hay que cortar trozos de audio o de vídeo, para que encajen. También es sencillo, en general. No suele haber grandes diferencias, alguna escena más larga o alguna escena extra, cosas así. La más jodida que he hecho de esas es Around the World in 80 Days, la versión de David Niven y Cantinflas, que en inglés dura más de 2 horas y media y el doblaje castellano era de menos de 2 horas. Me llevó mis buenas semanas, pero tampoco es horrible.

Si tanto el montaje como la tasa de frames es distinta, haces primero una cosa y luego la otra. Suele ser preferible igualar primero las tasas de frames, porque si no tienes que hacer cálculos para saber cuánto cortar o meter a cada fuente.

Si dejas eso en manos de una IA, la va a liar. Si el montaje es distinto, y falta una escena, a partir de esa escena todo va a estar muy bien sincronizado con los labios, pero de forma completamente aleatoria.

l

#7 #11 Creo que las pelis en la tele duran menos porque las reproducen a 25fps cuando originalmente son 24fps en el cine. En una hora son 2 minutos menos.
Jcea, tuvo que pelear con estas cosas, tal vez encuentres algo interesante.
https://blog.jcea.es/posts/20170513-sincronizacion_audio.html
#21 Yo creo que una IA podria haber muy buen trabajo. Si no ahora, lo hará.

Ya hay IA que eliminan el sonido que no se quiere y pueden aislar la voz de una persona u otra de la misma imagen por los labios.



Para el que tenga curiosidad como se hace el doblaje.

https://www.rtve.es/alacarta/videos/los-oficios-de-la-cultura/oficios-cultura-director-doblaje-juan-luis-rovira/1451393/

Aokromes

#35 ostias, jcea hace años que no leia ese nick del irc hispano lol

Aokromes

#19 el problema es los posibles cortes publicitarios del audio por medio, la duracion de los creditos iniciales o finales, hay muchas variables.

obmultimedia

#11 se lo que es que usen tus montajes para ediciones piratas en DVD.

Z

#5 ¿En Mac no hay software para hacer esas cosas? Flipado me dejas pq siempre se ha dicho que Mac para la edición de audio y vídeo es lo mejor y blablabla...

Lekuar

#c-8" class="content-link" style="color: rgb(227, 86, 20)" data-toggle="popover" data-popover-type="comment" data-popover-url="/tooltip/comment/3385179/order/8">#8 Protools, FinalCut, Davinci Resolve (versión 15 gratuita y completa) y seguramente hay alguna más sencilla y barata.
CC #

Z

#16 Pues eso, que me extrañaba. Tan cutre no podía ser Apple.

briarreos

#38 hay tres capazos, y dos armarios llenos.

d

#5 Esto no sincroniza audio, modifica el movimiento de los labios para que parezca que dice lo que se oye. Le habría venido bien al de Valencia.

Tintxotintxo

#12 Tambien sincroniza, y lo hace muy bien...

Cougar_81

#5 mas bien para lo que servirá será para sincronizar los labios de los actores originales, con el sonido de su doblador en español y que no notemos tanto que está doblada.

no usa está tecnología pero es un paso previo

briarreos

#5 Plural Eyes, lo hace automágicamente y está para MacOS. Y como el, hay docenas de programas (partiendo del propio FCPX o el Premier, que llevan sus propias implementaciones.

iveldie

#25 con fcpx nunca he sido capaz de hacerlo, y mira que he estado horas intentandolo. PRobaré el PLural Eyes qu eno lo conocía. Hay un montón de pelis que me gustaría sincronizar, a ver si con esto soy capaz de hacerlo. Gracias por el aporte

briarreos

#26 de todos modos, la sincronización de audio a nivel de pelis, se hace con código de tiempo, no a mano. Pero bueno

iveldie

#27 HE sincronizado cientos de pelis a mano y mucha gente que conozco lo sigue haciendo, he hecho montajes para muchas páginas. Empezamos con esto en abandomoviez hace unos 20 años y mucha otras págians hacían esos montajes, nosolgore, deskastaos, terrorfantastico, angeles caidos. Ahora siguen algunos, como mataromorir y sobretodo exploradores p2p donde se recopilan muchos de estos montajes y hay un foro dedicado a sinceonizadores

briarreos

#28 ya, sí no digo que no. Solo digo que fuera de los circuitos amateur, no se hace así ni por asomo: Todo eso no permite ajustar la banda sonora, ni el foley, ni el sonido ambiente.
El audio de una peli no es algo que puedas cortar, adelantar, retrasar o pegar.
Es decir, que claro que puedes, y puede dar el pego en algo que bajas de un torrent, lo cual mola. Pero no es como hay que hacerlo.

Tintxotintxo

#32 El sincro de las voces y foley se hace en el estudio cuando se crea la película, se ajusta a mano y a ojo. Claro que hay plug-ins que te sincronizan la toma elegida con el sonido de referencia pero hay un lag distinto entre la referencia y el directo que hay que ajustar. Otra cosa es el fuera de sincro de las emisiones en vivo que es un simple desajuste que muchas veces nadie arregla.

r

#5 yo siempre usaba audacity (https://audacity.es/)
Cargaba el audio original y el del vhs a la vez y modificaba el de vhs para que coincidiese con el original. Hay que fijarse en los sonidos de fondo como golpes en la mesa o portazos, tienen que sonar a la vez en ambos. Me daba un resultado más preciso que viendo el vídeo.

Tintxotintxo

#5 Pro Tools, estiras todo el audio y lo sincronizas.

x

Meneo para compensar la chiquillada.

u

Se puede coordinar movimiento con el sonido del chancleteo?

Es para un amigo

JoeCricket

No funciona. Se queda en blanco, y han desaparecido los ejemplos.

JoeCricket

Definitivamente se ha caído.

La_patata_española

#31, con ffmpeg recorto los 20 segundos que quiero (que es lo máximo permitido por la demo) y los paso a contenedor ".mkv" con las opciones por defecto. Si no lo paso a .mkv parece que algunos nos los pilla.

editado:
Todo esto lo hago para ambos ficheros, tanto el de la imagen como el del audio.

#0, gracias. Ya he quedado de graciosete en algún grupo de Whatsapp enviando montajes.

Lastdance

#29 yo llevo una hora tratando de hacer uno pero sólo sale un vídeo vacío... qué formatos subes?

jmboris

impresionante