Hace tiempo que NVIDIA nos sorprende con diversas aplicaciones de sus procesadores gráficos en el ámbito de la inteligencia artificial, y una nueva red neuronal es ahora capaz de generar vídeos a cámara lenta de vídeos convencionales. Los responsables de NVIDIA han colaborado con científicos de la Universidad de Massachusetts y la Universidad de California para crear una red neuronal no supervisada capaz de crear un número arbitrario de fotogramas intermedios que permiten "crear la ilusión" de que las tomas se grabaron en cámara lenta.
Comentarios
Nada que no haga ya mismo el Premiere Pro utilizando el Flow Motion. De hecho se parece tanto que hasta comete los mismos errores de interpolación...
#4 El twixtor también hace lo mismo. El problema de estos plugins (y de la ia de nVidia) es que dependen mucho de la cinematografía del vídeo a trabajar. Con un vídeo grabado a 1/50 de velocidad de obturacion, con el desenfoque por movimiento que tiene ni con un milagro haces una cámara superlenta decente.
Otra cosa es grabar a 1/2000, aunque solo sea a 25fps, cada frame es tan nítido que el programa tiene buena base para interpolar y crear los fotogramas adicionales.
#5 por no hablar que funciona si el plano es plano es estático... si hay trepidación o movimiento la cosa se pone chunga
#9 Puedes estabilizar el plano y luego ralentizarlo.
Y si quieres darle movimiento de cámara otra vez, hay diferentes plugins que simulan la cámara en mano.
#9 Exacto, o si el objeto cruza el plano rápidamente, como una pelota que cruza de lado a lado, en cambio un plano fijo de una pelota que se aleja o se acerca a la cámara queda de lujo relentizada con estos plugins.
#5 En twixtor creo recordar que era muy recomendable ayudar al programa con formas alrededor de los objetos que se movían. Sin eso, el efecto era muy raro.
#36 Recomiendan hacer varias capas de máscaras para separar los objetos en movimiento del fondo, elimina muchos artefactos raros, pero es un currazo de escándalo.
Si lo vas ha hacer así ya es mejor hacerlo en AfterEffects que da más juego, y luego incrustar la secuencia en Premiere.
Y cuando llegue el momento de hacer el render te vas a dar un paseo largo, que le va a llevar un buen rato .
#4 Me apunto ese plugin, mil gracias
#4 No lo encuentro con ese nombre para Premiere.
#7 Realmente es una opción nativa dentro del propio premiere. A la hora de ralentizar un plano tienes tres opciones: Frame samplering, motion blur u optical flow. Esta última es la buena, la que te ralentiza el material de una forma parecida a estos vídeos de NIDINA
#14 En mi Premiere (CC, no se la versión), no viene.
#18 Creo que la primera versión que tenía Optical Flow era el CC 2016.
#14 Pues si te gusta como hace el slowmotion la gente de NIDINA, vas a flipar cuando pruebes sus biberones preparados...
#20
Hostia, que lapsus.
#4 Trabajo a diario con el Premiere y ya te digo que al 12% de velocidad original el optical flow te genera muchos más artefactos en la imagen que estos vídeos. El partido de Hockey por ejemplo, blanco sobre blanco y con muchos detalles pequeños, al 12% con el optical flow de premiere se vería como una cacofonía de píxeles arrastrados.
Si quieres hago la prueba con el propio material del vídeo y comparamos.
#11 mira en los vídeos de ejemplo. El partido de hockey, cuando el jugador salta contra la portería, mira su pie, ese fallo es idéntico a lo que le pasa al twixtor o al prefiere cuando la interpolación es rara.
Mi teoría es que esos vídeos los han hecho con premiere mientras pulen el engine de NVIDIA. Ya veremos...
#21 Que ambos programas hagan lo mismo, generar fotogramas nuevos interpretando el movimiento de los píxeles, no quiere decir que sean lo mismo.
Este software de NVIDIA es muchísimo más potente que lo que hay ahora mismo instalado en Premiere. Ese ralentazado al 12% es espectacular e imposible de replicar.
#11 prueeeeba, prueeeeeba, prueeeebaaa
Ya lo comenta Maik
#4
Esto no es nada que no se pueda hacer en pospo, incluso puedo decir que es un mal efecto, ya que no genera nitidez, aunque sea inventandoselos, somo si hacen algunos PlugIns.
Al final lo que genera un BLUR y malo, es como esas TV que te generan 100 Fps de una imagen de 30 o 60
#4 Esto recuerdo yo que se podía hacer a principio del 2000 con el programa de postproducción Combustion 3 ó 4 de Autodesk (Discreet por aquella época) y un plugin que ya ni me acuerdo del nombre. Lo tengo por ahí guardado.
Era un programa que por aquella época le daba mil vueltas al AfterEffects, los efectos, keys, entorno 3D y demás carga pesada los hacía utilizando la gráfica, no te valía cualquiera, de una matrox para arriba.
También podía procesar los efectos por software pero no quedaba igual el resultado, además de tardar más en renderizar todo, cromas nada suaves, no compensaba las diferencias de color que pudiera haber al hacer el croma por lo que una pequeña varianza del color del fondo, por ejemplo una sombra, adios croma en esa zona, era casi imposible de ajustarlo bien. Del plano 3D ya mejor ni hablamos...
En cambio ponías una gráfica adecuada y aquello cambiaba totalmente.
Esto no es lo mismo que hacen las TV para conseguir esos famosos 600hz? inventarse los frames que faltan para dar la sensación de un video ultra fluido...
Entonces con esta tecnología podré ver a cámara lenta el vídeo de la hostia a Rajoy.
pues que envidia...
Una red neuronal no supervisada...
#10 Es un tipo de aprendizaje automático. Se le llama red neuronal no supervisada, porque no tiene que tener datos precargados. Más o menos. Mi conocimiento de IA es muy elemental.
Es un modelo de desarrollo del "machine learning".
https://en.wikipedia.org/wiki/Artificial_neural_network
#25 Red neuronal es el método de aprendizaje. "No supervisada" significa "el conjunto de datos (dataset) de entrada no está etiquetado" (no trae la "solución" para cada ejemplo de aprendizaje).
Son conceptos relativamente ortogonales: puedes tener redes neuronales (método de aprendizaje) supervisadas (tipo de entrenamiento), bosques aleatorios (algoritmo) no supervisados (tipo entrenamiento), bosques aleatorios supervisados, etc..
En cuanto al tipo de entrenamiento, hay 4:
1. Supervisado: los ejemplos traen la solución.
2. No supervisado: los ejemplos no traen la solución.
3. Semi-supervisado: algunos ejemplos traen solución, otros no.
4. Auto-supervisado (self-supervised): los ejemplos no traen solución, pero sabemos cómo evaluar dicha solución de forma automática.
Este tipo 4 es el que usan en el artículo al que se refiere esta noticia [1]. En realidad el tipo 4 es un "sub-conjunto" del tipo 2, porque cuando se definió el tipo 2 pues... no pensaron en hacer esa distinción de "sabemos evaluar la solución dada por el sistema de forma automática" vs "no sabemos". Cuando se inventaron métodos de tipo 4 y la gente empezó a llamarlos "unsupervised" pues... se vió claro que había que distinguirlos de alguna forma de los "unsupervised puros" (porque la premisa es muy diferente) y se inventaron eso del "self-supervised".
[1] https://arxiv.org/pdf/1712.00080.pdf
Por favor, pero si esto lleva existiendo décadas. Para empezar, se utilizó en Matrix (1999) para crear fotogramas intermedios entre las distintas fotografías del rig para "bullet time". Otra cosa es que mejoren la herramienta.
Aquí se ve que lo rápido que se vería en realidad (2:58)
Es un algoritmo que soñé.
#1
¿Cuándo tendrás lista la máquina del tiempo? ¿ya te has hecho con el DeLorean? (técnicamente no fue un sueño sino una alucinación o algo así, pero igual vale).
#2 Después de golpearme la cabeza con la cisterna, así fué.
#3
A mí también se me ocurrió una idea así, la de interpolación "inteligente" de fotogramas, precisamente viendo la peli de Jason y los argonautas (que está en portada ahora, casualidades de la vida). Pero claro, es la típica ídea que tiene uno de "estaría bien que alguien lo hiciera".
Mi hermano también tuvo una idea de ese tipo hace muchos años, al principio de la era internet, sobre "una página donde la gente pudiera subir sus vídeos"...
#33 La estimación de movimiento es algo que existe de hace tiempo. Los codecs de video suelen hacer estas estimaciones por bloques.
#34 Me encantaría ver un vídeo de animación de Harryhausen con el filtro este a ver cómo queda
#33 De nada vale una idea si no tienes dinero para implementarla. A mí se me ha ocurrido un McDonalds en el campus universitario.
Eso lleva tiempo pudiéndose hacer mediante software. Yo me instalé un programa que interacalaba fotogramas para hacer parecer que los vídeos van a 60 fps.
Esto mismo hace años que lo hace Twixtor, yo lo he usado y va muy bien.
http://revisionfx.com/products/twixtor/
Nvidia mi nvidia
Nada que haya creado nvidia además que los frames se los inventa lo cual nunca da un resultado comparable a un vídeo realmente hecho a muchos frames por segundo.
#16 El mundo es analógico. Pero hacemos muestreos, los interpolamos y tenemos vídeos, canciones, naves espaciales que aterrizan en Marte... Esto no es más que una manera mucho más mejor de interpolar.
O sea que no, el resultado no es el mismo. Pero de ahí a que no sea comparable, pues bueno. Tampoco la realidad es comparable a una grabación digital de la realidad, pero con eso nos solemos conformar.
#16 Pero los vídeos con muchos frases por segundo tienen un problema, necesitan mucha mucha iluminación, una cámara de 1200fps tiene una obturación mínima de 1/1200 (obvio ), por lo que si tienes poca luz estas jodidisimo, pero grabando a 240fps y usando este tipo de software (Twixtor para Premiere por ejemplo) consigues jodidas maravillas.
#16 Y? Nos permite ralentizar los videos que no se hayan grabado así con un resultado espectacular.
#16 Estas cosas son mucho más útiles de lo que parecen. No todo el mundo puede permitirse una cámara que grabe a 4K y a 600 fps (por decir algo un poco bestia), y además hacerlo de día con buena iluminación, y cuando te enfrentas a un problema así sólo tienes dos opciones, o bajar la resolución o bajar los fps. Está claro que un estudio ultraprofesional podrá permitírselo, pero mi vecino el que graba al grupo de afrotrap de la esquina pues lo encontrará super útil.
#35 Pensaba que te habías inventado lo de afrotrap... ¡¡pero existe!!