Hace 3 años | Por skaworld a youtube.com
Publicado hace 3 años por skaworld a youtube.com

Explicación del funcionamiento y características de la técnica NeRF de generación de renderizados tridimensionales fotorealistas

Comentarios

z

#1 nerf es el futuro, y a quien diga lo contrario le disparo.

xpectral

#2 Uy prehistórico dice jejeje 3D Studio salio en el 1996... ya por entonces había programas que llevaban casi una década haciendo lo mismo como Sculp 3D (1987) o Lightwave 3D (1990) y solo hablamos de software para ordenadores domésticos, para maquinas dedicada ya había software para esto casi desde finales de los 60's aunque el primer renderizdo 3D seria de mediados de los 70's, de hecho, la primera imagen 3D se atribuye a el año 1976

https://firstrender.net/

Así que no, yo no llamaría a 3D studio primitivo jejejej mas bien seria "de la época romana" ajajajaj

Sabaoth

#29 Es que coincide con mis comienzos (AutoCAD 12 para MS Dos, te puedes imaginar el suplicio de hacer detalles constructivos en 3D con eso)... Lo que había antes me es desconocido completamente. Así que muchas gracias por los datos!

xpectral

#33 De nada, te lo dice un viejuno que ya se peleaba con sculp 3d pare Amiga y se pasaba horaaaas y horaaaas para un render miserable jajajaja

D

Para videojuegos no creo que lleguemos a verle un uso práctico. Sin embargo para cosas como google maps e inmobiliarias es una tecnología de la ostia.

geletee

Que un algoritmo gráfico ocupe únicamente 5MB en los tiempos que corren me parece asombroso.

tdgwho

#3 Yo aún sigo flipando con que el Super Mario 64 ocupe lo que ocupa para lo grande que es el juego lol

S

#3 no has visto mucho scene, busca 96kb Game en Google... Todo está generado proceduralmente, los modelos las texturas, todo...

D

#8 Yo flipaba con la demo scene en MSDOS, con 96k hacían de todo, En el CD de portada de algunas revistas metían alguna y casi que me compraba la revista solo por eso.

EspañoI

#8 96kb dice... los abuelos aun nos acordamos de los 4kb de la demoscene, casi siempre puntuales en tu micromania.

Hoy en día siguen vivos y coleando. incluso hay congresos!



Supongo que #11 tambien es talludo en esto.

NapalMe
EspañoI

#15 Pouet es un mítico de la demoscene, y sigue dando guerra hoy día, busca su canal de youtube

NapalMe

#19 #16 #8 Si, si, shaders, todo por harware, fantástico... soy fan de flopine, pero ¿os habéis fijado bien en la intro que os he linkeado?

D

#15 #14 Chicos, hay que dejar paso al futuro. https://www.shadertoy.com/ lol

S

#14 A ver... a ver... que estoy entre los abuelos ... pero precisamente la gracia del 96kb es que es algo ""moderno"" es un juego de tiros en primera persona y gano varios premios.

Luego en cuanto a tamaño y resolucion en cada concurso hay unos limites o requerimientos, no hay mas, puedes buscar demoscene de 256bytes o de 1k o de 4k o puedes buscar que el render sea en vga de una amiga o en 4k en un pc, etc...

Efectivamente la demoscene sigue igual de viva hoy que hace 10 o 20 años

Dunnotheman

#14 La música entra en los 4 kB?

eltoloco

#8 96kb están bien, pero redoblo las apuestas y lo dejo en solo 1kb. Hay auténticas maravillas:

https://js1k.com/2019-x/demos

D

#3 El realmente impresionante si, sería interesante saber cuanto ocupan los haces de luz y cuantos almacenan por escena para obtener ese resultado.

Otro tema interesante sería ver como escala esto en tamaño para escenas grandes, generalmente los voxels aumentan el tamaño que ocupan brutalmente en función del tamaño de la escena, y habría que ver como escalan las luces. Le veo muchísimo potencial a esto.

meneandro

#20 ¿Cuánto ocupan los haces de luz? nada. Aquí lo que ocupa es la red neuronal (que consume una cantidad ingente de recursos en su fase de entrenamiento, pero que luego "ocupa lo que ocupa").

Se está cogiendo dos imágenes y se está generando un frame intermedio. Lo diferente es que se usan redes neuronales en lugar de un algoritmo de interpolación más o menos complejo. Cada cuál que le de el valor que quiera a eso.

La red neuronal debería adaptarse al cambio de tamaño de frame (estoy seguro de que se podría hacer una red neuronal "más o menos independiente" del tamaño, pero cambiando éste podría dar resultados indeseados. Mientras que a un algoritmo de interpolación normal si está bien programado le es independiente, una red neuronal depende muy mucho del conjunto de datos con el que se la ha entrenado.

meneandro

#3 Interpolar entre imágenes usando un algoritmo normal (nada de redes neuronales) ocupará menos casi seguro.

Por otro lado, no es una técnica novedosa (a la película matrix me remito, aunque tiene raíces mucho más atrás).

ElPerroDeLosCinco

Los resultados son impresionantes, pero tiene la limitación de que parte de la fotogrametría de un objeto real. No puedes inventarte cualquier escena y pretender que se vea hiperrealista. Como dice el propio vídeo, puede ser genial para escanear un museo o un monumento y que luego se pueda visitar de forma virtual. Y seguro que pronto se pueden captar escenas en movimiento, por ejemplo un gol en un partido de fútbol. Pero no puedes por ejemplo crear de cero el Millenium Falcon. Así que más una tecnología de generación de gráficos por ordenador (CGI), yo diría que es una tecnología de reproducción de gráficos excepcionalmente eficiente. Imaginemos que se estrena una película y después se publica un videojuego en el que te puedes mover libremente por sus escenarios. Sería maravilloso. Pero insisto: antes habría que rodar la película en espacios reales y con actores reales.

D

#26 otro tema que no tienen solucionado por ahora es el movimiento de los objetos dentro de la escena

meneandro

#26 Es una canal de youtube de un tipo que vende inteligencia artificial. Como buen vendedor, tiene que poner su tencología como lo más.

L

Me ha generado angustia vital tener la certeza de que moriré sin saber ni entender nada de lo que habla este chico. O me pongo a estudiar desde este momento como una loca sin hacer nada más en todo el día y así durante años. No sé, tengo que tomar decisiones.

EspañoI

#12 Estudiar es siempre una buena idea.

meneandro

#12 Imagínate una imagen que sea el número 1 y otra que sea el número 0. Esto lo que hace es generar imágenes intermedias (0.75, 0.5, 0.25) a partir de esas dos. Interpolar, básicamente. ¿Qué tiene de novedoso, especial, fantástico, etc? que en lugar de una fórmula matemática (como hallar la media entre la intensidad del pixel de la imagen 1 y la imagen 2) usa una red neuronal para calcular cada fotograma interpolado (que en el fondo es usar también funciones matemáticas, pero de una manera algo más sofisticada; quizá matando moscas a cañonazos).

Una red neuronal es un conjunto de "neuronas"* enlazadas unas con otras de manera que los cambios en una influyan en las demás. Se usan mucho en labores de reconocimiento y clasificación, así como para recrear patrones.

*Estas neuronas son en realidad una función matemática con variables dependientes de valores de entrada y retroalimentadas con valores de salida a lo largo del tiempo, de modo que su valor actual depende de con qué la alimentemos y su valor anterior (que representa la "memoria" de esa neurona). El truco está en que según le vayas pasando datos de entrada (entrenando), se irá quedando con un valor concreto (irá recordando, la función interna irá generando valores cada vez más cercanos a uno dado; básicamente irá promediando valores hasta que sea cada vez más parecida a los valores de entrada, por así decirlo). El resultado después del entrenamiento es que cuando le pasemos un valor cercano a aquellos que componían los datos de entrada tengamos un resultado positivo, mientras que si el valor de entrada no se parece, dará un resultado negativo, o sea, sería el equivalente a "esto lo recuerdo, esto no lo recuerdo").

L

#39 muchísimas gracias por tu amabilidad! Me parece todo esto un universo increíble y con muchísimas posibilidades. Debe ser muy reconfortante materializar las ideas, encontrar las fórmulas.

meneandro

#40 En realidad todo esto lleva décadas inventado. Sólo que ahora tenemos potencia de cómputo suficiente como para que valga la pena invertir tiempo y horas en probar y entrenar redes neuronales para cosas más o menos complejas. Igualmente, cada vez que alguien nombre lo impresionante que es una IA nueva de tal o cual, en general puedes pensar tranquilamente que es tecnología del siglo pasado con motores del siglo actual y que tiene más mercadotecnia que otra cosa (y que probablemente se podría realizar de otros modos de manera más eficiente, en este caso, basta una función de interpolación simple para conseguir resultados similares).

Para que te hagas una idea, creo recordar que había un porcentaje como de más del 60% de las startups españolas que gira en torno a la IA (o sea, es el nuevo vendehumos, la nueva tendencia y palabra de moda para conseguir arrancar financiación a gente con pasta y "engañable"). Recuerda la burbuja de la web 2.0...

malespuces

"gràficos nerfeados" qué mal suena eso

SalsaDeTomate

No estoy de acuerdo en que el resultado sea indistinguible de la realidad. Al menos en las muestras que pone, a mí me canta mucho que son imágenes generadas por ordenador.

Aimfain

Quién iba a pensar que una pistola de dardos llegaría tan lejos...

p

Entonces ya puedo dejar de hacer los tutoriales de NeHe cry

Or3

Van a tener que trabajar mucho para integrar un sistema esencialmente estático en un sistema dinámico como es un videojuego. Yo soy aficionado al diseño 3D y absolutamente todos los métodos de renderizado tienen como némesis existencial la interactuación entre elementos. Por ejemplo digamos que la escena de la moto la metes en un videojuego y paras con tu personaje a admirarla. El problema con este método es que tu personaje no se reflejaría en la moto ni le daría sombra. Algo parecido pasaba cuando se empezó a incluir fotogrametría en el Unreal Engine y a la peña se le hacía el chichi pepsicola. Llegábamos los cuatro aguafiestas de turno para indicar las limítaciones de esas demos y la turba furibunda se te echaba encima.

Nvidia usa algo parecido para su método de sobreescalado en el que compara imágenes reescaladas con las originales para poder jugar a una resolución inferior con calidad cercana a la nativa.

meneandro

#30 Eso es porque es imposible. Esto es una interpolación de imágenes, para poder interpolar esas imágenes tienen que existir. O sea, inaplicable en un sistema dinámico.

Podría servir para generar frames intermedios y hacer que algo gane fluidez (a costa de meter un retardo). No podría servir para hacer escalado (la red neuronal está entrenada para interpolar, no para escalar como la de nvidia, aunque se basen en los mismos principios para funcionar).

D

En el fondo esta tecnología viene a ser lo que hacían en Matrix en las famosas escenas.

NinjaBoig

#7 lol lol lol

meneandro

#6 Es una simple interpolación. Que usen una red neuronal en lugar de, por ejemplo, hacer una media de cada pixel simplemente es cambiar la función que se aplica al conjunto de imágenes para calcular los frames intermedios.

D

Ya lo creo, el futuro y el presente.