Hace 1 año | Por Jakeukalane a youtube.com
Publicado hace 1 año por Jakeukalane a youtube.com

16:49. Esto no es un metraje de video, es una renderización, pero se ve bastante fotorrealista, ¿verdad? Lograr este nivel de calidad en CGI normalmente requeriría una gran cantidad de tiempo y esfuerzo. Pero, ¿y si te dijera que hice esto fácilmente en cuestión de minutos gracias a una nueva tecnología llamada NeRF? Estoy hablando de Neural Radiance Fields y en este vídeo te voy a contar cómo va a cambiar la manera de hacer películas para siempre. Rel: http://menea.me/1y78g

Comentarios

Jakeukalane

#8 en realidad no es microblogging, pero me alegro de que se tolere el cambio.

Jakeukalane

#32 yo creo que sí sé lo que es el microblogging pero he puesto el comentario en 1 en caso de que alguien tuviera la tentación de votarlo así. En vez de decir "no es microblogging" me he ido al meollo del asunto.
cc #27

woody_alien

#1 #8 No habéis entendido el concepto de microblogging creo. Microblogging es cambiar o retorcer la noticia o el sentido de la misma añadiendo opiniones personales. Si en la noticia el título original pone "Terremoto en Chile" y tu la envías como "Sismo en Antofagasta" NO es microblogging, obviamente, pues no cambias el sentido de la noticia, solo usas expresiones diferentes y resumes en el titular para mas claridad. Sobre todo cuando envías noticias en otros idiomas que estás obligado a leer, entender, resumir y traducir. Después hay casos en los que podría haber debate, por poner un ejemplo extremo:

La notica original es "Muere una mujer y una niña en lo que parece un suicidio ampliado" y se envía como "Una mujer mata a su hija y se suicida". ¿Sería microblogging?.

S

#1 gracias

D

#3 no estoy de acuerdo. Es cuestión de tiempo, no mucho, que genere escenas y videos que no podrás diferenciar a las 3d actuales. Necesita potencia en gpu para generación del modelo neuronal. Luego no tanto. A mi me parece una pasada. Y sobre todo el avance. Desde que oí hablar de nerf y vi alguna demo apenas ha pasado un año, y la capacidad es expectacular. Y ya hay herramientas que ayudan a modelar el render final (se menciona al final del vídeo).

meneandro

#5 Son tecnologías distintas y se usan para cosas distintas.

UE es un motor muy modular que funciona con una serie de assets definidos de una serie de formas estándar y que usa una serie de técnicas para generar unos resultados. Aunque tiene un motor de render diferente y curioso a otras aproximaciones que hay en el mercado, básicamente trabaja con polígonos sombreados; incluso el raytracing funciona sobre polígonos. Tú le das un entorno polígonal y una serie de luces y efectos y él recrea el entorno 3D tratando que la iluminación sea lo más realista posible.

Esto es más parecido a lo que lograrías usando una kinect, no sería tanto una tecnología de renderizado poligonal sino que funcionaría sobre voxels (pixels sombreados en el espacio) captando los reflejos directos e indirectos de las luces sobre el entorno y recreando con ellos una escena 3D. Le estarías dando directamente una escena tridimensional iluminada y simplemente estaría integrando cosas en esa escena tridimensional, de manera muy realista porque imitaría cómo afectan los reflejos de los rayos de luz sobre esas cosas que no son parte original de la escena.

#4 ¿Qué limitaciones le veo? así a bote pronto, que probablemente no puedas cambiar dinámicamente la iluminación de algo de manera sencilla, por ejemplo, para hacer de noche o para imitar el encender o apagar una nueva luz (la escena es la que es, las luces son las que son) y que la escena no sería interactiva (partes de una escena fija, meter cosas en movimiento como parte de la escena -ojo, no como parte de los objetos que luego integres en la escena, tal y como se puede ver en el vídeo- no parece factible o fácilmente realizable ahora mismo), lo cual está muy bien para ciertas cosas, pero no tanto para videojuegos (donde la iluminación es la que se genera, independientemente de la escena, que es todo lo cambiante y dinámica que quieras). Otro fallo parece ser a la hora de reconstruír o integrar cosas dentro de la escena, en el video se ve que a veces lo integrado no está del todo definido o tiene fallos, alguna iluminación no es del todo consistente, etc.

D

#7 creo que tienes que verlo de una forma diferente. Rompe completamente la forma de trabajar y lo que hay debajo no tiene nada que ver. Aquí no hay polígonos o rayos. Es un modelo neuronal. Es imperfecto por definición. Como tantos otros, pero el avance es tan rápido, que vas a verlo en un montón de nuevas aplicaciones en muy poco tiempo. Y es solo una propuesta, imaginala integrada con un editor que permita combinarla o extraer de ella un modelo 3d convencional. O interactuar para renderizar escenas con fusiones mucho más complejas, atmósferas y luces diferentes..

Creo que nos vamos a sorprender mucho. Estas propuestas rompen por completo con las formas de trabajar actual. Creo que las complementan y hacen fáciles cosas que eran complicadas.

meneandro

#13 El modelo neural es para "juntar las cosas". ¿Dónde dejas la parte de "radiance fields"?

D

#14 no sé a qué te refieres. Es un modelo completamente neural. "radiance fields" se refiere a la forma de representación del modelo, que une información geométrica implícita con "cómo se ve".

meneandro

#15 Pues que todos los datos son un gran campo de radiancia (rebotes de luces), la parte neural sólo se encarga de rellenar huecos e integrar los objetos en el entorno de manera que las luces se reflejen de manera realista en ellos. Todas las ventajas e inconvenientes (el ser fotorealista, el ser algo estático como una foto) vienen por la parte del campo de radiancia. La parte neural sólo es una forma de procesar esos datos (del mismo modo que puedes hacer un escalado con un algoritmo o con una IA, ambas son formas de procesar los mismos datos).

D

#16 sigo sin entender eso de "solo se encarga de rellenar huecos". La parte neural es todo en este caso. No hay más. Y sí, se aplica sobre algo estático. No tiene la profundidad de información de un modelo 3d. Pero para muchas aplicaciones no hace falta un modelo 3d. Y probablemente las relaciones internas del modelo tienen en cierta forma información 3d.

Sería el equivalente a la fotogrametría de una forma fluida.

meneandro

#19 La parte neural es el pegamento que une los pegotones. Tienes un montón de pegotones de imágenes 2D relacionadas unas con otras y te monta una escena prefabricada. Es como un escáner 3D de estos de móvil, tomas fotos o video y te genera una figura 3D. Pero una vez construída la escena/figura en 3D, usas un render normal y corriente. En ambos casos, la calidad depende de lo bien que se genere la figura/escena.

La diferencia en este caso es que al usar datos de radiosidad, la escena que genera es muchísimo más real y puedes integrar objetos de manera coherente con la radiosidad de la escena, es el uso de un campo de radiosidad lo que otorga a esta técnica su realismo visual. Ya no es un objeto 3D texturizado, es una escena completa fotorealista. ¿Es mejor la ia que te genera un objeto 3d mediante fotos/videos o la que genera un escenario con fotos/videos y datos de radiosidad? en esencia son la misma IA, hace lo mismo... lo que cambia son los datos de los que parte.

Unir pegotones no es algo que se haga ahora y sea posible sólo gracias a la IA... esto se hacía hace 10 años con un kinect y un algoritmo de integración tradicional (con las limitaciones de resolución y problemas de luz que tenía y aún así podían conseguirse resultados resultones):


La diferencia es que hoy en día puedes hacerlo con una cámara cualquiera porque la IA es un algoritmo más adaptable al "ruído" insertado al tratar con múltiples imágenes y da mejores resultados al interpretar los datos más correctamente y ser capaz de generar un entorno más coherente con esos datos.

D

#30 un comentario interesante. Se ve que sabes de lo que hablas. Muchas gracias.

alexwing

#4 A ver, yo he realizado varias pruebas con Nerf si bien en generar el modelo con la red neuronal es bastante rápido (para la burrada que esta haciendo) una vez procesado, esa nube de pixeles volumétricos con mi 3060 a poco que sea algo grande la escena se mueve a pedales, ademas es exponencial contra más amplia sea la escena más carga de GPU requiere.

D

#20 pero es que lo que estás haciendo es realmente una burrada de trabajo. Que en técnicas convencionales precisa mucha más capacidad de procesamiento, y humana, claro. A mi me sorprende mucho para bien. Y es una herramienta más, lo más interesante es la cantidad de propuestas diferentes que van saliendo que se apoyan en diferentes usos de redes neuronales. Creo que va todo muy muy rápido, se está acelerando mucho la innovación.

ElPerroDeLosCinco

#3 Solo le veo la limitación de los requerimientos técnicos. Y al paso que avanzan las capacidades de los ordenadores, y todo lo que queda de mejorar en la eficiencia de cálculo de NERF, creo que no queda mucho sino muy poco para que esta técnica sustituya a la modelización 3D actual en muchos ámbitos, aunque probablemente no en todos, o acaben siendo técnicas complementarias.

Florida_man

#3 mira el video

F

#3 Sí, pero recuerda que la red neuronal identifica los volúmenes que no son visibles y los ignora.

Por esto mola meneame. Se pone una noticia o lo que sea de un tema no político. Y empieza a llegar gente que sabe del tema  comentan entre ellos y tú aprendes

t

#10 Reminiscencias del meneame original, dónde había una mayoría de técnicos como audiencia.
Después llegaron gente de humanidades y coparon el diálogo (que es su tendencia natural, todo sea dicho, y para lo que están preparados)
Todavía dudo que sean mayoría, pero desde luego son los que llevan la voz cantante (cáptese la ironía)

Jakeukalane

#18 hola, aquí #0. Soy de Humanidades en primera instancia

t

#34 ¿Lo dices por que enviastes la noticia?
Quiero decir que si lo pones como ejemplo, en contra de mi argumento, de que la gente de humanidades también envia noticias de este tipo.

Jakeukalane

#35 lo digo porque se asume que los de Humanidades son incapaces de fomentar un buen debate, que es algo que deduzco de tu comentario. Curiosamente en muchos de mis envíos se suele repetir la frase de "para esto sirve menéame", etc.

Generalizar no sirve de mucho.

t

#36 Pues, si relees mi comentario original en el que hablo de copar el dialogo, no es que diga que seais incapaces de fomentar un buen debate.
Precisamente lo que digo es que llevais la voz cantante.
Creo que has hecho una lectura victimista y has llegado a esas conclusiones, sinceramente.
Lo que quería decir es que las noticias que llegan a portada son de ese tipo, como hecho que es demostrable, frente a hace una década, que había una situación diferente.
Y, cosa por otra parte normal, que estais más preparados para manejar los discursos. Cosa creo también objetiva.

vvjacobo

Impresionante y muy didáctico. viva meneame!

Ehorus

Entonces, no más motor U5??

AubreyDG

Esta tecnología, cuando madure, puede ser muy útil en VR. En cuanto a integrarla en el proceso de VFX no lo acabo de ver tanto en cuanto depende de escaneo de entornos y objetos reales y no permite elementos dinámicos. Pero vamos, es alucinante.

Aergon

#11 Añadir los objetos animados posteriormente no parece imposible, aislarlos en tiempo real y obtener un modelo independiente para objeto animado que haya en escena es lo que supone mayor reto y apuesto a que acabarán consiguiendolo. Optimizar la geometría 3d a modelos poligonales también ayudaría mucho en el campo de las aplicaciones interactivas.

D

Editado por spam

sonix

#21 si no estoy yo, el nivel no es lo suficientemente bajo

e

#21 Para ver noticias de negacionistas y videos de fabricantes de motores de energía infinita no, gracias.

D

Editado por spam

e

#25 Vaya, qué novedoso. Pero como te iba diciendo no me veo integrado entre esa peculiar audiencia. Que lo disfrutéis rodeados de energía infinita y libres de plandemias y conspiraciones.