edición general
177 meneos
7156 clics
Las redes neuronales avanzan a un ritmo vertiginoso, y estos escenarios 3D creados a partir de fotografías son un ejemplo

Las redes neuronales avanzan a un ritmo vertiginoso, y estos escenarios 3D creados a partir de fotografías son un ejemplo  

Lo que puedes ver en este vídeo que se ha publicado recientemente en Twitter no es ninguna cámara rápida de alguien, ni tampoco un vuelo de dron grabando vídeo con agilidad. Es un escenario tridimensional, creado por una red neuronal de renderizado a partir de unas cuantas fotografías estáticas. A principios de 2020 veíamos algo similar, pero la mejora respecto a entonces es enorme.

| etiquetas: redes neuronales , adop , one-pixel point rendering , universidad de cornell
¿Esto no sale en blade runner?
#1 No es lo mismo
Aqui a partir de muchas fotos con todas las perspectivas la IA monta el escenario 3d
En Blade Runner se movían en 3d dentro de una foto. Era mas fumada
#2 #3 Sin quitarle nada de mérito al trabajo, hay algo que creo estáis interpretando mal: la entrada no son solo fotografías, es también un "point cloud" de la escena y la información de posición/orientación/propiedades de la cámara para cada foto.

En otras palabras: este software/método no crea un modelo 3d de la escena. Lo que hace es renderizar fotografías realistas a partir de un modelo 3d poco refinado (el point cloud) más una colección de fotos de ejemplo.

Para probarlo…   » ver todo el comentario
#14 ok esto sime encaja por que era una sobrada impresionante
#14 ¿La posición/orientación/propiedades podrían determinarse al realizarse las fotografías?
#18 Por poderse seguro que se puede (del gps + giroscopio + brújula como tienen todos los móviles debería poder sacarse) y la info de la lente/apertura/zoom/exposición/etc pues también debería saberla la cámara/móvil.

Aun con eso, te sigue faltando la nube de puntos, que es un problema muy complejo en si mismo. Hay métodos para calcular ese modelo 3d (nube de puntos) a partir de fotos estáticas, pero no conozco la literatura suficiente como para saber qué tal funcionan. Lo que sí se es que…   » ver todo el comentario
#20 por simplificar muchísimo funciona de puta madre y lleva aplicándose ya bastante tiempo. Hay varios softwares comerciales que lo hacen y tienes a una empresa top trabajando con esta tecnología para unreal. Es más unreal 5 utiliza este tipo de tecnología en su motor.
#14 El artículo no dice nada de nubes de puntos, además de que eso no supondría ningún avance. Hace tiempo que podemos generar 3D a partir de imágenes 2D.
#26 El artículo original está en arxiv.org/pdf/2110.06635.pdf y en el abstract mismo dice:

> The input are an initial estimate of the point cloud and the camera parameters. The output are synthesized images from arbitrary camera poses.

Yo no he dicho que no se pueda generar 3D a partir de imágenes 2D, he dicho que en este trabajo no lo hacen (el modelo 3d, que es la nube de puntos, es una de las entradas).
#27 Que yo sepa, la generación de la nube de puntos es el primer paso del proceso, y se hace a partir de las imágenes 2D, no es un input
#28 Te he enlazado el artículo, míratelo bien y verás que no es así. Los puntitos que hay en el recuadro de la izquierda de la Fig.1 son el "point cloud", y como dice la leyenda:

> Fig. 1: Given a set of RGB images and an initial 3D reconstruction (left), our inverse rendering approach is able to synthesize
novel frames and optimize the scene’s parameters (right). This includes structural parameters like point position and camera
pose as well as image settings such as exposure…   » ver todo el comentario
#26

El artículo habla de LIDAR, que es un acrónimo del inglés Light Detection and Ranging o Laser Imaging Detection and Ranging ... o, en palabras sencillas, "como un RADAR" pero con luz LÁSER. Cuando digo "luz" son ondas electromagnéticas de frecuencias cercanas a la luz visible, en el caso del LiDaR suelen ser infrarrojos, pero también hay algunos LiDaR ultravioletas, o incluso de luz visible, pero en este último caso verías los rayitos de luz LASER saliendo del…   » ver todo el comentario
#5 Hace falta ordenador para entrenar, no tanto para inferencia. El propio paper habla de tiempos de entrenamiento de 12 horas en una Titan V, así que en una RTX 3080 se debería obtener un tiempo de entreno similar, tal vez algo menos, en una RTX 3070 tal vez serían unas 15 horas así a ojo. Pero eso el entreno, la inferencia la han hecho en una RTX 2080 ti, que ya es obsoleta, así que una RTX 3070 te da de sobra.
#11
He estado mirando la Titan V y es la leche, tiene que ser un tiro. ¿Qué te parece la PNY Nvidia Tesla A40 48GB? ¿Qué tiempo la calculas de entreno? También tiene que ser la bomba la gráfica MSI GeForce RTX 3090 VENTUS 3X OC 24GB. un saludo.
#11 cuantos gigas de ram tienen esas tarjetas? Para hacerme una idea.
#19 La Titan V tiene 12GB. Yo tiro con una RTX 3070 que tiene 32GB.
#21 ah, pues entonces en un google collab en teoría se podría usar. Mi gráfica es de portátil...
#22 Y la mía, voy por el mundo con el portátil. Me iba a pillar uno con la RTX 3080 pero se me ponía 700€ más caro, así que al final pillé este.
#23 NVIDIA GK208M [GeForce GT 720M] , pero creo que no la tengo activa, creo que está con la intel. Para cosas de IA no vale para nada. Y creo que en general tampoco vale para nada, "afortunadamente" un programa que uso de renderizado de fractales va por CPU.
#11: ¿Con un riñón me bastará, o tendré que renunciar a los dos? :-P

Me imagino que esto se acabe usando "en la nube", porque aunque el funcionamiento tras el entrenamiento ocupe menos, no deja de ser mucho lo que se necesita.

Habláis de tarjetas de 12 gb... ¡Eso ya es más de todo lo que tiene mi ordenador! xD
Recuerdo una película en la que los investigadores de un crimen usaban las grabaciones y fotos de una fiesta para tratar de esclarecer los hechos, ahora me imagino lo que podría hacerse con algo así, desde reconstruir en 3D monumentos y lugares de los que sólo se conservan fotografías hasta renderizar toda Disneyland para dar un paseo virtual
Fotogrametría hasta las tetas de esteroides. Recuerdo digitalizar varios objetos hace unos años para probar y hacía falta que el PC se ganase el sueldo.
#6 y retoca la nube de puntos y muchas horas.
#6 años pensando en que llegamos a un cuello de botella y aparecieron las benditas RTX.
Estoy flipando. ¿Se puede descargar una demo del software en algún sitio?
#3: El problema es el ordenador que se necesitaría para procesar todo... :-/
Yo lo que veo es fotogrametría mejorada con IA. No es a partir de una foto.
Moooola...
Precisamente hace poco pensé que no sería descabellado grabar una escena con varias cámaras con distintos puntos de vista y recrearla en 3D. Lo veremos en unos años supongo.
www.technologyreview.com/2020/10/16/1010566/ai-machine-learning-with-t

Pues con esto... :-D :-D

Ademas me parece algo tan evidente, el 3 se parece al 8, pero no al 7, le metes K neighborhoods.... No me dedico a esto profesionalmente.
Como sabéis lo que me gusta. Cabrones :foreveralone:
comentarios cerrados

menéame