Hace 2 años | Por systembd a youtube.com
Publicado hace 2 años por systembd a youtube.com

En este vídeo, se presenta un nuevo enfoque para aumentar el realismo de imágenes sintéticas (en este caso, generadas en Gran Theft Auto V). Las imágenes son mejoradas con una red neuronal convolucional que nivela las representaciones intermedias producidas por los procesos de renderizado convencionales. Una red entrenada mediante un nueva función adversaria que proporciona un robusto (aprendizaje por) supervisión en múltiples niveles de percepción.

Comentarios

Lekuar

#8 La resolución Pal en formato digital es 720x576, pero hablando de CTR no sería correcto hablar de píxeles, sino de lineas, en ese caso Pal eran 625 líneas de las cuales 576 eran las visibles.

D

#68 Tambien, porque muchas teles hacian overscan.

sonixx

#3 en el vídeo pega cada rascada buena

tamat

#10 si cada frame tardaba medio segundo eso significa que el video no habia sido capturado a tiempo real, asi que no influye

systembd

#3 Dales unos pocos años para incluir un subsistema hardware dedicado en las GPUs.

El_Cucaracho

#47 Espero que el motor de explosiones sea bueno.

rojo_separatista

#36, las GPU's ya son de por sí bastante buenas haciendo inferencia de modelos de machine learning, aunque sin duda hay margen de mejora, sobretodo en software y en los próximos años veremos resultados sorprendentes.

D

#2 Corre en tiempo real.

rojo_separatista

#19, no, en simulación que se ejecute en tiempo real significa que la velocidad de la simulación sea la misma velocidad que la vida real.

https://en.m.wikipedia.org/wiki/Real-time_computing

"The term "real-time" is also used in simulation to mean that the simulation's clock runs at the same speed as a real clock, and in process control and enterprise systems to mean "without significant delay".

g

#19, #110
[Sheldom_mode=on]
Creo que, sin darte cuenta, estás dando la razón a #5 y #92. En el propio artículo que enlazas:

"The goal of computer graphics is to generate computer-generated images, or frames, using certain desired metrics. One such metric is the number of frames generated in a given second."

Los FPS es el ancho de banda de salida, que es independiente de la latencia. Un FPS mínimo está garantizado si y sólo si el sistema es de tiempo real, sea cual sea la latencia. El ejemplo del artículo es claro: Las imágenes mejoradas son producidas por el sistema al mismo FPS que se reciben, aunque la latencia es muy alta (pero acotada). Supón que la latencia no tuviese garantizada una cota. En tal caso podría crecer de forma lineal para cada frame. Esto haría que el pipeline se llenase en algún momento y no pudiese aceptar más frames al ratio de entrada, por lo que el FPS bajaría de forma indefinida. Reciprocamente, si la latencia está acotada (aunque sea muy alta) sea cual sea el FPS de entrada siempre puede añadirse al pipeline un buffer de tamaño acotado para garantizar que no se desborde y las imágenes mejoradas sean emitidas al mismo FPS al que son recibidas.
[Sheldom_mode=off]

rojo_separatista

#5, si consideras 2fps tiempo real...

Del propio paper de los autores: "Inference with our approach in its current unoptimized implementation takes half a second on a Geforce RTX 3090 GPU."

apetor

#54 Tiempo real = tiempo determinista, calculable y garantizado. Otra cosa es que sea un tiempo real estilo multimedia, a 16, 33,... milisegundos por frame.

rojo_separatista

#92, no, en ciencias de la computación el término tiempo-real depende de la aplicación a la que se hace referencia. Si hablamos de un videojuego 2fps no es tiempo real.

https://en.m.wikipedia.org/wiki/Real-time_computing

apetor

#98 Ciencias de la computacion hice yo y lo que te digo era lo primero que se ensenyaba en sistemas en tiempo real. Y en el examen iban a pillar con ese concepto. Otra cosa era el hard realtime vs el soft realtime y demas. Pero vamos, ese concepto marcaba usar schedulers tipo round robin frente a otros, el planificador de IO tambien "fair play", etc., para hacerlo determinista y garantizable.

rojo_separatista

#100, y yo soy doctor en ciencias de la computación y te digo que el concepto en tiempo real en simulación se puede utilizar tal y como enlaza el artículo que te mandé y que lo deja bastante claro: "The term "real-time" is also used in simulation to mean that the simulation's clock runs at the same speed as a real clock, and in process control and enterprise systems to mean "without significant delay".

También puedes echar un ojo al paper y mirar en qué contexto utilizan el concepto real-time los autores de este trabajo:
"We expect our method to continue to benefit future graphics pipelines and to be compatible with real-time ray tracing".

http://vladlen.info/papers/EPE.pdf

D

#2 al precio que están las gráficas ese futuro del que hablas no será muy cercano.

rojo_separatista

#12, las mejoras más importantes serán en software.

M

#2 A otro nivel pero cosas como el DLSS de Nvidia o el FSR de AMD ya utilizan IA para mejora de imágenes (para sobremuestrear) utilizando HW dedicado. Si esta idea funciona bien supongo que podrán hacer hacer HW especifico y correr en tiempo real.

AubreyDG

#51 Cuando ver un vídeo de apenas unos segundos en el PC era la maldita rehostia

squanchy

#53 qué joven eres. Yo recuerdo cuando ver una foto en color en el ordenador era la rehostia

AubreyDG

#66 oiga, que he vivido ambas roll

Lekuar

#66 O escuchar un canción en MIDI.

musg0

#53 Mandy.exe era la rehostia

elLuissitzky

Se pone interesante la escena del videojuego actual.

Tres caminos:
- Seguimos renderizando cada vez cosas más hiperrealistas con nuestras propias gráficas.
- Renderizado de juegos via servicios de Streaming.
- Renderizado de escenas y efectos más simples que son procesados por algoritmos de este estilo que se encargan del realismo.

No sé qué pasará, supongo que habrá un hueco para todo.
- Los más hardcore y jugadores profesionales seguirán apostando por ser dueños de su hardware.
- El streaming para shooters y juegos competitivos siempre va a estar en desventaja, pero para juegos de modo historia estilo Witcher 3 creo que es donde brillará. No obstante, también es ahí donde más potencial le veo a los algoritmos del meneo, por lo que probablemente se acaben fusionando ambos.

¿Algún profesional de la industria en la sala que nos pueda chivar por dónde sopla el viento?

D

#23 Pues a mi cada vez me dan más pereza, se busca tocar el techo en gráficos y están descuidando otras cosas más importantes. Ejemplo, The Last of Us II, es muy bonico y está muy bien hecho pero me está aburriendo kilos. Sin embargo Mass Effect Legendary, un juego de hace más de una decada al que aunque le han dado un refresh no tiene tantos gráficos y literalmente me absorve.

elLuissitzky

#58 Razón no te falta. Con un poco de suerte, con estos avances se podrán buscar mejoras técnicas que tengan más que ver con la jugabilidad y no dedicar tanto recurso a la mejora de gráficos.

Y el primer Mass Effect es un juegazo, eso es así.

E

#23 el streaming en shooters no estás en desventaja si sólo puedes competir en streaming, ¿no?

Pero a ver quién patrocina eso si son menos ventas de hardware tocho.

elLuissitzky

#71 En principio, si se igualara esa condición, la diferencia no sería tan dramática. Lo que pasa es que aún te quedaría el tema de la latencia, y viendo como nos venden monitores de 300hz y demás historias que si no son efecto placebo lo rozan, no veo al público general abrazando ese input lag extra del streaming.

Desde luego, es el gran contra de jugar en streaming y seguro que tienen a las mejores cabecitas trabajando en ello. Veremos lo que pueden conseguir.

E

#74 qué va, le da más emoción, esos torneos de Counter con 200-300 de ping en el ADSL....

elLuissitzky

#76 jaja esperando el cartelito a ver si le has matado o no...

AubreyDG
Aokromes

#27 se trataba de demostrar la calidad, no de imprimir sellos. no recuerdo la de horas y horas que se tiraba mi 486dx50 en renderizar lol

DaniTC

#27 eso es lol para mí 800x600 era una resolución brutal. Yo siempre los vídeos los veía a 320x240 porque no daba a más el PC lol Qué recuerdos.

D

#31 Esto no es 4K y se mea gráficamente en la PS4:

https://hof.povray.org/images/kitchen.jpg

Lonnegan

#44 pero no se menea lol

carakola

#79 Un poco exagerado. Era un poco crítica general a la importancia de los gráficos de un juego. En realidad está muy chulo que consigan cosas así. Le podían haber `puesto más resolución al video, qué cabrones.

carakola

A mi dame el mariokart, el fotorealismo pati.

systembd

#60 Una opinión perfectamente respetable.

Z

#60 Sin problema, te daremos todas las mierdas, los demás queremos calidad.

pinzadelaropa

Pero quizás no queremos justo el fotorrealismo... que lo que mola precisamente es que tenga otra estética que te haga escapar de la realidad.

D

#24 lo importante es la tecnología que hay detrás. Aquí han buscado el fotorrealismo y por eso han alimentado la IA con fotos reales, pero la podrían alimentar con capturas del GTA san andreas y con eso tendrías un GTA5 que se ve como el GTA san andreas. Podrían alimentarla con capturas del Doom y tendríamos un GTA localizado en el infierno. Cuando la tecnología sea buena sus posibilidades serán infinitas.

D

#32 Pues no han logrado una mierda, me sigue pareciendo más realista el original.

montaycabe

#24 para eso ya teniamos el mario bross, cuando juego al GTA V quiero que me salpique la sangre de los policias en la cara y oir llorar a su familia.

pinzadelaropa

#34 Curioso, yo no soy jugón ni mucho menos pero una cosa que me mola de los videojuegos es precisamente que sean "comics", que no tengan la imagen de un telediario, de hecho me gusta tener que meterme en el mundo del videojuego con sus reglas especiales (claro que a lo mejor uno de F1 fotorrealista me molaría mucho), no se, tendría que probar si me molaría jugar un GTA ambientado en Madrid por ejemplo ...

montaycabe

#35
A mi me ayuda a "inmersionarme", de hecho a veces me quedo embobao con lo bonito de los paisajes en gtaV, atardeceres, lluvia y cosas asi.
"no se, tendría que probar si me molaría jugar un GTA ambientado en Madrid por ejemplo"
Yo lo estoy deseando, y creo que media españa tambien.

J

#41 No sé si lo permitirían. Además, ten en cuenta que todas las ciudades de juegos sandbox son imaginarias aunque estén basadas en estéticas urbanas reales. L.A. Noire aparte; que tampoco es un juego muy sandbox.

D

#41 No hacen falta gráficos para "inmersionarte". Recuerdo el Final Fantasy VII, cuando jugaba a ese juego me piraba del planeta Tierra durante horas.

M

#24 Comparto. Esto es fotorrealismo de una filmación de baja calidad (y no me refiero a la calidad final de la imagen, sino a la forma en que se ven las texturas, colores y demás).

Y en juego hay, además, premisas artísticas que buscan potenciar la "realidad". Es como que me digan que van a hacer el GTA con las imágenes de google street. Aburriría solemnemente.

El_Cucaracho

#72 Supongo que también será por las mecánicas del juego, un movimiento realista (con su inercia y su distancia de frenado) a lo mejor no tendría tanta gracia.

De todas formas siempre me ha estrañado el mimo que ponen en las texturas y como otras cosas no están tan pulidas.

J

Técnicamente es impresionante, la comparativa con otros métodos es muy bueno, el resultado práctico no me parece tanto y no noto demasiada diferencia al compararlo solo con el cambio de tonalidades. En algunos casos ayuda a hacer más realistas los árboles, o edificios, semáforos, parece que tiende a quitar detalles del asfalto.

D

He visto el vídeo y llego a dos conclusiones:

1. Para mi es más realista el GTAV que el OURS.
2. Se mueve a trompicones que da gusto.

No sé Rick...

Z

#52 Querido NO lector, lea la notica, la
3090 genera 2fps, evidentemente ha habido que montar el vídeo y como el montaje no ha sido perfecto ahí los trompicones. LEA más que es bueno!

D

#83 2fps es una puta mierda, y tampoco soluciona que el GTAV original se vea más realista. Saludos.

D

#83 Por cierto qué noticia? Yo solo he visto enlazado un vídeo.

D

#82 Bueno, en Sevilla y Algeciras tienen un GTA de rol en vivo.

apetor

#89 Te refieres a Ceuta, creo...

D

No se Rick, para ver algo realista ya salgo a la calle - preferiria que los videojuegos fuesen menos realistas, con mundos mas abstractos y coloridos

Z

#65 También te vas a poner a pegar tiros en la calle o a robar coches?

User93439

#65 ¡Call Morty no tienes ni idea -burp! a la gente le gusta atropellar putas reales, quemar mendigos reales y matar a golpes de bate a chusma real, algún día lo entenderás

m

Muy interesante, impresiona. Ahora bien, no me seáis huevones y escribid fotorrealismo, no fotorealismo. O poned foto-realismo, que ha puesto alguien ya. Que cuando queréis escribir perro no escribís pero.

Mursopolis

#15 Foto-Rrealismo

xyzzy

#18 Foro-Rracanismo

m

#18 Vale, has ganado lol

systembd

#15 Cierto. Creo que ha sido un tema de autocorrector del navegador, "perro" Adamo el error

Indepe

Como todo gran avance tecnologico , su salida principal sera el porno....

J

#30 Sí, convertir a las estrellas super retocadas en fotorealistas, añadirá granos, arrugas, pelos en el culo, etc.

Indepe

#40 Yo habia pensado en contratar viejas a una decima parte del precio y hacerlas pasar por puberes....

systembd

#30 Gafas de Realidad Aumentada y un sistema de Machine Learning para ver a tu pareja con "nuevos ojos".

Aunque creo que algo similar se ha conseguido con el alcohol.

Indepe

#48 Nada comparado con tomar viagra con 20 años....

D

Ya podrían haberlo puesto a 4K o al menos 1080p.

systembd

#64 Muchas veces el resultado depende de los datos de entrenamiento (la resolución de la cámara original) y del tiempo que han tenido para entrenar la red neuronal).

m

De USA a Rusia.

lilopiglet

Conoceis los mods de GTA V llamados NaturalVision Evolved y el Next-gen lightning reshade ? no son para lo del artículo que quiere simular la realidad filmada desdes una dashcam, como deepfake, son para convertir el GTA V en GTA 6

Lonnegan

Una demostración de fotorealismo en 720p? venga..

Lonnegan

#6 Si es lo que pueden obtener, solo 720p, no me interesa en absoluto

luckyz

#7 Con todo el respeto, no eres su público objetivo

D

#14 Que no soy tan bieho coño lol. Con 5 años me acuerdo de Cobi y ya.

pedrobz

#25 Ok boomer

D

#25 y yo del osito Misha 👴

Aokromes

#14 a mi aun no.

E

#14 podía haber usado povray con 14 o 15 años como yo ... Aún no le tocaria

D

#70 ya, era una forma de hablar

Aokromes

#6 800x600? yo mis primeros renders del povray los hacia en 640x480 para demostrar la calidad de las impresoras de la epoca

J

#9 Quizás eso le pierde un poco, pasas de un juego con detalles, a una grabación realista que parece tomada con una cámara de baja calidad. Al menos yo notaba mucho que tendía a desaparecer los detalles del asfalto. Supongo que eso se mejora, mejorando la calidad de las imágenes de entrenamiento.

El_Cucaracho

#43 Eso también pensé yo.

Dudo mucho que la textura "aguante" si te acercas un poco.

Pero el efecto general es muy bueno.

Jakeukalane

#9 lo siguiente debería ser el movimiento, que poco natural, no sólo de los coches, también de las personas.

M

#9 Tu lo has dicho: "me parecía un video real grabado por una cámara en coche". Y eso es porque esta "red neuronal" le mete un blureado a algunas texturas y, por sobretodo, le aplica filtros de color. Ambos cambios hacen remitir a videos de baja calidad filmados de manera amateur.

Y un juego está lejos de buscar ese tipo de realismo. En un juego, en todo caso, se busca un realismo "artístico". Exactamente como en el cine.

montaycabe

#4 ¿No te parece realista el telediario de la tele, por ejemplo, que no llega ni a 720p?

Lonnegan

#11 será en tu tele

Kleshk

#4 Debes de ser de los que creen que la luz en los videojuegos es en tiempo real desde hace años... y que por ejemplo el Quake II RTX que salió para enseñar la tecnología era una mierda porque las gráficas no podían ( hasta las 2080 les costaba )

parrita710

#4 Con DLSS se puede reescalar a 1080p o 2k si problemas y que tenga tanta calidad o mas como la nativa.
Vídeo del techyisus

Monsieur-J

#4 No has renderizado en tu vida, hulio.

Lonnegan

#20 no

1 2