SysDevs: comentarios [3421564]

#7 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

lectorcritico — Fri, 04 Dec 2020 16:58:41 +0000

#2 No sé como no está inventado antes. Por ejemplo, las imagenes de disco son bastante habituales.
Hay utilidades no para guardar, sino para descargar lo minimo necesario y no descargar lo que ya tienes. Por ejemplo, jigdo que me parece buen concepto, pero no ha triunfado.
Tambien hay el Zsinc, que es como un rsync sobre http:/
en.wikipedia.org/wiki/Jigdo
zsync.moria.org.uk/

Hace tiempo lei sobre archivadores especializados en bloques grandes. No recuerdo el o los nombres. Por ejemplo, reconocia un fichero entero y si encontraba otro igual no lo duplicaba. Los zip normales utilizan bloques mas pequeños.
No se hasta que punto hay similitudes y diferencias entre archivadores y sistemas de ficheros. Un archivador que necesita leer todo el fichero como el ARJ, no valdria como sistema de ficheros.

El problemas de los archivadores de bloque grandes es que necesita mucho proceso para encontrar lo fragmentos repetidos. Tal vez seria una ayuda separar la deteccion de firmas de la compresion. Si es una imagen de disco, sabria encontrar los inicios de archivo que son el punto de partida de datos posiblemente iguales.
Para generar los archivos jigdo que necesitaban mucho proceso, habia una alternativa que generaba la ISO de CD/DVD y los jigdo y templates, a la vez y es mucho mas rapido. Tal vez se podria apreder de esa tecnica.
www.einval.com/~steve/software/JTE/

» autor: lectorcritico

#6 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

--541279-- — Thu, 03 Dec 2020 22:02:25 +0000

[Usuario deshabilitado]

» autor: --541279--

#5 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

geburah — Thu, 03 Dec 2020 16:22:22 +0000

#3 Correcto: docs.netapp.com/ontap-9/index.jsp?topic=/com.netapp.doc.onc-sm-help-96

Esto es de hace mas de una década.

» autor: geburah

#4 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

mr_b — Thu, 03 Dec 2020 15:11:13 +0000

#3 Sin duda también se podría hacer con todo sistema archivos más o menos moderno.

» autor: mr_b

#3 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

analphabet — Thu, 03 Dec 2020 15:08:47 +0000

#2 También hay soluciones empresariales que hacen algo parecido pero en sistemas de archivos rw. Unos netapp que tengo por aquí cada cierto tiempo ejecutan un proceso que deduplica datos a nivel de bloque.

» autor: analphabet

#2 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

mr_b — Thu, 03 Dec 2020 14:55:30 +0000

No exactamente. Btrfs y ZFS tienen copy on write, que viene siendo no duplicar la información hasta que no se sobreescriba, todo ello dentro de un sistema de archivos de lectura/escritura. Pero tanto en squashfs como en este, DwarFS, la deduplicación es a posteriori, es decir, hay un proceso, el de creación del sistema de archivos de sólo lectura a partir de la información que suele estar en un sistema de archivos de lectura/escritura, que busca información duplicada y la deduplica. La diferencia es que en estos sistemas de archivos esa información para deduplicar se busca en todo el sistema de archivos (usando hashes de inodos), no sólo en archivos que se presuponen iguales.

» autor: mr_b

#1 DwarFS, un sistema de archivos diseñado para reducir los datos redundantes

--541279-- — Thu, 03 Dec 2020 12:43:23 +0000

[Usuario deshabilitado]

» autor: --541279--