Portada
mis comunidades
otras secciones
#22:
Me acuerdo cuando me puse a descargar una pagina web con cientos de subdirectorios. Era una web de rol. Partidas, mapas, imágenes fantásticas, galerías de arte de artistas que ya no estaban en ningún otro sitio de internet, D&D, generadores, algún vídeo calenturiento que no pintaba nada en medio de todo eso, fotos de coches, más fichas de rol, mas generadores de ciudades.... Unos 26 GiB sacó la bestia de wget. Lo que no sabia entonces es que ese tráfico lo pagaba la web. Al poco ya no existía. Supongo que se pensaría que era un ataque o algo, 2 días bajando cosas sin parar. Al menos tengo una copia de todo los 4 primeros niveles de toda la web.
Moraleja. La potencia sin control es destructiva.
Moraleja. La potencia sin control es destructiva.
#1:
Existe una GUI en Perl para facilitar un poco las cosas (en la misma página encontraréis GUIs para aria y curl también).
http://www.martin-achern.de/wgetgui/
http://www.martin-achern.de/wgetgui/
#4:
Este logo de wget me encanta: https://linux.pictures/projects/in-wget-we-trust-jpg
#2:
Depende de para qué, pero muchas veces es mejor curl.
Comentarios
Existe una GUI en Perl para facilitar un poco las cosas (en la misma página encontraréis GUIs para aria y curl también).
http://www.martin-achern.de/wgetgui/
#1 Gracias!!
#1 Joder, ponerle una gui a wget ya es pasarse...
Este logo de wget me encanta: https://linux.pictures/projects/in-wget-we-trust-jpg
Depende de para qué, pero muchas veces es mejor curl.
#2 para temas de descargas de malware por ejemplo, no?
#10 no, para tema de explotación de SQLi y esas cosas
#28 no seas malo:
#49 no soy malo. Es mi trabajo
#2 Venía a decir lo mismo, para probar URLs o accesos desde máquinas y evitar tener que descargarte el archivito y ver la salida por pantalla por ejemplo es mucho mejor curl
Además con curl puedes hacer POST contra una web para probarlo, cosa que con wget no puedes
#2 Son dos cosas diferentes, es como decir que un tren es mejor que un automobil. Pues oiga, es diferente y tienen diferentes usos.
Me acuerdo cuando me puse a descargar una pagina web con cientos de subdirectorios. Era una web de rol. Partidas, mapas, imágenes fantásticas, galerías de arte de artistas que ya no estaban en ningún otro sitio de internet, D&D, generadores, algún vídeo calenturiento que no pintaba nada en medio de todo eso, fotos de coches, más fichas de rol, mas generadores de ciudades.... Unos 26 GiB sacó la bestia de wget. Lo que no sabia entonces es que ese tráfico lo pagaba la web. Al poco ya no existía. Supongo que se pensaría que era un ataque o algo, 2 días bajando cosas sin parar. Al menos tengo una copia de todo los 4 primeros niveles de toda la web.
Moraleja. La potencia sin control es destructiva.
#22 Y seguro desactivaste el respeto a robots.txt, so villano.
#24 creo qyue no
#24 http://web.archive.org/web/20070209051259/http://crpp0001.uqtr.ca:80/
http://web.archive.org/web/20070209051259/http://crpp0001.uqtr.ca:80/robots.txt
#42 #24 Bueno, si no protegen sus recursos, si no eras tu, serian los mismos crawlers.
#48 era de una universidad así que ya entiendo porque pensé que no pasaría nada.
#22 Tal vez deberías colgarla en algún sitio en la red para que se la descargue quien quiera.
#59 como cuelgo 25 GiB y que sea visitable estilo htmlbin? No conozco ningún sitió así. Por otro lado parece que una gran parte ya esta en Archive.org
En dfive puedo subir una parte aunque no se cual es l tamaño máximo.
#61 No lo sé. Tal vez compartir por Emule o Bittorrent.
#63 sí, entiendo.
Yo leo meneame diariamente usando wget y vim.
#36 Funciona perfectamente.
vim + wetty
#51 Es verdad, me había confundido, era joe el que no funcionaba, porque wetty no usaba la tecla ctrl.
#54 Claro, un punto más a favor del vim y uno menos para joe, nano, etc. Emacs sería imposible siquiera pensarlo.
#55 Pues curiosamente el ejemplo en la página de wetty es con emacs.
#56 Supongo que estaría configurado para usar combinaciones de teclas distintas porque un Ctrl-W, Ctrl-P, Ctrl-S, etc el browser lo pillaría. O por el contrario alguna extensión del browser para que no capturara los inputs te teclado.
wget --mirror internet
wget http://sitioweb.com/*.pdf
Por un momento, iluso de mi, creí que esto era posible.
¿Para cuando un Xget para el porno?
#3 Obsexo
Por cierto, tengo una consulta. A mí me gusta usar wget para clasificar imágenes, es decir, cojo una url de una imagen (un spinosaurus p. ej.) pongo un alias (spino) que me lleva a $HOME/Imágenes/Dinosaurios/Spinosaurios y allí hago un wget de la url. Guay. Eso me sirve para tener esas imágenes organizadas sin que estén dando tumbos en descargas o en otro sitio. Sin embargo me gustaría alguna de estas dos cosas:
1) que un txt en el mismo directorio haga de log.
2) (mejor aún) embeber la url en un comentario de la imagen que se acaba de descargar.
[3) ambas.]
¿Alguna idea?
#23 "2) (mejor aún) embeber la url en un comentario de la imagen que se acaba de descargar."
De qué SO hablamos? Linux?
#33 sí
#23 Se me pasó el tiempo de edición.
Para eso se usan atributos extendidos en el archivo. En Linux creo que no está muy extendido pero tienes
https://www.reddit.com/r/linux/comments/6uotnq/extended_file_attributes_rock/
https://www.freedesktop.org/wiki/CommonExtendedAttributes/
puedes modificar wget para que cree el atributo en cada descarga o hacerlo tú a mano con `xattr`
En macOS se hace automaticamente por el navegador, pero curl y wget no lo hacen. El atributo es com.apple.metadata:kMDItemWhereFroms
mdls -name kMDItemWhereFroms ~/Downloads/OZA.zip
kMDItemWhereFroms = (
"http://liveries.flightgear.org/download/Douglas/DC-3/OZA.zip",
"http://liveries.flightgear.org/liveries.php?id=851"
)
#34 muchas gracias, lo miraré
#34 Yo tengo otra consulta . He probado a bajarme las páginas de un sitio, pero luego no se han descargado los dibujos.
https://www.vitutor.com/
#23 Puedes usar EXIF, que es un estándar para metadatos en imágenes (en los móviles por ejemplo se usa para guardar datos de geolocalización en las fotos si tienes activado que lo haga, que creo que viene activado por defecto).
En esta web puedes ver ejemplos similares (la primera que me ha salido haciendo una búsqueda sin concretar mucho):
https://stackoverflow.com/questions/46924712/bash-script-to-add-exif-metadata-date-only-not-time-to-photos-without-exif-met
#43 muchas gracias. Hay veces que las búsquedas parecen sencillas pero en realidad es porque se sabe lo que buscar.
Gestor de descargas? Lo uso para mandar informes a un php que lo escribe en un fichero jijijiji
Opciones para que no saque nada nunca si solo quereis subir
-O /dev/null -q "url" 2&>/dev/nulll
#19 Yo lo he visto como backend de un script para la automatización de tareas periódicas en robots usando long-request.
el poderoso gestor de descargas de archivos wget
pero en serio alguien considera el wget un poderoso gestor? eso me suena a quienes venden el vim como un gestor de textos de primera calidad
#6 si, lo es. puedes bajarte páginas enteras, seguir enlaces recursivos, invocarlo en scripts de forma automatizada, la flexibilidad que da es enorme y es software libre. conoces una alternativa mejor?
#6 Que problema tienes con vim? porque a mi me parece una herramienta excelente.
#8 Que es demasiado complicado. Con lo sencillito y cómodo que es joe.
#18 hombre, por algo se le conoce como el editor del anticristo...
Es cierto que la curva de aprendizaje es un poco bestia, pero te puedo asegurar por otra parte que es el único editor con el que nunca he tenido problemas.
Es una gran herramienta, vale la pena que aprendas a usarla.
#32 Pues pruébalo con wetty, y verás que no funciona. Para wetty tuve que usar jove. https://github.com/krishnasrinivas/wetty
#8 Que no es nano
#39 Ten cuidado con nano, la puedes liar con los espacios, tabuladores y saltos de línea. Hablo por experiencia también.
#6 Poderoso no se, pero flexible y útil si que es.
#6 y tu comentario me suena al típico comentario del típico meneante que no tiene ni puta idea, típico
#6 Eso es un troleo verdad?
#6 Hombre, para bajarte contenido de una web que estés navegando es un rollo. Para automatizar en un script, pues si.
#6 Haz tú uno mejor.
#6 Yo he migrado varios millones de archivos de un servidor a otro del tirón sin un solo problema, cuando otros lo habían intentado con otras herramientas.
Ahí, sin despeinarse.
#6 yo lo uso para hacer backups de servidores web. Como la seda.
#6 En tu vida has administrado un servidor y has tenido que bajarte las archivos a través de la consola ssh.
Cuanto bocaza suelto, si no sabes de algo, te callas.
Yo no me metería nunca a opinar en un debate de literatura porque no tengo ni puta idea, pero se ve que aquí cualquiera que tiene bocas habla de lo que sea.
#20 Bueno, yo para eso prefiero un simple scp...
#6 vim no sólo sirve para editar ficheros de configuración. Se puede hacer cada virguería...
#27 Comenta alguna de ellas, no nos dejes así.
#6 El Vi es un gran editor. Otro tema es que sepas usarlo bien.
#6 vuelve a forocoches, gilipollas
#6 el vim es discutible, pero wget?
#6 Poderosa es la ignorancia....