Cloudfare detalla una investigación sobre como Perplexity está usando técnicas de scraping para ofuscar su identidad y evitar los bloqueos por parte de las webs, ignorando así el deseo de sus dueños como se define en el fichero robots.txt. Entre las tecnicas que usan: rotación de ips, usar browser fingerprint falsos, ignorar el robots.txt.
|
etiquetas: perplexity , ai , bots , amenaza , cloudfare 
www.perplexity.ai/hub/blog/agents-or-bots-making-sense-of-ai-on-the-op
La cosa no está tan clara, aunque ellos están usando el user agent de la persona qué hace la búsqueda están haciendo el scraping y almacenando el contenido con sus bots, como un proxy, incumpliendo el deseo que se especifica en el robots.txt de no ser indexados. Con esa información entrenan su LLM por lo que a fin de cuentas no hay diferencia sobre quien inicia la petición. El hecho de que roten IPs , usen IPS residenciales y modo… » ver todo el comentario
> On Perplexity and all other agentic AI platforms, this happens in real-time, in response to your request, and the information is used immediately to answer your question. It's not stored in massive databases for future use, and it's not used to train AI models.
Además dicen claramente "all other… » ver todo el comentario
Están confundiendo que el usuario haga una petición ayudándose de una herramienta de IA con las peticiones masivas que hace una empresa de IA para obtener datos para entrenarla. No tienen nada que ver.
Firefox no visita sitios web.
Es como si preguntas si LibreOffice escribe novelas.
Podría Menéame expresar su deseo de que nadie que use el Firefox entre a Menéame?
Si, podría.
Y tiene derecho a hacerlo.
Si Menéame decidiera bloquear al Firefox por user agent nos parecería razonable o pondríamos el grito en el cielo?
Tu y yo y cualquiera tenemos derecho a que nos parezca bien o mal cualquier decisión que tome un tercero. En este… » ver todo el comentario
> Perplexity NO es un usuario.
Estamos de acuerdo, el usuario está usando Perplexity igual que si usa Firefox o LibreOffice, y estas requests se realizan en respuesta a una petición del usuario, en el momento de la petición del usuario, y el resultado no se almacena posteriormente.
> Perplexity te da resultados de búsqueda porque visita sitios web para examinar si es lo que buscas, de modo muy… » ver todo el comentario
Hoy en día absolutamente son todo redes sociales, donde además te dirigen al contenido que les interesa que veas. Por no mencionar el scroll infinito que nos aboba haciendo que la gente simplemente pierda el tiempo con ello fin de que veas publicidad.
No se de que manera se podría hacer pero necesitamos un internet de solo humanos. Pero no se me ocurre ninguna forma ni realista ni "ciencia ficción" (pero teoricamente realizable) de hacerlo ni he visto ninguna propuesta viable. Y menos a esta altura donde un bot asistido por IA puede suplantar a un humano de una forma cada día mas creible.
En mi humilde opinión en la próxima década vamos a ver el regreso de los criticos especializados, humanos que seleccionen contenido de calidad en todos los ambitos
Tu predicción sobre el regreso de los críticos especializados tiene mucho sentido. En medio del ruido algorítmico, vamos a necesitar voces humanas que seleccionen, recomienden y den contexto. Plataformas como Substack o… » ver todo el comentario
La batalla por ahora está mas que perdida, la respuesta de #16 tiene casi el mismo karma que mi comentario original y está generada por IA, solo reordena las palabras de mi comentario original, no aporta nada y lo único que genera es ruido
#5
Que saltarse un txt no os ofusque.
Lo que sí debería servir es para demandas. "Yo no sabía que no estaba permitido leer el contenido" - "Lo pone en el robots.txt que es el estándar para estas cosas"
Con saber un mínimo de ciberseguridad sabes que así tiene que ser.
Pero vamos, yo estoy totalmente en contra de los robots.txt desde hace más de una década (soy archivista web) así que no nos vamos a poner de acuerdo.
Un saludo
Si todo el mundo respetara estas cosas Internet seria un sitio mejor
.htaccess es para otra cosa.
¿ Que es eso de "persona humana" ? ¿ Que otro tipo de personas hay ?
Y la licencia de uso la incumples si no cumples alguno de sus términos. Una IA es un robot. No se diferencia en nada de una araña de un indexador.
En esto estoy de acuerdo.
En lo que no estoy de acuerdo es en la premisa que perplexity y otras tecnologías hacen eso.
Tampoco estoy de acuerdo en que el acceso sea ilegal. No hay ninguna obligación legal de seguir el robots.txt.
En tu anterior comentario has dicho que si yo me hago un script que accede a un sitio y descarga su contenido sin mirar en el robots.txt antes si puedo o no hacerlo, o cambiando el user agent para similar que soy un navegador, estoy cometiendo un delito.
Lo cual es absurdo.
Edit: se ha dado cuenta que su argumento es una mierda y me ha ignorado
Yo entro a tu casa y veo varios cuadros tuyos pintados con tu propio estilo de diferentes objetos cotidiano.
Luego voy a mi casa y uso lo que he aprendido de tus cuadros para hacer uno con un estilo similar de un objeto cotidiano. Mi creación se parece a las tuyas, pero no es ninguna de las tuyas, es original inspirándome en tu estilo.
¿Te estoy robando o estoy vulnerando tus derechos de autor? (Teniendo en cuenta que no se pueden patentar estilos).
Y si cuando lo hago yo no te estoy robando, ¿Por qué que cuando lo hace un LLM o cualquier tecnología sí?
Porque sí que es verdad que "usas lo que has aprendido de mis cuadros para hacer uno con un estilo similar". Pero, en el caso de la IA, el esfuerzo no es parecido ni de lejos. Por eso en mi ejemplo ponía lo de hacer una foto vs el cuadro original: para dar a entender la diferencia de esfuerzo entre la obra de un humano y la de una IA.
Y bueno, no podrás negar que, si me encuentro con pinturas que tienen exactamente mi mismo… » ver todo el comentario
Ojalá les revienten los servidores
La idea que propones me hace gracia, pero para hacerlo bien hay que pensar y hacer cambios sutiles para que no los detecten y descarten directamente.
O no roba nada de la misma manera que si tú o yo entramos en un sitio de acceso público y aprendemos algo allí no estamos robando nada.
Referenciar material no va contra la propiedad intelectual del sitio si lo hace un humano, y por lo tanto debería serlo si lo hace un LLM.
Las webs están son libres de intentar bloquearles, pero eso es todo lo que pueden hacer.
¿En que legislación prohíben que si ves varios dibujos de un artista no puedas hacer dibujos con el mismo estilo? ¿O escribir algo diferente con el mismo estilo?
Si la respuesta es que yo puedo hacerlo, un LLM también.
Tú haces tu web pública y entra quien quiera. Si no quieres que alguien entre usas heurísticos para bloquearles y ya.
Anda, me ha bloqueado el tío este. Pues nada, a pastar.