Un equipo de investigadores de DeepMind (la división IA de Google) junto a expertos de las universidades de Washington, Cornell, Berkeley y la Politécnica de Zúrich han realizado un experimento de "hacking ético" para conocer los puntos débiles de ChatGPT. Y, según reveló dicho estudio, parece ser que la seguridad y la protección de los datos de los usuarios no es la principal virtud del popular bot conversacional. Según reconocen en el estudio publicado por los investigadores, consiguieron extraer "varios megabytes de datos de entrenamiento".
Comentarios
#6 sino fuera que pienso que el periodista no tenía ni idea.
Eso ni lo dudes! Para escribir un reportaje hoy en día casi que es imprescindible no tener ni idea sobre el tema.
De "extraer datos de entrenamiento" a " acceder a datos privados de otros usuarios" como dice la noticia hay un paso porque una cosa no implica la otra.
#2 Aunque tienes razón, se debe matizar.
Al ChatGTP lo puedes entrenar con un subconjunto de datos espcializados de tu empresa o servicio para que las respuestas que proporcione sean basadas en los datos de tu empresa, así si lo entrenas para decir que una hora de trabajo de un especialista son 100€ y más tarde le dices que tal tarea requiere ciertos componentes y 4 horas de trabajo, el ChatGPT puede contestar que esa operación va costar la suma del coste de los componentes y las 4 x 100 € horas de mano de obra.
Así que, extrayendo los datos de entrenamiento, puedes saber lo que cuesta realizar cada tarea que el cliente ofrece, que componentes utiliza y a que precios, cuales se requieren en cada operación, tiempos establecidos... etc, información que es "secreta" de la empresa cliente que ha pagado para el entrenamiento especifico de ese ChatGPT para atender a sus clientes.
#3 Entonces habría que matizar tu matiz: más del 90% de los casos de uso no necesitan "fine tuning" (entrenar el modelo con un subconjunto de datos especializado). Por lo que en el ChatGPT general que la gente usa no tiene datos privados (asumiendo no hay datos privados en los datos de entrenamiento "públicos"). Si una empresa hace fine tuning, su modelo es privado y entonces es un problema de seguridad de su empresa el conseguir acceder a él. Y además en OpenAI ahora mismo el fine tuning es aún un programa de acceso experimental.
#4 Bueno... yo lo decía porque en mi empresa se dedican a "customizar" ChatGPT para clientes y eso les ha parecido muy grave...
#5 no voy a debatir que el tema haga ruido, pero el prompt hacking existe siempre y va a seguir existiendo años, y con buenas soluciones tecnológicas el caso del artículo probablemente no ocurriría. Diría que el artículo es además sensacionalista, sino fuera que pienso que el periodista no tenía ni idea.
Y también te dice números de la lotería si se lo pides, pero esos datos hay que ver si son ciertos o meras alucinaciones de la IA.