Moderación de contenidos por LLM: de la precisión a la legitimidad [paper ENG/ESP]

El verdadero potencial de los LLM en la moderación no es la mejora de la precisión. Más bien, pueden contribuir mejor en cuatro aspectos adicionales: realizar la selección de casos difíciles de los fáciles, proporcionar explicaciones de calidad para las decisiones de moderación, ayudar a los revisores humanos a obtener más información contextual y facilitar la participación del usuario. | _{Incluye encuesta para meneantes: «¿Crees que la moderación en menéame mejoraría con la implementación de LLMs?» entrar a comentarios para votar.}

[#11 imparsifal]

#9 Interesar sí que interesa. Quita muchísimo trabajo.

[#2 --165067--]

Si me permiten, me gustaría lanzar una pregunta a los moderadores profesionales de menéame:
@Eirene @Eunomia @admin @horas
¿Os ayudaría la implementación de LLM con la perspectiva de legitimidad que propone este paper del meneo?
Os invito a participar en la encuesta

[#3 --165067--]

También lanzo la misma pregunta de #2 a los antiguos moderadores voluntarios de menéame, si me leen (no quiero mencionar para evitar listas malévolas )

[#10 alcama]

#2 En mi caso, @Eirene ya me ha puesto una cruz y todos mis reportes caen en saco roto. Por un tema de afinidad ( le caigo mal, no le gusta como opino, hice un comentario que no le gustó hace 1 mes , etc... lo que sea) , ignora aplicar las normas de Meneame cuando se trata de mi caso
Con una IA habría imparcialidad

[#12 Eirene]

#10 Esto es: falso. La mayoría de los reportes se dejan pasar en pro de vuestra libertad de expresión. Y porque la mayoría, también, son denuncias de nada (os cae mal el otro, dice algo que no os gusta pero no es punible, etcétera muy largo).

[#14 alcama]

#12 ¿Entonces cuando se aplican las normas de Meneame? Porque aquí hay usuarios que me han llamado"gilipollas" , lo he reportado y no han sido sancionados ¿era en pro de la libertad de expresión o depende del usuario afectado?

[#15 Eirene]

#14 No creo que no haya habido strike a un insulto directo. Como mucho, puede que fuera el primer strike, y por lo tanto el resultado antes de coger fuerza es el equivalente a un pequeño tirón de orejas de karma.

[#13 Eirene]

#2 En el sentido de quitar las hojas muertas antes de empezar a moderar, seguro. En lo de responder a los emisores de las hojas muertas ante la injusticia ejercida, no creo. Y se lleva más tiempo.
Me reservo el derecho a no entrar en los debates sobre si el algoritmo está controlado en mi contra (sirve para todo el mundo y demás).
En definitiva: la gestión de la moderación es un tema muy humano. Que quitaría "burocracia" colateral, puede ser. Pero la victoria total sería que interviniese en el momento en que enviáis los mensajes y acabara con los insultos, por ejemplo, antes de llegar al destinatario.

[#1 --165067--]

Relacionada: medium.com/jigsaw/using-llms-to-support-online-communities-03e2dcc7b45 nueva API beta LLMs
_______________
_{cc @imparsifal}

[#4 --165067--]

#1 @imparsifal ¿Crees que resultaría útil estudiar esta utilidad para menéame?

[#5 imparsifal]

#4 Útil seguro. Otra cosa es que queramos que nos modere una IA

[#6 --165067--]

#5 Según he podido leer defienden, los de la API que enlacé en #1, que «no queremos algoritmos que ejecuten el programa».
Por lo visto es una herramienta más bien enfocada a mejorar y apoyar el trabajo del moderador y no solo del actual sistema automático que posea menéame (que lo desconozco si hay o no).

[#7 --165067--]

^{#1 #5 #6}
@imparsifal Y creo que buscan plataformas para probar y recibir feedback

[#8 imparsifal]

#6 Sí, lo he entendido,

[#9 alcama]

#5 El sentido de "si queremos que nos modere una IA" suena a "una IA hará una moderación imparcial y no siempre interesa"

[#16 sorrillo]

#9 Las IA no son imparciales.

A las IA se las entrena con el conocimiento humano, lo que incluye sus sesgos.

[#17 alcama]

#16 Ya. Esa iba a ser mi segundo tema ¿ con qué sesgo pretenden entrenar a la IA?

[#18 sorrillo]

#17 La IA tendrá sesgo la entrenen como la entrenen, por muy buena voluntad que se le ponga.

Y luego está el acto deliberado de intentar forzar un sesgo específico, que eso ya sería otro nivel.

[#19 alcama]

#18 No es otro nivel. Sería lo normal. La IA tiene que saber que insultar a los madrileños es bueno pero malo si es a vascos.

[#20 BoosterFelix]

Al tema de la moderación por IA yo le veo un defectillo: la totalidad del entrenamiento de la IA que no es estrictamente técnico (es decir, del orden del 85% del entrenamiento de la IA) está basado en estereotipos y prejuicios.

Esto significa que, por ejemplo, una IA, como moderadora, también hubiera enviado a Giordano Bruno a la hoguera, y también hubiera obligado a Galileo Galilei a abjurar de sus teorías.

La IA se puede utilizar como un instrumento complementario: el moderador humano puede…   

[#21 BoosterFelix]

#20 A la pregunta de este envío ( " ¿Crees que la moderación en menéame mejoraría con la implementación de LLMs? " ) no puedo responder porque le falta la única opción que, en realidad, debiera tener, y que sería la única respuesta correcta posible: dependerá de cómo se realice la implementación.

[#23 yonseca]

¿Qué se pretende con el uso de un LLM? ¿Qué finalidad se le quiere dar? ¿Quién tomará finalmente las decisiones de moderación? ¿Se automatizará la moderación de alguna forma, relegada totalmente a una IA? ¿Qué criterios se van a usar? ¿Quién pone esos criterios? ¿Los criterios serán en base a las normas? ¿Será un proceso transparente o quedará a discreción de quienes tienen ahora mismo Menéame? ¿Por qué tenemos que confiar en un LLM y en su implementación cuando la administración de la web, ya de antes, está muy cuestionada?