EDICIóN GENERAL
497 meneos
2758 clics
La corriente que pide el código fuente de los programas que deciden las ayudas al ciudadano: que el algoritmo no discrim

La corriente que pide el código fuente de los programas que deciden las ayudas al ciudadano: que el algoritmo no discrim

En mayo, la Fundación Civio solicitó al Gobierno información completa sobre el software que decide quién tiene derecho a beneficiarse del bono social de electricidad (un descuento en la factura eléctrica dirigido a hogares vulnerables). La petición estaba motivada porque en la Fundación recibieron denuncias de personas que tenían derecho a las ayudas pero tal software se lo negaba. Como respuesta a la petición de información, el Gobierno mandó sólo parte de lo pedido, guardándose el código del software, pero fue suficiente para que desde la Fun

| etiquetas: código fuente , libertad , vigilar , controlar , verificar , elegir
181 316 1 K 288 mnm
181 316 1 K 288 mnm
Comentarios destacados:                
#21 #1 Esa gente, y en realidad todo ciudadano, tiene derecho a conocer bajo qué parámetros se decide quién recibe ayudas y quién no las recibe. Si luego el Gobierno quiere contratar a cien funcionatas para hacer los cálculos a mano o llamar a Oracle a que les vendan 2 superconfrutadores corriendo una app Java que lo calcule más rápido, ya es otro tema aparte.

El excusarse en "es el software quien lo decide" y no querer mostrar cómo funciona el software es exactamente igual que decir "es el Soviet Supremo quien lo decide y no podemos divulgar esa información al siudadano". Exactamente igual, palabra por palabra, una cosa y la otra. Pero hay hoy en día mucho imbécil que no sólo aboga porque sean las máquinas quienes decidan estas cosas, sino que además aboga porque la población no tenga la más remota idea de cómo funcionan los algoritmos de dichas máquinas ni bajo qué parámetros trabajan. Con que sea "una eficiente máquina" la que resuelva que esta familia no recibe ayudas y esta otra sí, ya tienen bastante porque "la máquina no se equivoca".
Este es un asunto (la ética subyacente a la implementación de algoritmos en asuntos socioeconómicos) que debería preocuparnos cada vez más.
#2 Ya es un área completa de investigación en el ámbito de la Inteligencia Artificial, y cada vez se invierte más en ello www.silicon.co.uk/e-innovation/artificial-intelligence/oxford-universi
if (candidato.isAmiguete()) { return true; }
el Consejo de Transparencia y Buen Gobierno respondió que no podía facilitarlo debido a que lo protegía la propiedad intelectual

Entonces creo que la solución es que la ley obligue, como mínimo, a que todo el software que utiliza la Administración sea de código abierto.
#6 Pero qué huevazos tienen los hijos de puta. Qué tendrá que ver la propiedad intelectual con ocultar el procedimiento de adjudicación de ayudas esté escrito en Java o con lapiz en una libreta :palm:
#9 Pues colisionan el derecho a la propiedad intelectual, que en este caso a saber quien es el titular, si la Administración o algún contratista que haya desarrollado el software, con el derecho de los ciudadanos a que los procedimientos administrativos se realicen de manera transparente y con todas las demás garantías, incluida la de acceso al expediente administrativo. Bueno, igual es un análisis un poco cuñao, pero yo ahí lo dejo, por ver si alguien que sepa de Derecho nos quiere aclarar un poco xD
#11 El código debería ser propiedad del estado, si es así no tendría ni gun problema legal en liberarlo, supongo que el problema es que el estado no es el propietario del código la cual me lleva a preguntarme ¿Como cojones es eso posible?
#14 Estoy de acuerdo. Igual que las leyes secretas son ilegales, el funcionamiento de los procedimientos administrativos mediante procesos opacos también debería serlo.
#11 Te está diciendo que no por enseñar el código fuente se pierde la propiedad intelectual...
#11 No soy el que "sepa algo de Derecho" pero ya te digo que en Europa los algoritmos no están protegidos, de momento, bajo el paraguas de la propiedad intelectual. Y aunque así fuera, un procedimiento administrativo, como es el caso, estaría muy por encima legalmente del derecho intelectual de quien lo determine.

Es decir, el estado no puede ocultar a "sus" ciudadanos los procedimientos administrativos a los que somete. Eso convierte a cualquier procedimiento en nulo de pleno derecho,
#6 Más que el software que utiliza, el software que manda hacer.

Hay mucha empresa que obliga a sus proveedores en muchos contratos a cederle la propiedad intelectual de lo generado para desarrollar el contrato.
La administración podría aplicar lo mismo y liberarlo automáticamente bajo la fórmula de dominio público.
#21 #25 "ni las inventan ni decidirán jamás las máquinas." Con las IA y el deep learnig no seria tan lejano improbable que el proceso que hacen los humanos para decidir las reglas las hagan las maquinas. Podrian analizar los resultados y quien le saca mas beneficio a las subvenciones. Tambien habria que decidir cuales son los objetivos que debe buscar la maquina.
En ese caso la IA seria una caja negra y seria muy dificil decidir como toma sus decisiones.
La unica solucion…   » ver todo el comentario
#38 Si el estado / gobierno contrata a externos ( cosa que tampoco entiendo ) para que realicen código con el que se tramitan estas cosas, puede exigir en el contrato ser el propietario del código ( no intelectual, pero sí industrial ), y por supuesto le podrá enseñar ese código a quien quiera, si en el contrato lo especifica.

Si el estado / gobierno no lo hace así, lo está haciendo mal.

Y doblemente mal, si no está utilizando funcionarios para realizar este tipo de cosas, y que la propiedad industrial de todo lo que generan sea el propio estado, con capacidad siempre de auditar el código, o de permitir que lo auditen terceros.
#38 Pensar en algoritmos libres de sesgos es arriesgado e ingenuo.
#49 Arriesgado no sé por qué. Ingenuo yo creo que no. Pienso que te pueden facilitar un código, y luego ejecutar otro distinto, pero eso podría quizás demostrarse, y acarrear responsabilidades.
#52 es mucho más sencillo que eso. Y ni siquiera tiene que ser deliverado. Este libro precisamente va sobre esto divergencias.typepad.com/divergencias/2018/04/sobre-armas-de-destrucci
#38 supongo que la cosa funcionaría en plan "si no cedes derechos sobre el código, no hay contrato" más que obligar a que lo cedan una vez formalizado. Pero en general estoy de acuerdo con lo que dices.
#38 La IA y el DL seguirán trabajando siempre en base a conceptos humanos insertados como base del programa.

La máquina necesitará siempre saber en qué grados de minusvalía el Estado Español otorga qué cantidad de pensión. La máquina jamás decidirá, viendo el IPC, el PIB de la nación, las teorías de Keynes y las de Hayek y comparándolas entre sí mismas si hay que dar paguitas y de cuánto dinero y a qué personas o si hay que confiar en la caridad como medida contra la exclusión social.

Eso,…   » ver todo el comentario
#6 A mi me ha dado miedo esto
Consejo de Transparencia y Buen Gobierno

Suena a pelicula tipo La Fuga de Logan, Demolition Man y esas
Si mucha gente se ha visto con que le han negado unas ayudas a las que tienen derecho, lo que han de hacer es denunciarlo y ya será el juez el que ordene revisarlo.
#1 Esa gente, y en realidad todo ciudadano, tiene derecho a conocer bajo qué parámetros se decide quién recibe ayudas y quién no las recibe. Si luego el Gobierno quiere contratar a cien funcionatas para hacer los cálculos a mano o llamar a Oracle a que les vendan 2 superconfrutadores corriendo una app Java que lo calcule más rápido, ya es otro tema aparte.

El excusarse en "es el software quien lo decide" y no querer mostrar cómo funciona el software es exactamente igual que…   » ver todo el comentario
#21 Igual no quieren mostrar el código porque se podrá ver a la legua el nivel del becario subcontratado por la subcontrata de la subcontrata de la subcontrata del ganador del concurso. Habrá comentarios tipo "hola mundo!", "buscar esto en Stackoverflow", "sacado de Yahoo! Answers", "no tocar o deja de funcionar todo", "corregir más adelante", "error para la próxima versión", etc...

:tinfoil:
#34 es que lo veo venir :-D
#21 "llamar a Oracle a que les vendan 2 superconfrutadores corriendo una app Java"... Sutil, muy sutil... :troll:

#33 Lo uno no quita lo otro: es necesario poder auditar el código fuente para poder confirmar que el software es efectivamente neutral, no puede haber transparencia donde están confiando determinadas decisiones a máquinas pero al mismo tiempo no podemos comprobar cómo toma la máquina esas decisiones.
#36 ¿Tú sabes lo que cuesta, en dinero y tiempo, auditar el código de una aplicación, aún en el improbable caso en el caso de que les dieran toda fuente antes de compilar?

Si yo fuese el ministerio en plan "pasar del tema", se lo daba enterito, con los problemas de Propiedad intelectual que conlleva, para que se tirasen dos años auditando las fuentes. ( Y a sabiendas de que son los parámetros los que determinan el filtro de la aplicación)
#40 El número de parámetros para hacer el scoring en este caso no son muchos. Para 4 datos cómo se suele decir no hace falta como estoy leyendo ML y AI

Casi seguro que no se ha hecho un buen plan de pruebas que contemple todos los supuestos.

Resumen, cagada monumental de los gestores/analistas y no del pardillo del programata que seguro que lo ha hecho bien, pero que sin duda será quién se coma el marrón.
#48 #46 Vosotros no habéis tocado una línea de código en vuestra vida, ¿verdad? Ni titulación en nada, ¿no?
Y no entendéis como se introducen los valores de los criterios para validar la aptitud de una solicitud de ayudas, tampoco. Qué más da.

Pero aquí estáis, "parcheando el kernel" de Menéame a base de opinología en auditoría de software. :-P
#56 Ah, espera, que xanty.gc es técnico y sabe lo que es un test unitario. Programata de FP, ¿no? .

Pues no funciona así, "developer". Los "Unit testing" no auditan el código fuente. Y dan igual en este caso, precisamente porque son los parámetros introducidos los que intervienen, como ya he explicado.
#57 jerga anglosajona, ocultismo sobre el mundo IT ... no me lo digas ¿¿ingeniero de minas en beca Accenture??
#56 Definitivamente eres un flipao. Los sesgos en el desarrollo de IA se introducen generalmente sin querer y lo que se pretende es buscarlos. No auditar si el código sigue patrones de diseño, si es mangenible, etc. Que tampoco sería muy costoso la verdad.
#61 Pero, ¿De qué IA hablas? Es un algoritmo común y corriente como el de cualquier calculadora de hipotecas. Eso es lo que les han enviado, la fórmula de calculo, y ahora piden el Código Fuente. Ni FP.
#40 no es cuestión de tiempo o dinero, simplemente ese software nos pertenece.

Por cierto, ni parámetros ni gaitas, lo que se pretende es aumentar la transparencia.
#40 un esfuerzo titánico el preparar test unitarios ... joder lo que hay que leer :wall:
#36 La máquina no toma ninguna decisión. Y claro que se sabe cómo las toma.
#1 Pero veréis, no es el algoritmo el que niega las ayudas, ya que este solo funciona con los parámetros preestablecidos que le pasan desde el ministerio.

En este caso, es la mano del técnico la que ha ajustado los umbrales de screening que permiten recibir las ayudas, que pueden variar todos los años.

En eso, la calificación de aptitud tiene que ver poco con el "código fuente" del programa y más, con los ajustes establecidos en ese programa de concesión de ayudas que se realizan con cada presupuesto y criterio de concesión de ayudas, desde el panel de control del mismo.

No se puede culpar al "Código fuente" sino a los parámetros en el programa. La llave del grifo y la mano del técnico.

:-|
#33 A propósito, ¿De qué corriente hablan los piraos estos? Ha sido la fundación Civio.
Como ciudadano, apoyo la propuesta de que el código que aplica leyes sea público.

Como informático, entiendo por qué los responsables no querrán y por qué los subordinados preferirán que no ocurra. Y será por motivaciones distintas.
#4 Pues yo no lo entiendo, lo explicas?
#13 informacion a la competencia sobre los recursos y herramientas que estas usando, y criticas sobre las opciones que has escogido a la hora de programar
#17 Pero qué competencia? Y críticas... ya están recibiendo porque el sistema funciona mal...
#13 Claro:

Ese proyecto (como muchos otros) lo habrá elaborado con casi total seguridad una consultora contratada tras ganar un concurso. Concurso que habrá ganado, muy probablemente, con algo de influencia de algún amigo y tirando precios. El resultado de tirar precios es que al empleado que acaba haciendo el trabajo se le paga poco, por lo que los buenos o trabajan mal porque se ven mal pagados o se piran y sólo consigues a gente que no encuentra algo mejor.

Los responsables, los jefes, no…   » ver todo el comentario
#42 no es que esté bien o mal programado, se trata de detectar y eliminar sesgos en ese código.

Como desarrollador también digo una cosa: bien o mal pagado un profesional se debe a su tarea. Justificar el mal trabajo por lo mal pagado es ridículo. O se sabe o no se sabe y el 90% no sabe, bien porque consideran programar una tarea inferior o porque no les interesa lo más mínimo. Yo en ocasiones no distingo el código de un ingeniero informático de un ingeniero de caminos, así que dime dónde está el problema.
#42 Pero es que todo eso son problemas externos a la administración, que tiene derechos sobre el software ya que ha sido desarrollado a medida para ella. Es decir lo más seguro es que ni la cónsultora (cárnica), ni sus subcontratas, ni los jefes de las mismas ni mucho menos los curritos puedan decir nada al respecto.
#4 Aquí hay un error de bulto en el que quieren que caigamos.

Las leyes, y en este caso concreto los parámetros bajo los que se decide si una familia necesita una renta de inserción o si una persona necesita una pensión de minusvalía, no las inventan ni las deciden ni las inventan ni decidirán jamás las máquinas. Eso siempre lo van a hacer los humanos en el Congreso de los Diputados, Senado, etcétera.

Las máquinas lo que van a hacer es coger esos parámetros como entrada, analizarlos en base a…   » ver todo el comentario
#4 CEIL(RND()) % 2 == 0
#4 "Como informático, entiendo por qué los responsables no querrán"

Pues no sé quién habrá hecho ese programa, pero si ha sido Indra no me extraña que no quieran enseñar el código fuente. xD :troll:
#4 Pues yo como informático no lo entiendo. Trabajo en el mundillo de Big Data, y puedo entender que el sector bancario no quiera hacer público su desarrollo, pero que competencia tiene el gobierno para no liberar software?

Lo lógico es que ellos saquen una licitación para crear dicho software que luego será liberado, o que lo piquen los mismos informáticos que tenga el gobierno en plantilla como funcionarios, que los tiene.

Si no liberan el código porque el código apesta pues que lo arreglen
Se supone que en las respectivas leyes aparecen los requisitos y fórmulas que deben aplicarse. Si el candidato las ha aplicado y le sale que debería obtener la ayuda, es obvio que la administración está cometiendo una ilegalidad, da igual que esté codificada en software, haya sido fruto de un cálculo manual incorrecto o pura prevaricación.
#0 Parece que tanto el titular como la entradilla han quedado recort
Joder con el titular, he tenido que leerlo varias veces para entenderlo....se ve que para ser periodista ya no es necesario expresarse correctamente...
#3 Yo también lo leí varias veces y aun no tengo claro que lo haya entendido... :-S
Al fin!!!! Esto es noticia.
Código abierto = confiable
Código cerrado = mentiras
No hay más. Así de simple. A ver si despertamos de una vez. La tecnología hará lo que los humanos nunca podremos hacer. Funciona bien.
Con la excusa de que la informática es algo muy moderno y el concepto de programa que tiene la gente es muy superficial y abstracto, no se pasan los mismos controles que puede pasar un edificio, o la puesta a punto de la cocina de un bar. Lo hablaba el otro día con un compañero, todo código, público o privado debería estar auditado (igual que no puedes construir tu chabola sin presentar un informe que asegure cierta calidad). Y no, en software, los UML NO se parecen nunca al software en producción, de ahí el agilismo y otras metodologías modernas de gestión (y opuestas completamente al modelo de la administración pública).
Menudos genios que obvian que "software" no decide los parámetros, si no que los computa. Si es una ayuda pública, estos parámetros seguramente los definirá un funcionario (o similar) y esos parámetros se codifican en el software. Asumiendo que todo software falla (ya sea fallo de implementación, de tiempo de ejecución, etc), para eso están los "servicios de ayuda y/o técnicos" (los help-desk) a los que hay que llamar para que te den las explicaciones. Ejemplo: si no puedes…   » ver todo el comentario
#10 Claro pero no, el artículo va de que en este caso no hay ventanilla. Es todo automatizado y no hay forma "manual" de hacerlo.
#16 Es que por lo que hay que protestar es porque no haya ventanilla. Si es que parece que con tanto ordenador se han olvidado de cómo funciona "la administración" y las subvenciones! :troll:
#16 Apostaría a que no la hay pero sí la hay
solo que no es para los simples plebeyos.

Obviamente enseñar el Código no es viable, se paga la multa que haya que pagar y marchando.
:tinfoil:
#10 el que la gente tenga que reclamar por un fallo es una consecuencia del mal funcionamiento de la Administración, y de lo que se trata es de que la Administración funcione como exige la ley, y no de que tengamos que solucionar el mal funcionamiento yendo a reclamar al "funcionario de toda la vida"
#20 Eres otro de los que no se ha enterao de que si quieres que algo salga bien, al final tienes que ir a la ventanilla. Pocas declaraciones de Hacienda te han salido a pagar, eh? ;-D
#23 y tu eres de los que no se ha enterado de que las leyes están para cumplirlas, y de que si voy a ventanilla o no, ese es mi problema, y que no es de eso de lo que se está hablando en este meneo, y por lo tanto no vale la pena seguir hablando contigo.
#24 Que si, que si, pero que poco han tenido tu que lidiar los notas estos con "la administración del estado", los papeleos y los funcionarios porque la realidad es la que es (a nadie nos gusta verle el careto a los funcionarios, pero es lo que funciona) :-P
#26 ya, yo es que paso de lidiar con notas.
#27 Pero son los que te arreglan los papeles. Esa es la contradicción que hay que asumir al modo Hegeliano :troll:.
#10 aquí no se habla de "que no te rule", se habla de que la aplicación no responde bien a los parámetros de entrada y sí debería hacerlo. ¿Te crees que el funcionario de la ventanilla o al que se lo terminen remitiendo va a utilizar otra aplicación diferente? No, al menos cada vez es más imposible en más casos, y menos mal.
Estoy bastante de acuerdo pero hay partes del artículo sin pies ni cabeza y partes de la petición que idem.

"la escritura del código tiene que estar a cargo de un grupo especializado de gente que se encargue de la escritura de este código porque haya una ley que así lo estipule, como ocurre con la escritura de las leyes."

Si me están diciendo que el código lo escriba gente diferente a la que hace el resto del programa... Podría ser pero es completamente innecesario, de hecho…   » ver todo el comentario
Yo veo varios problemas
- Tendríamos que saber el método que se ha elegido para conceder ayudas a unos sí y a otros no.
- Tendríamos que saber que tipo de información nuestra está usando el programa y de dónde proviene esa información.
- Que se excuse la responsabilidad de una mala decisión a un programa y no a una persona.
- Que no haya forma humana de poder hablar con un responsable que dé la cara ante una situación de conflicto y la única vía sea la telemática.
- Que el código fuente y los…   » ver todo el comentario
comentarios cerrados

menéame