La corriente que pide el código fuente de los programas que deciden las ayudas al ciudadano: que el algoritmo no discrim

En mayo, la Fundación Civio solicitó al Gobierno información completa sobre el software que decide quién tiene derecho a beneficiarse del bono social de electricidad (un descuento en la factura eléctrica dirigido a hogares vulnerables). La petición estaba motivada porque en la Fundación recibieron denuncias de personas que tenían derecho a las ayudas pero tal software se lo negaba. Como respuesta a la petición de información, el Gobierno mandó sólo parte de lo pedido, guardándose el código del software, pero fue suficiente para que desde la Fun

[#2 Izaga]

Este es un asunto (la ética subyacente a la implementación de algoritmos en asuntos socioeconómicos) que debería preocuparnos cada vez más.

[#18 FrEeDoOm]

#2 Ya es un área completa de investigación en el ámbito de la Inteligencia Artificial, y cada vez se invierte más en ello https://www.silicon.co.uk/e-innovation/artificial-intelligence/oxford-university-investment-ai-ethics-264405

[#8 Reakl]

if (candidato.isAmiguete())

[#6 Desactivado]

el Consejo de Transparencia y Buen Gobierno respondió que no podía facilitarlo debido a que lo protegía la propiedad intelectual

Entonces creo que la solución es que la ley obligue, como mínimo, a que todo el software que utiliza la Administración sea de código abierto.

[#9 Desactivado]

#6 Pero qué huevazos tienen los hijos de puta. Qué tendrá que ver la propiedad intelectual con ocultar el procedimiento de adjudicación de ayudas esté escrito en Java o con lapiz en una libreta

[#11 Desactivado]

#9 Pues colisionan el derecho a la propiedad intelectual, que en este caso a saber quien es el titular, si la Administración o algún contratista que haya desarrollado el software, con el derecho de los ciudadanos a que los procedimientos administrativos se realicen de manera transparente y con todas las demás garantías, incluida la de acceso al expediente administrativo. Bueno, igual es un análisis un poco cuñao, pero yo ahí lo dejo, por ver si alguien que sepa de Derecho nos quiere aclarar un poco

[#14 Lekuar]

#11 El código debería ser propiedad del estado, si es así no tendría ni gun problema legal en liberarlo, supongo que el problema es que el estado no es el propietario del código la cual me lleva a preguntarme ¿Como cojones es eso posible?

[#22 Desactivado]

#14 Estoy de acuerdo. Igual que las leyes secretas son ilegales, el funcionamiento de los procedimientos administrativos mediante procesos opacos también debería serlo.

[#15 wizcocho]

#11 Te está diciendo que no por enseñar el código fuente se pierde la propiedad intelectual...

[#66 Desactivado]

#11 No soy el que "sepa algo de Derecho" pero ya te digo que en Europa los algoritmos no están protegidos, de momento, bajo el paraguas de la propiedad intelectual. Y aunque así fuera, un procedimiento administrativo, como es el caso, estaría muy por encima legalmente del derecho intelectual de quien lo determine.

Es decir, el estado no puede ocultar a "sus" ciudadanos los procedimientos administrativos a los que somete. Eso convierte a cualquier procedimiento en nulo de pleno derecho,

[#12 thorin]

#6 Más que el software que utiliza, el software que manda hacer.

Hay mucha empresa que obliga a sus proveedores en muchos contratos a cederle la propiedad intelectual de lo generado para desarrollar el contrato.
La administración podría aplicar lo mismo y liberarlo automáticamente bajo la fórmula de dominio público.

[#38 lectorcritico]

#21 #25 "ni las inventan ni decidirán jamás las máquinas." Con las IA y el deep learnig no seria tan lejano improbable que el proceso que hacen los humanos para decidir las reglas las hagan las maquinas. Podrian analizar los resultados y quien le saca mas beneficio a las subvenciones. Tambien habria que decidir cuales son los objetivos que debe buscar la maquina.
En ese caso la IA seria una caja negra y seria muy dificil decidir como toma sus decisiones.
La unica solucion democratica seria que los ciudadanos conociendo los resultados de las IA candidatas, eligiesen que IA tomas las decisiones. A lo mejor hasta empieza a sustituir diputados

#6 El estado es lo suficientemente fuerte, (puede que hasta demasiado) para imponer sus condiciones y obligar a una empresa que ceda el codigo desarrollado al contratador (el estado) . Despues de eso lo etico es que lo pagado por contribuyentes se accesible por ellos.
Pienso que deberia haber una ley para hacer libre el sofware desarrollado por la admon, porque a veces a los politicos hay que tutelarlos y estas cosas no se les ocurren.

[#43 daphoene]

#38 Si el estado / gobierno contrata a externos ( cosa que tampoco entiendo ) para que realicen código con el que se tramitan estas cosas, puede exigir en el contrato ser el propietario del código ( no intelectual, pero sí industrial ), y por supuesto le podrá enseñar ese código a quien quiera, si en el contrato lo especifica.

Si el estado / gobierno no lo hace así, lo está haciendo mal.

Y doblemente mal, si no está utilizando funcionarios para realizar este tipo de cosas, y que la propiedad industrial de todo lo que generan sea el propio estado, con capacidad siempre de auditar el código, o de permitir que lo auditen terceros.

[#49 xanty.gc]

#38 Pensar en algoritmos libres de sesgos es arriesgado e ingenuo.

[#52 Desactivado]

#49 Arriesgado no sé por qué. Ingenuo yo creo que no. Pienso que te pueden facilitar un código, y luego ejecutar otro distinto, pero eso podría quizás demostrarse, y acarrear responsabilidades.

[#62 xanty.gc]

#52 es mucho más sencillo que eso. Y ni siquiera tiene que ser deliverado. Este libro precisamente va sobre esto https://divergencias.typepad.com/divergencias/2018/04/sobre-armas-de-destrucci%C3%B3n-matem%C3%A1tica-de-cathy-oneil.html

[#53 Desactivado]

#38 supongo que la cosa funcionaría en plan "si no cedes derechos sobre el código, no hay contrato" más que obligar a que lo cedan una vez formalizado. Pero en general estoy de acuerdo con lo que dices.

[#58 Desactivado]

#38 La IA y el DL seguirán trabajando siempre en base a conceptos humanos insertados como base del programa.

La máquina necesitará siempre saber en qué grados de minusvalía el Estado Español otorga qué cantidad de pensión. La máquina jamás decidirá, viendo el IPC, el PIB de la nación, las teorías de Keynes y las de Hayek y comparándolas entre sí mismas si hay que dar paguitas y de cuánto dinero y a qué personas o si hay que confiar en la caridad como medida contra la exclusión social.

Eso, repito, siempre estará en manos de humanos. Por mucho que la IA y el DL avancen.

Y esto es lo que muchísima gente, incluidos muchos científicos e ingenieros, no sabe o no quiere ver. Porque el nuevo mantra de nuestro tiempo es el culto a "la tecnología" como si hubiéramos descubierto la piedra filosofal. Y no.

[#55 silencer]

#6 A mi me ha dado miedo esto
Consejo de Transparencia y Buen Gobierno

Suena a pelicula tipo La Fuga de Logan, Demolition Man y esas

[#1 pcmaster]

Si mucha gente se ha visto con que le han negado unas ayudas a las que tienen derecho, lo que han de hacer es denunciarlo y ya será el juez el que ordene revisarlo.

[#21 Desactivado]

#1 Esa gente, y en realidad todo ciudadano, tiene derecho a conocer bajo qué parámetros se decide quién recibe ayudas y quién no las recibe. Si luego el Gobierno quiere contratar a cien funcionatas para hacer los cálculos a mano o llamar a Oracle a que les vendan 2 superconfrutadores corriendo una app Java que lo calcule más rápido, ya es otro tema aparte.

El excusarse en "es el software quien lo decide" y no querer mostrar cómo funciona el software es exactamente igual que decir "es el Soviet Supremo quien lo decide y no podemos divulgar esa información al siudadano". Exactamente igual, palabra por palabra, una cosa y la otra. Pero hay hoy en día mucho imbécil que no sólo aboga porque sean las máquinas quienes decidan estas cosas, sino que además aboga porque la población no tenga la más remota idea de cómo funcionan los algoritmos de dichas máquinas ni bajo qué parámetros trabajan. Con que sea "una eficiente máquina" la que resuelva que esta familia no recibe ayudas y esta otra sí, ya tienen bastante porque "la máquina no se equivoca".

[#34 ochoceros]

#21 Igual no quieren mostrar el código porque se podrá ver a la legua el nivel del becario subcontratado por la subcontrata de la subcontrata de la subcontrata del ganador del concurso. Habrá comentarios tipo "hola mundo!", "buscar esto en Stackoverflow", "sacado de Yahoo! Answers", "no tocar o deja de funcionar todo", "corregir más adelante", "error para la próxima versión", etc...

[#60 bitman]

#34 es que lo veo venir

[#36 Wayfarer]

#21 "llamar a Oracle a que les vendan 2 superconfrutadores corriendo una app Java"... Sutil, muy sutil...

#33 Lo uno no quita lo otro: es necesario poder auditar el código fuente para poder confirmar que el software es efectivamente neutral, no puede haber transparencia donde están confiando determinadas decisiones a máquinas pero al mismo tiempo no podemos comprobar cómo toma la máquina esas decisiones.

[#40 Desactivado]

#36 ¿Tú sabes lo que cuesta, en dinero y tiempo, auditar el código de una aplicación, aún en el improbable caso en el caso de que les dieran toda fuente antes de compilar?

Si yo fuese el ministerio en plan "pasar del tema", se lo daba enterito, con los problemas de Propiedad intelectual que conlleva, para que se tirasen dos años auditando las fuentes. ( Y a sabiendas de que son los parámetros los que determinan el filtro de la aplicación)

[#46 Diacono]

#40 El número de parámetros para hacer el scoring en este caso no son muchos. Para 4 datos cómo se suele decir no hace falta como estoy leyendo ML y AI

Casi seguro que no se ha hecho un buen plan de pruebas que contemple todos los supuestos.

Resumen, cagada monumental de los gestores/analistas y no del pardillo del programata que seguro que lo ha hecho bien, pero que sin duda será quién se coma el marrón.

[#56 Desactivado]

#48 #46 Vosotros no habéis tocado una línea de código en vuestra vida, ¿verdad? Ni titulación en nada, ¿no?
Y no entendéis como se introducen los valores de los criterios para validar la aptitud de una solicitud de ayudas, tampoco. Qué más da.

Pero aquí estáis, "parcheando el kernel" de Menéame a base de opinología en auditoría de software.

[#57 Desactivado]

#56 Ah, espera, que xanty.gc es técnico y sabe lo que es un test unitario. Programata de FP, ¿no? .

Pues no funciona así, "developer". Los "Unit testing" no auditan el código fuente. Y dan igual en este caso, precisamente porque son los parámetros introducidos los que intervienen, como ya he explicado.

[#63 xanty.gc]

#57 jerga anglosajona, ocultismo sobre el mundo IT ... no me lo digas ¿¿ingeniero de minas en beca Accenture??

[#61 xanty.gc]

#56 Definitivamente eres un flipao. Los sesgos en el desarrollo de IA se introducen generalmente sin querer y lo que se pretende es buscarlos. No auditar si el código sigue patrones de diseño, si es mangenible, etc. Que tampoco sería muy costoso la verdad.

[#64 Desactivado]

#61 Pero, ¿De qué IA hablas? Es un algoritmo común y corriente como el de cualquier calculadora de hipotecas. Eso es lo que les han enviado, la fórmula de calculo, y ahora piden el Código Fuente. Ni FP.

[#48 xanty.gc]

#40 no es cuestión de tiempo o dinero, simplemente ese software nos pertenece.

Por cierto, ni parámetros ni gaitas, lo que se pretende es aumentar la transparencia.

[#51 xanty.gc]

#40 un esfuerzo titánico el preparar test unitarios ... joder lo que hay que leer

[#41 Desactivado]

#36 La máquina no toma ninguna decisión. Y claro que se sabe cómo las toma.

[#33 Desactivado]

#1 Pero veréis, no es el algoritmo el que niega las ayudas, ya que este solo funciona con los parámetros preestablecidos que le pasan desde el ministerio.

En este caso, es la mano del técnico la que ha ajustado los umbrales de screening que permiten recibir las ayudas, que pueden variar todos los años.

En eso, la calificación de aptitud tiene que ver poco con el "código fuente" del programa y más, con los ajustes establecidos en ese programa de concesión de ayudas que se realizan con cada presupuesto y criterio de concesión de ayudas, desde el panel de control del mismo.

No se puede culpar al "Código fuente" sino a los parámetros en el programa. La llave del grifo y la mano del técnico.

[#35 Desactivado]

#33 A propósito, ¿De qué corriente hablan los piraos estos? Ha sido la fundación Civio.

[#4 Aitor]

Como ciudadano, apoyo la propuesta de que el código que aplica leyes sea público.

Como informático, entiendo por qué los responsables no querrán y por qué los subordinados preferirán que no ocurra. Y será por motivaciones distintas.

[#13 wizcocho]

#4 Pues yo no lo entiendo, lo explicas?

[#17 arivero]

#13 informacion a la competencia sobre los recursos y herramientas que estas usando, y criticas sobre las opciones que has escogido a la hora de programar

[#30 wizcocho]

#17 Pero qué competencia? Y críticas... ya están recibiendo porque el sistema funciona mal...

[#42 Aitor]

#13 Claro:

Ese proyecto (como muchos otros) lo habrá elaborado con casi total seguridad una consultora contratada tras ganar un concurso. Concurso que habrá ganado, muy probablemente, con algo de influencia de algún amigo y tirando precios. El resultado de tirar precios es que al empleado que acaba haciendo el trabajo se le paga poco, por lo que los buenos o trabajan mal porque se ven mal pagados o se piran y sólo consigues a gente que no encuentra algo mejor.

Los responsables, los jefes, no querrán que su imagen y la de su empresa quede dañada al publicarse el código. Ni que se les pueda criticar por mala gestión o mal aseguramiento de la calidad.

Los programadores rasos no querrán sentir vergüenza al quedar a la vista de todo el mundo su trabajo, fruto en muchos casos de la unión de presión, falta de tiempo por plazos irreales, falta de motivación por sentirse mal pagados, órdenes de hacer cosas directamente mal o con herramientas inadecuadas y falta de experiencia en lo que están haciendo (porque muchos serán becarios).

#37 A qué te crees que me refiero.

#39 Te contesto a frase por párrafo: El gobierno no tiene competencia, la empresa que ha ganado el concurso para desarrollar el software sí. No hay suficientes funcionarios para ejecutar todos los proyectos de software que se llevan a cabo para la Administración, ni de lejísimos. Arreglar el código supone una inversión que la empresa adjudicataria no va a hacer porque haría entrar en pérdidas el proyecto y que la Administración no va a proyectar (salvo que no quede otro remedio) porque sería mucho dinero.

[#50 xanty.gc]

#42 no es que esté bien o mal programado, se trata de detectar y eliminar sesgos en ese código.

Como desarrollador también digo una cosa: bien o mal pagado un profesional se debe a su tarea. Justificar el mal trabajo por lo mal pagado es ridículo. O se sabe o no se sabe y el 90% no sabe, bien porque consideran programar una tarea inferior o porque no les interesa lo más mínimo. Yo en ocasiones no distingo el código de un ingeniero informático de un ingeniero de caminos, así que dime dónde está el problema.

[#59 wizcocho]

#42 Pero es que todo eso son problemas externos a la administración, que tiene derechos sobre el software ya que ha sido desarrollado a medida para ella. Es decir lo más seguro es que ni la cónsultora (cárnica), ni sus subcontratas, ni los jefes de las mismas ni mucho menos los curritos puedan decir nada al respecto.

[#25 Desactivado]

#4 Aquí hay un error de bulto en el que quieren que caigamos.

Las leyes, y en este caso concreto los parámetros bajo los que se decide si una familia necesita una renta de inserción o si una persona necesita una pensión de minusvalía, no las inventan ni las deciden ni las inventan ni decidirán jamás las máquinas. Eso siempre lo van a hacer los humanos en el Congreso de los Diputados, Senado, etcétera.

Las máquinas lo que van a hacer es coger esos parámetros como entrada, analizarlos en base a las reglas que los humanos les han impuesto y emitir un resultado. La máquina por tanto no es la que "decide si necesitas la paguita" en ningún momento. Eso lo deciden los humanos que le han puesto las reglas a la máquina (en forma de programa informático). Sustituye a la máquina por 100 ventanilleras afiliadas a UGT-Administración y tendrás lo mismo, pero más lento y caro.

Alegar que "ha sido la máquina quien ha decidido" en estos casos es ridículo y bochornoso y es abusar de la ignorancia de la gente en este tema. Y especialmente, no querer mostrar el código que ejecuta esas decisiones es un acto de tiranía y de ocultación de información a la ciudadanía que debería estar prohibido por ley, si es que no lo está ya porque, hasta donde yo sé, las leyes son públicas y todo ciudadano tiene el derecho a conocerlas y el deber de cumplirlas. Las normas que dictan quién recibe pensión o ayuda y quién no, también.

[#32 Ovlak]

#4 CEIL(RND()) % 2 == 0

[#37 Wayfarer]

#4 "Como informático, entiendo por qué los responsables no querrán"

Pues no sé quién habrá hecho ese programa, pero si ha sido Indra no me extraña que no quieran enseñar el código fuente.

[#39 inovercy]

#4 Pues yo como informático no lo entiendo. Trabajo en el mundillo de Big Data, y puedo entender que el sector bancario no quiera hacer público su desarrollo, pero que competencia tiene el gobierno para no liberar software?

Lo lógico es que ellos saquen una licitación para crear dicho software que luego será liberado, o que lo piquen los mismos informáticos que tenga el gobierno en plantilla como funcionarios, que los tiene.

Si no liberan el código porque el código apesta pues que lo arreglen

[#7 Res_cogitans]

Se supone que en las respectivas leyes aparecen los requisitos y fórmulas que deben aplicarse. Si el candidato las ha aplicado y le sale que debería obtener la ayuda, es obvio que la administración está cometiendo una ilegalidad, da igual que esté codificada en software, haya sido fruto de un cálculo manual incorrecto o pura prevaricación.

[#5 Desactivado]

#0 Parece que tanto el titular como la entradilla han quedado recort

[#3 Sinfonico]

Joder con el titular, he tenido que leerlo varias veces para entenderlo....se ve que para ser periodista ya no es necesario expresarse correctamente...

[#28 Parisienypatatillas]

#3 Yo también lo leí varias veces y aun no tengo claro que lo haya entendido...

[#54 Desactivado]

Al fin!!!! Esto es noticia.
Código abierto = confiable
Código cerrado = mentiras
No hay más. Así de simple. A ver si despertamos de una vez. La tecnología hará lo que los humanos nunca podremos hacer. Funciona bien.

[#47 PortgasDAce]

Con la excusa de que la informática es algo muy moderno y el concepto de programa que tiene la gente es muy superficial y abstracto, no se pasan los mismos controles que puede pasar un edificio, o la puesta a punto de la cocina de un bar. Lo hablaba el otro día con un compañero, todo código, público o privado debería estar auditado (igual que no puedes construir tu chabola sin presentar un informe que asegure cierta calidad). Y no, en software, los UML NO se parecen nunca al software en producción, de ahí el agilismo y otras metodologías modernas de gestión (y opuestas completamente al modelo de la administración pública).

[#10 Desactivado]

Menudos genios que obvian que "software" no decide los parámetros, si no que los computa. Si es una ayuda pública, estos parámetros seguramente los definirá un funcionario (o similar) y esos parámetros se codifican en el software. Asumiendo que todo software falla (ya sea fallo de implementación, de tiempo de ejecución, etc), para eso están los "servicios de ayuda y/o técnicos" (los help-desk) a los que hay que llamar para que te den las explicaciones. Ejemplo: si no puedes seleccionar una tarifa X en tu operador de internet o teléfono que en teoría deberías poder seleccionar, llamas al help-desk (y de paso no quedas como un gilipollas pidiendo el código fuente de la aplicación de gestión).

Resumiendo: si la aplicación no te rula, vas a al funcionario de tó la vida a que te lo haga él, a protestarle y que te de explicaciones. La pregunta es: dónde está la ventanilla a la que hay que ir a protestar? Qué oficina pública lleva este tema? Porque asumo que este proceso se puede hacer físicamente, en persona y no sólo virtualmente (vamos, como todos los temas de subvenciones).

[#16 wizcocho]

#10 Claro pero no, el artículo va de que en este caso no hay ventanilla. Es todo automatizado y no hay forma "manual" de hacerlo.

[#19 Desactivado]

#16 Es que por lo que hay que protestar es porque no haya ventanilla. Si es que parece que con tanto ordenador se han olvidado de cómo funciona "la administración" y las subvenciones!

[#31 MPR]

#16 Apostaría a que no la hay pero sí la hay
solo que no es para los simples plebeyos.

Obviamente enseñar el Código no es viable, se paga la multa que haya que pagar y marchando.

[#20 Desactivado]

#10 el que la gente tenga que reclamar por un fallo es una consecuencia del mal funcionamiento de la Administración, y de lo que se trata es de que la Administración funcione como exige la ley, y no de que tengamos que solucionar el mal funcionamiento yendo a reclamar al "funcionario de toda la vida"

[#23 Desactivado]

#20 Eres otro de los que no se ha enterao de que si quieres que algo salga bien, al final tienes que ir a la ventanilla. Pocas declaraciones de Hacienda te han salido a pagar, eh? ;-D

[#24 Desactivado]

#23 y tu eres de los que no se ha enterado de que las leyes están para cumplirlas, y de que si voy a ventanilla o no, ese es mi problema, y que no es de eso de lo que se está hablando en este meneo, y por lo tanto no vale la pena seguir hablando contigo.

[#26 Desactivado]

#24 Que si, que si, pero que poco han tenido tu que lidiar los notas estos con "la administración del estado", los papeleos y los funcionarios porque la realidad es la que es (a nadie nos gusta verle el careto a los funcionarios, pero es lo que funciona)

[#27 Desactivado]

#26 ya, yo es que paso de lidiar con notas.

[#29 Desactivado]

#27 Pero son los que te arreglan los papeles. Esa es la contradicción que hay que asumir al modo Hegeliano .

[#45 PortgasDAce]

#10 aquí no se habla de "que no te rule", se habla de que la aplicación no responde bien a los parámetros de entrada y sí debería hacerlo. ¿Te crees que el funcionario de la ventanilla o al que se lo terminen remitiendo va a utilizar otra aplicación diferente? No, al menos cada vez es más imposible en más casos, y menos mal.

[#44 PortgasDAce]

Estoy bastante de acuerdo pero hay partes del artículo sin pies ni cabeza y partes de la petición que idem.

"la escritura del código tiene que estar a cargo de un grupo especializado de gente que se encargue de la escritura de este código porque haya una ley que así lo estipule, como ocurre con la escritura de las leyes."

Si me están diciendo que el código lo escriba gente diferente a la que hace el resto del programa... Podría ser pero es completamente innecesario, de hecho con tener acceso a la base de test automatizados ya se podrían ver las condiciones bajo las que se concede y rechaza. ¿Problema? Las empresas basura que habitan en ministerio son carroñeras y la calidad de lo entregado es lamentable, MUY lamentable por lo que hablar de pruebas unitarias automatizadas es una quimera.

Me juego el cuello hay que es un bug y no algo intencionado

[#65 Virkon]

Yo veo varios problemas
- Tendríamos que saber el método que se ha elegido para conceder ayudas a unos sí y a otros no.
- Tendríamos que saber que tipo de información nuestra está usando el programa y de dónde proviene esa información.
- Que se excuse la responsabilidad de una mala decisión a un programa y no a una persona.
- Que no haya forma humana de poder hablar con un responsable que dé la cara ante una situación de conflicto y la única vía sea la telemática.
- Que el código fuente y los derechos de propiedad intelectual no sean públicos.
- Saber cuanto ha costado dicho programa y si ha sido elegido mediante subasta pública.

Seguro que hay muchas más preguntas y cuestiones importantes que se nos pasan por alto y que tendríamos que tener el derecho de conocer.
Tenenos tanta privacidad y leyes que no sabemos ni como deciden por nosotros y así nos va .