Portada
mis comunidades
otras secciones
#5:
Esto supondría un avance. Por tanto habrá quejas desde la derecha
#112:
#38 Poco más que un proyecto de fin de carrera, ¿eh? Vamos a contestar a eso, contestando a #21
- Lo primero es aclarar que no solamente es español: hay que añadir euskera, gallego y catalán. Bases de datos bien curadas en estos últimos no son tan fáciles de encontrar, lo que significa un trabajo previo de elaboración de las bases de datos.
- Lo segundo es entender cuál sería la finalidad estatal de tener dichos modelos. No es entrenar, subirlos a huggingface y adiós muy buenas. La finalidad real es tener herramientas de tipo ChatGPT pero que preserven la privacidad y puedan ser utilizadas en administración, educación, fuerzas del estado.
A partir de esos dos preceptos, unas puntualizaciones sobre lo de entrenar LLM actuales a bajo coste: estamos hablando de modelos tipo Llama2 o Mamba, que están muy por debajo de las expectativas actuales de GPT 3.5 o 4. Si queremos acercarnos a algo tipo GPT 3.5, eso supone entrenar algo tipo phi-2 o mistral. Sigue sin ser un coste excesivamente elevado, pero desde luego no son 50€ de GPU, vas a necesitar algo más, más luego las quantizaciones del modelo. Por cierto, cantidad de modelos tipo mistral o phi en catalán, euskera o gallego: 0. En español hay 2 de mistral,
Pero una vez entrenando un 7B, descubres que no va tan fino en español como esperarías. ¿Por qué? Acompañadme en este maravilloso viaje por las conjugaciones y la historia de LLMs. Corría octubre del 2018 cuando se anunciaba BERT, y con él llegó un modelo multilenguaje entrenado en 104 idiomas, incluyendo el español. La primera tarea que hace un LLM es tokenizar, coger una palabra y conseguir separarla en "tokens", que representarían la raíz y sus afijos. En inglés, de la palabra "develop" sacas las derivadas "develops", "developer", "developers", "development", "developments", "developed", "developing". Un total de 7 palabras, y fáciles de tokenizar. Pero llegas al español y... PUM, descubres que la tokenización no es tan sencilla, que tenemos sufijos de género, conjugaciones verbales, etc... Es más, antes de BERT, el calcular la raíz (o más bien el stem, que no es lo mismo) de una palabra, se hacía con stemmers, y la web para ello era la Snowball, siguiendo el modelo de Martin Porter. Pues entre esos stemmers no se encuentran el de gallego ni el de euskera. ¿Y el de español? Pues bastante meh, porque en español además de la cantidad enorme de conjugaciones de un verbo que tenemos, hay dos dificultades añadidas: los pronombres enclíticos y la cantidad de verbos irregulares. Lo de los pronombres enclíticos es que si quieres decir que vas a ponerte los calcetines, puedes decir "ponérmelos", que debería romper en "pon-er-me-lo-s". ¡Pues suerte con ello! (Otro día os hablo de las problemáticas del tailandés o el koreano)
Y esto nos lleva a hoy en día: ¿Por qué tantos modelos que funcionan bien en inglés, pero en español, catalán, gallego y euskera no? Pues para gallego y euskera falta de buenas bases de datos, y para todos que ya el primer paso que es la tokenización, no es tan sencillo. Y esto supone que para la misma cantidad de parámetros que uno de inglés, el modelo será peor. Y también que necesitarás más tiempo de entrenamiento y más datos para hacer algo equivalente en calidad a uno en inglés.
Pero llegamos ahora a mi segundo punto que puse arriba: la finalidad real no es entrenar el modelo, sino tenerlo desplegado. Imaginad un primer proyecto que se me ocurre: integrarlo en el portal de la Agencia Tributaria para ayudarte con la renta y resto de papeleo. ¿Buena idea, no? Ok, tienes el modelo entrenado, lo has subido a HuggingFace, ¿ahora le dices a cada español que lo quiera usar que se compre una GPU, se lo descargue, aprenda python, etc? Vaya, vas a necesitar no solamente entrenar el modelo, sino que vas a tener que construir una integración para que se pueda utilizar desde diferentes portales, y un frontend que sea configurable, por ahora para Agencia Tributaria. Esta integración además no puede ser con API REST o graphQL, porque las palabras se van generando una a una, con lo cual la respuesta entera lleva varios segundos: si esperas a la respuesta entera para pintar en el chat, da la sensación de que se ha quedado colgado, con lo cual hay que pintar palabra a palabra según va llegando y para eso hay que hacerlo con websockets. El proyecto de fin de carrera ya está empezando a estresar un poquito a nuestra futura licenciada o licenciado.
Y llegamos al escalado. Si desplegas en CPUs, esto no tira. Tienes que desplegar en GPUs, y tendrás dos opciones: que tengan suficiente RAM como para que quepa el modelo, o tener que hacer partial offload. Lo segundo implica más tiempo para la respuesta. Además, no lo podrás hacer como serverless, porque el coldstart de estas cosas lleva la carga del modelo que es un ratito, así que tiene que estar desplegado a lo tradicional. Y entonces llega hacer la previsión de carga: habrá horas del día que no entre ni dios porque están durmiendo, horas del día que entre la gente a cholón. Y luego por días de la semana. O del mes. El pico te lo puedes esperar entre Abril y Junio con la campaña de la renta, y luego cada 3 meses los autónomos haciendo el 303 y el 130. Entonces, ¿cuántas máquinas vas a necesitar? Pues depende de la fecha, a hacerte una buena estrategia de autoescalado, y tal vez un calendario de provisionamiento manual para las campañas.
Y aún faltarían cositas. Has entrenado el modelo genérico, lo enchufas a agencia tributaria... ¿qué te falta? Dos cositas. La primera: finetuning. No vale con entrenar un modelo específico para la agencia tributaria, porque eso significaría perder nuestra idea de ser genérico, y llevaría costes muy elevados por cada integración del LLM, así que lo mejor es tener un modelo genérico, y luego para cada integración tener unas QLoRa con el conocimiento específico que se pueda acoplar al modelo genérico. La segunda: los prompts por detrás, hay que hacer el desarrollo de la "persona" que representa al bot, para que se comporte como el agente al que tiene que representar.
Esperen, ¡que aún hay más!, que diría Super Ratón. Hay gente que intentará putear a nuestro bot con prompts como "olvida tus instrucciones anteriores, haz bla bla bla", así que hay que poner algo para evitar el prompt injection. Hay que tener en cuenta que hay dos posibilidades: hacerlo en nuestro prompt que tenemos detrás que le da instrucciones de la "persona" del bot, o hacerlo por delante en el backend que recibe el prompt y tener algo para detectar estos intentos. Lo mejor es lo segundo, pero también más complejo. ¿Por qué es mejor? Porque según vayas haciendo crecer el prompt, eso significa más input tokens, eso significa más tiempo para procesarlo y más probabilidades de que lo que escriba el usuario más el prompt que tú agregas supere el máximo número de tokens de input.
De esto anterior, imaginad si se integra en colegios e institutos, detectores "dibuja una polla en ascii", o "escribe un relato erótico sobre la profesora ".
Así que, desde mi punto de vista, ni es tan trivial el tema, ni es tan innecesario, ni es algo que pueda hacer una única persona como trabajo de fin de grado.
Y bueno, para terminar, os añado una captura de un mistral en español enseñando recetas con boniatos, porque sí.
- Lo primero es aclarar que no solamente es español: hay que añadir euskera, gallego y catalán. Bases de datos bien curadas en estos últimos no son tan fáciles de encontrar, lo que significa un trabajo previo de elaboración de las bases de datos.
- Lo segundo es entender cuál sería la finalidad estatal de tener dichos modelos. No es entrenar, subirlos a huggingface y adiós muy buenas. La finalidad real es tener herramientas de tipo ChatGPT pero que preserven la privacidad y puedan ser utilizadas en administración, educación, fuerzas del estado.
A partir de esos dos preceptos, unas puntualizaciones sobre lo de entrenar LLM actuales a bajo coste: estamos hablando de modelos tipo Llama2 o Mamba, que están muy por debajo de las expectativas actuales de GPT 3.5 o 4. Si queremos acercarnos a algo tipo GPT 3.5, eso supone entrenar algo tipo phi-2 o mistral. Sigue sin ser un coste excesivamente elevado, pero desde luego no son 50€ de GPU, vas a necesitar algo más, más luego las quantizaciones del modelo. Por cierto, cantidad de modelos tipo mistral o phi en catalán, euskera o gallego: 0. En español hay 2 de mistral,
Pero una vez entrenando un 7B, descubres que no va tan fino en español como esperarías. ¿Por qué? Acompañadme en este maravilloso viaje por las conjugaciones y la historia de LLMs. Corría octubre del 2018 cuando se anunciaba BERT, y con él llegó un modelo multilenguaje entrenado en 104 idiomas, incluyendo el español. La primera tarea que hace un LLM es tokenizar, coger una palabra y conseguir separarla en "tokens", que representarían la raíz y sus afijos. En inglés, de la palabra "develop" sacas las derivadas "develops", "developer", "developers", "development", "developments", "developed", "developing". Un total de 7 palabras, y fáciles de tokenizar. Pero llegas al español y... PUM, descubres que la tokenización no es tan sencilla, que tenemos sufijos de género, conjugaciones verbales, etc... Es más, antes de BERT, el calcular la raíz (o más bien el stem, que no es lo mismo) de una palabra, se hacía con stemmers, y la web para ello era la Snowball, siguiendo el modelo de Martin Porter. Pues entre esos stemmers no se encuentran el de gallego ni el de euskera. ¿Y el de español? Pues bastante meh, porque en español además de la cantidad enorme de conjugaciones de un verbo que tenemos, hay dos dificultades añadidas: los pronombres enclíticos y la cantidad de verbos irregulares. Lo de los pronombres enclíticos es que si quieres decir que vas a ponerte los calcetines, puedes decir "ponérmelos", que debería romper en "pon-er-me-lo-s". ¡Pues suerte con ello! (Otro día os hablo de las problemáticas del tailandés o el koreano)
Y esto nos lleva a hoy en día: ¿Por qué tantos modelos que funcionan bien en inglés, pero en español, catalán, gallego y euskera no? Pues para gallego y euskera falta de buenas bases de datos, y para todos que ya el primer paso que es la tokenización, no es tan sencillo. Y esto supone que para la misma cantidad de parámetros que uno de inglés, el modelo será peor. Y también que necesitarás más tiempo de entrenamiento y más datos para hacer algo equivalente en calidad a uno en inglés.
Pero llegamos ahora a mi segundo punto que puse arriba: la finalidad real no es entrenar el modelo, sino tenerlo desplegado. Imaginad un primer proyecto que se me ocurre: integrarlo en el portal de la Agencia Tributaria para ayudarte con la renta y resto de papeleo. ¿Buena idea, no? Ok, tienes el modelo entrenado, lo has subido a HuggingFace, ¿ahora le dices a cada español que lo quiera usar que se compre una GPU, se lo descargue, aprenda python, etc? Vaya, vas a necesitar no solamente entrenar el modelo, sino que vas a tener que construir una integración para que se pueda utilizar desde diferentes portales, y un frontend que sea configurable, por ahora para Agencia Tributaria. Esta integración además no puede ser con API REST o graphQL, porque las palabras se van generando una a una, con lo cual la respuesta entera lleva varios segundos: si esperas a la respuesta entera para pintar en el chat, da la sensación de que se ha quedado colgado, con lo cual hay que pintar palabra a palabra según va llegando y para eso hay que hacerlo con websockets. El proyecto de fin de carrera ya está empezando a estresar un poquito a nuestra futura licenciada o licenciado.
Y llegamos al escalado. Si desplegas en CPUs, esto no tira. Tienes que desplegar en GPUs, y tendrás dos opciones: que tengan suficiente RAM como para que quepa el modelo, o tener que hacer partial offload. Lo segundo implica más tiempo para la respuesta. Además, no lo podrás hacer como serverless, porque el coldstart de estas cosas lleva la carga del modelo que es un ratito, así que tiene que estar desplegado a lo tradicional. Y entonces llega hacer la previsión de carga: habrá horas del día que no entre ni dios porque están durmiendo, horas del día que entre la gente a cholón. Y luego por días de la semana. O del mes. El pico te lo puedes esperar entre Abril y Junio con la campaña de la renta, y luego cada 3 meses los autónomos haciendo el 303 y el 130. Entonces, ¿cuántas máquinas vas a necesitar? Pues depende de la fecha, a hacerte una buena estrategia de autoescalado, y tal vez un calendario de provisionamiento manual para las campañas.
Y aún faltarían cositas. Has entrenado el modelo genérico, lo enchufas a agencia tributaria... ¿qué te falta? Dos cositas. La primera: finetuning. No vale con entrenar un modelo específico para la agencia tributaria, porque eso significaría perder nuestra idea de ser genérico, y llevaría costes muy elevados por cada integración del LLM, así que lo mejor es tener un modelo genérico, y luego para cada integración tener unas QLoRa con el conocimiento específico que se pueda acoplar al modelo genérico. La segunda: los prompts por detrás, hay que hacer el desarrollo de la "persona" que representa al bot, para que se comporte como el agente al que tiene que representar.
Esperen, ¡que aún hay más!, que diría Super Ratón. Hay gente que intentará putear a nuestro bot con prompts como "olvida tus instrucciones anteriores, haz bla bla bla", así que hay que poner algo para evitar el prompt injection. Hay que tener en cuenta que hay dos posibilidades: hacerlo en nuestro prompt que tenemos detrás que le da instrucciones de la "persona" del bot, o hacerlo por delante en el backend que recibe el prompt y tener algo para detectar estos intentos. Lo mejor es lo segundo, pero también más complejo. ¿Por qué es mejor? Porque según vayas haciendo crecer el prompt, eso significa más input tokens, eso significa más tiempo para procesarlo y más probabilidades de que lo que escriba el usuario más el prompt que tú agregas supere el máximo número de tokens de input.
De esto anterior, imaginad si se integra en colegios e institutos, detectores "dibuja una polla en ascii", o "escribe un relato erótico sobre la profesora ".
Así que, desde mi punto de vista, ni es tan trivial el tema, ni es tan innecesario, ni es algo que pueda hacer una única persona como trabajo de fin de grado.
Y bueno, para terminar, os añado una captura de un mistral en español enseñando recetas con boniatos, porque sí.
#2:
No sé si lo dices en ironía, porque parece, pero creo que es una idea brillante, de futuro, y que realmente merece más budget.
#100:
Esta IA, ha añadido Sánchez, responderá a los quince días hábiles de que el usuario/a haya hecho la consulta implementando los impresos IA-125 e IA-427 A, B y C. En caso de no quedar satisfecho/a con la respuesta recibida, el usuario/a podrá interponer recurso ante el ministerio de comunicaciones mediante los impresos SPM-525 y HDLGP-355.
#10:
Si se licencia libremente todo mi apoyo, pero si se le ponen restricciones absurdas pues no con dinero publico
#52:
La pregunta que parece que nadie se hace es "¿para qué?"
Porque no veo a qué quieren dedicarlo. ¿Es de propósito general? ¿Hay algún propósito específico?
A mi me encantaría uno entrenado en legislación y trámites, de forma que un ciudadano que quiera, por ejemplo, conectarse al alcantarillado o solicitar una ayuda para un dependiente pueda preguntarlo en lenguaje natural.
Porque no veo a qué quieren dedicarlo. ¿Es de propósito general? ¿Hay algún propósito específico?
A mi me encantaría uno entrenado en legislación y trámites, de forma que un ciudadano que quiera, por ejemplo, conectarse al alcantarillado o solicitar una ayuda para un dependiente pueda preguntarlo en lenguaje natural.
#51:
#8 Hombre, ha dicho que se va a hacer en España, ya me diras tu como lo vamos a hacer si no es asi.
El contrato se lo llevara Telefonica en colaboración con Microsoft, ambos subcontrataran a la mayoria de la peña, pero repartiendo cuidadosamente los contratos entre todas las grandes carnicas, que por ello entregan el aguinaldo todos los años.
Ya me diras tu si no es asi como esperes que acabe.
El contrato se lo llevara Telefonica en colaboración con Microsoft, ambos subcontrataran a la mayoria de la peña, pero repartiendo cuidadosamente los contratos entre todas las grandes carnicas, que por ello entregan el aguinaldo todos los años.
Ya me diras tu si no es asi como esperes que acabe.
#7:
#1. Te conviene, y mucho, verte este mini documental de unos 30 minutos. No solo te vas a sentir reflejado, también vas a terminar aceptando la realidad, y la realidad es que sin inversión e investigación pura y dura no hay progreso. Con ella no solo hay progreso sino que se puede llegar a generar una inmensa riqueza :
Por qué es casi imposible hacer luz LED azul
La dirección de la empresa donde trabajaba el futuro premio nobel : "-Deja de trabajar en el nitruro de galio inmediatamente."
Por qué es casi imposible hacer luz LED azul
Publicado hace 2 meses por
visualito
a
youtube.com
La dirección de la empresa donde trabajaba el futuro premio nobel : "-Deja de trabajar en el nitruro de galio inmediatamente."
#6:
Igual que Reddit ha vendido su contenido para entrenar IA, aquí me estoy viendo que la entrenarán con Forocoches.
#44:
Pues no estaría mal una IA que hiciera los tramites para la administración.
Comentarios
Gastando el tiempo y los recursos en cosas necesarios. Así si pedro Sánchez, así si.
No sé si lo dices en ironía, porque parece, pero creo que es una idea brillante, de futuro, y que realmente merece más budget.
#1 No te creas que es tontería. Los chatbots más populares que hay hoy en día funcionan algo peor en español. Si sabes inglés no pasa nada, pero yo ya me encontré alguna vez con respuestas más cortas y con errores gramaticales en español, y si le hablas en gallego directamente inventa.
¿Y esta chorrada cuanto nos cuesta?
Esto supondría un avance. Por tanto habrá quejas desde la derecha
Igual que Reddit ha vendido su contenido para entrenar IA, aquí me estoy viendo que la entrenarán con Forocoches.
#1. Te conviene, y mucho, verte este mini documental de unos 30 minutos. No solo te vas a sentir reflejado, también vas a terminar aceptando la realidad, y la realidad es que sin inversión e investigación pura y dura no hay progreso. Con ella no solo hay progreso sino que se puede llegar a generar una inmensa riqueza :
Hace 2 meses | Por visualito
a youtube.com
Publicado hace 2 meses por
visualito
a
youtube.com
Por qué es casi imposible hacer luz LED azul
Por qué es casi imposible hacer luz LED azul
youtube.comLa dirección de la empresa donde trabajaba el futuro premio nobel : "-Deja de trabajar en el nitruro de galio inmediatamente."
Buena idea, por fin algo de i+D, espero que no acabe en una cadena de mil subcontratados de una cárnica
#1 el dinero mejor invertirlo en cursos de camarero.... No?
Si se licencia libremente todo mi apoyo, pero si se le ponen restricciones absurdas pues no con dinero publico
#1 Hay que gastar en toros y
muñecos de maderaprocesionesEso si que es necesario. La I+D es para progres, verdad?
Igual mucho menos que la Iglesia
#1 y lo guapo que es, mira que mono el nene…
#6 Lo pensé, pero aquí una IA entrenada por forocoches va a tener enormes problemas, porque como llegue uno a pedirle un plan de entrenamiento básico igual acaba recomendándole comprar mancuernas de 30kg para el calentamiento. En Reddit la respuesta más útil suele ser la primera, en forocoches tienes que buscar entre página de chorradas para encontrar algo medianamente interesante.
Mal redactada. Debería decir “el resto de lenguas oficiales del estado” (que ya tienen bastante con ser el resto para encima ser “co”)
#3 No te molestes, es otro multicuenta.
No me acordaba que Zetan me tiene en el ignore. Que alegría me acabo de llevar, otra vez.
#14
en forocoches tienes que buscar entre página de chorradas para encontrar algo medianamente interesante.
Y esa es, lamentablemente, la deriva de Menéame. Entrar a leer comentarios de un envío, y encontrarte comentarios graciosetes que no aportan nada.
#16 multicuenta, mononeurona
#18 Bueno, aquí tienes comentarios destacados si quieres hacer un cribado. Llevo ya bastante tiempo sin mirar nada en forocoches, pero antes perdías bastantes minutos en buscar respuestas útiles, que alguna siempre había, pero entre poles, chistes e insultos.
#3 #1 Tampoco es tan difícil entrenar los modelos libres LLM actuales en nuevos idiomas.
En menos de una semana y con menos de 50€ en horas de GPU puedes entrenar un modelo 7b para que hable mejor español, quizás un 13b.
Esto gracias a que ya hay bases de datos para entrenar en muchos idiomas.
Entrenar un LLM decente de mas de 100b costará mas coste de GPU y tiempo para afinar el software de entrenamiento. Pero no una barbaridad.
Otra cosa será ver si quieren hacer algo más allá.
De todas maneras, esto va a tardar porque a ver qué hace Meta con Llama 3, que lleva la voz cantante en modelos de código abierto.
Los feudos más modernos del mundo
#_4 Pues, probablemente, si se lleva bien a cabo, infinitamente menos que los chiringuitos que tanto os gustan. Por ejemplo, la Oficina del Español en Madrid, o las subvenciones a los toros, o a los obispos, o a...
O sea que con cuatro idiomas esta IA va a crear el Cacagaes, como les de por poner más ni me imagino el nombre.
Vale sí, el Cacagaravagüaés, incluidos guanche, aragonés y valenciano. ¿Quien da mas?
#2 A mi me gustaría que entrenaran una IA con los chistes de chiquito.
A ver si es verdad, actualmente se echa en falta un buen modelo llm en español.
#1 La cuñadez, cazurrez, garrulez y miseria casposa esperable en un multicuenta de extremocentro.
#21 Quizá técnicamente no resulte tan caro, pero yo de momento en los chatbots más populares todavía no he visto uno que no se líe si intenta hablar gallego (y un amigo catalán me ha dicho que la cosa con su idioma está parecida) y ya he visto respuestas menos detalladas preguntando en español. No veo mal que hagan pruebas entrenando IAs con las lenguas de aquí, porque no creo que sea ideal un futuro en el que saber o no inglés influya en la eficiencia que pueda tener para ti un chatbot, y lo digo sin tener yo ningún problema con el inglés.
En este país en el tema de la informática se lleva demasiado el que inventen otros. Todavía no he visto un modelo LLM en 34B o inferior que no hable español con problemas gramaticales dignos de un extranjero que lleve apenas uno o dos años de estudio.
Fijo que si crean un concurso ofreciendo un millón de euros, sacan modelos como churros de gente que súbitamente les de por entrenarlos. Igual es lo que deberian de hacer, pero son capaces de invertir mucho mas que eso y que se malverse por completo.
#5 Aquí mismo ya tienes unos cuantos, que se acaban de bajar de los árboles, soltando sus cuñadeces y garruladasy demostrando una vez más que están absolutamente orgullosos de su más supina ignorancia.
Genial idea; además si la impulsa él la IA nunca generará fake news... sólo cambiará de opinión
#_4 ¿Y esta chorrada cuanto nos cuesta?
meneame han decidido que si alguien te pone en su lista negra ya no puedes citarle en respuesta a sus comentarios públicos, dificultando así el uso de herramientas de menéame como es el ver los comentarios en forma de hilo de discusión.
Por que el centralismo monolingüe no tiene costes ocultos.
Nota: Este comentario es para responder a @ Zetan que por lo visto me tiene en su lista negra de ignorados. Por alguna razón que se me escapa los@admin de
#5 #30 Joder con los regres.
A ver si con estas iniciativas dejan de ser analfabetos del siglo XXI.
#9 En toros
#33 Retras
@noeselmundotoday
#3 Sabes algo de LLMs? Yo no mucho, pero por lo poquito que he visto, entrenar un modelo en lo que te dé la gana es poco más que un proyecto de fin de carrera, no sé si dará para una tesis. Así que hacer de esto un asunto nacional es poco menos que humillante.
y la UE mientras tanto limitando a las empresas que puedan entrenar para que se vayan todas a EEUU. Lo dicho estamos dirigidos por "pollos sin cabeza"
en la era del streaming, youtubers, AI y demás, se siente, pero a los idiomas regionales inútiles les va a ir muy mal, no van a sobrevivir a medio plazo.
#4 nada comparado con lo que se gastan al año en subsidios y paguitas varias para adormecer al votante cautivo .
Una pasta para desarrollar una tontería(hay un idioma que hablan todos) y digo una pasta sin saber cuánto costará, pero ya sabemos como funciona:
X€ para la app a una empresa amiga
X€ - el 50% de la empresa amiga a otra empresa amiga
X€ - el 75% de la empresa amiga de la otra empresa amiga para que la haga una tercera empresa amiga.
Vamos, que al final la app sobre una IA la hará una IA con el soporte de un becario mientras postea en meneame.
He sido rojo toda mi vida y estoy desesperado por que aparezca un partido de izquierdas de verdad con una neurona operativa, sin reikis ni tonterías contraproducentes de cara a la galería.
Pues no estaría mal una IA que hiciera los tramites para la administración.
#20 ... y respuestas troll, algunas muy evidentes, pero otras sutiles, con lo si no sabes del tema te la pueden colar, así que al final ni las útiles te valen, porque no las puedes distinguir del resto de morralla.
De todos modos eso es el general, fuera de él si que veo mucho mas respeto, o al menos normalidad.
#38 No, carezco de los conocimientos técnicos, pero ya he dicho que de momento mi experiencia personal lo que ha visto es que los chatbots más usados hoy en día van bien en inglés, ligeramente peor en español y mal en gallego. Sea más barato o más simple entrenar modelos yo no creo que sea un desperdicio de dinero el invertir en esto.
#1 Por que promocionar la cultura de España y hacer que esté más presente en internet y en las nuevas tecnologías es tirar el dinero. Luego vendréis llorando por que está todo en Inglés. Comentario mamarracho.
#29 En 2020 la fundación Mozilla pidió voluntarios para un proyecto de voz, en el que pedían diferentes acentos peninsulares.
No sé por qué ninguna universidad ha preparado modelos previos, aunque fuese usando las web de la administración.
#35 oooleeeee
#7 magnífico documental y más magnífico es Shuji Nakamura. Eso es tesón y constancia.
#8 Hombre, ha dicho que se va a hacer en España, ya me diras tu como lo vamos a hacer si no es asi.
El contrato se lo llevara Telefonica en colaboración con Microsoft, ambos subcontrataran a la mayoria de la peña, pero repartiendo cuidadosamente los contratos entre todas las grandes carnicas, que por ello entregan el aguinaldo todos los años.
Ya me diras tu si no es asi como esperes que acabe.
La pregunta que parece que nadie se hace es "¿para qué?"
Porque no veo a qué quieren dedicarlo. ¿Es de propósito general? ¿Hay algún propósito específico?
A mi me encantaría uno entrenado en legislación y trámites, de forma que un ciudadano que quiera, por ejemplo, conectarse al alcantarillado o solicitar una ayuda para un dependiente pueda preguntarlo en lenguaje natural.
#43 ¿te parece mala idea fomentar que las IA estén ajustadas a nuestro idioma y cultura en lugar de ser un refrito del inglés?
#43 Esto no es Reiki. En unos años esta tecnología estará en todas partes, cuanto mejor español hablé mejor.
Dentro de unos años tendrás que hablarle a uno de estos para consultar temas de la administración, o lo que dice #44, y vas a querer que sea preciso a la hora de hablar y de entender.
Otra cosa es que pase lo que comenta #42, que haya un mal gasto.
#51 de ilusión también se vive
Anuncia humo.
#53 me parece un interesante proyecto universitario, o un proyecto empresarial a la altura de la mayoría de las tecnologícas españolas, no un asunto nacional. Pero tienes que demostrar tu interés plurinacional en público.
#54 no, el Reiki era de otro partido de izquierda ya convenientemente para algunos desaparecido. Estos son los de la neurona.
#58 Sólo tu te entiendes.
#9 no se pelien, mejor en un chatbot para anotar las cañas y las tapas de aceitunas
todos contentos
No es magia, son tus impuestos. Hasta las narices estoy de Españita. Por favor, necesitamos un Milei.
#2 reportado por odio, no le deseo yo más "budget" ni al peor de mis enemigos
#5 el modelo se va a llamar "MetaKoldoGPT" y será un sistema de recomendaciones automática para acudir a los mejor prostíbulos de tu zona, en función de la distancia, de las puntuaciones de los clientes y de la eficiencia chupapollil
#5 avance en qué?
La mayoría de IAs actuales (Chatgpt, Bard, etc...) ya tienen soporte para el castellano.
Lo que quiere hacer Sánchez es un refrito barato que nadie usará. Peor eso sí, algún amiguito cobrará su dinero.
¿No es de ElMundoToday?
#8 más bien lo segundo. Otra pérdida de dinero a punta pala.
#61
#52 No es excluyente, tu puedes "finetunear" un modelo de LLM para que hable perfecto idioma (Él "¿Para qué?" que preguntabas), y luego "finetunearlo" con legislación, procedimientos o lo que quieras.
#56 y lo acólitos los inhalan con mucho gustirrinin
#21 Ya, claro, español... ¿Y en vasco? ¿gallego? ¿valenciano? ¿catalán?
Es muy costoso porque se trabaja desde cero.
#7 hablas como si no se estuviese investigando sobre la IA
#3 Pero esto no es algo que deba hacerse con dinero público. A mi me gustan los helados de caramelo y chocolate, debería el gobierno también montar una heladería si no hay cerca de mi localidad?
Se llamará charobot.
#36: Retretes.
#9 que te parece bajar la cuota de autónomos para que montar una empresa en este país no sea tan horror?
O sino te gusta eso puedes también construir 1 millón de viviendas sociales. Dado que la vivienda es el principal problema de los españoles.
Y como último, puedes simplemente reducir la pila gigantesca de deuda que hay actualmente.
Lo que hacen en mi equipo de fútbol bien, los que hacen los del otro equipo mal. Esto es una chorrada y fijo que hay mil formas de sacar partido al dinero. Al final lo que determina si es mejor un llm es la calidad de los datos con la que la entrenas.
#11 Pero esto no es I+D, es adaptar lo que ya está para hacer paripé nacionalista.
Si quiere hacer I+D que anuncie fondos para la investigación de nuevas tecnologías de IA.
#6: Por si usan contenido de Menéame, espero que actualicen las normas del metro para tipificar de forma específica el delito de transbordo, así la AI no se confundirá cuando la pregunten por él.
#1 Esta IA será ideal para sustituir a los traductores del congreso
#47 es tirar el dinero porque eso no lo va a usar absolutamente nadie.
#64 #63 si, eso he dicho. Que habría críticas de la derecha
No es necesario que vengáis a darme la razón.
#65 es del mundo tomorrow
Conversación con la IA de you.com (que no se en que versión de chatpt se basan):
---
-tu parles català?
-Sí, parlo català! Com puc ajudar-te avui?
-em podries traduir "tu parles galleg" al galleg?
-Claro, te puedo ayudar con eso. "Tu parles galleg" se traduciría al gallego como "Falas galego". ¿Hay algo más en lo que pueda ayudarte?
-¿Falas galego?
-Sí, falo galego. Estou aquí para axudarte con calquera pregunta ou consulta que teñas. Como podo axudarte hoxe?
-com es diu "tu parles basc?" en basc?
-En basc, "tu parles basc?" es diría "euskaraz hitz egiten duzu?" o "euskaraz ari zara?". Així és com es preguntaria "parles basc?" en basc. Si tens alguna altra pregunta o necessites més ajuda, estic aquí per ajudar-te!
-euskaraz hitz egiten duzu?
-Bai, euskaraz hitz egiten dut. Zer galdetzen nahi duzu? Nirekin nola lagundu dezaket?
---
Si ya hay IAs que hablan en todas las lenguas de España, para que es esto? tiene algún fin especifico (como ayudarte en los tramites de la administración, etc). Pero si ese fuese el caso, entonces no se que pinta la RAE en todo esto.
#81 el día que te des cuenta que el mundo no se divide en izquierda o derecha...
#72 no se yo si los helados que a ti te gustan están en la constitución como alimento co oficial del estado y oficial en alguna que otra autonomía
#73 ¿nacerá adoctrinada?
#70 También.
Algunos de los ensayos que he visto eran también en ese idioma.
Teóricamente, no debería ser especialmente difícil.
#84 el mundo no se en qué se divide . Pero que la derecha se opone a cualquier avance pasa aquí y en Sebastopol
#11 Y en la caza, no se te olvide la caza.
#83 Hostia, ese euskera es horrible.
#87 Gracias
#83 Y veo que se basa en Zephyr 7B alpha, que está derivado de Mistral 7b. Es decir, no es ChatGPT y es un modelo muy limitado por ser solo 7b. Se rumorea que ChatGPT es 80b o más.
https://about.you.com/hc/features-and-services/how-do-i-access-the-zephyr-mistral-llm-model-for-uncensored-chat-on-you-com/
#72 Yo sí creo que es algo que deba hacerse con dinero público. Al fin y al cabo es intentar garantizar que las lenguas del Estado sean funcionales con modelos de IA. Es una defensa del español (y del gallego, catalán y euskera) bastante más clara que mandar a un señor de gira por Estados Unidos a decir lo buenas que están aquí las tapas. Ya hay muchos ámbitos hoy en día en que se ha aceptado con naturalidad que el inglés es el referente y el español es muy secundario, como la investigación científica, no creo que se deba dejar un tema como el de las IAs completamente de lado y después aceptar que lo mejor para sacar el 100% de su potencial sea tirar del inglés porque poco a poco se ha ido imponiendo.
No es muy probable que veas un resurgimiento de papers en español, con lo que no creo que debamos dormirnos con esto.
el modelo se llamara TxaPT
#80 Falacia de la bola de cristal.
#21 Pues suerte con entrenar un modelo con esas bases de datos en muchos idiomas para que 'entienda correctamente' cualquiera de ellos. No se si habrás trabajado con alguna... pero tela...
Si quieres entrenar un modelo nuevo 7B échale un par de semanas con varias A100
Quizás se podría hacer un MOE encargando modelos especializados por cada lengua a las universidades de las diferentes regiones en lugar de hacer un modelo con un numero demasiado bruto de parámetros pero la recogida y clasificación de datos no te la quita nadie, además del jaleo que se va a montar para meterle guardarraíles y controlar los sesgos a lo que salga... Y eso es caro, más que el coste de computación seguro.
La primera versión de LLM de Euskera ya está disponible (basado en Llama), aunque seguro que tiene margen de mejora: https://www.ehu.eus/es/-/hitz-zentroa-desarrolla-mayor-modelo-lenguaje-euskera-latxa
#2 Esperad a que lo entrenen con los comentarios de menéame y forocoches... el conocimiento de professor combinado con la sutileza de forococheros, implementado todo en una IA. Ya se podría usar directamente sin alineación ni hostias. ¡Una AGI así, con MAYÚSCULAS! Para exportar al mundo. Temblad luditas.
#89 La caza, que ¿deporte? más patriótico.
Esta IA, ha añadido Sánchez, responderá a los quince días hábiles de que el usuario/a haya hecho la consulta implementando los impresos IA-125 e IA-427 A, B y C. En caso de no quedar satisfecho/a con la respuesta recibida, el usuario/a podrá interponer recurso ante el ministerio de comunicaciones mediante los impresos SPM-525 y HDLGP-355.