#45 Fuentes, citaciones, referencias. Pídeles a tus alumnos que documenten bien de donde sale la información. Ahora es más imporante que nunca. Sin ello la gente no aprenderá a distinguir qué es verda de lo que no. Sin ello la ciencia no podrá avanzar.
#14 En machine learning, "end of sentence" y "end of sequence" se usan de forma intercambiable. Ambos significan lo mismo, un token especial para parar la generación.
Un LLM base es cierto que siguen generando indefinidamente. Pero un LLM fine-tuned para instrucción (que lo son todos los que se usan para chatbot) está entrenado con los tokens especiales para que pueda seguir instrucciones y "decidir" que es hora de parar. De hecho puedo alargar o acortar las respuestas cambiando el bias del logit de EOS. O sea subir o bajar la probabilidad de que emita el token de EOS. Si me paso de bias, se queda generando hasta el infinito, y se ralla porque no está entrenado para seguir hablando.
#71 Sigo sin saber de que hablas. Encoder del modelo BERT? OpenAI fue quien les quitó el encoder para hacer GPT. Los LLM actuales no tienen encoder. Son decoder-only.
Si hablas del entrenamiento en FP8 directamente, eso es solo una de las diferencias de algunos de los modelos chinos con los occidentales. Los chinos han sacado muchas otras innovaciones que también benefician mucho al entrenamiento en 16 bits en el tema de ahorro de energía.
#18 No sé qué quieres decir. Lo que yo estoy diciendo es que están creando modelos que cuestan mucho menos de entrenar. No es que "usen" un modelo más barato, sino que hacen ellos un modelo más barato.
Edit: si hablas de modelo de GPU, eso es parte del coste, sí, pero la mayor parte de los costes son la electricidad.
No es la única. Hay unas cuantas empresas chinas de IA (la mayoría son pequeñas y desconocidas) que le están dando de palos a EEUU consiguiendo entrenar a IAs por una fracción del coste con innovaciones como la de deepseek, y encima publican esas IAs como pesos abiertos y publican como lo hacen. Pero la gente tarda en enterarse, por eso a la burbuja aun le queda un rato.
Hecha la ley, hecha la trampa. El 99.99% de delincuentes que podrían cazar con esto sabrán evitar el escaneo de mensajes. No pueden hacer nada contra un linux live y un tor browser.
Esto no sirve para evitar CSAM y sirve mucho para espiarnos a todos y que luego haya leaks accidentales de datos privados de todos.
#22 Se supone que el análisis se haría en el mismo dispositivo, con una IA pequeña o lo que sea, solo enviando lo que es sospechoso. Y luego ya una IA más grande puede detectar muchas más cosas. Pero el hecho de que funcione o no es irrelevante. Es un ataque a nuestra privacidad de cualquier modo y debemos oponernos.
#41 No hay pruebas de que haya adicción real a la sal, glutamato, grasa, etc. pero sí al azúcar. En particular la fructosa (que además se metaboliza de forma muy similar al etanol).
#21 La adicción no necesita tener un efecto psicoactivo asociado (aparte de los mecanismos de recompensa) para considerarse adicción. El azúcar produce este efecto. Especialmente la fructosa, que no tiene un efecto saciante asociado, pues en la naturaleza siempre ha venido acompañada de algo (como la fibra alimentaria) que sí que produce saciedad.
#34 Por la misma razón que se echa sal, estimula un tipo de papilas gustativas (en este caso umami en lugar de salado). El hecho de que esté presente en el sistema nervioso no significa nada.
#90 Y toda esa subida que mencionas ocurrió en 2023 y un poquito de 2024. Desde entonces ha bajado. Vale, probablemente no sea suficiente (veremos como va en el futuro), pero decir que solo ha subido ignorando el último año y pico es un poco engañoso. Y "el resto del mundo industrializado" usa muchísima industria de China, así que no estamos libres de culpa.
#87 Por qué eliges 2023? El pico de emisiones ocurrió a principios de 2024. Y no olvides que muchas de sus emisiones son causadas por nuestra demanda. La mayor parte de cacharros que usas se fabricaron allí.
#50 Esa gráfica acaba en 2023, cuando desde febrero de 2024 se ha mantenido estable, la gráfica es casi plana. Además, siendo la fábrica del mundo no solo están intentando reducir sus emisiones, también las nuestras (muchas de las cosas que compramos emitieron sus emisiones allí al fabricarse). No podemos estar pidiéndoles que dejen de emitir tanto al mismo tiempo que le estamos comprando de todo, especialmente cosas baratas que se rompen con facilidad. Ellos fabrican cosas de calidad también, pero lo barato es lo que vende y lo barato nos sale caro en realidad.
#101 DiThi 
