Se presenta 2023 como el año significativo para la IA generativa de texto, con una mirada retrospectiva al progreso de la IA desde 2022.

• El avance de la IA generativa comenzó en 2022 y continuó creciendo en 2023 con tecnologías como ChatGPT.
• OpenAI ha sido una figura central en popularizar la IA, aunque con una ironía en su nombre debido a su enfoque cerrado reciente.

OpenAI ha cambiado su enfoque de compartir conocimiento abierto a proteger sus desarrollos como secretos industriales.

• OpenAI ha pasado de la investigación abierta a productos cerrados, limitando la reproducibilidad académica.
• El cambio ha llevado a la comunidad científica a depender de 'technical reports' incompletos en lugar de 'papers' detallados.

Hay poca información clara sobre GPT-4, pero las filtraciones sugieren que podría ser un modelo tipo MoE.

• OpenAI ha revelado pocos detalles sobre GPT-4, dejando incertidumbre en la comunidad científica.
• Una filtración por George Hotz sugiere que GPT-4 podría ser un modelo de 'Mixture of Experts' (MoE) con 220 mil millones de parámetros.

Se explica el concepto de MoE y cómo este tipo de arquitectura puede hacer que GPT-4 sea más eficiente y especializado.

• El modelo MoE divide el modelo en submodelos especializados, lo que permite una inferencia más eficiente.
• Este enfoque podría explicar cómo GPT-4 maneja un gran número de parámetros sin incurrir en costos computacionales desorbitados.

Se discuten los desafíos de escalar modelos densos de IA y cómo los costos computacionales pueden ser prohibitivos.

• Modelos más grandes con más parámetros requieren más cómputo y son más costosos de operar.
• El enfoque MoE surgió como una solución a la necesidad de modelos más eficientes y especializados.

Los modelos open source están ganando terreno, permitiendo a la comunidad mejorar y optimizar la IA de forma colaborativa.

• El modelo Mistral de la compañía francesa Mistral AI es un MoE open source que compite con tecnologías como ChatGPT.
• Los modelos open source permiten a los usuarios ejecutar IA en sus propios dispositivos sin depender de terceros.

Se prevé que 2024 será un año de desarrollo y adopción significativos para los modelos de IA open source.

• Se anticipa que los modelos open source serán más potentes y eficientes, reduciendo la brecha con modelos privados.
• El año 2023 superó expectativas y sentó las bases para una revolución en IA que se solidificará en 2024.