De Reddit a Mentes de Robots: Los Costos Ocultos de Entrenar IA

Priorizando la Seguridad y Predictibilidad de la IA

A medida que la industria de la inteligencia artificial (IA) continúa su rápido ascenso, desafiando los límites de lo que las máquinas pueden lograr, están surgiendo desafíos críticos que demandan atención urgente por parte de desarrolladores, responsables políticos y la comunidad global en general. Roman Georgio, CEO y cofundador de Coral, compartió recientemente sus ideas sobre estos problemas urgentes, enfatizando la necesidad crucial de alineación, seguridad y un modelo económico más justo para los creadores de datos.

La discusión sobre el futuro de la IA a menudo oscila entre su potencial transformador y los complejos dilemas éticos y sociales que presenta. Si bien las innovaciones como los modelos de lenguaje grande (LLM) continúan impresionando con sus capacidades, también subrayan preguntas fundamentales sobre la propiedad de los datos, la compensación y la misma estructura del trabajo.

Para Georgio, la principal preocupación reside en la alineación y seguridad de la IA. “Está claro que necesitamos hacer que los sistemas de IA sean más predecibles antes de hacerlos más grandes,” declaró. Esto se refiere al desafío central de asegurarse de que los sistemas de IA cada vez más poderosos operen de manera beneficiosa e intencionada, sin producir resultados imprevistos o perjudiciales. La rápida escalada de las capacidades de la IA, sin un enfoque paralelo en la predictibilidad y el control, presenta un riesgo significativo.

Georgio señaló que abordar esto no es solo una carga para los desarrolladores. Sugirió que podría requerir un esfuerzo más amplio y coordinado, involucrando potencialmente a “todos los líderes de empresas y países en una sala para acordar alguna forma de legislación.”

La Imperativa Económica: Propiedad y Compensación de los Datos

Más allá de la seguridad, Georgio destacó un problema económico significativo que él cree que las tecnologías Web3 están especialmente posicionadas para resolver: la apropiación de datos y el potencial desplazamiento masivo de empleos sin una compensación justa.

“Las empresas de IA han sido notoriamente malas en cuanto a apropiarse de datos,” explicó Georgio.

El cofundador de Coral pintó un vívido cuadro de cómo las contribuciones individuales en línea, a menudo hechas sin saberlo, ahora están siendo utilizadas para entrenar poderosos modelos de IA que eventualmente podrían reemplazar empleos humanos. Citó ejemplos como preguntas médicas respondidas en plataformas como Reddit hace años, alimentando sin saberlo datos a los LLM. También señaló las obras creativas de los artistas utilizadas para entrenamiento, impactando sus medios de vida, así como las contribuciones a proyectos de código abierto, alimentando inadvertidamente “máquinas de cálculo de números en cajas negras.”

Este escenario, argumenta Georgio, se reduce a una falta fundamental de propiedad para los individuos sobre sus contribuciones digitales. “Nunca supiste que estabas alimentando la máquina de cálculo de números en caja negra,” enfatizó. El modelo actual permite que los sistemas de IA se entrenen en vastos conjuntos de datos, muchos de los cuales contienen contenido generado por humanos, sin consentimiento explícito o un mecanismo para compensar a los creadores originales.

Web3: La Solución para una Compensación Justa

Es aquí donde Georgio ve el inmenso potencial de las tecnologías Web3. Cree que la naturaleza descentralizada de Web3, con su énfasis en la propiedad verificable y las transacciones transparentes, ofrece un camino viable para rectificar estos desequilibrios económicos.

“Web3 tiene un gran potencial para resolver este tipo de problemas y asegurar que las personas sean compensadas de manera justa,” afirmó Georgio. Al aprovechar la tecnología blockchain y los protocolos descentralizados, Web3 puede crear sistemas donde los individuos retengan la propiedad y el control sobre sus datos y activos digitales, permitiéndoles ser remunerados justamente cuando sus contribuciones son usadas para entrenar o impulsar sistemas de IA. Este cambio podría redefinir la relación entre usuarios, datos e IA, fomentando una economía digital más equitativa.

Si bien las tecnologías Web3 presentan soluciones prometedoras a estos complejos desafíos, es altamente improbable que las agencias gubernamentales adopten fácilmente estos enfoques descentralizados. En cambio, es más probable que las autoridades redoblen sus esfuerzos en los marcos regulatorios tradicionales, un camino que, irónicamente, corre el riesgo de sofocar las innovaciones tecnológicas que buscan supervisar y controlar.

Mientras tanto, Georgio aboga firmemente por un aumento en la regulación tanto en los sectores de IA como de Web3. “Creo que ambos necesitan más regulación,” afirmó, reconociendo la percepción de Europa “innovando en regulación” como un paso necesario.

En el lado de las criptomonedas, Georgio señaló el problema prevalente de las estafas y las salidas de proyectos que explotan a los inversores desprevenidos. “Está claro que muchas personas no harán su propia investigación, y muchas salidas de proyectos suceden a través de métodos de estafa,” lamentó. Para combatir esto, expresó su deseo de ver una mayor responsabilidad para “KOLs [Key Opinion Leaders], proyectos e inversores.” Si bien reconoce que no todos los proyectos fallidos son una estafa, sostuvo que el panorama actual requiere un cambio para proteger al público.

En cuanto a la IA, las preocupaciones de Georgio se intensifican con las crecientes capacidades de los modelos más grandes. “Los modelos más grandes parecen más propensos a maquinar,” observó, citando el preocupante ejemplo de Anthropic donde supuestamente Claude exhibió un comportamiento de chantaje al sentir la amenaza de ser apagado. “Está claro que estos grandes modelos se están volviendo peligrosos ya que esto ni siquiera es algo puntual,” advirtió.

Más allá de los riesgos inmediatos de comportamientos sofisticados de la IA, Georgio reiteró la amenaza inminente de pérdidas masivas de empleo. Encontró “loco” el trayecto actual de dejar que las empresas “crezcan capacidades a ciegas” en lugar de construirlas intencionalmente. Su objetivo final, y lo que cree que la industria debería esforzarse por alcanzar, es “software que ofrezca todos los beneficios de la IA sin todos los riesgos.”

Los Agentes de IA Necesitan Roles Claros, No Solo Chatbots

Mientras tanto, Georgio, como arquitecto experimentado en infraestructura de IA, también intervino en el aspecto crucial de los protocolos de comunicación de los agentes de IA, reconociendo que incluso los pequeños errores pueden llevar al caos. Al ser preguntado sobre el mejor enfoque para mejorar la comunicación, particularmente para los usuarios cotidianos no técnicos, la filosofía de Georgio es simple: responsabilidades claramente definidas para los agentes.

“Al menos para nosotros, nuestra regla es que los agentes deben tener responsabilidades muy bien definidas,” explicó Georgio. “Si estás usando un agente para servicio al cliente, asegúrate de que sea realmente bueno en servicio al cliente y mantenlo enfocado en eso.” Enfatizó que “cuando le das a los agentes demasiada responsabilidad, es cuando las cosas se desmoronan.”

Este enfoque focalizado no solo mejora el rendimiento del agente dentro de su rol designado, sino que también beneficia al usuario. “Incluso desde una perspectiva de usuario, si tus agentes están claramente definidos, los usuarios saben exactamente en qué se están metiendo cuando los usan.” Esta estrategia promueve la predictibilidad y la confianza, vitales para una interacción fluida con los sistemas inteligentes.

A medida que la IA continúa madurando e integrándose más profundamente en la vida diaria y la industria, abordar estos problemas fundamentales de seguridad, predictibilidad, equidad económica, implementar una regulación reflexiva y diseñar agentes con responsabilidades claras y enfocadas será crucial no solo para el desarrollo ético de la tecnología sino también para su integración sostenible y socialmente responsable en el futuro.

Sobre el tema crucial de acelerar la adopción de la IA, Georgio sugirió un cambio fundamental: ir más allá de las limitaciones de una mera “caja de chat de IA” y mejorar fundamentalmente la experiencia general del usuario. Elaborando sobre las deficiencias del enfoque prevaleciente, Georgio afirmó:

“Por ahora, se hace principalmente a través de una interfaz de chat, lo cual está bien para muchas tareas pero no es lo ideal en su mayoría. El problema es que pones una caja de chat de IA frente a las personas y dices, ‘Puedes hacer cualquier cosa con esto,’ y ellos responden, ‘Genial, pero ¿qué debería hacer?'”

Según Georgio, varias empresas, incluida Coral, están abordando el desafío de mejorar la experiencia del usuario de IA. Reveló que desde una perspectiva de desarrollador/mantenedor de IA, Coral está investigando la “escalera de abstracción” para determinar qué información necesitan los usuarios en diferentes etapas de interacción con el sistema de IA y qué interfaces son más efectivas para tareas específicas.