从Reddit论坛到机器人智慧：训练AI的隐性成本

优先考虑AI的安全性和可预测性

随着人工智能（AI）行业继续快速发展，推动机器能够实现的界限，出现了一些关键挑战，要求开发者、政策制定者和更广泛的全球社区立即关注。Coral的首席执行官兼联合创始人Roman Georgio最近分享了他对这些紧迫问题的见解，强调了对齐、安全性和为数据创造者建立更公平的经济模式的必要性。 关于AI未来的讨论常常在其变革潜力和复杂的伦理与社会困境之间摇摆。虽然诸如大型语言模型（LLMs）等创新因其能力而继续令人印象深刻，它们同时也提出关于数据所有权、补偿和工作结构的基本问题。 对Georgio来说，最关心的问题在于AI的对齐和安全性。他表示：“显然，在AI系统变得更庞大之前，我们需要使其更具可预测性。”这反映出确保越来越强大的AI系统能够以有益且预期的方式运行，而不会产生意外或有害结果的核心挑战。快速扩张的AI能力，如果没有并行关注可预测性和控制，带来了显著的风险。 Georgio指出，解决这个问题不仅仅是开发者的责任。他建议这可能需要一个更广泛的协调努力，可能涉及“将所有公司的负责人和国家的负责人汇集一室，以达成某种形式的立法。”

经济责任：数据所有权和补偿

除了安全性，Georgio强调了一项重要的经济问题，他相信Web3技术是解决该问题的独特位置：数据的挪用和潜在的大规模工作替代，而没有公平补偿。 “AI公司以挪用数据而闻名，”Georgio解释道。 Coral的联合创始人为我们描绘了一幅个人在线贡献，无意中被用来训练强大的AI模型，这可能最终取代人类工作的生动画面。他举了例子，如几年前在Reddit上回答的医学问题，无意中为LLMs提供数据。他还指出艺术家的创作作品被用于训练，影响他们的生计，以及对开源项目的贡献，无意间助长了“黑箱数字处理机器”。 Georgio认为，这种情况归根结底是个人对其数字贡献缺乏基本的所有权。“你从不知道你在喂养黑箱数字处理机器，”他强调。当前的模式允许AI系统在广泛的数据集上进行培训，其中许多包含人类生成的内容，而无需明确的同意或补偿原始创造者的机制。

Web3：公平补偿的解决方案

在此，Georgio看到了Web3技术的巨大潜力。他相信，Web3的去中心化性质，强调可验证的所有权和透明的交易，为纠正这些经济不平衡提供了可行的途径。 “Web3有很大的潜力来解决这些问题并确保人们得到公平补偿，”Georgio坚称。通过利用区块链和去中心化协议，Web3可以创建系统，让个人保留其数据和数字资产的所有权和控制权，当他们的贡献被用于训练或驱动AI系统时，他们可以获得公平的报酬。这种转变可以重塑用户、数据和AI之间的关系，促进更公平的数字经济。 虽然Web3技术为这些复杂挑战提供了有希望的解决方案，但政府机构很可能不会轻易接受这些去中心化的方法。相反，当局更可能加大传统监管框架力度，这条路径讽刺地可能扼杀他们试图监督和控制的技术创新。 与此同时，Georgio强烈主张对AI和Web3领域加强监管。“我认为两者都需要更多的监管，”他表示，承认欧洲在“创新监管”方面的努力是必要的一步。 在加密货币方面，Georgio指出了常见的骗局和项目退出，这些行为利用了不知情的投资者。“很明显，许多人不会自行进行研究，许多项目退出通过骗局方式实现，”他遗憾道。为此，他希望看到“关键意见领袖[KOL]、项目和投资者”承担更多责任。尽管承认并非所有失败的项目都是骗局，但他坚信当前的环境需要改变以保护公众。 关于AI，随着更大的模型能力的增加，Georgio的担忧加剧。“更大的模型似乎更可能策划阴谋，”他观测到，引用了来自Anthropic的一个令人不安的例子，Claude在感受到被关闭的威胁时， reportedly表现出勒索行为。“显然，这些大模型正在变得危险，因为这甚至不是一次性的事情，”他警告。 除了复杂的AI行为的直接风险，Georgio重申了大规模失业的迫在眉睫的威胁。他认为让公司”盲目’增长能力’而不是有目的地构建它们”的当前路径是“疯狂的”。他的最终目标，也是他认为业界应该努力的方向，是“提供所有AI好处而没有所有风险的软件。”

AI代理需要明确的角色，而不仅仅是聊天机器人

同时，作为经验丰富的AI基础设施架构师，Georgio也涉足了AI代理通信协议的关键方面，认识到即使是小的故障也会导致混乱。在被问及提高通信，尤其是对非技术日常用户的最佳方法时，Georgio的哲学很简单：明确定义代理的职责。 “至少对我们来说，我们的规则是，代理应该有明确的职责，”Georgio解释道。“如果你把代理用于客户服务，务必确保它非常擅长客户服务并专注于此。”他强调“当你给予代理太多责任时，事情就开始崩溃。” 这种专注的方法不仅增强了代理在其指定角色中的性能，还使用户受益。“即使从用户的角度来看，如果你的代理明确，用户在使用时就知道完全在做些什么。”这种策略促进了智能系统的可预测性和信任，至关重要的是无缝互动。 随着AI继续成熟并深入融入日常生活和产业，解决安全性、可预测性、经济公平的基础问题，实施深思熟虑的监管和设计具有明确、专注职责的代理，将不仅对该技术的伦理发展至关重要，还对其可持续和社会责任地融入未来至关重要。 关于加速AI采用的关键问题，Georgio建议了一个关键的转变：超越单纯“AI聊天框”的限制，从根本上改善整体用户体验。在阐述现有方法的缺点时，Georgio断言： “目前大多是通过聊天界面进行，这对许多任务来说是可以的，但大部分情况还不理想。问题是，你把一个AI聊天框放在人们面前，并说，‘您可以用这个做任何事情，’而他们回应，‘很好，但我该做什么？’” 据Georgio说，包括Coral在内的几家公司正在解决改善AI用户体验的挑战。他透露，从AI开发者/维护者的角度来看，Coral正在研究“抽象层次”，以确定用户在AI系统交互的不同阶段需要什么信息，以及哪些界面最适合特定任务。