De mijlpaal in de opleiding van Bittensor trekt de aandacht van Chamath Palihapitiya en Jensen Huang, CEO van Nvidia

Open source AI wint aan momentum dankzij steun van Nvidia-CEO

Chamath Palihapitiya zette Bittensor's Covenant-72B in de schijnwerpers tijdens een aflevering van de All-In Podcast en noemde het een concreet voorbeeld van gedecentraliseerde kunstmatige intelligentie (AI) die verder gaat dan de theorie. Bittensor functioneert als een gedecentraliseerd, door blockchain aangestuurd netwerk dat een peer-to-peer-marktplaats creëert waar machine learning-modellen en AI-rekenkracht worden uitgewisseld en gestimuleerd.

Palihapitiya beschreef het initiatief in eenvoudige bewoordingen: een grootschalig taalmodel (LLM) dat is getraind zonder gecentraliseerde infrastructuur, maar in plaats daarvan wordt aangedreven door een netwerk van onafhankelijke bijdragers. "Ze zijn erin geslaagd om een LLaMA-model met 4 miljard parameters te trainen, volledig gedistribueerd, waarbij een groep mensen overtollige rekenkracht bijdroeg," zei hij, en noemde het "een behoorlijk waanzinnige technische prestatie."

De vergelijking kwam neer op een bekende analogie. "Er zijn willekeurige mensen, en elke persoon krijgt een klein aandeel", voegde Palihapitiya toe, verwijzend naar het vroege gedistribueerde computerproject dat wereldwijd gebruik maakte van ongebruikte hardware.

Huang verwierp het idee niet. In plaats daarvan ging hij in op een bredere invalshoek van de AI-markt en suggereerde hij dat gedecentraliseerde en propriëtaire benaderingen elkaar niet uitsluiten. "Deze twee dingen zijn niet A of B; het is A en B," zei Huang. "Daar bestaat geen twijfel over."

Die tweesporenvisie weerspiegelt een groeiende kloof – en overlap – binnen AI. Aan de ene kant staan gesloten, zeer gepolijste systemen zoals ChatGPT, Claude en Gemini. Aan de andere kant staan open-source en gedecentraliseerde modellen waarmee ontwikkelaars en organisaties systemen kunnen aanpassen aan specifieke behoeften.

Huang maakte duidelijk dat hij beide sporen als essentieel beschouwt. "Modellen zijn een technologie, geen product", zei hij, waarbij hij opmerkte dat de meeste gebruikers zullen blijven vertrouwen op gepolijste, algemene systemen in plaats van hun eigen systemen vanaf nul op te bouwen.

Tegelijkertijd wees hij op sectoren waar maatwerk geen optie is. “Er zijn tal van sectoren waar hun domeinexpertise… op een manier moet worden vastgelegd die zij zelf kunnen beheersen,” legde Huang uit, eraan toevoegend dat “dat alleen mogelijk is met open modellen.”

Die uitspraak past precies in het straatje van Bittensor. Covenant-72B, ontwikkeld via Subnet 3 (Templar), vertegenwoordigt een van de grootste gedecentraliseerde trainingsruns tot nu toe, waarbij meer dan 70 bijdragers via standaard internetverbindingen worden gecoördineerd zonder centrale autoriteit.

Technisch gezien verlegt het model grenzen. Het is gebouwd met 72 miljard parameters en getraind op ongeveer 1,1 biljoen tokens, en maakt gebruik van innovaties zoals gecomprimeerde communicatieprotocollen en gedistribueerde dataparallellisme om training buiten traditionele datacenters haalbaar te maken.

Prestatiestatistieken suggereren dat het niet louter experimenteel is. Benchmarkresultaten plaatsen het in concurrentie met gevestigde gecentraliseerde modellen, een detail dat helpt verklaren waarom het project de aandacht heeft getrokken van een publiek dat niet alleen uit crypto-liefhebbers bestaat.

De markt merkte het ook op. Na de aankondiging is de TAO-token van het project met 24% gestegen sinds de video van Palihapitiya en Huang de ronde deed op sociale media.

Toch suggereren de opmerkingen van Huang dat het echte verhaal niet draait om disruptie, maar om coëxistentie tussen de twee. Eigen AI-systemen zullen waarschijnlijk dominant blijven voor algemene gebruikers, terwijl open en gedecentraliseerde modellen een rol gaan spelen in gespecialiseerde, kostengevoelige of soevereiniteitsgedreven toepassingen.

Voor startups schetste de CEO van Nvidia een pragmatisch draaiboek: begin open, en voeg vervolgens eigen voordelen toe. "Elke startup waarin we nu investeren, is eerst open source en gaat daarna over op het eigen model", zei hij.

Met andere woorden, de toekomst van AI behoort misschien niet toe aan één enkele architectuur of filosofie. Misschien behoort deze toe aan degenen die zich in beide kunnen bewegen – en weten wanneer ze welke moeten gebruiken.

FAQ 🔎

• Wat is Bittensor's Covenant-72B?
  Een taalmodel met 72 miljard parameters, getraind via een gedecentraliseerd netwerk van bijdragers zonder gecentraliseerde infrastructuur.
• Wat zei Jensen Huang over gedecentraliseerde AI?
  Hij zei dat open en propriëtaire AI-modellen naast elkaar zullen bestaan, en beschreef de relatie als "A en B", niet als een keuze tussen beide.
• Waarom is deze ontwikkeling belangrijk?
  Het laat zien dat grootschalige AI-modellen buiten traditionele datacenters kunnen worden getraind, wat aannames over infrastructuurbehoeften ter discussie stelt.
• Wat betekent dit voor de AI-sector?
  Het ondersteunt een hybride toekomst waarin gecentraliseerde platforms en gedecentraliseerde modellen verschillende rollen vervullen in verschillende sectoren.