Hoe Arweave concurreert in een wereld waar AI steeds meer data genereert

Lieke de Vries

Blockchain architectuur archivering specialist

Stel je even voor: je bent een AI die net een prachtig kunstwerk heeft gemaakt of een belangrijk wetenschappelijk paper heeft geschreven. Waar berg je dat op?

In een gedeelde map op een server van Google of Amazon? Dat voelt een beetje alsof je je kostbare schat in een huurwoning legt die je ooit moet verlaten.

De wereld wordt overspoeld door data, vooral nu AI overuren draait. De vraag naar opslag schiet omhoog, maar de manier waarop we data bewaren, is al decennia hetzelfde en volgens velen achterhaald. Hier komt Arweave om de hoek kijken, een platform dat niet alleen meedoet, maar het spel verandert.

De onstilbare stroom van AI-data

De impact van AI is gigantisch en groeit elke seconde. Denk aan de enorme taalmodellen van OpenAI of de snelle beeldgeneratoren zoals Midjourney.

Deze systemen produceren niet alleen output; ze verteren ook bergen aan trainingsdata. Het gaat hier niet om een paar bestanden, maar om petabytes aan tekst, beeld en geluid. Traditionele cloudopslag, zoals die van AWS of Microsoft Azure, is gebouwd voor deze schaal, maar het model heeft haken en ogen. Het is gecentraliseerd, wat betekent dat één bedrijf de touwtjes in handen heeft.

Dit leidt tot zorgen over privacy, censuur en de enorme kosten die kunnen oplopen naarmate je meer data opslaat. Bovendien is er het risico van ‘data decay’; bestanden die op reguliere servers liggen, kunnen corrupt raken of verloren gaan als de host failliet gaat.

Arweave: Permanentiteit als kernwaarde

Arweave is niet zomaar een blockchain; het is een gedecentraliseerd datanetwerk met een duidelijke missie: data permanent en onveranderlijk opslaan.

Waar traditionele opslag vaak werkt met huurmodellen (je betaalt zolang je de data bewaart), werkt Arweave met een eenmalige betaling. Je betaalt voor opslag op de lange termijn, en de data blijft voor altijd beschikbaar. Dit wordt mogelijk gemaakt door hun unieke architectuur, de ‘blockweave’.

In plaats van een simpele keten van blokken (zoals Bitcoin), gebruikt Arweave een verweven structuur. Elke nieuwe blok bouwt voort op meerdere voorgaande blokken.

Dit maakt het netwerk niet alleen veiliger, maar ook efficiënter voor het opslaan van grote hoeveelheden data.

Nodes in het netwerk ‘verven’ de data vast in de structuur, waardoor het bijna onmogelijk wordt om informatie te wijzigen of te verwijderen. Dit is cruciaal voor AI-toepassingen waar betrouwbaarheid en herleidbaarheid essentieel zijn.

De strijd met de grote cloud-reuzen

Hoe concurreert een relatief jong platform als Arweave met giganten als Google Cloud en Amazon S3?

Het antwoord ligt in de fundamentele verschillen in filosofie en techniek. Allereerst is er het kostenplaatje. Bij traditionele cloudopslag betaal je maandelijks voor wat je gebruikt.

Die kosten kunnen flink oplopen als je grote AI-datasets bewaart. Bij Arweave betaal je één keer voor opslag op basis van de huidige marktprijs van de AR-token.

Momenteel kost het opslaan van een gigabyte ongeveer $0.0001, wat aanzienlijk lager is dan de doorlopende kosten van traditionele cloudproviders.

Het gaat hier dus om een verschil tussen een abonnement en een eigendomsbewijs. Ten tweede is er de kwestie van centralisatie. Cloudproviders zijn centrale punten van falen. Als er een storing is of een bedrijf besluit een account te blokkeren, is de data weg.

Arweave is gedecentraliseerd; de data staat op duizenden nodes over de hele wereld. Dit maakt het netwerk extreem resistent tegen censuur en uitval.

De kracht van de Permaweb

Voor AI-ontwikkelaars betekent dit dat hun modellen en datasets altijd toegankelijk zijn, ongeacht wat er in de wereld gebeurt. Een specifiek concept van Arweave is de ‘Permaweb’. Dit is een laag bovenop het Arweave-netwerk die het mogelijk maakt om websites en applicaties permanent te hosten.

Voor AI betekent dit dat je niet alleen de data, maar ook de applicaties die deze data verwerken, permanent kunt vastleggen.

Stel je voor dat je een AI-model traint en de bijbehorende code en output op de Permaweb zet; deze blijft voor altijd functioneren en raakt nooit kwijt. Dit is een gamechanger voor digitale archeologie en het bewaren van kennis.

Specifieke toepassingen voor AI

Arweave is bij uitstek geschikt voor de unieke behoeften van AI, omdat het niet alleen opslaat, maar ook integreert.

• Archivering van trainingsdata: AI-modellen vereisen grote, schone datasets. Arweave zorgt ervoor dat deze datasets onveranderlijk blijven. Als een dataset corrupt raakt of wordt aangepast, blijft de originele versie op Arweave bewaard als referentie.
• Generatieve outputs vastleggen: AI’s zoals DALL-E of ChatGPT produceren constant nieuwe content. Deze outputs kunnen direct op Arweave worden opgeslagen, wat een betrouwbbare ‘provenance’ (herkomst) garandeert. Dit is essentieel voor het bestrijden van nepnieuws en deepfakes.
• Decentrale model repositories: Ontwikkelaars kunnen hun AI-modellen delen via Arweave zonder afhankelijk te zijn van centrale platforms zoals GitHub, die in theorie bestanden kunnen verwijderen.

Samenwerkingen en integraties: Het geval CoreWeave

Een interessante ontwikkeling is de samenwerking tussen Arweave en gespecialiseerde cloudpartijen zoals CoreWeave.

CoreWeave is een cloudprovider die zich richt op GPU-kracht, essentieel voor AI-training. Door Arweave te integreren, kunnen gebruikers de rekenkracht van CoreWeave combineren met de permanente opslag van Arweave. Dit creëert een hybride krachtcentrale. Je gebruikt de GPU’s van CoreWeave om je AI-model te trainen, en zodra de output klaar is, verplaats je deze naar Arweave voor permanente bewaring.

Dit is veel efficiënter dan het continue streamen van data naar dure, traditionele opslag. De prijs van een ‘verf’ (de basisunit voor dataopslag op Arweave) blijft laag, terwijl de toegankelijkheid hoog is. Deze combinatie van rekenkracht en permanente opslag biedt een voorsprong op traditionele cloudmodellen die vaak vastzitten in lock-in structuren.

Uitdagingen op de weg vooruit

Natuurlijk is Arweave geen utopie. Het netwerk staat nog in de kinderschoenen vergeleken met de decennialange dominantie van AWS.

Een belangrijke uitdaging is schaalbaarheid. Hoewel de blockweave-architectuur efficiënt is, moet het netwerk blijven groeien om de explosie van AI-data bij te houden. Er is een limiet aan hoe snel nieuwe nodes kunnen worden toegevoegd en hoeveel data er per seconde kan worden verwerkt. Een andere horde is de gebruikerservaring.

Voor de gemiddelde AI-ontwikkelaar is het werken met crypto-wallets en AR-tokens nog steeds een drempel. De interfaces moeten intuïtiever worden om massale adoptie mogelijk te maken. Daarnaast is de prijsvolatiliteit van de AR-token een aandachtspunt; hoewel de opslagkosten laag zijn, kan de waarde van de token fluctueren, wat van invloed is op de initiële kosten voor nieuwe gebruikers.

De toekomst van data in het AI-tijdperk

De toekomst van AI is onlosmakelijk verbonden met de toekomst van data-opslag. Naarmate AI-modellen complexer worden en meer data verbruiken, zal de vraag naar betrouwbare, goedkope en censuurbestendige opslag toenemen. Arweave biedt een overtuigend alternatief voor het huidige centralistische model, zeker nu Arweave groeit als opslaglaag voor AI-trainingsdata.

Door de nadruk te leggen op permanentie en decentralisatie, speelt Arweave in op de behoefte aan zekerheid in een digitale wereld die constant verandert.

Het is niet alleen een opslagplaats; het is een archief voor de menselijke en artistieke output van AI. Terwijl de grote cloudbedrijven blijven concurreren op prijs en snelheid, speelt Arweave een ander spel: het bewaren van erfgoed.

In een wereld waar AI steeds meer data genereert, is de vraag niet alleen waar we het opslaan, maar hoe we ervoor zorgen dat het blijft bestaan. Arweave lijkt daarop het antwoord te hebben.