Democratisering van taalmodellen: een onderdeel van de democratisering van kennis

Eén van de gebieden in AI waar heel veel aandacht van onderzoekers naar uit gaat, is het ontwikkelen van zogenaamde Large Language Models (LLMs). Een krachtig LLM kan teksten genereren die door een mens geschreven lijkt te zijn. LLMs kunnen onder andere gebruikt worden in chatbots, om teksten samen te vatten, om nieuwe teksten te genereren of om online content te modereren.

BLOOM is een nieuw LLM, dat in verschillende opzichten een tegenhanger is van de bekendere modellen GPT-3 van OpenAI en LaMDA van Google. In tegenstelling tot GPT-3 en LaMDA, is BLOOM ontworpen om zo transpart mogelijk te zijn.

De ontwikkelaars van BLOOM delen details over de trainingsdata, de moeilijkheden die ze tegenkwamen in de ontwikkeling en de manier waarop de performance van het model is geëvalueerd. Informatie die OpenAI en Google niet over hun modellen delen.

Het doel van de ontwikkelaars van BLOOM is om een langdurige verandering teweeg te brengen in de cultuur van de ontwikkeling van Artificial Intelligence. Een verandering die zorgt voor een democratisering van de toegang tot de nieuwste AI technologie voor alle onderzoekers die zich met AI bezig houden.

BLOOM lost niet de diepgewortelde problemen op, waar ook de bestaande LLMs last van hebben. Zoals de neiging om aanstootgevende teksten te genereren die doordrenkt zijn van het racisme en sexisme waar het internet vol mee staat. Het is niet noodzakelijkerwijs ontwikkeld om een beter model te zijn. Het is ontwikkeld om verdere ontwikkeling van het vakgebied breder mogelijk te maken.

Juist de geheimzinnigheid en exclusiviteit die OpenAI en Google om hun modellen heen laten hangen, die willen de BLOOM onderzoekers doorbreken. Meta (het moederbedrijf van Facebook) publiceerde enkele maanden gelden ook al een LLM, inclusief code en logboek over hoe het model was getraind. Maar Meta’s model is alleen op verzoek beschikbaar en heeft een autorisatiemodel dat alleen gebruik voor verder onderzoek toestaat, niet voor eigen nieuwe commerciële toepassingen.

Met BLOOM gaat Hugging Face (de startup die het model in samenwerking met ongeveer 1.000 onderzoekers heeft ontwikkeld) een stap verder in transparantie. Alle overleggen van het afgelopen jaar waarin het werk wordt besproken, zijn online gezet. Zo krijg je een inkijkje in de uitdagingen die de ontwikkelaars tegenkwamen. En iedereen kan het model gratis downloaden en het gebruiken voor onderzoek én om commerciële applicaties te bouwen.

Het is een trend die we in het veld van data science breder zien: het beschikbaar stellen van data door commerciële partijen om de maatschappij verder te helpen. Voor veel partijen is dit nog een drempel, omdat we van oudsher gewend zijn om data en informatie voor onszelf te houden. Niet omdat we precies weten wat we allemaal met de data willen, maar vooral om te zorgen dat iemand anders er niets mee kan.

Maar waarom zou je als verzekeraar geen diepgaande data beschikbaar stellen over de meest voorkomende schadeoorzaken, zodat iedereen geïnformeerde keuzes kan maken over preventieve maatregelen? Waarom zou je als energieleverancier geen data beschikbaar stellen over de grootste pieken in jouw energieverbruik, zodat je als verbruiker rekening kunt houden met de acties die deze pieken veroorzaken? Waarom zou je als supermarkt geen data beschikbaar stellen over de ontwikkeling van de prijzen van producten, zodat klanten thuis al kunnen kijken welke boodschappen niet hard in prijs zijn gestegen?

De uitdaging is om op basis van beschikbare data te kijken hoe je relevante informatie aan de maatschappij kunt bieden. Om schade te voorkomen, om energieverbruik te beperken, om de stijgende kosten van levensonderhoud het hoofd te bieden. Of om het studenten makkelijker te maken om, gebruik makend van een BLOOM toepassing, lange wetenschappelijke teksten samen te vatten.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

%d bloggers liken dit: