Llama ("Large Language Model Meta AI" als backronym) is een familie van grote taalmodellen (LLM's) die vanaf februari 2023 door Meta AI worden uitgebracht.

Llama-modellen zijn er in verschillende groottes, variërend van 1 miljard tot 2 biljoen parameters. Aanvankelijk was er alleen een basismodel, maar vanaf Llama 2 bracht Meta AI naast de basismodellen ook fijner afgestelde versies uit.

De modelgewichten voor de eerste versie van Llama waren alleen beschikbaar voor onderzoekers op basis van individuele gevallen, onder een niet-commerciële licentie. Ongeautoriseerde kopieën van het eerste model werden gedeeld via BitTorrent. Latere versies van Llama werden toegankelijk gemaakt buiten de academische wereld en uitgebracht onder licenties die enig commercieel gebruik toestonden.

Tegelijk met de release van Llama 3 introduceerde Meta Meta AI, een AI-assistent gebouwd op Llama. Meta AI heeft een eigen website en is beschikbaar op Facebook en WhatsApp. De nieuwste versie is Llama 4, die in april 2025 werd uitgebracht.

Achtergrond Na de publicatie van grote taalmodellen zoals GPT-3, richtte het onderzoek zich op het opschalen van modellen, wat in sommige gevallen een aanzienlijke toename in nieuwe mogelijkheden liet zien. De publicatie van ChatGPT en het onverwachte succes ervan zorgden voor een toename van de aandacht voor grote taalmodellen.

In vergelijking met andere reacties op ChatGPT stelde Yann LeCun, hoofdwetenschapper AI bij Meta, dat grote taalmodellen het meest geschikt zijn om te helpen bij het schrijven.

Architectuur en training

Architectuur Net als GPT-3 zijn de Llama-modellen autoregressieve transformatoren met alleen een decoder, maar er zijn enkele kleine verschillen:

Llama gebruikt de SwiGLU-activeringsfunctie in plaats van GPT-3's GeLU. Llama gebruikt roterende positionele inbeddingen (RoPE) in plaats van absolute positionele inbedding. In plaats van laagnormalisatie gebruikt Llama RMSNorm.

Trainingsdatasets De ontwikkelaars van Llama hebben zich gericht op het schalen van de prestaties van het model door de hoeveelheid trainingsdata te vergroten, in plaats van het aantal parameters. Hun redenering was dat de grootste kostenpost voor LLM's voortkomt uit het uitvoeren van inferenties op het getrainde model, en niet uit de rekenkosten van het trainingsproces zelf.

De fundamentele modellen van Llama 1 werden getraind op een dataset met 1,4 biljoen tokens, afkomstig uit openbaar beschikbare databronnen, waaronder:

Webpagina's verzameld door CommonCrawl Opensourcerepositories met broncode van GitHub Wikipedia in 20 talen Boeken in het publieke domein van Project Gutenberg Datasets van boeken van Books3 LaTeX- broncode voor wetenschappelijke artikelen die naar ArXiv zijn geüpload. Vragen en antwoorden van Stack Exchange-websites

In april 2023 lanceerde Together AI een project genaamd RedPajama om een opensourceversie van de Llama-dataset te reproduceren en te verspreiden, die aanvankelijk ongeveer 1,2 biljoen tokens bevatte.

De basismodellen van Llama 2 werden getraind op een dataset met 2 biljoen tokens. Deze dataset werd samengesteld om websites te verwijderen die vaak persoonlijke gegevens van mensen openbaar maken. Ook werden bronnen die als betrouwbaar worden beschouwd, oververtegenwoordigd.

Llama 2 - Chat werd bovendien verfijnd op 27.540 prompt-response-paren die voor dit project zijn gecreëerd, en die beter presteerden dan grotere, maar minder kwalitatieve datasets van derden. Voor AI-afstemming werd reinforcement learning met menselijke feedback (RLHF) gebruikt met een combinatie van 1.418.091 Meta-voorbeelden en zeven kleinere datasets.

De gemiddelde dialoogdiepte was 3,9 in de Meta-voorbeelden, 3,0 voor de Anthropic Helpful- en Anthropic Harmless-sets, en 1,0 voor vijf andere sets, waaronder OpenAI Summarize, StackExchange, enz.

Llama 3 bestaat voornamelijk uit Engelse gegevens, met ruim 5% in meer dan 30 andere talen. De dataset werd gefilterd door een tekstkwaliteitsclassificator, en deze classificator werd getraind met tekst die door Llama 2 was gesynthetiseerd.

In een rechtszaak tegen Meta Platforms, aangespannen door auteurs onder wie Richard Kadrey, Sarah Silverman en Ta-Nehisi Coates, werd CEO Mark Zuckerberg ervan beschuldigd het gebruik van auteursrechtelijk beschermde inhoud van Library Genesis te hebben geautoriseerd om Llama AI-modellen te trainen en zijn acties te verbergen door auteursrechtmarkeringen van de gegevens te verwijderen.

Toepassingen Het Center for Research on Foundation Models (CRFM) van het Stanford University Institute for Human-Centered Artificial Intelligence (HAI) heeft Alpaca uitgebracht, een trainingsrecept gebaseerd op het Llama 7B-model dat de "Self-Instruct"-methode voor instructie-tuning gebruikt om mogelijkheden te verwerven die vergelijkbaar zijn met die van het OpenAI GPT-3-serie text-davinci-003-model, tegen bescheiden kosten. De modelbestanden werden officieel verwijderd op 21 maart 2023 vanwege hostingkosten en veiligheidsrisico's, hoewel de code en het artikel online beschikbaar blijven voor referentie.

Meditron is een familie van op Llama gebaseerde softwarepakketten die zijn verfijnd op basis van een corpus van klinische richtlijnen, PubMed-publicaties en artikelen. Het is ontwikkeld door onderzoekers van de Technische Universiteit van Lausanne en de Yale School of Medicine. Het laat verbeterde prestaties zien op medische benchmarks zoals MedQA en MedMCQA.

Zoom gebruikte Meta Llama 2 om een AI-assistent te creëren die vergaderingen kan samenvatten, nuttige presentatietips kan geven en kan helpen bij het beantwoorden van berichten. Deze AI-assistent wordt aangedreven door meerdere modellen, waaronder Meta Llama 2.

Militair In 2024 werd gemeld dat onderzoekers van de Academie voor Militaire Wetenschappen van het Volksbevrijdingsleger (de belangrijkste militaire academie van China) een militair instrument hadden ontwikkeld met behulp van Llama. Meta Platforms verklaarde dat dit niet was toegestaan, omdat de licentie van Llama het gebruik van het model voor militaire doeleinden verbood.

Meta verleende de Amerikaanse overheid en Amerikaanse militaire aannemers in november 2024 toestemming om Llama te gebruiken, maar bleef militair gebruik door niet-Amerikaanse entiteiten verbieden.

Zie ook Groot taalmodel

Categorie:Meta Platforms Categorie:Groot taalmodel Categorie:Wikipedia:Pagina's met vertalingen die niet zijn nagekeken