Grok-1 van xAI opensource beschikbaar
xAI maakt het basismodel en de netwerkarchitectuur van zijn large language model (LLM) Grok-1 opensource. Grok-1 is een zogeheten Mixture-of-Experts model met 314 miljard parameters, dat door xAI is getraind.
Met Grok wil xAI de concurrentie aangaan met OpenAI. Dit bedrijf richtte hij in 2015 op samen met onder meer Sam Altman en Peter Thiel. Musk verliet OpenAI in 2018. Later richtte hij xAI op, dat vorig jaar zijn AI-model Grok presenteerde. Musk zelf omschreef Grok toen als een AI-chatbot met een voorkeur voor sarcasme.
Niet gefinetuned voor specifieke toepassingen
In een blogpost kondigt xAI nu de opensource beschikbaarheid van xAI aan. Ook deelt het bedrijf meer details over het LLM. "Dit is het nieuwe basismodelcheckpoint van de Grok-1 pretrainingsfase, die in oktober 2023 is afgerond. Dit betekent at het model niet gefinetuned is voor specifieke toepassingen, zoals het voeren van dialoog", schrijft xAI.
Grok-1 is een Mixture-of-Experts model. Mixture-of-Experts is een machine learning-methode die gespecialiseerde submodellen als 'experts' inzet. De methode combineert de output van meerdere van deze experts. Dit maakt het mogelijk modellen voor te trainen met aanzienlijk minder rekenkracht dan gebruikelijk, wat onder meer het opschalen van het model of de gebruikte dataset mogelijk maakt.
Wie aan de slag wil met Grok-1 kan op GitHub terecht voor meer informatie en instructies.
Meer over Artificial intelligence
Over Wouter Hoeffnagel
