 NVIDIA is eigenlijk een Amerikaans bedrijf dat halfgeleiders vervaardigt en GPUS (graphic processing units) - op dat laatste terrein is het de wereldwijde koploper. Door de grote vraag naar AI-chips heeft het bedrijf het laatste jaar enorme toppen gescheerd.
Nu gaat het ook zelf van start met AI: het heeft een demo chatbot gelanceerd, Chat with RTX. Het bijzondere is dat die niet in de cloud draait, maar wel plaatselijk, op jouw toestel, en dat die vragen beantwoorden kan over data die jij hem voert. Je computer moet wel aan bepaalde eisen voldoen: Windows als OS, en een toestel met een Nvidia RTX30 of RTX40 GPU en minstens 8 GB VRAM. Voldoet jouw computer aan die voorwaarden, dan kan je aan de slag.
Maar je moet wel weten dat dit een demo is, geen gebruiksklaar product. Er worden heel wat onderdelen geïnstalleerd: een webserver en een instance van Python, De tool maakt gebruik van Mistral of Llama 2 modellen om de data die jij voert te analyseren. Die data kunnen tekst, PDF, .doc en .docx, .xml documenten zijn, maar ook URL's van YouTube;
De app zelf is 40 GB groot, maar omdat er een JSON bestand aangemaakt wordt in elke map waarvoor jij vraagt om die te indexeren, zal je toch minstens 50 tot 100 GB vrije ruimte moeten hebben om hiermee te werken.
Nu moet je niet ongerust zijn over het woord "webserver" - jouw data worden niet naar het web gestuurd. Het betekent dat je een browser nodig hebt voor de toegang tot de tool. Maar echt gebruiksvriendelijk is de tool niet, het is nu eenmaal een demo: de output op jouw vraag krijg je via de commandolijn.
Er is nog een hele weg af te leggen. De AI onthoudt momenteel geen context, elke vraag is nieuw voor de AI en die bouwt dus niet verder op je eerdere vraag. Maar het bijzondere is en blijft dat je de AI op je eigen computer kan draaien.
Ook interessant is de verklaring die Nvidia CEO Jensen Huang op de World Government Summit legde: volgens hem zou elk land "de taal, de data van de eigen cultuur in zijn eigen large language model moeten coderen". En uiteraard is de AI Processing hardware van Nvidia daarvoor het beste geschikt.
Zal het jou verwonderen dat Nvidia nu op gelijke voet staat qua marktkapitalistie met e-commerce gigant Amazon, vlak na Microsoft, Apple en Alphabet...
https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbo ...
https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generat ...
https://arstechnica.com/information-technology/2024/02/nvidi ...
|
