Ollama – den lokale AI
Ollama er en open source-platform til at køre sprogmodeller (LLM’er) lokalt. Du vælger selv model (fx LLaMA, Mistral eller Phi), og den hentes ned og kører direkte på din maskine – offline, uden abonnement. Det føles som mange af de kendte chatbots som ChatGPT og Gemini – men du ejer hele processen.
Og så har de netop lanceret en ny app til Linux, macOS og Windows, som gør det ekstremt nemt at komme i gang med lokal AI – uden kommandolinje, API-nøgler eller terminal-opsætning.
Det ligner ChatGPT, men alt kører lokalt på din egen computer. Du kan chatte direkte med en lokal sprogmodel, smide PDF’er og tekstdokumenter ind – og få svar, opsummeringer eller forklaringer. Ingen data sendes ud. Det er hurtigt, privat og gratis.
Hvorfor er det interessant?
Der er flere grunde til, at Ollama og lokal AI er værd at interessere sig for.
For virksomheder handler det først og fremmest om datasikkerhed. Når AI'en kører lokalt, forlader dataene aldrig virksomheden, og man slipper dermed for bekymringer om GDPR og uautoriseret datadeling. Samtidig er der økonomiske fordele – man undgår løbende licensbetalinger og API-forbrug, som ellers hurtigt kan løbe op. Endelig er Ollama nemt at integrere i eksisterende systemer og kan bruges til at analysere eller forstå interne dokumenter, kodebaser eller e-mails – uden at noget sendes ud af huset.
Også for privatpersoner giver det god mening. Ollama er gratis, og fordi det kører lokalt, er det fuldstændigt anonymt – du kan bruge AI uden at skulle oprette konto eller sende dine spørgsmål til en cloud-tjeneste. Og så virker det offline. Du kan bruge det til alt fra at skrive tekst og kode til at tage noter, oversætte eller opsummere indhold – og det hele foregår på din egen computer.
Ollama er også særligt interessant i undervisningssammenhæng. Fordi alt kører lokalt, kan man bruge det i klasselokaler og undervisningsmiljøer uden at være afhængig af internetforbindelse eller eksterne tjenester. Det betyder, at elever og studerende kan eksperimentere med sprogmodeller direkte på deres egne maskiner – helt uden at skulle oprette konti eller overholde komplekse databehandlingsaftaler.
Det gør det muligt at lære om AI i praksis: hvordan modeller fungerer, hvordan man laver API-kald, hvordan kontekst og prompt engineering påvirker svar – og i mere avancerede forløb kan man endda begynde at træne eller finjustere egne modeller. Det giver en håndgribelig og lavpraktisk indgang til et felt, der ellers ofte virker abstrakt og svært tilgængeligt. Samtidig åbner det for tværfaglig brug i både IT, sprog, samfundsfag og naturvidenskab.
Prøv det selv
Ollama er nemt at installere. Du kan hente appen direkte fra ollama.com eller installere den via din pakkehåndtering, hvis du bruger Linux. Herefter skal du installere en model, fx LLaMA, som er en af de mest populære open source-modeller. Det kan du gøre direkte i appen eller nemmere via terminalen.
Hvis du vil hurtigt i gang, så start med en af de små modeller, eksempelvis tinyllama. Den fylder under 1 GB og kører på de fleste computere – også uden kraftigt grafikkort. Du kan hente den direkte i appen ved at søge efter "tinyllama" og klikke på "Download"-ikonet.
Men se den som en "Hello World" LLM. Det er meget begrænset, hvad den kan, så hvis du vil have en mere avanceret oplevelse, anbefaler jeg at hente LLaMA 2 eller Mistral modellerne. De er meget større og kræver mere kraft fra din computer (på min maskine uden et Nvidia-grafikkort er det mere eller mindre ubrugeligt). Men til leg og eksperimenter er de små modeller glimrende - og som nævnt glimrende til at lære, hvordan AI fungerer på uddannelsesniveau. Bare for at du har en ide om, hvad den (ikke) kan, så se denne snak med TinyLlama om H.C. Andersen:
Mere vrøvl skal man lede længe efter 😀 men det er i sig selv en god erfaring at gøre sig. Det er tydeligt, hvad en model med få parametre kan præstere til nogle ting. Måske kan den håndtere en prompt som
eller
Det er det denne model er bygget til - generativ tekst, ikke analytisk logik - men prøv selv (og så hent en større model).