Dette indlæg er alene udtryk for skribentens egen holdning.

Regeringen skal sætte fart på dansk AI-sprogmodel

24. april kl. 16:2910
Vi har brug for en germansk sprogmodel.
Illustration: Ingeniøren.
Danmark bør satse på at bygge en national AI-sprogmodel for at stå stærkere sprogligt og kulturelt – og for at mindske afhængigheden af amerikanske techgiganter.

Det er udtryk for mangel på visioner, når regeringen hidtil har afvist forslaget om at udvikle en dansk GPT-sprogmodel som et troværdigt og sikkert alternativ til ChatGPT og tilsvarende modeller fra de amerikanske techgiganter.

Ser vi på vore nordiske naboer, er de anderledes fremsynede. I Sverige har forskere udviklet GPT-SW3. I Norge er man i fuld gang med at færdiggøre Nor GPT-23B, og i Finland har de FinGPT. Alle tre er AI-sprogmodeller i stil med ChatGPT – blot i mindre og tilpasset skala.

Ingen kan være i tvivl om, at sprogmodeller bliver en grundpille for internettets infrastruktur i de kommende år. Derfor handler det om at tage ejerskab over fremtiden. Og derfor bør det have topprioritet for regeringen at tage ansvar for den digitale infrastruktur, så vi opnår indflydelse på udviklingen og kvaliteten af AI-modeller herhjemme.

De manglende ambitioner hos regeringen stod lysende klart i februar, da et beslutningsforslag fra SF om at medfinansiere en dansk AI-sprogmodel med 40 millioner kroner blev skudt ned i folketingssalen. I forslaget hedder det, at »vi nationalt bør arbejde for at være uafhængige af udenlandske kommercielle interesser og have fokus på datasikkerhed, transparens og dansk indhold i en dansk sprogmodel«. Forslaget fik opbakning fra blandt andre De Konservative og Alternativet, og sagen skal behandles af digitaliseringsudvalget igen 8. maj.

Artiklen fortsætter efter annoncen

Forhåbentlig er tanken om en dansk sprogmodel til den tid modnet hos regeringspartierne, for vi skal op i tempo, og det kræver politisk og økonomisk understøttelse, hvis vi skal udvikle en stærk, national sprogmodel i samarbejde mellem universiteter, myndigheder og private virksomheder til gavn for hele samfundet.

Mange virksomheder og organisationer er allerede i fuld gang med at udforske potentialet med ChatGPT og Copilot, som bliver en gamechanger på stort set alle områder af samfundet lige fra sundhedsvæsen til produktionsvirksomheder. Men vi risikerer at gentage fortidens fejl, hvis vi knytter vores infrastruktur til udenlandske sprogmodeller, hvor vi ikke har indflydelse på afgørende parametre som datasikkerhed, ophavsret og troværdighed – og ikke har skyggen af indsigt i de data, den er bygget på.

En dansk sprogmodel bygget på open source og med data af høj kvalitet vil omvendt sikre fuld åbenhed, så den kan være byggesten for en række AI-projekter både i den offentlige sektor og for private virksomheder. Den vil ikke være forurenet af bias eller fejlagtigt indhold, som får de populære modeller som ChatGPT, Bard og Copilot til at opdigte svar, fordi de henter deres data fra noget nær det samlede internet.

Samtidig kan vi med en styret sprogmodel undgå at krænke ophavsretten, som er fokus for flere store retssager i USA med New York Times som den mest prominente sagsøger mod OpenAI.

Artiklen fortsætter efter annoncen

Netop kvaliteten af de data, som sprogmodellen fodres med, er afgørende for at kunne anvende den som et troværdigt værktøj til forskning og uddannelse og til sagsbehandling i den offentlige sektor. På Københavns Professionshøjskole har man for små midler udviklet modellen SkoleGPT, som er et forsøg på at skabe en open source, gratis og sikker generativ AI, der kan bruges af skolelærere i undervisningen. SkoleGPT er på den måde en tryg sandkasse, hvor man som lærer kan arbejde med GPT som læringsværktøj og tage de kritiske dialoger med eleverne om brugen af AI.

Ligesom Norge, Sverige og Finland er vi som et lille land nødt til at investere i nationale AI-løsninger for at fastholde vores kulturelle og sproglige identitet og værdier i en digital tidsalder. Det handler om at demokratisere teknologien, så vi opnår præcis og målrettet sprogmodel, der kan benyttes af alle, som vil udvikle nye applikationer og smarte løsninger oven på. 

Sidst men ikke mindst ligger der et væsentligt element af suverænitet i at bygge vores egen sprogmodel og tage kontrol med teknologien på egne præmisser som et fælles samfundsgode. Det virker besynderligt, at regeringen på den ene side ønsker strammere regulering af techgiganter som Google, Meta og X, men på den anden side vil risikere at gøre os afhængige af selv samme techvirksomheder, når det gælder AI.

Indvendingerne fra regeringspartierne er, at det er dyrt at indsamle data, træne og ikke mindst vedligeholde en dansk model, og at den løbende skal opdateres i årene fremover. Det er sandt. Men vi har ikke råd til at lade være, og investeringen vil tjene sig ind på andre fronter. Samtidig opnår vi uvurderlig viden og knowhow på et område, der vil få enorm samfundsmæssig betydning fremover.

Vil du bidrage til debatten med et synspunkt? Så skriv til vores debatredaktion på debat@ing.dk

10 kommentarer.  Hop til debatten

Tophistorier

Debatten
Vær med til at skabe en god debat ved at følge vores debatregler.

For at deltage i debatten skal du have en profil med adgang til at læse artiklen. eller opret en bruger.
settingsDebatvisning
9
28. april kl. 15:39
Re: Hypen og hvad har vi nu?

Jeg tror at den største årsag til AI's store strømforbrug, er at man foretrækker at bruge chips fra f.eks. Intel.

De fleste AI-"strømslugere" kommer nu fra NVIDIA:

List of Nvidia graphics processing units - Wikipedia

List of Intel processors - Wikipedia

Intel har været med lidt længere end NVIDIA, med jeg har brugt samme søgestreng:

"<company_name> DEVICE LIST"

Det hjælper selvfølgelig lidt at sammenligne "ribs og vandmeloner" (mobile og stationære) processorer.

Plus ved Intel er, at deres stationære CPU typisk holder 6-8 år og (måske) regner lidt hurtigere - prøvede engang en AMD Athlon, den holdt ikke længe=aldrig mere.

Så skejede jeg lidt og søgte Intel Xe:

Intel Xe - Wikipedia

8
26. april kl. 21:49
Re: Hypen og hvad har vi nu?

Vi kan måske udvikle teknologien gennem strategisk grundforskning. Okay, vi kommer nok ikke til at bygge chip-fabrikker lige foreløbig, men vi kan måske udvikle grundlaget for: nye hardware modeller for AI chips bedre data til træning af modellerne  sundheds anvendelser påvirke regelsæt for anvendelser af AI

Jeg tror at den største årsag til AI's store strømforbrug, er at man foretrækker at bruge chips fra f.eks. Intel. Jeg ved ikke helt præcist hvor energitunge at Intels chips er, men mit indtryk er, at de ikke er designet med henblik på energiforbrug, uanset hvad Intel hævder. Der findes f.eks. kommercielle mikrocontrollere på markedet, der har et forbrug på under 10mJ for at udføre 1 milliard instruktioner, eller 10mW for at udføre 1 milliard instruktioner i sekundet. Skift mW ud med Watt, og så får du low-power i Intel's verden. En processor med en klokfrekvens på 192MHz bruger 1mA ved 1,7V, eller 1.7mW. Det er måske sådan en som sidder i dit smart-watch, der er en typisk applikation for lowpower CPU'er, hvor energiforbrug kommer forud for Intel.

7
26. april kl. 14:00
Samme model, forskellige træningsdata

Behøver vi en dansk sprogmodel, hvis der findes en svensk og en norsk? Jeg tænker at selve sprogmodellen må være næsten identisk for dansk og norsk, og svensk burde ikke afvige væsentligt.

Modellen skal selvfølgelig trænes på et dansk datasæt, men svjv. ændrer det ikke på selve modellen. Måske ville det give mere mening at bidrage til udviklingen af den norske model, end at udvikle en dansk model.

6
26. april kl. 11:53
Re: Hypen og hvad har vi nu?

Approx. 0.03 kWh (using laptop's power consumption: ~10-20W, and assuming 1-2 seconds of processing time)

Resultatet på de 0,03 er tættere på at være i kWs i min hovedregning. Der mangler så lige en omregningsfaktor på 3600 for at det bliver til kWh. Så llama3 er formentlig på bedste Holbergske vis trænet med at sekunder varer ikke evigt og timer varer ikke evigt - ergo er en time et sekund ;)

5
26. april kl. 01:08
Re: Hypen og hvad har vi nu?

Ja, ét simpelt spørgsmål tager ikke så lang tid - og bruger derfor ikke så meget strøm, men ikke alle spm er simple og kan besvares lokalt. 

Mange spm kræver mere komplekse svar fra datacentre - og der er mange andre end dig, der stiller dem. Det løber lidt op, men ellers er jeg enig med dig.

Det forstår jeg ikke hvad du mener med. Det er den samme model der kører på min computer som i et datacenter. Kan du komme med et eksempel på et spørgsmål, som kun kan svares af en model der kører i et datacenter?

Dog er det korrekt at jeg er begrænset til at bruge Llama med 8 milliarder parametre, da mit grafikkort ikke har hukommelse til mere (8 GB hukommelse). Det kræver et kort med 64 GB hukommelse at køre den store udgave med 70 milliarder parametre. Forskellen er bare ikke at det den store model kan svare på flere ting, men kun at den store svarer mere præcist. Det er også uklart om den faktisk bruger væsentlig mere energi.

Jeg lærte en anden interessant ting med Llama 3: Det er en 4 bit model. Der bliver sågar forsket i at lave 1 bit modeller. ChatGPT siges at være en 16 bit model med 220 milliarder parametre. Ved at gå ned i bit opløsning opnår man at der kan være flere parametre i hukommelsen på en given hardware.

Her er information om llama 3 inklusiv oplysninger om hvor meget energi der brugt til at træne modellen: 

https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

Carbon Footprint Pretraining utilized a cumulative 7.7M GPU hours of computation on hardware of type H100-80GB (TDP of 700W). Estimated total emissions were 2290 tCO2eq, 100% of which were offset by Meta’s sustainability program.

Der er mange andre modeller man kan prøve på sin egen computer, givet at man har et tilstrækkeligt stort grafikkort:

https://ollama.com/library

Det er faktisk ret nemt. Man downloader ollama herfra og så er det en enkelt kommando at starte sin helt egen model:

https://ollama.com/download

Her er et eksempel:

PS C:\Windows\System32> ollama run llama3

>>> please calculate with as few words as possible the energy required to answer this question on a laptop with a nvidia rtx 4070 laptop gpu

Approx. 0.03 kWh (using laptop's power consumption: ~10-20W, and assuming 1-2 seconds of processing time)

>>> Send a message (/? for help)

(den fungere bedre på engelsk)

4
25. april kl. 23:27
Re: Hypen og hvad har vi nu?

Ja, ét simpelt spørgsmål tager ikke så lang tid - og bruger derfor ikke så meget strøm, men ikke alle spm er simple og kan besvares lokalt.

Mange spm kræver mere komplekse svar fra datacentre - og der er mange andre end dig, der stiller dem. Det løber lidt op, men ellers er jeg enig med dig.

3
25. april kl. 20:05
Re: Hypen og hvad har vi nu?

I øjeblikket er nogle af de største udfordringer at udnytte teknologi og hardware, samtidig med at energiforbruget til modeltræning og anvendelse begrænses.

Det er min opfattelse at det store energiforbrug er i træningen af modellen. Modsat den gængse opfattelse, så er der kun minimalt energiforbrug ved anvendelsen.

Jeg har installeret den nyeste Meta Llama 3 model på min laptop og stillet spørgsmålet "hvor stort er energiforbruget ved dette spørgsmål?" Den kom med et svar der var helt i skoven, men vi kan selv regne det ud. Den brugte 16 sekunder på at svare og min computer har en Nvidia RTX 4070 laptop GPU med maksimal strømforbrug på 115 watt. Det giver 115 watt gange 16 sekunder = 1840 joule = 0,0005 kWh.

2
25. april kl. 14:31
Grøn sprogmodel

Hvis vi skal have en dansk GPT sprogmodel, ville det give mening at vise, at det kan lade sig gøre at basere den på 100% grøn energi. Dvs brug af loadshifting så træningsprocessen kun kører fuld skrue, når der er rigeligt med vind og sol i el-nettet. Tilsvarende man må forvente et sløvt svar, når elproduktionen er sort. Det ville være interessant.

Om data centeret skal have egne vindmøller, solceller, skal placeres på en energiø, eller noget helt andet, ved jeg ikke.

Det ville være interessant hvis DK kan demonstrere, at AI og vedvarende energi fint kan spille sammen.

1
25. april kl. 00:14
Hypen og hvad har vi nu?

Da jeg så overskriften og hvem der havde skrevet, var mit første tanke at kalde Laura: "til orden", men så læste jeg artiklen og indså, at det bliver ikke nemt.

Der er flere gode pointer om danske modeller, open source og vores "danske" værdier;

det kommer man ikke uden om, men der er også oversigter og mangler:

AI hardware er p.t. dyrt, amerikansk og ikke rigtig modent endnu. Europæiske virksomheder er ved at udvikle hardware, men ikke af den slags LLMer bruger.

De amerikanske virksomheder er ved at adressere nogle af de samme udfordringer, men måske kan vi alligevel bidrage - ikke ved at lave små danske modeller - men ved at udvikle andre sider af den teknologi, som vil modnes i de kommende år.

Vi kan måske udvikle teknologien gennem strategisk grundforskning. Okay, vi kommer nok ikke til at bygge chip-fabrikker lige foreløbig, men vi kan måske udvikle grundlaget for:

  • nye hardware modeller for AI chips
  • bedre data til træning af modellerne 
  • sundheds anvendelser
  • påvirke regelsæt for anvendelser af AI

Vi kan mere, hvis vi samarbejder med andre europæiske lande om udvikling af mere modne AI-hardware, modeller og anvendelsesområder.

Der har tidligere været danske designideer om hardware og software, som faktisk flyttede noget; nye principper for anvendelser, træningsdata og systemopbygning.

I øjeblikket er nogle af de største udfordringer at udnytte teknologi og hardware, samtidig med at energiforbruget til modeltræning og anvendelse begrænses.