Öppna modeller på egen hårdvara – när är det rätt val?

Den självklara vägen till AI i dag går via molnet: de största och mest kapabla modellerna nås genom ett API, och det är där de flesta av våra lösningar börjar. Men "självklar" är inte samma sak som "alltid rätt".

Öppna modeller – modeller vars vikter går att ladda ner och köra själv – har blivit tillräckligt bra för många uppgifter. Och ibland finns det goda skäl att köra dem på hårdvara man själv kontrollerar.

Fem frågor som avgör

1. Får datan lämna huset? Vissa uppgifter omfattas av sekretess, avtal eller regelverk som gör det svårt att skicka dem till en extern tjänst – oavsett hur goda villkoren är. Då är en lokal modell ibland det enda alternativet.

2. Hur stor och jämn är volymen? Molntjänster kostar per anrop. Är volymen hög och jämn – tusentals dokument om dagen – kan egen hårdvara bli billigare över tid. Är den låg eller ojämn vinner molnet nästan alltid.

3. Måste det fungera utan uppkoppling? I en verkstad, på ett fartyg eller i en anläggning med begränsat nät kan en lokal modell vara skillnaden mellan att det fungerar och inte.

4. Hur svår är uppgiften? För att läsa ut fält ur ett dokument, klassificera ärenden eller söka i text räcker ofta en mindre öppen modell. För avancerat resonemang, planering och kodning är de största molnmodellerna fortfarande klart bäst.

5. Vem ska drifta den? En modell på egen hårdvara är ett system som ska övervakas, uppdateras och säkras som alla andra. Det kräver kompetens och ägarskap.

Från laptop till GPU-server

Vi arbetar med hela skalan av öppna modeller och testar dem löpande mot verkliga uppgifter.

De små modellerna går att köra på en vanlig bärbar dator. De är förvånansvärt bra på avgränsade uppgifter – att klassificera ärenden, sammanfatta text eller plocka ut fält ur ett dokument – och datan lämnar aldrig datorn.

De större modellerna kräver mer: en maskin med kraftfulla grafikkort, eller en GPU-pod som hyrs per timme men körs under egen kontroll. Där öppnar sig tyngre uppgifter som mer avancerat resonemang och bildgenerering.

I våra egna tester har öppna modeller klarat bland annat:

• OCR – att läsa text ur inskannade dokument och bilder.
• Sammanfattning av långa texter.
• Klassificering, till exempel att sortera ärenden eller dokument.
• Analys av aktiedata och nyckeltal.
• Bildgenerering.

Lärdomen är genomgående densamma: att få en modell att köra är den enkla delen. Det svåra är att välja rätt storlek för uppgiften, mäta den mot en molnmodell på samma testfrågor och sedan drifta den som vilket system som helst – med övervakning, uppdateringar och säkerhet.

Ofta blir det både och

De bästa lösningarna vi ser är sällan renodlade. Ett känsligt steg – att läsa ut personuppgifter ur ett dokument, till exempel – kan göras lokalt, medan resten av flödet använder en molnmodell på data som redan är avidentifierad. Det finns också en mellanväg: modeller som körs i er egen molnmiljö, i den region ni väljer.

Designa för att kunna byta

Det viktigaste beslutet är inte vilken modell ni väljer i dag, utan att ni kan byta i morgon. Modellerna blir bättre och billigare i en takt som gör varje val tillfälligt.

I systemen vi bygger ligger AI-leverantören därför bakom ett eget gränssnitt. I ett logistiksystem sköts dokumenttolkningen av en utbytbar komponent – byter vi modell påverkas ingenting annat. I en bokföringstjänst finns en reservmodell från en annan leverantör som tar över om den första inte svarar.

Samma princip gör det enkelt att flytta ett enskilt steg till en lokal modell den dag det behövs – utan att bygga om resten.

Funderar ni på var er AI ska köras? Hör av er – vi hjälper gärna till att räkna på det.