Paikalliset tekoälymallit 2026: mitä koneeltasi vaaditaan
Paikallinen tekoälymalli vuonna 2026: Qwen3.8, Gemma 4 ja GPT-OSS, kvantisointi, QAT, muistivaatimukset ja työkalut selkokielellä.
Kuvitus: AI-generoitu (Qwen-Image-2.1-Turbo), aiuutiset.fi
Paikallinen tekoälymalli tarkoittaa kielimallia, joka pyörii omalla tietokoneellasi ilman verkkopalvelua. Mallin painot ovat tiedostona koneellasi, ja kysymys sekä vastaus pysyvät lähtökohtaisesti laitteellasi. Vuonna 2026 paikalliset mallit ovat parantuneet selvästi: 27–31 miljardin parametrin mallit kykenevät jo moneen arkityöhön, ja 12–16 gigatavun muistilla varustettu kannettava voi ajaa yllättävän käyttökelpoista mallia.
Tämä opas käy läpi, milloin paikallinen malli kannattaa, mitä koneelta vaaditaan, miten mallin koko ja kvantisointi vaikuttavat muistintarpeeseen sekä mitkä mallit ja työkalut sopivat eri käyttäjiin marraskuussa 2026. Erikoistermit selitetään heti ensimmäisellä käyttökerralla, ja taulukoiden yhteydessä kerrotaan, mihin luku perustuu.
Päivitetty 12.11.2026: mukaan ovat tulleet Qwen3.8-27B, Gemma 4 -perhe, Gemma 4 QAT, GPT-OSS 20B, Unsloth Dynamic V3.1 sekä päivitetyt muisti- ja kontekstitaulukot. Aiemmat 7B/14B/32B/70B-perusluvut on säilytetty vertailun vuoksi.
Mitä paikallinen tekoälymalli tarkoittaa ja milloin se kannattaa?
Paikallinen malli on kielimalli, jonka parametrit eli painot on tallennettu tiedostona omalle koneellesi. Laskenta tapahtuu näytönohjaimella tai suorittimella; tätä kutsutaan inferenssiksi. Kysymys ja vastaus eivät poistu koneelta, ellei ohjelmaa erikseen yhdistetä verkkoon.
Yleisin mallitiedoston muoto on GGUF, jonka kehitti llama.cpp -hanke. Tiedostossa ovat mukana sekä painot että tiedot mallin rakenteesta, joten sama tiedosto toimii useassa ohjelmassa. Malli ei opi keskustelustasi eikä lähetä tietoja eteenpäin; käyttöliittymä ja asetukset tulevat siitä ohjelmasta, jolla sitä ajat.
Paikallinen malli ratkaisee neljä käytännön ongelmaa.
- Yksityisyys: arkaluonteinen aineisto voidaan käsitellä siirtämättä sitä toiselle palvelimelle.
- Kustannus: hankinta on kertaluonteinen, eikä jokainen kysymys kuluta rajapinnan krediittejä.
- Offline-käyttö: malli toimii ilman verkkoyhteyttä, kun se on ladattu.
- Ei kiintiöitä: kysymysmääriä tai päivittäisiä rajoja ei ole samalla tavalla kuin pilvipalvelussa.
Toinen puoli on yhtä tärkeä. Vastausten laatu on tyypillisesti heikompi kuin suurten pilvimallien, etenkin monimutkaisessa päättelyssä, pitkässä koodauksessa ja tuoreen tiedon käsittelyssä. Päivitykset ja tietoturvakorjaukset jäävät sinun vastuullesi. Satunnainen ja vaativa tehtävä kannattaa usein hoitaa pilvipalvelussa — ks. opas Avoin vs. suljettu malli: mitä eroa sillä on. Nyrkkisääntö: paikallinen malli kannattaa, kun aineisto on arkaluonteista, käyttö on toistuvaa tai verkkoyhteyttä ei ole.
Mitä koneelta vaaditaan?
Tärkein rajoite on muisti. Mallin painot ladataan kokonaan muistiin ennen kuin vastaaminen alkaa, ja lisäksi tarvitaan tilaa keskustelun käsittelyyn. Siksi hidas mutta muistiltaan riittävä kone toimii, kun taas nopea kone, jonka muisti loppuu, ei toimi.
Näytönohjaimen muisti eli VRAM
Näytönohjaimen oma muisti eli VRAM on nopein paikka ajaa mallia: kun malli mahtuu kokonaan VRAMiin, vastaukset syntyvät moninkertaisesti nopeammin kuin keskusmuistissa. Jos malli ei mahdu, ohjelma siirtää osan kerroksista keskusmuistiin (RAM) tai levylle, mikä näkyy jyrkkänä hidastumisena. LM Studio suosittelee vähintään 16 gigatavua keskusmuistia ja 4 gigatavua VRAMia, mutta agenttityöhön 12 gigatavua VRAMia on käytännöllisempi lähtökohta.
Keskusmuisti ja suoritin
Jos koneessa ei ole erillistä näytönohjainta, malli ajetaan suorittimella keskusmuistissa: se toimii, mutta on selvästi hitaampaa. 16 gigatavua on mukava lähtötaso ja 32 gigatavua tekee keskikokoisten mallien käytöstä sujuvaa. Käyttöjärjestelmä varaa osan muistista, joten käytettävissä on aina ilmoitettua vähemmän. Jos aiot ajaa 26–31 miljardin parametrin mallia, 32 gigatavua RAM:ia on turvallisempi kuin 16.
Applen yhtenäismuisti
Applen M-sarjan koneissa suoritin ja näytönohjain jakavat saman yhtenäismuistin, joten käytössä on koko koneen muisti ilman painojen kopiointia muistista toiseen. Applen mittausten mukaan 24 gigatavun MacBook Pro pystyy pitämään 8 miljardin parametrin mallin 16-bittisenä tai 4-bittisenä kvantisoituna 30 miljardin parametrin asiantuntijamallin niin, että muistinkäyttö pysyy alle 18 gigatavussa. Samoissa mittauksissa M5-piirin muistikaista oli 153 gigatavua sekunnissa ja M4:n 120 gigatavua sekunnissa.
Levy ja muut vaatimukset
Yksittäinen kvantisoitu malli vie 5–40 gigatavua, ja useampi versio helposti yli sata gigatavua. Jätä levylle vähintään kaksinkertainen tila mallin kokoon nähden, jotta lataus, välimuisti ja päivitykset mahtuvat. Verkkoyhteys tarvitaan vain mallin lataamiseen ja päivityksiin; itse inferenssi toimii offline.
Mallikoko ja muistintarve taulukkona
Alla oleva taulukko näyttää marraskuun 2026 suosituimmat paikalliset mallit ja niiden muistintarpeen. Luvut ovat valmistajien suosituksia kokonaismuistille: RAM + VRAM tai yhtenäismuisti. Ne olettavat suhteellisen lyhyttä kontekstia, joten pitkä keskustelu tai suuri dokumentti voi vaatia enemmän.
| Malli | Parametrit | 4-bittinen muisti | 8-bittinen muisti | Konteksti | Parhaiten |
|---|---|---|---|---|---|
| Qwen3.8-27B | 27B, dense | 16–19 Gt | noin 31 Gt | 262 144 | Yleischat, koodi, kuvat, agentit |
| Gemma 4 31B | 31B, dense | 17–20 Gt | 34–38 Gt | 262 144 | Laadukas chat ja monikielisyys |
| Gemma 4 26B-A4B | 26B, MoE (4B aktiivista) | 16–18 Gt | 28–30 Gt | 262 144 | Nopeus ja laatu 16–24 Gt:n koneessa |
| Gemma 4 12B | 12B, dense | 7–8 Gt | 13–14 Gt | 262 144 | Kannettava ja kevyt työasema |
| Gemma 4 E4B | 4B, kevyt | 5,5–6 Gt | 9–12 Gt | 128K | Pienet koneet ja nopea kokeilu |
| GPT-OSS 20B | 21B, MoE (3,6B aktiivista) | noin 16 Gt | — | 131 072 | Päättely ja agenttityö |
Vertailun vuoksi vanhat perusluvut pitävät edelleen suurin piirtein paikkansa: 7–8 miljardin parametrin malli vie Q4-muodossa noin 4–5 gigatavua, 14 miljardin malli noin 8 gigatavua, 32 miljardin malli noin 18 gigatavua ja 70 miljardin malli noin 40–43 gigatavua. Uudet mallit ovat kuitenkin tehokkaampia parametria kohden, joten 27–31 miljardin malli voi päihittää vanhemman 70 miljardin mallin monessa tehtävässä.
Luvut ovat vain lähtökohta, sillä konteksti-ikkunan eli kerralla huomioitavan tekstimäärän kasvattaminen lisää muistintarvetta. Qwen3.8-27B:n 262 000 tokenin konteksti ei tarkoita, että koko ikkuna kannattaa pitää auki: jo 32 000–64 000 tokenia riittää useimpiin töihin ja säästää muistia. Jos käytät agenttia, joka lukee paljon tiedostoja, varaa kontekstille selvästi enemmän tilaa.
Mallin koko ja kvantisointi
Mitä 7B, 14B, 32B ja 70B tarkoittavat
Mallin koko ilmoitetaan parametrimääränä: 7B tarkoittaa 7 miljardia parametria ja 70B puolestaan 70 miljardia. Mitä enemmän parametreja, sitä enemmän tarvitaan muistia ja laskentatehoa, mutta myös sitä enemmän mallilla on kapasiteettia oppia kielen rakenteita ja tietoa. Pieni 7–8 miljardin versio riittää tiivistämiseen, luokitteluun ja yksinkertaiseen keskusteluun, 14 miljardin luokassa laatu paranee selvästi ja 27–31 miljardin mallit pärjäävät jo vaativammissa tehtävissä. Pelkkä parametrimäärä ei kuitenkaan ratkaise laatua: uusi pienempi malli voi päihittää vanhemman suuremman.
Dense ja MoE: miksi 26B voi olla kevyempi kuin 31B
Dense-mallissa kaikki parametrit osallistuvat jokaiseen tokeniin. MoE- eli asiantuntijamallissa vain osa parametreista aktivoituu kerrallaan. Gemma 4 26B-A4B:ssä on 26 miljardia parametria, mutta vain noin 4 miljardia aktiivista parametria, joten se on nopeampi ja kevyempi kuin 31B:n dense-malli. GPT-OSS 20B puolestaan käyttää 21 miljardista parametrista noin 3,6 miljardia kerrallaan. MoE ei ole automaattisesti parempi: se voi olla nopea, mutta laatu ja muistinkäyttö riippuvat mallin suunnittelusta.
Q4 vai Q8 — mitä laatu tarkoittaa
Kvantisointi tarkoittaa painojen tallentamista vähemmillä biteillä. Alkuperäinen malli on usein 16-bittinen, ja kvantisoinnissa se pakataan esimerkiksi 4- tai 8-bittiseksi. Tiedosto pienenee murto-osaan ja laskenta nopeutuu, mutta tarkkuutta menetetään jonkin verran. llama.cpp:n ohjeen mukaan Q4_K_M on yleinen kompromissi: selvästi pienempi kuin Q8_0 mutta laadultaan lähellä sitä.
Käytännön suositus: aloita Q4_K_M- tai UD-Q4_K_XL-versiosta, joka mahtuu useimpiin koneisiin. Jos muistia on reilusti, Q8_0 antaa hieman tarkemman tuloksen etenkin laskennassa ja koodissa. Hyvin pieniin 2–3-bittisiin muotoihin kannattaa suhtautua varauksella: tiedosto pienenee edelleen, mutta laatu heikkenee selvästi.
QAT, Dynamic V3.1 ja NVFP4
Vuonna 2026 kvantisointiin on tullut kolme tärkeää lisää. QAT (quantization-aware training) tarkoittaa, että malli on jo koulutettu ottamaan kvantisointi huomioon. Gemma 4 QAT -versiot vähentävät muistinkäyttöä noin 72 prosenttia ja säilyttävät valmistajan mukaan lähes kaiken alkuperäisen tarkkuuden. Käytännössä Gemma 4 26B-A4B QAT mahtuu noin 15 gigatavun muistiin, kun tavallinen 4-bittinen versio vaatii 16–18 gigatavua.
Unsloth Dynamic V3.1 on kvantointimenetelmä, joka nostaa tärkeiden kerrosten tarkkuutta ja parantaa tarkkuutta 5–10 prosenttia samankokoisena. Qwen3.8-27B:n marraskuun 2026 kvantit käyttävät tätä versiota. NVFP4 on NVIDIAn Blackwell-sukupolven 4-bittinen formaatti, joka voi olla nopea tuetuilla näytönohjaimilla. Se ei toimi vanhemmilla korteilla, joten tarkista yhteensopivuus ennen latausta.
Mallit marraskuussa 2026
Mallivalikoima elää nopeasti, mutta marraskuussa 2026 kuluttajakoneille on kolme selkeää vaihtoehtoa: Qwen3.8-27B, Gemma 4 -perhe ja GPT-OSS 20B. Kaikki kolme ovat avoimilla painoilla ja tukevat työkalujen käyttöä; Gemma 4 ja Qwen3.8 ymmärtävät myös kuvia.
Qwen3.8-27B: monipuolinen yleismalli
Qwen3.8-27B on 27 miljardin parametrin dense-malli, joka tukee tekstiä, kuvia ja jopa videota sekä 262 000 tokenin kontekstia. Se on vahva erityisesti agenttikoodauksessa, kuvien ymmärtämisessä ja yleischatissa. 4-bittinen versio mahtuu noin 16–19 gigatavun muistiin, joten se on realistinen valinta 24 gigatavun Macille tai 16 gigatavun VRAMilla varustetulle pelikoneelle, kun konteksti pidetään kohtuullisena. Marraskuun 2026 Dynamic V3.1 -kvantit paransivat sen tarkkuutta samassa koossa.
Gemma 4: viisi kokoa samasta perheestä
Gemma 4 julkaistiin maaliskuussa 2026, ja 12B Unified -versio tuli kesäkuussa. Perheeseen kuuluvat E2B, E4B, 12B, 26B-A4B ja 31B. Kaikki ovat Apache 2.0 -lisenssillä, tukevat yli 140 kieltä ja monimuotoista syötettä. Pienet E2B ja E4B on tarkoitettu puhelimille ja kannettaville, 12B tasapainoiseen työasemakäyttöön ja 26B-A4B sekä 31B laadukkaaseen paikalliseen työhön. 31B on perheen vahvin, 26B-A4B taas nopeampi ja kevyempi.
GPT-OSS 20B: päättelyä 16 gigatavulla
OpenAI:n GPT-OSS 20B on 21 miljardin parametrin MoE-malli, josta aktivoituu noin 3,6 miljardia parametria kerrallaan. Se on tarkoitettu päättelyyn, agenttityöhön ja kehittäjien kokeiluihin, ja valmistaja sanoo sen mahtuvan noin 16 gigatavun muistiin. Malli on tekstipohjainen, joten kuvien ymmärtämiseen tarvitaan toinen malli. Lisenssi on Apache 2.0.
Suomen kieli paikallisessa mallissa
Gemma 4 ja Qwen3.8 ovat monikielisiä ja pärjäävät suomen kielellä kohtuullisesti, mutta kieli on niille toissijainen. Suomenkieliseen työhön kannattaa kokeilla useampaa mallia ja antaa esimerkkejä oikeasta sävystä. Hugging Facesta löytyy suomeen hienosäädettyjä malleja, esimerkiksi Poro-perheen versioita. Muista, että suomen kieli tuottaa enemmän tokeneita kuin englanti, joten sama tekstimäärä vie enemmän kontekstia.
Työkalut: tapoja ajaa malli omalla koneella
| Työkalu | Mitä se on | Kenelle |
|---|---|---|
| Unsloth Desktop | Ilmainen työpöytäsovellus mallien ajamiseen, kouluttamiseen, kuviin, ääneen ja agentteihin. | Käyttäjälle, joka haluaa yhden sovelluksen moneen asiaan. |
| LM Studio | Graafinen sovellus mallien lataamiseen ja testaamiseen. | Aloittelijalle, joka ei halua kirjoittaa komentoja. |
| LM Studio Bionic | Erillinen agenttisovellus koodaukseen ja asiakirjoihin; voi käyttää paikallista, etämallia tai pilveä. | Käyttäjälle, joka haluaa agentin valmiilla käyttöliittymällä. |
| Ollama | Avoimen lähdekoodin mallipalvelu, joka lataa mallit valmiiksi pakattuina ja tarjoaa rajapinnan muille ohjelmille. | Käyttäjälle, joka haluaa nopean alun ja liittää mallin sovelluksiin. |
| llama.cpp | Moottori, jonka päälle useimmat muut työkalut rakentuvat; tukee myös mallien muuntamista ja kvantisointia. | Tekniselle käyttäjälle, joka haluaa säätää suorituskykyä. |
| MLX | Applen avoimen lähdekoodin kehys Applen piireille; hyödyntää yhtenäismuistia ja tukee kvantisointia. | Mac-käyttäjälle, joka haluaa parasta suorituskykyä. |
| vLLM | Palvelin, joka on tehty useiden rinnakkaisten pyyntöjen käsittelyyn. | Kehittäjälle, joka rakentaa omaa palvelua. |
Kaikkia näitä yhdistää se, että malli on erillinen tiedosto: saman GGUF-tiedoston voi ladata sekä Ollamalla että LM Studiolla. Ero on siinä, miten ohjelma hoitaa latauksen ja muistinjaon. Unsloth Desktop ja LM Studio Bionic tuovat lisäksi agenttityökalut, joilla malli voi lukea tiedostoja, ajaa komentoja ja hakea tietoa verkosta. Niiden käyttöön kannattaa perehtyä erikseen: Unsloth Desktop -opas ja LM Studio Bionic -opas.
Mallin valinta, lisenssit ja suorituskyky
Mallin valinta
Aloita koneen muistista, älä mallin maineesta. Valitse suurin malli, joka mahtuu VRAMiin tai yhtenäismuistiin kvantisoituna niin, että kontekstille jää tilaa. Ratkaise sitten, tarvitsetko monikielisyyttä, pitkää kontekstia, kuvien ymmärtämistä vai koodauskykyä, ja kokeile kahta tai kolmea vaihtoehtoa samalla tehtävällä. Yleiset vertailumittaukset eivät kerro, miten malli suoriutuu aineistostasi.
Lisenssit
Mallin painoilla on aina lisenssi, joka määrää, mitä niillä saa tehdä. Gemma 4 ja GPT-OSS 20B ovat Apache 2.0 -lisenssillä, joka on kaupallisesti salliva. Qwen3.8:n lisenssi kannattaa tarkistaa mallikortista. Metan Llama-mallien lisenssi on rajoitetumpi: se vaatii tekijän ilmoituksen säilyttämisen ja sisältää erillisen hyväksyttävän käytön periaatteen. Ehtoihin kuuluu myös raja, jonka jälkeen erittäin suurten palveluiden on haettava erillinen lisenssi; raportoitu raja on 700 miljoonaa kuukausittaista käyttäjää, joten kaupallisessa käytössä ehdot kannattaa lukea itse.
Suorituskyky ja nopeus
Nopeudesta on erotettava kaksi mittaria. Aika ensimmäiseen merkkiin kertoo, kuinka kauan vastauksen aloittaminen kestää, ja se on laskentatehon varassa. Tuottonopeus kertoo, montako tokenia sekunnissa syntyy vastauksen aikana, ja se on muistikaistan varassa. Applen mittausten mukaan M5-piiri tuottaa ensimmäisen merkin alle 10 sekunnissa 14 miljardin parametrin mallille ja on 19–27 prosenttia nopeampi kuin M4. Yli 20 tokenia sekunnissa tuntuu sujuvalta, kun taas alle 5 tokenia sekunnissa tekee pitkästä vastauksesta raskasta odottaa.
Paikallinen malli vai pilvi: mitä kannattaa tehdä missä
Paikallinen malli ei ole aina paras valinta. Se on paras silloin, kun aineisto on arkaluonteista, työ on toistuvaa tai verkkoyhteyttä ei ole. Pilvi on parempi silloin, kun tarvitaan tuoretta tietoa, suurinta mahdollista päättelykykyä tai nopeaa vastausta ilman laitehankintaa. Usein paras ratkaisu on yhdistelmä: paikallinen malli hoitaa rutiinit ja arkaluonteisen aineiston, pilvi vaativimmat tehtävät.
| Tehtävä | Paikallinen malli | Pilvimalli | Suositus |
|---|---|---|---|
| Arkaluonteinen aineisto | Hyvä | Riippuu palvelusta | Paikallinen |
| Tuoreet uutiset ja hinnat | Vaatii verkkohaun | Hyvä | Pilvi tai verkkohaku |
| Pitkä koodausprojekti | Kevyt | Vahva | Pilvi, paikallinen apuna |
| Toistuva luokittelu | Hyvä | Ylimitoitettu | Paikallinen |
| Offline-työ | Ainoa vaihtoehto | Ei toimi | Paikallinen |
| Suomen kielen viimeistely | Kohtuullinen | Parempi | Kokeile molempia |
Raha ratkaisee myös. Paikallisen mallin hankinta on kertaluonteinen, mutta laite maksaa. Pilvimalli laskutetaan käytön mukaan. Jos käytät mallia päivittäin samaan tehtävään, paikallinen laite maksaa itsensä takaisin. Jos käytät sitä satunnaisesti, pilvikrediitit ovat usein halvempia.
Miten mitata oman koneen suorituskyky
Älä luota pelkkiin YouTube-vertailuihin. Mittaa oma kone samalla mallilla ja samalla tehtävällä, jota oikeasti käytät. Hyvä testi on noin 500–1 000 sanan mittainen tiivistämistehtävä, jossa on selkeä lopputulos. Aja se kolme kertaa ja kirjaa kaksi lukua: aika ensimmäiseen merkkiin ja tuottonopeus tokenia sekunnissa.
- Aika ensimmäiseen merkkiin kertoo, kuinka nopeasti vastaus alkaa. Siihen vaikuttavat malli, konteksti ja laskentateho.
- Tuottonopeus kertoo, kuinka nopeasti teksti syntyy. Siihen vaikuttavat erityisesti muistikaista ja mallin koko.
- Muistin käyttö kertoo, kuinka lähellä rajaa liikut. Jos käyttö nousee lähelle VRAMin tai RAMin maksimia, seuraava tehtävä voi kaatua.
Työkaluja mittaukseen: Ollama näyttää tuottonopeuden komennon lopussa, LM Studio ja Unsloth Desktop näyttävät tokeneita sekunnissa, ja llama.cpp:n benchmark-työkalu antaa tarkempia lukemia. Käytä samaa kontekstin pituutta ja samaa kvanttia kuin oikeassa käytössä. Muuten luvut eivät ole vertailukelpoisia.
Karkea tulkinta: yli 20 tokenia sekunnissa tuntuu sujuvalta, 10–20 tokenia on käytettävää, ja alle 5 tokenia sekunnissa tekee pitkistä vastauksista raskaita. Ensimmäinen merkki voi kestää useita sekunteja, vaikka tuottonopeus olisi hyvä; se on normaalia suurilla malleilla ja pitkillä konteksteilla.
Esimerkkitehtävät, joihin paikallinen malli riittää
Paikallinen 12–31 miljardin parametrin malli riittää moneen arjen tehtävään, kunhan et odota siltä frontier-tason päättelyä. Hyviä käyttötapauksia ovat:
- Tiivistäminen: pitkän raportin, kokousmuistion tai artikkelin tiivistäminen omin sanoin.
- Luokittelu ja poiminta: sähköpostien, palautteiden tai lomakkeiden luokittelu ja tietojen poiminta taulukkoon.
- Luonnostelu: sähköpostin, tiedotteen tai raportin ensimmäinen versio, jonka ihminen viimeistelee.
- Koodin selittäminen: tuntemattoman funktion tai virheilmoituksen selittäminen ja pienten muutosten ehdottaminen.
- Käännös ja kielentarkistus: arkikäännökset ja oikoluku, kunhan tarkistat lopputuloksen.
- Offline-muistiinpanot: aineiston haku ja kysymykset ilman verkkoyhteyttä.
Huonompia käyttötapauksia ovat tuoreiden tietojen haku ilman verkkohakua, monimutkainen matematiikka, pitkä itsenäinen agenttityö ja sellainen luova työ, jossa laatu ratkaisee kaiken. Näissä suurempi pilvimalli on edelleen selvästi parempi.
Koneen optimointi ja muistin hallinta
Paikallisen mallin nopeus paranee usein ilman uutta laitetta, kun muistinkäyttöä siivotaan. Tärkeimmät toimet:
- Lyhennä kontekstia. 262 000 tokenin ikkuna ei ole oletusarvo, vaan työkalu. Käytä 8 000–32 000 tokenia, jos tehtävä ei vaadi enempää.
- Sulje muut raskaat ohjelmat. Selaimet, pelit ja videotyökalut varaavat VRAMia ja RAMia. Malli voi kaatua, vaikka muistia olisi paperilla tarpeeksi.
- Valitse oikea kvantti. Q4 on yleensä paras nopeuden ja laadun kompromissi. Q8 kannattaa vain, jos muistia on reilusti.
- Käytä GPU-offloadia. Varmista, että mahdollisimman monta kerrosta ajetaan näytönohjaimella. Jos kerroksia siirretään liikaa keskusmuistiin, nopeus hidastuu jyrkästi.
- Päivitä ajurit. NVIDIA, AMD ja Intel julkaisevat suorituskykyparannuksia, jotka näkyvät suoraan paikallisessa inferenssissä.
- Pidä levytila vapaana. Mallien lataus, välimuisti ja päivitykset tarvitsevat tilaa. Täysi levy voi rikkoa latauksen kesken.
Jos koneessa on vain 16 gigatavua RAM:ia, käytä Gemma 4 12B:tä tai Qwen3.8-27B:n matalampaa kvanttia. Jos koneessa on 32 gigatavua, 26B-A4B ja 31B:n Q4 alkavat olla realistisia. Jos koneessa on 64 gigatavua tai enemmän, voit kokeilla suurempia malleja ja pidempiä konteksteja, mutta muista että laatu ei kasva automaattisesti parametrimäärän mukana.
Yleisimmät sudenkuopat
- Muistilaskelma pelkän mallitiedoston koon perusteella. Malli tarvitsee tilaa myös keskustelulle ja väliaikaisille laskuille, joten varaa ylimääräistä.
- Liian suuri malli liian pieneen koneeseen. Jos ohjelma siirtää kerroksia keskusmuistiin tai levylle, nopeus romahtaa. Pienempi nopea malli on hyödyllisempi kuin suuri hidas.
- QAT- ja tavallisen kvantin sekoittaminen. QAT-malli on koulutettu kvantisointi huomioiden; se ei ole sama asia kuin tavallinen Q4. Käytä valmistajan suosittelemaa versiota.
- MoE:n aktiivisten parametrien unohtaminen. 26B-A4B ei käytä joka tokenilla kaikkia 26 miljardia parametria. Vertaa malleja niiden todellisella käyttäytymisellä, älä pelkällä parametrimäärällä.
- Lisenssin laiminlyönti. Avoin saatavuus ei tarkoita rajattomia oikeuksia. Lue ehdot ennen kaupallista käyttöä.
- Laadun olettaminen parametrimäärän perusteella. Uusi pienempi malli voi päihittää vanhemman suuremman.
- Vastausten pitäminen tarkistamatta. Paikallinen malli voi keksiä vakuuttavan kuuloisen virheen siinä missä pilvimallikin.
- Verkkoyhteyden puuttumisen unohtaminen. Ilman verkkoa malli ei hae tuoreita tietoja, joten ne pitää antaa itse.
Aiheeseen liittyvät oppaat
- Unsloth Desktop -opas: aja ja kouluta tekoälymalleja omalla koneella
- LM Studio Bionic: paikallinen tekoälyagentti käytännössä
- Avoin vs. suljettu malli: mitä eroa sillä on
- Tekoälyagentit käytännössä: mikä on agentti
- Tekoälyn perussanasto: 213 termiä kysymys ja vastaus
Lähteet
- ggml-org: quantize — llama.cpp — github.com
- Hugging Face: GGUF — huggingface.co
- Hugging Face: Model memory anatomy — huggingface.co
- Ollama: FAQ — docs.ollama.com
- Ollama: Context length — docs.ollama.com
- Ollama: Hardware support — docs.ollama.com
- LM Studio: System Requirements — lmstudio.ai
- Apple Machine Learning Research: Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU — machinelearning.apple.com
- Unsloth: Qwen3.8 — How to Run Locally — unsloth.ai
- Unsloth: Gemma 4 — How to Run Locally — unsloth.ai
- Unsloth: Gemma 4 QAT — unsloth.ai
- Google: Gemma releases — ai.google.dev
- OpenAI: gpt-oss-20b — developers.openai.com
- Meta: Meta Llama 3 Community License — llama.com
Vastuuvapauslauseke: Tämä artikkeli on tarkoitettu vain tiedotustarkoituksiin. Sitä ei tarjota tai ole tarkoitettu käytettäväksi oikeudellisena, verotuksellisena, sijoitus-, rahoitus- tai muuna neuvona.
Mainos: alla on kumppanimainoksia ja mainoslinkkejä.

