Pilvitekoälyt urkkivat datasi ja vaativat jatkuvan nettiyhteyden, mutta onko omalla koneella pyörivistä malleista oikeasti haastajiksi? No on!
Tällä videolla kerron, miten saat huippuluokan tekoälyt pyörimään täysin offline-tilassa omalla koneella. Näytän kaksi parasta mallia: älykkään ja koodauskykyisen ja parasta suomenkieltä tuottavan mallin. Ja näytän miten asennat nämä omalle laitteellesi LM Studion avulla täysin ilmaiseksi. (joka löytyy osoitteesta
⭐ Liity jäseneksi ja katso videot ennakkoon:
💻 Ota haltuun työkalut, joita itse käytän ja suosittelen. Näiden palveluiden käyttöönotto linkkieni avulla tukee kanavan toimintaa, kiitos jos käytät niitä. Palvelut ovat kaikki sellaisia mitä voin myös suositella ja olen testannut niistä jokaisen.
Publer – Tällä hallitsen omat somekanavat ja aikataulutan sisältöä:
Hostinger Horizons – Eurooppalainen palvelu, jolla luot nettisivu tai -sovelluksen tekoälyllä ja julkaise se omalla www-osoitteella:
Descript – Editoi videoita tekstiä muokkaamalla:
ElevenLabs – Paras työkalu tekoälyääneen ja videon tekstittämiseen:
HeyGen – Markkinoiden kehittyneimmät tekoälyavatarit, luo videoita ilman kameraa:
Synthesia – Helpompi työkalu avatareihin, toimii erinomaisesti opetus-, perehdytys- ja yritysvideoiden tekemiseen:
00:00 Paikallisten tekoälyjen taso
01:19 LM Studion asennus
02:00 Qwen 27B lataaminen
03:37 Projektin luonti ja testaus
05:16 Qwen englanniksi vs suomeksi
06:57 Koodauskykyjen testaus
08:04 Gemma 12B suomeksi
10:35 Yhteenveto malleista
source
Mikäs olisi paras malli ajaettavaksi 8gt:n näyttömuistilla?
Vaikkakin gemma 4 tuottaa näitä hassuja sanavirheitä, ne saa kitkettyä aika hyvin kun keskustellaan omalla datalla (RAG). Silloin malli ikäänkuin saa esimerkkejä suomalaisesta tekstistä ja tekee vähemmän virheitä. (Toki jos materiaalikin on suomeksi)
Suosittelen testaamaan Unsloth Desktopia LLM-mallien ajoon. On muuten hyvä. Siinä on vielä pari lastentautia, mutta täytyy sanoa, että toiminnallisuutta löytyy ja ohjelma on selkeä käyttää. Erityisesti tykkään sen projektien "liitä tiedostoja" -ominaisuudesta ja siitä, että ohjelman saa linkitettyä kätevästi Agent harnessiin. Jos näytönohjaimen VRAM-muisti on rajallinen, suosittelen kokeilemaan Qwen-3.8-27B mallista IQ3_XXS -versiota ja jopa Q2-versio oli ihmeen hyvä omissa reasoning-/critic-testeissä. Itse ajelen malleja keskitason RTX 4070 (12GB VRAM) -näytönohjaimella. Olen Esan kanssa samalla linjalla, uusi Qwen 3.8 on todella hyvä. Gemma-4-26B IQ3_S -kvantisoinnilla toimii sekin hyvin.
Tähdy on tähden nimi sadussa.
Mitä ilmaista tekoälytyökalua suosittelisit joka toimii kuin Grammarly?
Grammarly on tekstin oikulu-/kielioppikorjaustyökaly Wordille, jolla etsitään tekstivirheitä asiakirjoista.
Kiitos hyvästä videosta. 12Gt RTX 5070 kortilla taitaa olla turha yrittää pyöritellä kovinkaan uutta mallia, tai mitään mallia? 😄 Paljonko muuten koneen keskusmuistin määrä (ei jaettu) vaikuttaa näiden ajamiseen?
Kiitos tosi hyvä video ja selkeä varsinkin tääl digipajalla
Muistivaatimuksista olisi saanut olla asiaa enemmän…
"Ilmainen" on aika laveasti ilmaistu jos rautaa pitää olla useamman tuhannen euron edestä kuitenkin.
Kiitos vinkeistä!
Omalla koneella käytettävät mallit ovat itselle sopivia, sillä en halua että etanan lailla laukkaava ajatuksen juoksuni karkaisi internjetin syövereihin.
Viikonloppuna tuli otettua tuo qwen3.8-27b itselle käyttöön. Rautana 2x RTX5060Ti 16GB.
Tuota mainittua gemma4 mallia pitää verrata käytössä olevaan gemma4:e4b malliin
Hyvä malli on. Pyörinyt ilmestymisensä jälkeen RTX3090 24GB kortilla. Varsin vakuuttunut sen suorituskyvystä. Ei tarvitse ostaa tokeneita vaikkapa Lunan käyttöön.
Qweniä olen aika vähän käyttänyt mutta kiva tietää että se saadaan toimimaan koneella tuollakin tavoin