Zkousel jsem ve skriptech pouzivat lokalni LLM, je to nejaka vedlejsi automatizace na automatickou analyzu kodu v gitlabu (jen na CPU bez akcelerace), tak jsem hledal modely do ollamy kolem 1GB RAM, protoze primarni cil byl nevytezovat moc server. Z toho duvodu jsem v ollama zakazal thinking, aby ty skripty bezely rychlejc. Daval jsem modelum na analyzu skript se zamerne pridanou napadnou bezpecnostni hrozbou a sledoval jestli ji dokazou rozpoznat. Udelal jsem si takovej ciste subjektivni zebricek od nejlepsiho s komentarema ke kvalite vystupu:
#Modely razene od nejlepsiho
#MODEL: qwen2.5-coder:1.5b
#tak akorat ukecany a chytry programator
#MODEL: gemma3:1b
#tak akorat ukecany a chytry
#MODEL: llama3.2
#tak akorat ukecany, chytry, ale ne moc analyticky, neni to specialista na programovani
#MODEL: deepseek-r1:1.5b
#strucny, malo vecny, filozoficky-excentricky, umi najit zajimave souvislosti
#Nasledujici se moc neosvedcily:
#MODEL: qwen3.5:0.8b
#prilis ukecany chytry
#MODEL: qwen3:1.7b
#prilis ukecany ne moc chytry
#MODEL: llama3.2:1b #ne moc chytry
#MODEL_RUN: ollama run ${MODEL} --hidethinking --think=false
Ty prvni 4 jsou docela zajimavy (na to jak jsou maly) a stejny modely maj i vetsi varianty. Myslim, ze nekde v rozmezi 5-16GB RAM by se naslo neco fakt uzitecnyho na kazdodenni praci.
Vsechny uvedeny modely a jejich alternativni varianty je mozny dohledat na
https://ollama.com/search