Ako si nainštalovať AI chat bot lokálne? Ktorý z nich má aj dobrú slovenčinu?

Ak chcete používať AI chat bota lokálne a súkromne, môžete si modely stiahnuť priamo do svojho počítača. Niektoré firmy totiž zverejňujú svoje modely na internete na voľné stiahnutie a použitie. Nemusíte tak používať ich aplikácie na internete, ani platiť za ich plné alebo častejšie využívanie.

V súčasnosti existuje viacero dobre spracovaných aplikácií pre lokálne AI, do ktorých si jednoducho natiahnete model a používate ho rovnako ako na webe. Ideálne je však mať procesor alebo grafickú kartu s AI výkonom, aby ste dosiahli rýchly výstup. To sú veľmi dobre použiteľné RTX grafiky, ktoré majú najvyšší AI výkon. Zároveň podľa toho, koľko pamäte máte v RAM alebo VRAM, si môžete nahrať väčší model. Platí, že čím väčší model, tým väčší objem dát sa použil na jeho učenie, a tým kvalitnejší bude aj výstup.

Na spustenie lokálneho modelu potrebujete aplikáciu, ktorá ho dokáže spracovať. V porovnaní s tým, čo Nvidia dodala minulý rok, keď bolo potrebné manuálne inštalovať množstvo utilít, sú teraz tieto programy kompaktnejšie a používateľsky prístupnejšie.

Napríklad na lokálne nahratie modelu môžete použiť:

• LM Studio
• GPT4All
• Jan

Existuje aj množstvo ďalších, ktoré prakticky robia to isté a len spúšťajú AI modely, ktoré si stiahnete. Väčšina z nich má prístup k modelovému prehliadaču, ale nie všetky ponúkajú každý model.

Veľmi dobré je LM Studio, ktoré ponúka kvalitné formátovanie výstupov a efektívne sťahovanie. Má prístup k svojim AI modelom aj modelom na Huggingface (kde je dostupná väčšina bezplatných modelov). Pri výbere modelov však zistíte, že ich je veľa a je ťažké určiť, ktorý použiť. Niektoré sú vhodné na programovanie, iné sú všeobecné, ale väčšina má zlú slovenčinu alebo ju nemá vôbec.

Teraz však Google vypustilo Gemma 3, ktorý je najlepším kompromisom pre všetko. Má veľmi dobrú slovenčinu a niekoľko veľkostí, podľa kapacity pamäte a výkonu vášho počítača. Model je dostupný vo viacerých veľkostiach, pričom v názve uvedené čísla ako 2b, 4b atď., čo predstavuje počet miliárd parametrov, na ktorých bol model trénovaný. Zároveň napriek tomu, že si ho pustíte lokálne, neznamená, že vám odpovie na všetko. Napríklad hackovanie rovno odmieta.

Konkrétne modely Gemma 3 sú:

• Gemma 3 1b - 800 MB, pre základné spracovanie, ale tento model ani netuší, čo je slovenčina a píše po česky.
• Gemma 3 4b - 3 GB - už pozná slovenčinu, ale pridáva aj české slová.
• Gemma 3 12b - 7 GB - dobrý kompromis medzi veľkosťou a
• kvalitou.
• Gemma 3 27b - 18 GB - najlepšia verzia modelu, ale náročnejšia na výkon a pamäť, takže môže generovať pomalšie.

Model vyberajte podľa kapacity pamäte vo vašom počítači. Napríklad na RTX 4080 ide veľmi pekne 7 GB verzia 12b, ale aj 27b sa zmestí do pamäte, len je už spomalená. Ak vám nevadia chyby v slovenčine, môžete využiť aj model 4b.

Následne vám model bude generovať odpovede podobne ako Gemini na webe, keďže majú rovnaký základ. ChatGPT je celkovo kvalitnejší, ale Gemma 3 má veľmi dobrý základ a v niektorých veciach môže poskytnúť lepšie výsledky.

Tieto spomínané aplikácie sú určené na texty a spracovanie súborov. Negenerujú obrázky, na to sú samostatné aplikácie a vlastné modely.