Preskočiť na hlavný obsah

Matúš odporúča:

Ollama: Ako neplatiť za API kľúče na AI

Asi každý pozná umelú inteligenciu. Hovorí sa o nej všade. V televíznych novinách, na LinkedIne (aspoň v mojom feede), YouTuberi o nej rozprávajú, jednoducho každý o nej rozpráva. Ale verzia umelej inteligencie, o ktorej všetci rozprávajú, je proprietárna verzia, ktorá sa učí z toho, čo jej napíšeš, poprípade môže byť cenzúrovaná z princípu (skúste sa spýtať DeepSeeku na ich webe, čo sa udialo na Námestí nebeského pokoja v roku 1989). Dnes sa ideme pozrieť na platformu, ktorá sa volá Ollama, ktorú si môžete nastaviť doma/vo firme a kde vaše súkromné dáta neopustia váš domov/firmu. Čo je to umelá inteligencia? Umelá inteligencia je len algoritmus, ktorý sa kŕmi rôznymi zdrojmi na to, aby vrátil ďaľšie informácie. Tieto zdroje môžu byť rôzne. Filmy, seriály, e-knihy, webové stránky, poprípade fanfikcie alebo aj stránky obsahujúce hentai. Filtrované AI dáva iba zdroje, ktoré nevyzerajú podozrivo, poprípade sa za nemôže ísť do väzenia. Zato nefiltrované AI ti dá aj tie informácie, ktoré sú...
Zverejnenie komentára

Ollama: Ako neplatiť za API kľúče na AI

Asi každý pozná umelú inteligenciu. Hovorí sa o nej všade. V televíznych novinách, na LinkedIne (aspoň v mojom feede), YouTuberi o nej rozprávajú, jednoducho každý o nej rozpráva. Ale verzia umelej inteligencie, o ktorej všetci rozprávajú, je proprietárna verzia, ktorá sa učí z toho, čo jej napíšeš, poprípade môže byť cenzúrovaná z princípu (skúste sa spýtať DeepSeeku na ich webe, čo sa udialo na Námestí nebeského pokoja v roku 1989). Dnes sa ideme pozrieť na platformu, ktorá sa volá Ollama, ktorú si môžete nastaviť doma/vo firme a kde vaše súkromné dáta neopustia váš domov/firmu.

Čo je to umelá inteligencia?

Umelá inteligencia je len algoritmus, ktorý sa kŕmi rôznymi zdrojmi na to, aby vrátil ďaľšie informácie. Tieto zdroje môžu byť rôzne. Filmy, seriály, e-knihy, webové stránky, poprípade fanfikcie alebo aj stránky obsahujúce hentai. Filtrované AI dáva iba zdroje, ktoré nevyzerajú podozrivo, poprípade sa za nemôže ísť do väzenia. Zato nefiltrované AI ti dá aj tie informácie, ktoré sú v 99% prípadoch nelegálne. Napríklad keby vám necenzúrovaná online verzia DeepSeeku vrátila polohu koncentračných táborov v Xinjiangu a zároveň by ste boli na hoteli niekde v Pekingu, tak by vás v lepšom prípade vyhodili z krajiny a v tom horšom by vás zastrelili na strelnici. Preto OpenAI/Google/DeepSeek/(domyslite si providera AI) používajú iba filtrované verzie umelej inteligencie, aby konatelia tých spoločností neskončili v base.

 Inštalácia

Na inštaláciu potrebujete jedine internet a nepovinne aj frontend, cez ktorý budete s modelom bežiacim na Ollame interagovať. Nepovinne preto, lebo Ollama má vstavané textové pole, cez ktorý môžete tej umelej inteligencií dávať príkazy.

Najskôr pôjdete na https://ollama.com, kde kliknete na Download. Tam si stiahnete inštalačný súbor/DMG súbor (pre mojich čitateľov jabĺčkarov). V pripade linuxovej distribúcie si stači prekopírovať príkaz, ktorý sa vám objaví, vlepiť ho do terminálu a spustiť ho. Keď to máte, tak si môžete nepovinne nainštalovať frontend. Začnem linuxovými distribúciami, keďže používam Fedoru. Osobne odporúčam Alpacu, ale existuje aj Newelle, ktorý má viacej funkcií, ale zas viacej zamŕza. Pre mojich jabĺčkárov odporúčam oficiálnu aplikáciu Ollamy. Existuje aj Ollamac, ale osobne som ho neskúšal, takže mi môžete napísať do komentárov, akú skúsenosť s tým máte. Na Windows odporúčam ich oficiálnu aplikáciu. A nakoniec, keby ste chceli webové rozhranie do firmy alebo na homelab, tak odporúčam OpenWebUI, ktoré vyzerá ako prostredie ChatGPT.

Teraz, keď máte nainštalovanú Ollamu (alebo aj frontend na ňu, ktorý je nastavený), tak si ideme nainštalovať nejaké modely. V tomto článku budem pokrývať Alpacu, čiže vysoko odporúčam si prečítať dokumentáciu danej aplikácie, ktorú máte nainštalovanú.

Otvorte nový čet s modelom a kliknite na ikonku mozgu. Tam kliknite na tab s ikonkou glóbusu a vyberte si nejaký model. Kliknite naňho, vyberte si veľkosť a počkajte, kým sa stiahne. Potom sa vráťte naspäť na čet a vyskúšajte nejaký z vygenrovaných príkazov. Ak vám to začne vracať informácie, tak to máte dobre nastavené.

Porovnanie

Tu budem používať verzie online, cenzúrovanej a necenzurovanej verzie DeepSeeku a zároveň aj budem ukazovať obrázky toho, čo to vrátilo. Ako príkaz použijem otázku ,,What happened on Tianamen square in 1989?˝. Jednoducho, presvedčte sa sami.


Online aj offline cenzúrovaná verzia DeepSeeku R1 vrátili taký istý výsledok: nič

   Zato necenzúrovaná verzia toho istého modelú vrátila odpoveď, ktorá sa zhoduje s pravdou

Záver

Ollama je jednoducho skvelá platforma na to, aby ste mohli mať kontrolu nad vašími dátami, a zároveň mať všetky výhody umelej inteligencie, ktorú ponúkajú poskytovatelia AI služieb. Jediné, čo budete musieť kúpiť, je dostatočne silná grafická karta alebo procesor s NPU, ktoré je dostatočne silné.

Ak sa vám tento článok páčil, tak ho nezabudnite zdieľať ďaľším ,,AI bros˝ poprípade tým, čo si platia predplatné umelej inteligencie, ktoré stojí viacej, ako všetky streamovacie služby. Samozrejme, nezabudnite dať palec hore/zatlieskanie/srdiečko na LinkedIne, poprípade to repostnúť na vašom profile, hviezdu a repost na Mastodone a upvote a crosspost na Lemmy.
Menovky:

Komentáre

Zverejnenie komentára

- Buďte slušní
- Nevhodné komentáre budú vymazané
Každý komentár bude zadržaný na kontrolu.

Fanúšikmi milované články

Re-recenzia NixOS: Ako sa používa?

 Asi pred rokom som napísal kontroverzný článok  na kontroverziu v NixOS. Áno, viem, je to paradox. Potom som prešiel na Fedoru od napísania tohoto článku, pričom ju stále používam na mojom Macu, lebo tam mám dôležité veci. Ale teraz po roku som sa rozhodol, že NixOS vyskúšam znova, tentokrát ale ako používateľ, ktorý nesleduje dianie okolo NixOS (na fórum tejto distribúcie som sa prihlásil iba teraz, aby som mohol ľahšie dohľadať príspevok a skopírovať odkaz naň). Poďme sa pozrieť, ako som si ho nastavil. Poznámka autora: Aktuálnu konfiguráciu nájdete na https://gitlab.com/TenTypekMatus/nixos .  Čo to je? NixOS je linuxová distribúcia, ktorá je nemenná, a ktorá sa konfiguruje pomocou jazyka, ktorý sa volá Nix, ale k nemu sa ešte dostaneme. Je to metadistribúcia, ktorú si môžete nakonfigurať tak, ako vy chcete. Inštalácia Poznámka autora: Kroky inštalácie sú v inštalátore NixOS iné než tie, ktoré budem popisovať. Ja i...
1 komentár
Chcem vedieť viac

Koniec NixOS: Kontroverzie a čo ďalej?

 Kto nebol na internete asi skoro celý mesiac, tak nevie, čo sa deje, ale pre tých, čo to nevedia, tak to priblížim. Dvadsiatého šiestého apríla bol publikovaný  tento blogový článok  od Eelca Dostru, človeka, ktorý napísal svoju diplomovú prácu na Nix, a ktorý kritizuje komunitu, ktorá sa vytvorila okolo Nixu. NixCon + (vložte nejakú zbrojársku spoločnosť sem) = nezáujem Keď sa zistilo, že Anduril, čo je vlastne zbrojárska spoločnosť, bude sponzorovať NixCon, čo je akcia, kde sa stretávajú ľudia, aby mohli odprezentovať svoje projekty, zážitky a skúsenosti s Nixom/s NixOS. A Anduril je zbrojárska firma, ktorá vyrába drony s umelou inteligenciou, ktoré sú nasadené na americko-mexickej hranici na prevenciu migrantov. Prečo je to zlé? Linuxové komunity (a NixOS najviac) sú ľudia, ktorí sú v drvivej väčšine prípadov proti zbrojárskym spoločnostiam. Bohužiaľ, organizátori nestiahli tohoto sponzora z akcie. Nasilu pretlačené ,,vločky˝ Eelco je známy aj svojou netrpezlivos...
Zverejnenie komentára
Chcem vedieť viac

Ako a prečo som si nainštaloval GSI na môj telefón

 Asi pred rokom som  napísal článok o samsungových telefónoch , kde som ich skritizoval za neštandardný prístup flashovania alternatívnych operačných systémov a za nutnosť používať Odinovské .tar súbory. Ale to sa všetko zmenilo. Som starší, múdrejši, a rozumnejší, ako som bol vtedy. Plus pribudlo veľmi veľa návodov a zdrojov, z ktorých sa dá čerpať pre túto tému. Tak sa poďme spolu pozrieť na to, ako som si dal GSI na môj telefón. Poznámka: GSI je skratka pre Generic System Image (generický obraz operačného systému). Viac si o tomto formáte môžete prečítať  tu. Prečo? Primárnym dôvodom, prečo som sa rozhodol toto spraviť, je, že na predinštalovanom Androide, ktorý dostanete spolu so zariadením, je príliš veľa softvérového odpadu. Máte tam aplikácie od Samsungu, Googlu a z nejakého dôvodu aj od Microsoftu a Mety. Pri Samsungu je logické, prečo tam chcú mať svoje aplikácie. Pri Googli taktiež, plus je to aj tým, že tam máte mobilné služby od Googlu.  Ale nechápem, nač...
Zverejnenie komentára
Chcem vedieť viac

Initramfs: Čo to je a ako to využiť v náš prospech

 Podľa mojich štatistík, ktoré si pozerám, tak mojou druhou najväčšou skupinou su tí, ktorí sú na nejakej linuxovej distribúcií (mne sa to tam zobrazuje iba ako ,,Linux˝). Prečo som práve toto napísal? Lebo práve táto skupina ľudí nepriamo štartuje svoj systém cez niečo, čo sa volá initramfs. Poďme sa to pozrieť na to, čo to je a ako to využiť v náš prospech. Čo to je? V skratke je initramfs pico-operačný systém, ktorý je skomprimovaný cez program, ktorý sa volá cpio, a ktorý sa pri spustení systému rozbalí do operačnej pamäte. Je to starý, ale spoľahlivý spôsob, ako skomprimovať súbory a používa sa od nepamäti. Väčšinou sa komprimuje do formátu, ktorý sa volá Gzip. Initramfs sa využíva na rôzne veci. Či už na resetovanie hesla, pripojenia obskúrne nastaveného média (napríklad 40 diskov, ktoré sú v MergerFS zväzku (MergerFS = súborový systém, ktorý slúži na vytvorenie jedného superdisku z viacero menších diskov) zašifrované cez LUKS + polovica diskov má iný súborový systém), alebo ...
Zverejnenie komentára
Chcem vedieť viac

Software review: Betterbird

 Asi každý používa nejaký mailový klient, Či už to je Outlook, Apple Mail alebo rôzne webové mailové klienty, každý sa dostáva ku svojej elektronickej pošte nejakým spôsobom. Dnes sa pôjdeme pozrieť na Betterbird, mailový klient, ktorý je forkom (odnožou) Thunderbirdu, a ktorý sa dá použiť aj ako náhrada za četovací klient, to-do list a veľmi veľa daľších vecí. Inštalácia Betterbird sa inštaluje veľmi jednoducho. Najskôr pôjdete na ich stránku , tam kliknete na Downloads, kde je tabuľka s veľmi veľa možnosťami. Vyberte si jazykovú verziu a stiahnite si inštalačný súbor alebo archív. V prípade Linuxu odporúčam sťahovať cez Flatpak. Na to poslúži príkaz flatpak install eu.betterbird.Betterbird , kde flatpak je názov programu, ktorý sa používa na interakciu s Flatpakmi, install znamená, že niečo inštalujeme, a eu.betterbird.Betterbird je názov Betterbirdu v poňatí Flatpaku. Ale ak sa vám nechce prelepovať ten príkaz do terminálu, tak sa dá použiť obchod s aplikáciami, ktorý je predinš...
Zverejnenie komentára
Chcem vedieť viac