Lokální AI model pro firmu: srovnání licencí, jazyků a hardwaru

Dá se ChatGPT provozovat lokálně?

Samotný ChatGPT si stáhnout nemůžete. OpenAI ale pro provoz na vlastním hardwaru vydala dva modely s otevřenými vahami: gpt-oss-20b a gpt-oss-120b. Podle karty modelu má gpt-oss-120b 117 miliard parametrů, z nichž je na každý token aktivních 5,1 miliardy, a vejde se na jednu GPU s 80 GB. Menšímu gpt-oss-20b s 21 miliardami parametrů stačí 16 GB paměti.

Otevřené váhy znamenají, že si natrénované parametry modelu stáhnete a model provozujete sami, po stažení i bez připojení k internetu. Co s modelem ve firmě smíte dělat, ale neurčuje technika, nýbrž jeho licence. Proto je při výběru lokálního modelu licence první kritérium, ještě před velikostí a jazyky.

Které lokální AI modely smí firma používat komerčně?

Na vlastním hardwaru smí firma provozovat všechny modely z tohoto srovnání s jednou výjimkou: k multimodálním modelům Llama 4 Meta firmám s hlavním sídlem v EU práva neuděluje. Podmínku má ještě Mistral Large 4, a to pro firmy, které model nabízejí třetím stranám jako službu.

Apache 2.0 dovoluje modely používat i upravovat, a to i pro komerční účely. Společnost Mistral AI ale pro Mistral Large 4 zavedla vlastní, upravenou licenci MIT. Interní použití je volné. Pokud vaše firma provozuje byznys „Model as a Service“, tedy dává třetím stranám přístup k modelu přes API nebo hostovaný endpoint s kontrolou nad vstupy či parametry, potřebuje před jakýmkoli komerčním použitím zvláštní licenci od Mistralu. Produkt, do jehož konkrétních funkcí je model jen zabudovaný, se za takovou službu podle licence nepovažuje.

Podmínka u Llama 4 je v zásadách přijatelného použití společnosti Meta: u multimodálních modelů Llama 4 se práva podle oddílu 1(a) licence neudělují fyzickým osobám s bydlištěm v EU ani firmám s hlavním sídlem v EU. Výjimku mají koncoví uživatelé produktu, který takový model obsahuje. Llama 4 Scout i Maverick jsou přitom nativně multimodální. Licence posuzujeme technicky, právní stanovisko dává váš advokát.

Pro češtinu z tabulky plyne jedno: výslovně ji uvádí jen Mistral Large 4 s kolem bilionu parametrů. Jak menší modely zvládnou češtinu vašich smluv, technických návodů nebo lékařských zpráv, ukáže až test na vašich vlastních dokumentech.

Kolik paměti GPU potřebuje lokální LLM?

Rozhoduje paměť grafické karty: váhy modelu i kontext by se do ní měly vejít celé. Orientačně zabere jeden parametr při 8bitové kvantizaci jeden bajt a při 4bitové polovinu. Model s 30 miliardami parametrů tak potřebuje kolem 30 GB v 8 bitech a 15 GB ve 4 bitech, ještě než zpracuje první dotaz.

U modelů typu Mixture of Experts se počítají všechny parametry, ne jen aktivní. Google k modelu Gemma 4 26B A4B uvádí, že při generování pracují jen 4 miliardy parametrů na token, v paměti ale musí být všech 26 miliard.

Hodnoty pro Gemma 4 uvádí Google včetně 20% rezervy na načtení modelu. Naše odhady počítají 1 bajt na parametr v 8 bitech a 0,5 bajtu ve 4 bitech, plus 20 % rezervu. U všech modelů k tomu přibývá kontext: čím delší dokumenty a odpovědi a čím víc dotazů běží současně, tím víc paměti server potřebuje.

Na jednu GPU s 96 GB, například NVIDIA RTX PRO 6000 Blackwell, se vejde gpt-oss-120b nebo Mistral Small 4 ve 4 bitech i s rezervou na kontext. Mistral Small 4 v 8 bitech potřebuje dvě takové karty, Mistral Large 4 i ve 4 bitech server s osmi GPU.

Ollama, nebo vLLM: jak lokální AI provozovat?

Ollama se hodí na test na jednom počítači, vLLM na server, který používá mnoho lidí současně. Oba nástroje jsou open source (Ollama pod licencí MIT, vLLM pod Apache 2.0) a spustí stejné rodiny otevřených modelů; gpt-oss podle OpenAI běží v obou. Liší se tím, kolik dotazů obslouží najednou a jak zapadnou do firemní IT.

Ollama je stavěná pro jeden počítač. Ve výchozím nastavení naslouchá jen na adrese 127.0.0.1, port 11434, tedy na vlastním zařízení. Každý model také standardně zpracovává jen jeden dotaz najednou (OLLAMA_NUM_PARALLEL = 1). Další dotazy čekají ve frontě, do které se vejde 512 požadavků; potom server vrací chybu 503. Souběh se dá zvýšit, potřebná paměť ale roste s počtem souběžných dotazů krát délka kontextu.

Pro firmy je důležité, že Ollama nabízí kromě lokálních i cloudové modely. U nich Ollama podle vlastních slov zpracovává vaše dotazy a odpovědi, aby mohla službu poskytnout; u lokálně běžících modelů vaše dotazy ani data nevidí. Cloudové funkce vypnete proměnnou OLLAMA_NO_CLOUD=1.

vLLM je server pro produkční provoz. Příchozí dotazy průběžně skládá do dávek (continuous batching), paměť pro kontext spravuje technikou PagedAttention a velké modely rozdělí pomocí tenzorového paralelismu na více GPU. Navenek nabízí API kompatibilní s OpenAI, takže aplikace psané pro rozhraní OpenAI jde obvykle přesměrovat na váš server. Pro produkční nasazení modelu Mistral Small 4 doporučuje vLLM přímo Mistral AI.

Jak na lokální AI: první test na jednom počítači

Stačí Ollama a model gpt-oss-20b na počítači s 16 GB paměti GPU. Test ukáže, jak si otevřený model poradí s vašimi otázkami, ještě než koupíte hardware.

1. Nainstalujte Ollamu z ollama.com: instalátor pro Windows a macOS, instalační skript pro Linux, nebo image ollama/ollama pro Docker.
2. Než zadáte firemní data, vypněte cloudové funkce: nastavte proměnnou prostředí OLLAMA_NO_CLOUD=1, nebo v souboru ~/.ollama/server.json nastavte položku disable_ollama_cloud na true. Po restartu se v logu objeví „Ollama cloud disabled: true“.
3. Stáhněte a spusťte model: ollama pull gpt-oss:20b, potom ollama run gpt-oss:20b.
4. Položte 20 skutečných otázek z vaší práce, v jazyce vašich dokumentů. Stejné otázky pak zadejte druhému modelu, třeba Gemma 4, a odpovědi porovnejte.
5. Jiné programy se k modelu připojí přes REST API na adrese http://localhost:11434/api/chat.
6. Mají-li testovat i kolegové, změňte adresu proměnnou OLLAMA_HOST, a to jen v interní síti za firewallem. Na trvalý provoz pro mnoho lidí přejděte na vLLM.

Aby model odpovídal z celých firemních složek a ke každé odpovědi uvedl zdroj, potřebuje ještě vyhledávání v dokumentech (RAG). To mu ke každé otázce dodá relevantní pasáže z vašich souborů.

Jaká je nejlepší lokální AI pro firmu?

Jeden nejlepší model neexistuje, rozhoduje úloha a hardware. Pro typické firemní úlohy vychází ze srovnání tato volba:

Jaký server stačí pro kolik lidí, i s cenami, najdete na stránce Firemní AI na vlastním serveru. Kolik vás vlastní server stojí proti cloudovému API a předplatnému na uživatele za 36 měsíců, spočítá s vašimi čísly kalkulačka nákladů AI.

Časté otázky

Jak dobré jsou lokální AI modely ve srovnání s ChatGPT?

Benchmarky v kartách modelů měří obecné úlohy, ne vaše dokumenty. U dotazů na interní podklady navíc hodně záleží na tom, jestli vyhledávání najde správné pasáže. Spolehlivý je jen test se skutečnými otázkami z vaší práce, se dvěma až třemi modely vedle sebe.

Poběží lokální AI i na počítači bez grafické karty?

Ano, Ollama umí model spustit i na procesoru. Model se pak se svým kontextem musí vejít místo do paměti GPU do volné operační paměti počítače. Pro mnoho současných uživatelů je ale určený server s GPU a vLLM.

Smíme otevřený model dotrénovat na vlastních datech?

U licence Apache 2.0 ano, dovoluje úpravy i pro komerční účely. gpt-oss-20b jde podle OpenAI doladit na spotřebitelském hardwaru, gpt-oss-120b na jednom serverovém uzlu s GPU H100. Adaptér LoRA model přizpůsobí bez změny jeho základních vah.

Co když vyjde novější model?

Model můžete vyměnit, licenci ale zkontrolujte znovu. Mistral AI od 31. 10. 2026 vede Mistral Large 3, vydaný pod Apache 2.0, ve svém API jako zastaralý a jako náhradu uvádí Mistral Large 4 s vlastní licencí.