Jak postavit vlastní AI server: hardware, modely a provoz

Jak postavit vlastní AI server, na kterém poběží jazykové modely přímo ve firmě, bez posílání dat do cloudu? Na první pohled to vypadá jako práce jen pro velké technologické firmy, ale díky otevřeným modelům a vyspělým softwarovým nástrojům je dnes vlastní AI server dostupný i středním a menším firmám. Tento článek je technický přehled: z jakých komponent se server skládá, jaké modely na něm můžete provozovat, jaký software potřebujete a na co nezapomenout v provozu. Pokud teprve řešíte, zda vlastní server vůbec potřebujete, začněte článkem kdy firma potřebuje AI server.

Začněte od úloh, ne od hardwaru

Nejčastější chybou je koupit nejvýkonnější grafickou kartu a teprve potom přemýšlet, co na ní poběží. Správné pořadí je opačné:

1. Jaké úlohy má server řešit (chat nad dokumenty, shrnování, přepis řeči, generování kódu, zpracování e-mailů)?
2. Kolik uživatelů nebo automatických procesů ho bude používat současně?
3. Jak velký model je pro úlohy potřeba, aby kvalita byla dostatečná?

Teprve z odpovědí vyplyne, jaký hardware pro AI server potřebujete.

Hardware pro AI server

Grafické karty (GPU)

Srdcem AI serveru je grafická karta. Jazykové modely provádějí obrovské množství maticových výpočtů, které GPU zvládá mnohem rychleji než procesor. Nejdůležitějším parametrem není samotný výpočetní výkon, ale paměť grafické karty (VRAM). Celý model, případně jeho podstatná část, musí v paměti GPU být, jinak se běh dramaticky zpomalí.

Orientační výpočet: model potřebuje zhruba tolik paměti, kolik je počet parametrů krát počet bajtů na parametr. Model s osmi miliardami parametrů v 16bitové přesnosti tedy zabere kolem 16 GB, v 4bitové kvantizaci zhruba čtvrtinu. K tomu je třeba přičíst rezervu na kontext (délku konverzace a vložených dokumentů) a na souběžné uživatele.

Pro GPU server se rozhodujete mezi spotřebitelskými kartami (dostupnější, vhodné pro menší modely a testování) a serverovými akcelerátory (více paměti, lepší chlazení do racku, vyšší spolehlivost, ale výrazně dražší). Při plánování počítejte s tím, zda bude možné v budoucnu přidat další kartu.

Procesor, paměť a úložiště

• Procesor nemusí být extrémně výkonný, ale měl by mít dost linek PCIe pro připojení všech GPU plnou rychlostí.
• Operační paměť (RAM) by měla být alespoň taková jako celková VRAM, raději více – model se při načítání nejdřív dostává do RAM a další služby (databáze, webové rozhraní) ji také potřebují.
• Úložiště volte rychlé NVMe SSD. Modely mají desítky gigabajtů a rychlost disku ovlivňuje, jak rychle se načtou. Počítejte i s místem pro dokumenty, vektorovou databázi a zálohy.

Napájení, chlazení a umístění

Výkonné GPU mají vysokou spotřebu a produkují hodně tepla. Dimenzujte zdroj s rezervou, zajistěte dobré proudění vzduchu a promyslete umístění. Server s několika kartami pod stolem v kanceláři bude hlučný a teplý – patří do serverovny nebo alespoň do samostatné místnosti. Vhodný je záložní zdroj (UPS).

Otevřené jazykové modely

Na vlastním serveru provozujete tzv. otevřené modely (open-weight), jejichž váhy lze stáhnout a spustit lokálně. Mezi známé rodiny patří například Llama od Meta, Mistral, Qwen od Alibaby, Gemma od Googlu nebo DeepSeek. Existují ve více velikostech – od malých modelů, které běží i na notebooku, po velké modely vyžadující několik serverových GPU.

Při výběru zvažte:

• kvalitu v češtině – liší se model od modelu, proto testujte na českých textech,
• velikost a kvantizaci – menší nebo kvantizovaný model je rychlejší a úspornější, ale může být méně přesný,
• délku kontextu – kolik textu model zvládne zpracovat najednou,
• licenci – ne všechny otevřené modely povolují neomezené komerční použití,
• specializaci – existují modely zaměřené na programování, přepis řeči nebo vyhledávání (embeddingové modely).

Nejlepší postup je vybrat dva až tři kandidáty a porovnat je na vzorku vašich skutečných úloh.

Softwarová výbava

Typický software na AI serveru má několik vrstev:

1. Operační systém – nejčastěji Linux (například Ubuntu Server) s ovladači GPU a knihovnou CUDA nebo jejím ekvivalentem.
2. Inferenční server – program, který model načte a obsluhuje dotazy. Pro začátek a menší nasazení je oblíbená Ollama nebo llama.cpp, pro více souběžných uživatelů se používá například vLLM. Většina z nich nabízí rozhraní kompatibilní s OpenAI API, takže se na ně snadno napojí existující aplikace.
3. Uživatelské rozhraní – webový chat pro zaměstnance, například Open WebUI, s přihlašováním a správou uživatelů.
4. Práce s dokumenty (RAG) – vektorová databáze (například Qdrant nebo PostgreSQL s rozšířením pgvector) a embeddingový model, díky kterým může AI odpovídat nad firemními dokumenty.
5. Integrace – napojení na firemní systémy přes API, automatizační nástroje nebo vlastní skripty.

Komponenty se často spouštějí v kontejnerech (Docker), což usnadňuje aktualizace a přenos na jiný hardware.

Provoz a bezpečnost

Postavit server je jen začátek. Aby sloužil spolehlivě, je potřeba myslet na:

• řízení přístupů – přihlašování přes firemní účty, role a oprávnění, kdo vidí které dokumenty,
• síťové oddělení – server by neměl být přímo dostupný z internetu,
• aktualizace – operačního systému, ovladačů, inferenčního serveru i modelů,
• monitoring – vytížení GPU, teploty, dostupnost služby, doba odezvy,
• zálohy – konfigurace, databází a dokumentů,
• záznamy – kdo a jak AI používá, což pomáhá při řešení problémů i při plnění povinností podle GDPR a AI Actu.

Počítejte také s tím, že nové modely vycházejí často. Plánujte pravidelné testování novějších verzí a jejich bezpečné nasazení.

AI server pro firmy: cena a stavba svépomocí, nebo na klíč

AI server pro firmy si můžete postavit sami, pokud máte zkušený IT tým s know-how v Linuxu, GPU a kontejnerech. Výhodou je plná kontrola, nevýhodou čas na nastudování, ladění a dlouhodobou správu. Celková cena přitom nezávisí jen na hardwaru, ale i na práci spojené s nastavením, integrací a provozem. Alternativou je server na klíč, kde dodavatel navrhne sestavu podle vašich úloh, nainstaluje a otestuje modely a zajistí podporu. Konkrétní sestavy a orientační ceny najdete na stránce AI server pro firmy.

Závěr

Postavit vlastní AI server znamená správně zvolit hardware podle úloh, vybrat vhodné otevřené modely, sestavit softwarovou výbavu a hlavně zajistit bezpečný a udržovaný provoz. Pokud se chcete naučit lokální modely provozovat a napojovat na aplikace sami, přihlaste se do pokročilého AI developer kurzu. Pokud dáváte přednost hotovému řešení, podívejte se na službu AI server pro firmy.