Co je multimodální AI a jak pracuje s textem, obrazem a zvukem

Co je multimodální AI? Jde o umělou inteligenci, která dokáže pracovat s více druhy informací najednou, tedy nejen s textem, ale také s obrázky, zvukem nebo videem. Můžete jí vyfotit graf a zeptat se, co z něj plyne, nahrát hlasovou poznámku a nechat si ji převést na úkoly, nebo ukázat fotku rozbitého spotřebiče a požádat o radu. Takový způsob práce je pro člověka přirozený, protože i my vnímáme svět více smysly současně. V tomto článku vysvětlíme, jak multimodální modely fungují, kde je využijete a na co si dát pozor.

Co je multimodální AI a co znamená multimodalita

Slovo modalita označuje druh vstupu nebo výstupu: text, obraz, zvuk, video, ale třeba i data ze senzorů. Multimodalita pak znamená, že jeden systém dokáže více modalit nejen přijmout, ale také je propojit a porozumět jejich vztahu.

První chatovací asistenti pracovali jen s textem. Napsali jste otázku a dostali textovou odpověď. Pokud jste chtěli zpracovat obrázek, potřebovali jste jiný, specializovaný nástroj. Dnešní multimodální modely tuto hranici stírají. Jeden asistent si přečte fotku účtenky, poslechne si krátkou nahrávku a odpoví psaným textem nebo hlasem.

Pro pochopení základů pomůže článek co je generativní AI, protože většina multimodálních asistentů je zároveň generativní, tedy vytváří nový obsah.

Jak fungují multimodální modely

Zjednodušeně si to lze představit tak, že model převede každý typ vstupu do společného „jazyka“, kterému rozumí. Text se rozdělí na menší části, obrázek na malé dílky a zvuk na krátké úseky. Každý takový kousek se převede na řadu čísel, která vyjadřují jeho význam. Díky tomu může model zjistit, že slovo „pes“ a fotka psa spolu souvisí.

Model se tyto souvislosti naučil během tréninku na obrovském množství dvojic, například obrázků s popisky nebo nahrávek s přepisem. Postupně si vytvořil vnitřní představu o tom, jak vypadá kočka, jak zní otázka a jak spolu souvisí graf a jeho popis. Na stejných principech jako zpracování textu stojí i porozumění obrazu, o čemž více píšeme v článku co je hluboké učení.

Existují dva hlavní přístupy:

• Propojení samostatných částí – jeden model převádí řeč na text, druhý text zpracuje a třetí odpověď převede zpět na řeč. Funguje to, ale část informací (třeba tón hlasu) se cestou ztrácí.
• Nativně multimodální model – jeden model se od začátku učí na textu, obrazu i zvuku současně. Lépe chápe souvislosti a odpovídá plynuleji.

Příklady multimodálních asistentů

Dobrým příkladem je GPT-4o od společnosti OpenAI. Když se mluví o tom, že je GPT-4o multimodální, myslí se tím, že stejný model pracuje s textem, obrázky i zvukem, takže s ním lze vést i hlasový rozhovor a ukazovat mu, co vidíte.

Multimodální schopnosti mají i další rozšíření asistenti. Gemini od Googlu pracuje s textem, obrázky, zvukem i videem a je propojený s nástroji Google. Claude od společnosti Anthropic umí číst obrázky, snímky obrazovky, grafy nebo naskenované dokumenty a pracovat s jejich obsahem. Srovnání nejznámějších asistentů najdete v článku ChatGPT vs Claude vs Gemini.

Konkrétní schopnosti se liší podle verze a tarifu a rychle se vyvíjejí, proto je dobré si je ověřit přímo u nástroje, který používáte.

AI text, obraz, zvuk: praktické využití

Kombinace AI text obraz zvuk otevírá řadu užitečných situací v práci i doma:

• Dokumenty a tabulky – vyfotíte papírovou fakturu nebo tabulku a necháte si údaje přepsat do strukturované podoby.
• Grafy a reporty – nahrajete snímek grafu a zeptáte se, jaké trendy z něj vyplývají.
• Porady a schůzky – nahrávku porady necháte přepsat a shrnout do seznamu úkolů.
• Zákaznická podpora – zákazník pošle fotku poškozeného zboží a systém ji pomůže zařadit do správné kategorie reklamace.
• Výuka a vzdělávání – student vyfotí příklad z učebnice a nechá si vysvětlit postup.
• Přístupnost – lidé se zrakovým postižením si mohou nechat popsat, co je na fotce nebo na obrazovce. Více v článku AI pro lidi s postižením.
• Výroba a údržba – technik vyfotí štítek stroje nebo kontrolku a dostane vysvětlení chybového hlášení.

Pro firmy to znamená méně ručního přepisování a rychlejší zpracování podkladů, které dosud vyžadovaly lidské oči.

Omezení a rizika multimodálních modelů

Multimodální AI je silný pomocník, ale ne neomylný. Na co myslet:

• Chyby v detailech – model může špatně přečíst číslo, přehlédnout malý text nebo si splést podobné objekty. U faktur, měření a smluv výsledek vždy zkontrolujte.
• Vymýšlení – i u obrázků se může stát, že model popíše něco, co na nich není. Tento jev vysvětlujeme v článku co jsou halucinace AI.
• Ochrana osobních údajů – fotky a nahrávky často obsahují obličeje, hlasy nebo citlivé dokumenty. Ve firmě je nutné řešit, kam data putují a kdo k nim má přístup.
• Deepfake a manipulace – stejná technologie, která rozumí obrazu a zvuku, umí také vytvářet falešný obsah. Jak se bránit, popisuje článek jak poznat deepfake.
• Náročnost – zpracování obrázků, zvuku a videa vyžaduje více výpočtů než čistý text. Souvislosti najdete v článku spotřeba energie AI.

Jak multimodální AI začít používat

Nejjednodušší je vyzkoušet to na běžných úkolech. Vyfoťte tabuli po poradě a požádejte asistenta o přehledný zápis. Nahrajte snímek obrazovky s chybovou hláškou a zeptejte se, co znamená. Pošlete fotku grafu z prezentace a nechte si navrhnout tři hlavní závěry.

Při zadávání pomáhá být konkrétní: napište, co na obrázku je, co od něj chcete a v jaké podobě má být výsledek. Platí stejná pravidla jako u textových promptů, viz článek jak psát prompty pro AI.

Závěr

Multimodální AI je přirozeným dalším krokem ve vývoji umělé inteligence. Místo několika oddělených nástrojů máte jednoho asistenta, který rozumí textu, obrazu i zvuku a dokáže je propojit. V praxi to šetří čas při práci s dokumenty, poradami i zákaznickými požadavky, vyžaduje to ale kontrolu výsledků a rozumné zacházení s daty.

Pokud chcete multimodální funkce a další pokročilé možnosti AI využívat systematicky, přihlaste se do pokročilého kurzu umělé inteligence. A pokud zvažujete, kde by vaší firmě pomohla AI pracující s obrázky nebo zvukem, domluvte si AI konzultaci. Jak AI rozumí samotnému jazyku, vysvětluje článek co je zpracování přirozeného jazyka.