Co je zpracování přirozeného jazyka a jak AI rozumí textu

Co je zpracování přirozeného jazyka? Je to obor umělé inteligence, který učí počítače rozumět lidské řeči a pracovat s ní, ať už jde o psaný text, nebo mluvené slovo. Odborně se mu říká NLP z anglického Natural Language Processing. Setkáváte se s ním denně: když vám telefon nabídne další slovo, když e-mailová schránka odfiltruje spam, když si necháte přeložit web nebo když se zeptáte chatbota. V tomto článku projdeme, jak se obor vyvíjel, jaké úlohy řeší a proč je čeština pro počítače zajímavou výzvou.

Co je zpracování přirozeného jazyka a proč je to těžké

„Přirozený jazyk“ je jazyk, kterým mluví lidé, tedy čeština, angličtina nebo slovenština. Na rozdíl od programovacích jazyků je plný dvojznačností, výjimek a skrytých významů. Věta „Viděl jsem muže s dalekohledem“ může znamenat, že dalekohled měl muž, nebo že jste se dívali dalekohledem vy. Lidé to obvykle poznají z kontextu, počítač ale kontext nemá automaticky k dispozici.

K tomu se přidávají ironie, ustálená spojení, nářečí, překlepy a slova, která mění význam podle situace. Proto patřilo porozumění jazyku AI dlouho k nejtěžším úkolům celého oboru.

Stručná historie NLP: od pravidel k jazykovým modelům

Vývoj NLP dobře ukazuje, jak se změnil celý přístup k umělé inteligenci. Širší kontext nabízí článek historie umělé inteligence.

Éra pravidel

První systémy stavěly na ručně psaných pravidlech. Lingvisté a programátoři sepisovali gramatiku, slovníky a postupy typu „pokud věta obsahuje toto slovo, udělej tamto“. Jednoduché úlohy to zvládalo, ale každá výjimka znamenala další pravidlo a systémy byly křehké. Stačila neobvyklá formulace a přestaly fungovat.

Statistické metody

Později se přístup obrátil. Místo pravidel se počítače začaly učit z velkého množství textů. Zjišťovaly, jak často se určitá slova vyskytují spolu a jaký překlad je nejpravděpodobnější. Šlo o aplikaci strojového učení na jazyk. Výsledky byly robustnější, ale modely stále chápaly text spíše jako soubor slov než jako souvislou myšlenku.

Neuronové sítě

Další krok přinesly neuronové sítě a hluboké učení. Slova se začala převádět na čísla, která zachycují jejich význam, takže model „věděl“, že slova jako „auto“ a „vůz“ jsou si blízká. Sítě se také naučily pracovat s pořadím slov ve větě.

Transformery a velké jazykové modely

Zásadní zlom přinesla architektura zvaná transformer. Ta umožnila modelu při zpracování každého slova sledovat všechna ostatní slova v textu a určit, která jsou pro význam důležitá. Navíc se dala efektivně trénovat na obrovském množství dat. Na transformerech stojí dnešní velké jazykové modely, tedy základ ChatGPT, Claude, Gemini a dalších asistentů. Jak takové modely vytvářejí nový text, vysvětluje článek co je generativní AI.

Hlavní úlohy NLP

Zpracování přirozeného jazyka zahrnuje mnoho dílčích úloh. Mezi nejznámější patří:

• Strojový překlad – převod textu z jednoho jazyka do druhého se zachováním významu.
• Analýza sentimentu – rozpoznání, zda je recenze, e-mail nebo komentář pozitivní, negativní, nebo neutrální. Firmy ji využívají k vyhodnocení zpětné vazby.
• Shrnutí textu – zkrácení dlouhého dokumentu na hlavní body.
• Rozpoznávání pojmenovaných entit (NER) – vyhledání jmen osob, firem, míst, dat nebo částek v textu, například při zpracování smluv.
• Klasifikace textu – zařazení dokumentu do kategorie, třeba „reklamace“, „dotaz na cenu“ nebo „spam“.
• Odpovídání na otázky – nalezení odpovědi v textu nebo její formulace.
• Rozpoznávání a syntéza řeči – převod mluveného slova na text a zpět, na čemž stojí hlasoví asistenti.
• Kontrola pravopisu a stylu – oprava chyb a návrhy lepších formulací.

Jazykové modely a text-to-text přístup

Dříve měla každá úloha svůj vlastní specializovaný model: jeden na překlad, jiný na sentiment, další na shrnutí. Významnou myšlenkou byly text-to-text modely, které všechny úlohy převádějí na stejný princip: na vstupu je text a na výstupu je text. Zadání „přelož do angličtiny“, „shrň“ nebo „urči, zda je recenze kladná“ je prostě součástí vstupního textu.

Dnešní velké jazykové modely tento princip dovedly dál. Jeden model zvládne desítky různých úloh jen podle toho, jak mu je zadáte. Proto je tak důležité umět dobře formulovat zadání, o čemž píšeme v článku co je prompt. Moderní modely navíc často zpracují i obrázky a zvuk, podrobněji v článku co je multimodální AI.

Čeština jako morfologicky bohatý jazyk

Čeština je pro NLP zajímavým případem. Patří mezi takzvané morfologicky bohaté jazyky, což znamená, že slova mění tvar podle pádu, čísla, rodu, osoby nebo času. Jedno slovo „pes“ se objevuje jako psa, psovi, psem, psi, psů a v dalších podobách. Pro počítač jsou to na první pohled různé řetězce znaků.

K tomu přistupuje volný slovosled. Věty „Petr dal Janě knihu“ a „Knihu dal Janě Petr“ znamenají v zásadě totéž, liší se jen důrazem. V angličtině slovosled nese gramatickou informaci, v češtině ji nesou koncovky.

Pro starší systémy to znamenalo značné potíže: vyhledávání nenašlo slovo v jiném tvaru a statistické modely potřebovaly výrazně více dat. Česká lingvistika a počítačové zpracování jazyka mají přitom dlouhou tradici a vznikla řada nástrojů pro rozbor českých slov a vět.

Dnešní velké jazykové modely zvládají češtinu dobře, protože pracují s menšími částmi slov a učí se z obrovského množství textů. Přesto se mohou objevit chyby ve skloňování, neobratné formulace nebo neznalost místních reálií. U textů pro zákazníky, smluv a oficiální komunikace se kontrola člověkem vyplatí.

Kde NLP využijete ve firmě

Zpracování přirozeného jazyka je dnes dostupné i menším firmám, často bez nutnosti programovat:

• chatbot na webu, který odpovídá na časté dotazy zákazníků,
• třídění příchozích e-mailů a návrhy odpovědí,
• shrnutí dlouhých dokumentů a zápisů z porad,
• vyhledávání v interních směrnicích a manuálech,
• vytahování údajů ze smluv, objednávek a faktur,
• vyhodnocení recenzí a dotazníků.

Je ale dobré vědět, že jazykové modely mohou znít přesvědčivě, i když se mýlí. Proč k tomu dochází, vysvětluje článek co jsou halucinace AI.

Závěr

Zpracování přirozeného jazyka urazilo dlouhou cestu od ručně psaných pravidel k modelům, se kterými lze vést plynulý rozhovor. Úlohy jako překlad, shrnutí nebo třídění textu jsou dnes běžně dostupné a čeština je mezi podporovanými jazyky dobře zastoupená, i když si zaslouží pozornost.

Chcete se naučit jazykové modely používat v praxi? Přihlaste se do kurzu umělé inteligence. Pokud uvažujete o chatbotovi, který bude rozumět dotazům vašich zákazníků, podívejte se na službu AI chatbot pro firmy.