Zásluhou robustních digitalizačních projektů (Google Arts and Culture nebo Europeana) a snadnou dostupností nástrojů pro tvorbu digitálního vizuálního obsahu se zcela změnil způsob zkoumání umění a kultury. Kde bylo dříve jen omezené množství uměleckých děl nebo fotografií v analogové podobě, jsou dnes miliony digitalizovaných a „born digital” materiálů. Díky počítačovým nástrojům tak můžeme zkoumat desítky i tisíce vizuálních materiálů a pracovat s nimi zcela novým způsobem.
Tak jako literární vědě umožnila textová analýza zkoumat najednou tisíce děl určitého žánru nebo epochy, neuronové sítě, umělá inteligence a další technologie umožňují zpracovávat tisíce nebo miliony obrazových dat. Specializovaný software je tak schopen obraz analyzovat, extrahovat z obrazových dat informace o barevné škále nebo motivu, ale také vyhledat další díla na základě podobnosti.
S technologií Image recognition (rozpoznání obrazu) se setkáváme téměř denně, ať už při nákupech v internetových obchodech, při prohlížení fotografií ve fotobankách nebo databázích (Google Arts and Culture nebo Europeana), tak na sociálních sítích při označování přátel na fotografiích.
Díky automatickému rozpoznávání barev a motivů na fotografii vám internetový obchod nabídne produkt ve stejných barevných tónech jako ten, který si právě prohlížíte, ve fotobance si můžete prohlížet fotografie s podobnými barvami nebo motivy. Stejně tak dokáže algoritmus Facebooku rozpoznat tváře vašich přátel na nahrávaných fotografiích.
Rostoucí počet kulturních objektů a rychlý vývoj specializovaného softwaru pro analýzu vizuálního obsahu umožnil vznik kulturní analytiky. Tato oblast zkoumá kulturní data za pomocí informačních technologií. Už v roce 2009 prohlásil jeden z průkopníků počítačové analýzy obrazových dat, že „využití velkokapacitní počítačové analýzy a interaktivní vizualizace kulturních vzorů se stane základní výzkumnou metodou v humanitních a kulturních vědách.” Přestože v těchto oborech stále převládají tradiční metody výzkumu, v oblasti umění a kultury vzniká díky počítačovým technologiím celá řada fascinujících projektů.
Jednou z oblastí, kde Image recognition a analýza obrazu nabízí opravdu zajímavé výsledky, je bezpochyby historie umění. Lev Manovich vytvořil ve spolupráci s Cultural Analytics Lab vizualizaci díla nejznámějších impresionistů. Pomocí nástroje Image Plot řadili obrazy na základě barevnosti, jasu a jiných vlastností. Na vizualizaci je tak vidět, jak se lišily barevné palety různých umělců, případně jak se vyvíjelo použití barev v čase.
Podobný postup použili také při experimentu s analýzou díla malířů Vincenta van Gogha a Paula Gauguina. Z vizualizace je jasně vidět, jak se liší barevností a která jejich díla „vybočují” z tvorby, ať už rozdílem v barvách nebo v kompozici. Stejným způsobem Manovich se svým týmem analyzoval a porovnával díla umělců Marka Rothka a Mondriana, jejichž obrazy můžete vyhledat podle různých vizuálních kritérií nebo si pomocí časové osy prohlédnout vývoj díla obou umělců.
Výzkumníci z University of Yale podobně zpracovali dílo Williama Blakea. Z jeho malířského díla extrahovali barevnou paletu, ale také informace o jasu a kontrastu daného obrazu. Vytvořili tak interaktivní galerii Blakeova díla, kde si obrazy můžete prohlížet podle období, ve kterém je autor vytvořil, ale také podle podobnosti jejich barev.
Objektem výzkumu nemusí být jen umělecká a výtvarná díla, ale i různé předměty popkultury. Manovich a jeho studenti například vytvořili vizualizace obálek magazínu Time podle jejich barevnosti, jasu a kompozice. Zjistili přitom, že zatímco sytost používaných fotografií a množství barev se od počátku zvyšovala, v posledních letech se trend otočil k méně sytým, světlejším a neutrálním tónům.
Manovichovým dílem se inspirovali také na University of Yale, v laboratoři Digital Humanities. Předmětem projektu Robots reading Vogue se stal známý módní časopis. Pomocí vizualizace dle naměřených hodnot jasu, kontrastu a barevnosti například zjistili, že postupem času se obálky mnohem více barevně odlišovaly, a že výkyv v barevné kompozici v sedmdesátých a osmdesátých letech způsobilo výhradní použití portrétů na titulních stránkách. Po této vlně se magazín vrátil k celým postavám.
Jednou z oblastí, kde je strojové učení, počítačové zpracování a analýza obrazu velmi užitečným pomocníkem, je kulturní dědictví. Digitalizační projekty Europeana nebo Google Arts and Culture, čím dál více používají počítačové technologie rozpoznání a analýzy obrazu jak ke třídění digitalizovaných dat, tak k usnadnění vyhledávání ve svých databázích.
Projekt Google Arts and Culture, v jehož databázi jsou dnes miliony obrazových materiálů ve vysokém rozlišení, využívá umělé inteligence. Díky tomu dokáže uspořádat díla podle barevného schématu nebo tématu na fotografii. Technologicky zajímavým prvkem této databáze je funkce Art selfie, který dle vaší fotografie najde podobné tváře mezi uměleckými díly.
Umělá inteligence je užitečná už při samotném třídění fotografií a obrazů. Počítače dnes dokážou identifikovat objekty na fotografiích, a tak velkým databázím usnadňují přiřazování tagů a metadat a umožňují vyhledání v obsahu dle motivu. V projektu Neural Neighbours, který vznikl v digitální laboratoři v Yale, byl pomocí neuronových sítí zpracován archiv s několika tisíci fotografiemi, automaticky seřazenými do clusterů na základě podobnosti motivu.
Výhody nejnovějších technologií strojového učení a neuronových sítí využívají také vědci v projektu Vašulka Kitchen. Vašulka Kitchen je multimediální digitalizovaná sbírka fotografií a videí, které vytvořili nebo shromáždili manželé Woody a Steina Vašulkovi. Cílem projektu je vytvořit software, pomocí strojového učení a neuronových sítí dokáže automaticky zpracovávat a analyzovat vizuální obsah sbírek jako jsou obrazy, tisky, či fotografie, ale i videa a zvukové stopy. Vzniklo by tak interaktivní rozhraní, kde by si zájemci mohli digitalizovaný obsah prohlížet a vyhledávat v něm, například dle motivů či témat jednotlivých objektů. Díky speciálnímu softwaru tak můžete vyhledávat i v obsahu videí či zvukových stop.
S rostoucím podílem sociálních médií na tvorbě kulturního obsahu jsou objektem zájmu velmi často fotografie nebo videa sdílená na sociálních sítích. S takovým obsahem pracují i Manovichovy projekty, například SelfieCity, nebo Visual Earth. Dokazují, že analýza obrazu má využití i za hranicemi uměnovědných oborů. Příspěvky, které uživatelé sdílí, totiž mohou ledacos říci o lokalitě, ve které byly pořízeny nebo kulturním prostředí jejich autora. Například v projektu SelfieCity, který byl Manovichovým pilotním projektem v této oblasti, si tak můžete zjistit převládající jas i kompozici selfie fotek z jednotlivých měst, nebo jejich náladu.
V jednom z nejnovějších projektů Cultural Analytics lab, který zkoumá kulturu fotografií v několika megaměstech světa, Manovichův tým zanalyzoval miliony fotografií uživatelů Instagramu. Cílem bylo zjistit, zda mají fotografie pořízené v konkrétních městech svůj specifický styl, barevnou paletu či motivy. Z tohoto experimentu vyplynulo několik zajímavých výsledků. Například to, že Sao Paulo a Bangkok, které jsou od sebe vzdálené tisíce kilometrů sdílí téměř stejný styl fotografií i barevnost. Jedním z hlavních motivů fotografií z Tokya je jídlo, kdežto v Berlíně architektura a památky. A že nejbarevnější a nejsytější fotografie jsou pořizovány v Tokyu.
Analýza obrazu je bezpochyby metodou, která na rozdíl třeba od textové analýzy vyžaduje mnohem sofistikovanější technologie i software, nicméně její použití, jak je vidět z představených projektů, může přinést velmi překvapivé výsledky do výzkumu v oblasti umění a kultury.
Using computers to better understand art. The Conversation [online]. 2016 [cit. 2021-7-30]. Dostupné z: https://theconversation.com/using-computers-to-better-understand-art-56887
Umělá inteligence může být skvělým pomocníkem v kreativním procesu. I v tom hudebním. Hudebníkům všech úrovní mohou AI nástroje nabízející řadu užitečných funkcí pomoct s generováním originálních melodií a usnadnit tvorbu nového hudebního obsahu. Přečtěte si, jaké možnosti nabízejí nástroje Magenta, AIVA, WaVeNet a další.
Umělé neuronové sítě se v dnešní době rozšířily téměř do každého odvětví, které pracuje s nějakým druhem dat. Jak už jsme psali v minulých článcích, ani oblast hudební vědy není v tomto případě výjimkou. Stejně jako nám umělá inteligence dokáže vygenerovat text či grafiku, může nám podle zadaných parametrů vytvořit hudební skladbu. Pojďme se tedy na umělé neurnové sítě podívat trochu víc zblízka.
