Strojové vidění je soubor technologií, které umožňují automatizovaným zařízením (průmyslovým nebo jiným) na vysoké úrovni porozumět bezprostřednímu prostředí z pořízeného obrazového materiálu. Bez výkonného hardware by software pro strojové vidění z obrazového materiálu nebyl ničím jiným než jednoduchou kolekcí nespojených pixelů s různými hodnotami barev a intenzitou tónů.

Strojové vidění umožňuje detekovat hrany a tvary, a díky tomu se identifikují definované objekty zájmu. Obrazový materiál není nutně omezen jen na fotografie či videa ve viditelném spektru. Běžně se používají snímky získané pomocí infračervených, laserových, rentgenových či ultrazvukových signálů.

Obrázek 1: Využití strojového vidění pro robotické aplikace. (Zdroj obrázku: John6863373 | Dreamstime.com )

Běžnou aplikací strojového vidění v průmyslovém prostředí je identifikace konkrétního dílu v přihrádce obsahující směs dílů. Zde strojové vidění pomáhá robotům vybrat a umístit ten správný díl. Rozpoznání dílů v přihrádce pomocí zpětné vazby by bylo relativně jednoduché, pokud by byly všechny díly úhledně uspořádány a orientovány stejným způsobem na podložce. Robustní algoritmy strojového vidění však dokážou rozpoznat objekty v různých vzdálenostech od kamery a také v různých orientacích. Nejsofistikovanější systémy strojového vidění lze přirovnat k systémům pro řízení autonomních vozidel.

Obrázek 2: Strojové vidění poskytuje systémům (průmyslovým nebo jiným) vysokou úroveň rozpoznání objektů z obrazového materiálu. (Zdroj obrázku: Wikimedia )

Technologie pro strojové viděním

Termín strojové vidění se používá pro matematické metody, které získávají informace z obrázu.Naproti tomu termín počítačové vidění obvykle popisuje modernější a výpočetně náročnější systémy využívajících strojové učení nebo umělou inteligenci (AI). Strojové vidění však může také sloužit jako univerzální termín zahrnující všechny metody extrahování informací z obrazu. V tomto kontextu počítačové vidění popisuje až následné funkce zpracování. Technologie pro extrakci požadovaných informací z obrazu je mnoho.

Digitální zpracování obrazu je forma zpracování digitálního signálu zahrnující vylepšení obrazu, obnovu, kódování a kompresi. Mezi výhody oproti analogovému zpracování obrazu patří snížení šumu a zkreslení a také dostupnost mnohem více algoritmů. Jedním z prvních použití vylepšení obrazu byla korekce snímků měsíčního povrchu. Tam se využívalo fotogrammetrického mapování, šumové filtry a korekce geometrických zkreslení vznikajících v důsledku zarovnání zobrazovací kamery s měsíčním povrchem.

Obrázek 3: DLPC350 poskytuje vstupní a výstupní spouštěcí signály pro synchronizaci zobrazených vzorů s kamerou. Pracuje s digitálními mikrozrcadlovými zařízeními (DMD) navrženými tak, aby poskytovaly 3D strojové vidění průmyslovým, lékařským a bezpečnostním zařízením. (Zdroj obrázku: Texas Instruments )

Vylepšení digitálního obrazu často zahrnuje zvýšení kontrastu, geometrická korekce úhlu pohledu a zkreslení čočky. Komprese se typicky dosahuje aproximací komplexního signálu ke kombinaci kosinových funkcí – Fourierova transformace známá jako diskrétní kosinusová transformace neboli DCT. Formát JPEG je nejoblíbenější aplikací DCT. Obnova obrazu může také používat Fourierovy transformace k odstranění šumu a rozmazání.

Fotogrammetrie využívá určitý druh identifikace prvků k extrakci měření vzdálenosti z obrázků. Tato měření zahrnuje 3D informace, pokud bylo získáno více snímků stejné scény z různých pohledů. Nejjednodušší fotogrammetrické systémy měří vzdálenost mezi dvěma body obrazu pomocí měřítka. Pro tento účel se zahrnuje známé měřítko přímo do obrazu.

Detekce prvků umožňuje počítačům identifikovat hrany a rohy nebo body v obraze. Toto je nezbytný krok pro fotogrammetrii, stejně jako identifikace objektů a pohybu. Detekce skvrn dokáže identifikovat oblasti s hranami, které nejsou schopny rozeznat běžné algoritmy pro detekci prvků. Metoda detekce skvrn je zaměřena na detekci oblastí v digitálním obrazu, které se liší ve vlastnostech, jako je jas nebo barva, ve srovnání s okolními oblastmi.

Rozpoznávání vzorů se používá k identifikaci konkrétních objektů. V nejjednodušším případě to může znamenat hledání konkrétní dobře definované mechanické části na dopravníku.

3D rekonstrukce určuje 3D podobu objektů z 2D obrázků. Toho lze dosáhnout fotogrammetrickými metodami, ve kterých se výška společných znaků (identifikovaných na snímcích z různých pozorovacích bodů) určuje triangulací. 3D rekonstrukce je také možná pomocí jediného 2D obrazu. Zde software interpretuje geometrické vztahy mezi hranami nebo oblastmi stínování.

Obrázek 4: 3D skenery zachycují 2D obrazy objektu a vytvářejí jeho 3D model. V některých případech jsou pak digitální modely použity pro 3D tisk kopií. (Zdroj obrázku: Shenzhen Creality 3D Technology Co. )

Člověk snadno zrekonstruuje krychli z jednoduchého náčrtu a kouli ze stínovaného kruhu. Stínování totiž ukazuje jednotlivé sklony povrchů. Proces takové dedukce je však složitější, než se zdá, protože stínování je jednorozměrný parametr, zatímco sklon se vyskytuje ve dvou rozměrech. To může vést k nejednoznačnostem, a to dokazují obrázky fyzicky nemožných předmětů.

Obrázek 5: Počítačové určování 3D tvaru obrobku z 2D obrazu je plné problémů.

Uspořádání jednotlivých úloh strojového vidění

Mnoho systémů strojového vidění postupně kombinuje výše uvedené techniky tím, že začíná s operacemi na nízké úrovni a poté postupuje jeden po druhém k ​​operacím na vyšší úrovni. Na nejnižší úrovni jsou všechny pixely obrázku uchovávány jako data s velkou šířkou pásma. Potom každá operace v sekvenci identifikuje rysy obrazu a představuje zajímavé informace s relativně malým množstvím dat.

Nízkoúrovňové operace vylepšení a obnovy obrazu jsou na prvním místě, následované detekcí funkcí. Tam, kde se používá více senzorů, lze proto nízkoúrovňové operace provádět distribuovanými procesy vyhrazenými pro jednotlivé senzory. Jakmile jsou detekovány prvky na jednotlivých snímcích, mohou proběhnout fotogrammetrická měření vyšší úrovně – stejně jako jakákoliv identifikace objektů nebo jiné úkoly, které se opírají o kombinovaná data z více snímků a senzorů.

Přímé výpočty a algoritmy učení

Přímý výpočet v kontextu strojového vidění je soubor matematických funkcí, které jsou ručně definovány lidským programátorem. Ty přijímají vstupy, jako jsou hodnoty obrazových pixelů, aby poskytovaly výstupy, jako jsou souřadnice hran objektu. Naproti tomu algoritmy učení nejsou přímo napsány lidmi, ale místo toho jsou trénovány prostřednictvím vzorových datových sad spojujících vstupy s požadovanými výstupy. Fungují tedy jako černé skříňky. Většina strojového učení využívá hluboké učení založené na umělých neuronových sítích.

Obrázek 6: Obrazové snímače ze série iVu dokážou identifikovat obrobky podle typu, velikosti, umístění, orientace a barvy. Komponenty strojového vidění mohou přijímat konfiguraci a monitorování integrované obrazovky, vzdáleného HMI nebo PC. Kamera, ovladač, objektiv a světlo jsou předem integrovány. (Zdroj obrázku: Banner Engineering Corp. )

Jednoduché strojové učení pro průmyslové aplikace jsou často spolehlivější a méně výpočetně náročné, pokud jsou založeny na přímém výpočtu. Samozřejmě existují limity toho, čeho lze dosáhnout přímým výpočtem. Například se nepodaří provést pokročilé rozpoznávání vzorů potřebné k identifikaci jednotlivců podle jejich tváří, zejména ne z videopřenosu přeplněného veřejného prostoru. Oproti tomu strojové učení si s takovými aplikacemi obratně poradí. Není tedy divu, že strojové učení je stále častěji nasazováno pro operace strojového vidění nižší úrovně, včetně vylepšení obrazu, obnovy a detekce funkcí.

Vylepšení přístupů k výuce (nikoli algoritmů)

Dozrávání technologie hlubokého učení ukázalo, že zlepšení nepotřebují samotné algoritmy učení, ale způsob, jakým jsou trénovány. Jedna taková vylepšená tréninková rutina se nazývá počítačové vidění zaměřené na data. Zde systém hlubokého učení akceptuje velmi velké tréninkové sady složené z tisíců, milionů nebo dokonce miliard obrázků – a poté ukládá výsledné informace, které jeho algoritmy extrahují z každého obrázku. Algoritmy se efektivně učí procvičováním zpracovaných příkladů a následným odkazem na „answer book“, aby si ověřily, zda dospěly ke správným hodnotám.

V počátcích digitálního rozpoznávání vzorů existuje jeden varovný příklad strojového učení. Americká armáda měla v úmyslu použít strojové vidění, aby spolehlivě identifikovaly tanky americké a ruské výroby. Všechny tanky byly správně odlišeny na leteckých snímcích, která dodalo ministerstvo obrany. Ale při opětovném testování s vlastní knihovnou obrázků Pentagonu systém stále dával špatné odpovědi.

Problém byl v tom, že všechny snímky od ministerstva obrany zachycovaly americké tanky v pouštích a ruské tanky na zelených polích. Systém zdaleka nerozpoznal různé tanky, ale místo toho rozpoznával různobarevné pozadí. Prostě algoritmus se učil na špatných datech. Aby byly učící algoritmy užitečné, musí být trénovány na pečlivě vybraných datech.

Závěr

Strojové vidění již není specializovanou technologií. Největší rozmach je v průmyslových aplikacích, kde strojové vidění doplňuje bezpečnostní systémy průmyslových závodů, které vydávají poplach, když zaměstnanci vstoupí do pracovní zóny bez ochranné přilby, masky nebo jiného správného ochranného vybavení. Strojové vidění může také doplnit systémy, které oznámí, když se mobilní stroje, jako jsou vysokozdvižné vozíky, dostanou příliš blízko k lidem.

Systémy se strojovým vidění mohou nahradit pevnou ochranu kolem průmyslových robotů a umožnit tak efektivnější operace. Mohou také nahradit nebo zlepšit bezpečnostní systémy založené na světelných zábranách, které jednoduše zastaví strojní zařízení, pokud pracovník závodu vstoupí do pracovního prostoru.

Článek vyšel v originále na webu DigiKey.com