Jste zde

Pokrok ve strojovém vidění pro e-mobilitu

Antonín Vojáček, 25. Listopad 2020 - 18:51

Základem každé moderní vyspělé autonomní automatizace je nutně kvalitní strojové vidění. Nejde jen o optické kamery, ale prostě všechny senzorické mechanismy schopné vizualizovat okolní prostředí. Bez informací z vidění není v návaznosti možné nic autonomně řídit. Platí to samozřejmě i pro budoucích autonomních vozidla.

Aktuální přístup k vidění ve vozidlech

Pokud má být automobil či jiné dopravní technika alespoň nějakým způsobem autonomní nebo má alespoň výrazně pomáhat řidiči, tak jednou z nejdůležitější částí systémů je jeho vidění. Tedy přesněji řečeno, snímání okolního prostředí okolo dopravního prostředku a vytváření relevantních a hlavně vysoce spolehlivých informace o dění a objektech kolem vozidla při jakékoliv rychlosti pohybu a za jakýchkoliv podmínek. Proto tzv. strojového vidění musí zvláště v dopravních prostředcích poskytovat vícenásobnou redundancy informací. Jinak řečeno, musí své okolí sledovat více různými prostředky / technologiemi, aby bylo v případě výpadku nebo díky nevhodným podmínkám znemožněno jednomu způsobu indentifikace správně fungovat, aby jej ostatní snímací prostředky zastoupily. A jak je známo ze statistiky, jsou nutné alespoň 3 různé typy snímání stejného prostoru okolí, aby bylo možné při výpadku či nesprávné funkci jednoho druhu snímání správně posoudit, co je správná realita (tedy že tedy poskytovaná data zbylých dvou typů snímání budou poskytovat podobné výsledky a tedy bude možné určit, že třetí typ snímání poskytuje výsledky očividně špatné).

Proto je pro bezpečný a spolehlivý provoz autonomních vozidel nutné kombinovat různé technologie snímání, které zahrnují nejen optické kamerové systémy, ale i současně radarový a LiDARový systém snímání. Ty se dají označovat jako "on-board" technologie vidění, přičemž nově se pak navíc přiřazují externí technologie snímání okolí, například trvalý příjem a on-line aktualizace map, které průběžně jsou zasílány do vozidla s aktuálními informacemi o překážkách v provozu.

Takto vybavené vozidlo tak může "vidět i za roh", tedy vědět o možných kritických situacích či překážkách v provozu dříve, než je možné jej identifikovat ("vidět") přímo ve vozidle instalovanými prostředky, tedy i dříve, než by je mohl vidět i řidič. Nejde jen o informaci o hustotě provozu, kterou už může každý využívat v navigacích a mapách Google nebo Seznam, ale jde zde i o daleko přesnější a aktuálnější informace například o na kraji silnice parkujících vozidlech, výkopech, či i aktuálně jen dočasně stojících vozidlech, spadlém stromu či lidech jdoucích po silnici. Využívat se zde má "pospojování" informací od ostatních vozidel prostřednictvím rychlého on-line cloudové vyhodnocení vidění každého vozidla ve prospěch ostatních vozidel. Tedy taková sdílená inteligence vozidel, kde například jedno vozidlo svým viděním zaznamená například lidi na krajnici a díky tomu již následující vozidlo na stejné trase dostane informaci, že na silnici jsou lidé, na které je potřeba se zaměřit a dát na ně pozor. Automatika auta tedy již dopředu třeba lehce sníží rychlost, aby případné náhlé brždění (když by chodci "skočili do silnice") bylo možné provést bez jakýchkoliv následků posádky vozidla i chodců. Rychlá počítačová technika totiž měl být schopna si bleskurychle spočítat podle provozních podmínek (informací o počasí a stavu silnice také obdržených z cloudového systému), mechanických vlastností brždění a možné rychlosti pohybu lidí, jakou rychlostí kolem nich lze projet, aby v případě nutnosti brzdit či se vyhýbat, bylo možné vše bezpečně provést pro všechny reakcí účastníky provozu. Podle moderních přístupů je toto právě ta věc, která dokáže pro autonomní automobily vždy za všech okolností zajistit protikolizní situaci.

Kvůli standardizovanému zajištění, testování a posuzování bezpečnosti v autonomních vozidlech se pak zavádí nový standard IEEE 2846, který bude obsahovat formální matematický model založený na pravidlech pro automatizované rozhodování o vozidle, který bude formálně ověřitelný (s matematikou), technologicky neutrální (to znamená, že jej může kdokoli použít) a nastavitelný, aby umožňoval regionální přizpůsobení místními vlády. Bude také zahrnovat metodiku zkoušek a nástroje nezbytné k provedení ověření AV k posouzení shody s normou.

Vylepšený systém vidění Mobileye

Letošní novinkou na poli strojového vidění spojeného s asistenčními systémy řízení ve vozidlech (ADAS) a současně s vizí plně autonomních vozidel (AV) je dále vylepšená technologie Mobileye (by Intel) označená jako EyeQ5. Obecně předchozí provedení technologie EyeQ3 a EyeQ4 vyvinutou jako integrovanou architekturu na čipu (SoC = System on Chip) využívá již více než 27 výrobců automobilů. Hlavní úlohou EyeQ SoC je jeho schopnosti podporovat složité a výpočetně intenzivní zpracování vidění při zachování nízké spotřeby energie. Nejnovější technologie EyeQ páté generace pak je, dle vyjádření výrobce, již schopna podporovat i plně autonomní vozidla (autonomní řízení úrovně 5).

Cílem nové generace EyeQ5 bylo vylepšení poměru výpočetního výkonu a energetické náročnosti. Nové provedení sice vykazuje vyšší spotřebu než předchozí provedení EyeQ (10 W místo 3 W), ale současně výrazně vyšší nárůst výpočetního výkonu z původních 2,5 Tops až na 24 Tops (bilionů operací za sekundu) a schopností při vyšší integraci technologií 2 nm FinFET. Větší výpočetní výkon a procesní schopnosti byly získány využitím proprietárních výpočetních jader (akcelerátorů), které jsou optimalizovány pro širokou škálu úkolů počítačového vidění, zpracování signálu a strojového učení, včetně hlubokých neuronových sítí . Tato jádra akcelerátoru byla vyvinuta speciálně pro potřeby asistenčních systémů ADAS a následně i zcela autonomního řízení. Každý čip EyeQ5 obsahuje heterogenní plně programovatelné akcelerátory, každý optimalizovaným pro jeho vlastní rodinu algoritmů. Tato rozmanitost architektury umožňuje aplikacím ušetřit jak výpočetní čas, tak i výkon čipu pomocí volby nejvhodnějšího jádra pro každou úlohu. Optimalizace přiřazení úkolů k jádrům tak zajišťuje, že EyeQ poskytuje funkce „superpočítače“ při pouze pasivním chlazení!

Plně programovatelná jádra akcelerátoru jsou následující:

Procesory Vector Microcode Processors (VMP) - debutovaly v EyeQ2 a nyní v EyeQ5 jsou ve sv0 4. generaci. VMP a procesor VLIW SIMD s flexibilním přístupem k paměti poskytuje hardwarovou podporu pro operace běžné pro aplikace počítačového vidění a je vhodný pro vícejádrové scénáře.
Multithreaded Processing Cluster (MPC) - byl představen v EyeQ4 a nyní v EyeQ5 dosahuje své druhé generace. MPC je univerzálnější než jakýkoli GPU a efektivnější než jakýkoli procesor.
Programovatelné makro pole (PMA) bylo představeno v EyeQ4 a nyní v EyeQ5 dosahuje své druhé generace implementace. PMA umožňuje výpočetní hustotu blížící se hustotě hardwarových akcelerátorů s pevně definovanými funkcemi, aniž by byla u nich obětována programovatelnost.

Kromě inovativních a osvědčených akcelerátorů počítačového vidění společnosti Mobileye je EyeQ vybaven generickými vícevláknovými jádry CPU, která poskytují úplnou a robustní výpočetní platformu, kterou vyžadují aplikace ADAS / AV. Autonomní řízení vyžaduje zpracování desítek senzorů, včetně kamer s vysokým rozlišením, radarů a LiDAR. Za tímto účelem podporují vstupně-výstupní operace EyeQ5 datovou šířku pásma minimálně 40 Gb/s. Více dalších senzorů lze připojit prostřednictvím PCIe a Gigabit ethernetu.

ADAS a zejména pak vysoké úrovně autonomního řízení AV vyžadují téměř "neprůstřelnou" úroveň funkční bezpečnosti a musí tak být navržena pro nejvyšší stupeň bezpečnosti v automobilových aplikacích, tj. standardy ASIL D, normu ISO 26262 a v budoucnu i IEEE2846. Neméně je důležitá nutná vysoká úroveň kybernetické bezpečnosti. EyeQ5 proto již byl navržen s integrovaným hardwarovým bezpečnostním modulem, který umožňuje systémovým integrátorům provádět i zabezpečenou dálkovou aktualizaci softwaru, zabezpečenou komunikaci ve vozidle atd.

Zařízení EyeQ se dodávají výrobcům komponent i výrobcům automobilů spolu s celou sadou hardwarově akcelerovaných algoritmů a připravených aplikací pro ADAS a autonomní řízení. Spolu s tím podporuje i standardní operační systém pro automobilový průmysl a poskytuje kompletní sadu pro vývoj softwaru (SDK), která systém přizpůsobit nasazením jejich algoritmů. SDK lze také použít pro prototypování a nasazení neuronových sítí a pro přístup k předem naučeným síťovým vrstvám Mobileye. Použití EyeQ5 jako otevřené softwarové platformy usnadňují takové architektonické prvky, jako je virtualizace hardwaru a úplná soudržnost mezipaměti mezi CPU a akcelerátory.

Vylepšená jednotka vidění ZF Tri-Cam

Na novinky výrobců čipů pak samozřejmě hned reagují i novinky na úrovni firem vyvíjející komponenty a prostředky pro vozidla. Například společnost ZF, která vyvíjející elektronické a elektromechanické komponenty pro široký seznam automobilových výrobců a využívá aktuálně právě i čipy Mobileye EyeQ4, nabízí inovovaný kompletní jednotky automobilového "vidění" s názvem S-Cam 4.8 s jedním objektivem se zorným polem 100° a pak i provedení Tri-cam, což je první inteligentní kamery se třemi objektivy vyvinuté pro automobilový trh. Za tento produkt, který využívá i Nissan pro technologii autonomního řízení Nissan ProPILOT 2.0, dokonce získala společnost ZF ocenění "2020 Nissan Global Supplier Award". Nissan ProPILOT 2.0 je technologie navržená pro autonomní řízení na dálnici a víceproudém provozu.

Inovativní provedení kamerového modulu Tri-Cam, který je součástí rodiny kamer ZF S-Cam4, obsahuje kombinovanou sestavu konkrétně třech objektivů:

Základní objektiv se zorným úhlem 52° pro základní snímání obrazu.
Teleobjektiv se zorným polem 28° pro lepší snímání na dlouhé vzdálenosti.
Objektiv s rybím okem se zorným polem 150° pro vylepšené snímání na krátkou vzdálenost.

Díky kompaktnímu a flexibilnímu mechanickému designu je ZF Tri-Cam nejmenší inteligentní kamera s více objektivy, která je v současné době na trhu. Konfigurace tří čoček tak nabízí širší a delší zorné pole zdokonaluje detekci objektů na delší vzdálenosti a schopnosti snímání na vzdálenosti krátké pro celkový výkon ve vysoce kvalitních ADAS systémech, zejména pro poloautomatické jízdní funkce, jako jsou Highway Driving Assist, Traffic Jam Assist, a dalšímu rozvoji systémů automatického nouzového brzdění (AEB) s detekcí chodců a cyklistů. Také je to pro výrobce automobilů důležitý krok směrem k plnění budoucích pětihvězdičkových bezpečnostních hodnocení Euro NCAP a IIHS Top Safety Pick+, jakož i obecných bezpečnostních předpisů, které vyžadují stále přísnější testovací protokoly pro kritické systémy z hlediska bezpečnosti.

Závěr

I když v praxi se v aktuálních automobilech uplatňují technologie "autonomity" Level 2 či Level 2+, tedy různé ADAS asistenční systémy jakými jsou udržování jízdního pruhu, udržování rozestupu či dobržďování, vývojáři většiny společností pro automobilové komponenty již aktivně pracují na systémech Level 4, tedy autonomních systémech řízení s dozorem řidiče. Nejnovější vyvíjený hardware však již směřuje k implementaci plně autonomních vozidel úrovně Level 5, tedy vozidel schopných jezdit i bez dozoru řidiče. Z tohoto pohledu například Švédsko si definovalo cíl, že po roce 2050 již nikdo nezemře na silnici havárií s vozidlem. Toho se dá zdá se dosáhnout jen s využitím plně autonomních vozidel s vestavěnou umělou inteligencí a vzájemnou komunikací mezi vozidly a s cloudovými informacemi v reálném čase...