Téměř každý, kdo začíná v oblasti strojového učení (ML), rychle zjistí, jak drahé je ukládání a zpracování dat v cloudu. Tento problém lze částečně vyřešit lokálním serverem s vysokým výkonem, kde náročné algoritmy probíhají. Toto řešení sebou přináší i zvýšenou spotřebu energie a s tím související teplotní management. Čím více dat je nutné zpracovat, tím více energie je potřeba. Řešením je filtrovat co nejvíce dat pomocí Edge Computingu, který je schopen provést analýzu dat co nejblíže místu pořízení dat. Samozřejmě, že Edge Computing musí být sám energeticky účinný, aby celá změna struktury předávání dat měla smysl a došlo k významné energetické úspoře. Nová generace procesorů RISC-V poskytuje třikrát vyšší energetickou účinnost na jednotku výkonu než zařízení založená na jiných architekturách.
RISC-V v Edge ML: Méně instrukcí, méně energie
Kombinace strojového učení ML a edge computingu umožňuje chytrým zařízením autonomní rozhodování a adaptaci v reálném čase. Tento typ hierarchie zpracování dat je plně v souladu s technologií procesorů RISC-V, která se již používá v Egde connecting aplikacích:
- Nositelná zařízení: Fitness trackery s procesory RISC-V provádějí rozpoznávání aktivity a monitorování zdraví přímo v zařízení, poskytují personalizované statistiky a zpětnou vazbu od uživatelů v reálném čase.
- Inteligentní budovy: Procesory RISC-V jsou součástí zařízení pro automatizaci budov, která provádí detekci objektů v reálném čase, rozpoznávání anomálií, inteligentní automatizaci a zabezpečení.
- Robotika: Průmyslové roboty vybavené procesory RISC-V provádějí zpracování obrazu a detekci objektů v reálném čase, a to jim umožňuje přizpůsobit se dynamickému prostředí a provádět složité úkoly zcela autonomně.
RISC-V hraje klíčovou roli v této problematice, díky otevřené a standardizované instrukční sadě a výpočetní efektivitě, která zjednodušuje implementaci složitých algoritmů AI na Edge zařízeních. Vysoká výpočetní efektivita je dána základním stavebním blokem architektury RISC-V, a to instrukční sady. RISC-V je založen na zjednodušené instrukční sadě, která obsahuje základní sadu celočíselných instrukcí RV32I nebo RV64I s volitelnými rozšířeními, která výrazně zvyšují operace strojového učení ML na procesorech RISC-V:
- Vector extension (V): Toto rozšíření podporuje vektorové operace nezbytné pro efektivní násobení matic a základní operace v mnoha algoritmech ML. Vektorová rozšíření výrazně zlepšují výkon tím, že umožňují procesoru provádět více operací současně na více datových prvcích.
- Compressed extension (C): Toto rozšíření zavádí komprimované instrukce, které vyžadují méně bitů ke kódování, a to má za následek menší velikost kódu a menší nároky na paměť. Toto je výhodné zejména pro Edge zařízení s omezenými paměťovými prostředky.
Kombinace těchto dvou rozšíření umožňuje procesorům RISC-V dosahovat vysokého výkonu a vysoké efektivity při provádění úloh strojového učení. RISC-V procesory IP od SiFive využívá výše uvedené vektorové rozšíření a další inovace mikroarchitektury, aby dosáhli o 30 až 40 procent lepší energetické účinnosti než u konkurence. Architektura RISC-V od SiFive se vyznačuje v menších počtech cyklů na instrukci (CPI). CPI je průměrný počet hodinových cyklů potřebných k provedení jedné instrukce. Proto je architektura RISC-V určená pro složité úkoly strojového učení při zachování tepelné účinnosti.
Vývojová deska HiFive Unmatched Rev B
Na základě úspěchu softwarového ekosystému HiFive Unleashed a Linuxu zahajuje HiFive Unmatched novou éru vývoje RISC-V Linux s vysoce výkonnou vývojovou platformou v průmyslovém standardu Mini-TX. Základem vývojové desky je SoC SiFive Freedom U740 (FU740), který obsahuje vysoce výkonný vícejádrový, 64bitový dvouprocesorový procesor RISC-V (SiFive Essential U74-MC) s 16 GB DDR4, Gigabit Ethernetem, rozhraním PCIe, USB 3 a sloty M.2 pro Wi-Fi, Bluetooth a úložiště NVMe. Pro aplikace v reálném čase je k dispozici páté jádro SiFive Essential S71. Technologie SiFive Mix+Match nabízí silnou kombinaci výkonu a zpracování dat v reálném čase. S71 (RV64IMAC) obsahuje pomocné funkce a dokáže spolupracovat s clusterem U74-MC, a to z něj dělá ideální platformu pro vývoj software, kde mohou vedle sebe existovat Linux a RTOS zároveň.
Vlastnosti:
- SoC: SoC SiFive Freedom U740
- Paměť: 16 GB DDR4
- Flash paměť: 32 MB Quad SPI Flash
- Vyjímatelné úložiště: MicroSD karta
- vytváření sítí: Gigabitový ethernetový port
- Uživatelský vstup/výstup: 4x porty USB 3.2 Gen 1 typu A (1 nabíjecí port), 1x MicroUSB Console Port
- Možnosti rozšíření: x16 PCIe Gen 3 rozšiřující slot (použitelných 8 drah), Slot M.2 M-Key (PCIe Gen 3 x4) pro modul NVME 2280 SSD, Slot E-Key M.2 (PCIe Gen 3 x1) pro modul Wi-Fi / Bluetooth
- Deska Form Factor: Průmyslový standard Mini-ITX
Obrázek 1: Vývojová deska HiFi Unmatched Rev B. Zdroj: https://www.sifive.com/boards/hifive-unmatched-revb
Ekosystém RISC-V a nástroje pro Edge ML
Modulární instrukční sada RISC-V je výhodná při vývoji kompaktních, energeticky účinných procesorů. Vylepšená instrukční sada přispívá ke zkrácení doby návrhu čipu, jeho optimalizaci, nižší ceně a samozřejmě nižší spotřebě energie. Tyto vlastnosti mají za následek rychlý rozmach architektury RISC-V v prostředích Edge Computingu. Open Source softwarové vývojové nástroje začínají masivně podporovat procesory s architekturou RISC-V. Například populární kompilátory LLVM a GCC nyní oba podporují RISC-V. Populární frameworky TensorFlow a PyTorch jsou také portovány na RISC-V a k dispozici jsou knihovny, framework a middleware přímo pro strojové učení ML.
Antmicro a Google Research uzavřely partnerství na rychlém prototypování a řešení pro vývoj pro aplikace Edge ML založené na RISC-V. Řešení se skládá ze simulačního rámce Renode a runtime prostředí Kenning bare-metal (obrázek 2). Toto řešení umožňuje modelům strojového učení ML běžet na simulovaném hardwaru RISC-V. To znamená, že je možné vyhodnotit a optimalizovat celý technologický proces ML ještě dříve, než se vůbec začne s prototypem křemíkové struktury.
Obrázek 2: Simulační rámec RISC-V je produktem spolupráce mezi Antmicro a Google Research. (Zdroj: https://antmicro.com/blog/2022/06/co-developing-ml-with-risc-v-using-renode-for-google-research/)
U vývojových nástrojů RISC-V i ML je samozřejmě stále co zlepšovat. Vzhledem k tomu, že se tyto ekosystémy vyvíjejí paralelně, stále existují nástrahy, které je nutné překonat:
- Úroveň vyspělosti: Ekosystém RISC-V je ve srovnání se zavedenými architekturami relativně nový. Výsledkem je menší komunita zkušených vývojářů a méně komplexní dostupnost nástrojů a knihoven.
- Problémy standardizace: Přestože RISC-V International poskytuje základ pro spolupráci a inovace mezi dodavateli, lze v otevřeném ekosystému očekávat rozmanitost implementace. To vždy ponechává potenciál pro roztříštěnost architektury a problémy s kompatibilitou.
- Hardwarová dostupnost: Trh s komerčně dostupnými procesory RISC-V optimalizovanými pro úlohy strojového učení ML je stále omezený. S rostoucí poptávkou se však hardwarové prostředí více vyvíjí.
Pohled budoucnosti strojového učení ML Edge
Z hlediska implementace jsou počítače s redukovanou instrukční sadou (RISC) a počítače s komplexní instrukční sadou (CISC) do značné míry zastaralá. Efektivitu a výkon CPU nyní určuje především jeho mikroarchitektura, která je zase realizována prostřednictvím jeho ISA (instrukční sadou) a procesní technologií použitou k výrobě čipu. Jak se trhy RISC-V a Edge ML vyvíjejí, budeme i nadále svědky inovací hardware a specializovanějších procesorů RISC-V. Tyto procesory budou pravděpodobně obsahovat vyhrazené akcelerátory, optimalizované architektury paměti a další funkce, které zlepšují celkový výkon a efektivitu při provádění úloh ML. Přidané funkce budou i nadále rozšiřovat aplikační oblasti pro Edge zařízení založená na RISC-V a dláždit tak cestu pro jejich nasazení v chytrých domácností a zdravotnických zařízení až po průmyslové automatizační systémy nebo autonomní vozidla. S tak širokým záběrem bude procesorová technologie založená na RISC-V i nadále sloužit jako základní stavební blok pro chytré, propojené Edge ML systémy.
Více informací naleznete na:
