Nové jádro je součástí AI platformy Armv9 edge, která se soustředí na možnosti umělé inteligence a strojového učení v edge aplikacích. S využitím knihoven Arm Kleidi for IoT zvyšuje výkon až o 70 % a umožňuje více než 20 milionům vývojářů bezproblémovou integraci s předními AI frameworky.
Cortex-A320 využívá architektonické prvky Armv9, jako je SVE2 pro výkon ML, a přináší 10x ML zvýšení výkonu a 30% skalární zvýšení výkonu ve srovnání se svým předchůdcem Cortex-A35. Architektura Armv9.2také přináší pokročilé bezpečnostní funkce, jako je Pointer Authentication (PAC), Branch Target Identification (BTI) a Memory Tagging Extension (MTE), a to i pro ta nejmenší zařízení Cortex-A. To je zásadní, protože edge zařízení často pracují v exponovaných prostředích a zpracovávají citlivá data.
Jednou z nejvýznamnějších překážek přijetí edge AI byla složitost vývoje a nasazení softwaru. Zde ukazuje sílu softwarové prostředí platformy. Sada výpočetních knihoven Arm Kleidi pro vývojáře AI frameworků umožňuje optimalizaci AI a ML pracovních zátěží na procesorech založených na Arm bez nutnosti další vývojářské práce. KleidiAI je již integrována do populárních IoT AI frameworků, jako jsou Llama.cpp a ExecuTorch nebo LiteRT prostřednictvím XNNPACK, což zrychluje výkon klíčových modelů, včetně Meta Llama 3 a Phi-3. Jako příklad lze uvést KleidiAI, která přináší až o 70 % vyšší výkon novému Cortexu-A320 při spuštění datové sady Microsoft Tiny Stories na Llama.cpp.
Nová platforma také zachovává softwarovou kompatibilitu s výkonnějšími procesory Cortex-A. Tato škálovatelnost zajišťuje, že vývojáři mohou vytvářet řešení, která rostou a přizpůsobují se změnám požadavků. Díky přístupu k rozsáhlému ekosystému Armv9 a kompatibilitě s bohatými operačními systémy, jako je Linux, i operačními systémy v reálném čase, jako je Zephyr, mohou vývojáři využívat stávající nástroje a znalosti a využívat opakované použití softwaru, zkracují dobu uvedení na trh a snižují celkové náklady na vlastnictví. S více než 20 miliony aktivních vývojářů Arm po celém světě je potenciál pro inovace obrovský.
Schopnost platformy spouštět vyladěné velké jazykové modely (LLM) a malé jazykové modely (SLM) pro aplikace umělé inteligence založené na agentech otevírá zcela nové kategorie okrajových případů použití. Směřujeme k budoucnosti, kde se inteligentní rozhodování odehrává blíže k místu sběru dat, snižuje latenci a zlepšuje ochranu osobních údajů.
Uvedené možnosti jdou na ruku výrobcům, kteří technologii ARm licenčně využívají.
https://www.arm.com/products/silicon-ip-cpu/cortex-a/cortex-a320
