Šta je, dođavola, NPU? Evo objašnjenja o AI čipovima

NPU je skraćenica za neuronsku procesnu jedinicu. To je posebna vrsta procesora koja je optimizovana za AI i zadatke mašinskog učenja. Ime potiče od činjenice da AI modeli koriste neuronske mreže. Neuronska mreža je, laički rečeno, ogromna mreža međusobno povezanih čvorova koji prenose informacije između njih. (Cela ideja je napravljena po uzoru na način na koji naš ljudski mozak funkcioniše.) NPU nije poseban uređaj koji kupujete, već je upakovan kao deo moderne procesorske platforme - kao što su Intel Core Ultra, AMD-ov Ryzen AI i Qualcomm-ov Snapdragon X Elite i Snapdragon X Plus. Ove platforme već imaju CPU sa integrisanim GPU i NPU.

U čemu je razlika? CPU izvršava većinu zadataka na računaru. Ali GPU, uprkos svom imenu, ne služi samo za grafiku i pokretanje igara. GPU je zapravo procesor optimizovan za drugačiji tip računarskih zadataka, zbog čega su GPU-ovi bili od koristi za poduhvate kao što su rudarenje kriptovalute i pokretanje lokalnih AI modela sa visokim performansama. U stvari, GPU-ovi su veoma dobri u takvim AI zadacima - ali GPU-ovi su užasno gladni energije.

Tu na scenu stupaju NPU-ovi. NPU je brži od CPU-a u računanju zadataka AI, ali ne tako brz u poređenju sa GPU-om. Kompromis je u tome što NPU koristi daleko manje energije od GPU-a kada računa te iste zadatke za AI. Pored toga, dok NPU radi sa zadacima u vezi sa veštačkom inteligencijom, CPU i GPU su oslobođeni da obavljaju sopstvene zadatke, povećavajući ukupne performanse sistema. Ako koristite softver za generisanje AI slike, kao što je Stable Diffusion (ili neki drugi AI model), na hardveru vašeg računara i potrebne su vam maksimalne performanse, GPU će biti vaša najbolja opcija. Zato Nvidia reklamira svoje GPU-ove kao "premium AI" hardver u odnosu na NPU. Ali postoje trenuci kada želite da pokrenete AI funkcije koje bi mogle biti previše opterećujuće za običan CPU, ali ne moraju nužno imati vrhunsku snagu GPU-a. Ili ste možda na laptopu i želite da iskoristite prednosti AI funkcija, ali ne želite da vam GPU isprazni bateriju. Sa NPU-om, laptop može da obavlja lokalne (na uređaju) AI zadatke bez proizvodnje mnogo toplote i bez preteranog trošenja baterije, tj. može da obavlja te AI zadatke bez preuzimanja CPU i GPU resursa.

Čak i ako niste zainteresovani za AI sam po sebi, još uvek možete da iskoristite prednosti NPU-a za druge namene. Na CES 2024, HP je pokazao softver za striming igara koji koristi NPU za zadatke striminga videa, oslobađajući GPU za pokretanje same igre. Korišćenjem dodatne računarske snage NPU-a, softver za striming ne zauzima nikakve GPU resurse... i mnogo je brži od korišćenja CPU-a za istu vrstu zadatka. Sa računarom sa veštačkom inteligencijom, NPU mogu da koriste i operativni sistem i aplikacije koje se nalaze u sistemu.

Microsoftovi Copilot+ računari - čiju prvu seriju pokreću Qualcomm Snapdragon X čipovi - imaju sopstvene funkcije koje pokreće AI koje koriste NPU ugrađene u tu platformu. Na primer, funkcija Windows opoziva koju je Microsoft odložio zahtevaće NPU. U novembru 2024, AMD i Intel računari će dobiti pristup onim istim Copilot+ PC funkcijama koje su ranije bile ekskluzivne za Qualcomm računare, ali samo AMD i Intel računari koji imaju novu AMD Ryzen AI 300 seriju i Intel Core Ultra seriju 2 (Lunar Lake procesori). Pored funkcija za Windows, programeri aplikacija će takođe moći da koriste NPU na različite načine. Nemojte se iznenaditi kada vidite aplikacije koji nude obradu zvuka, videa ili fotografija pomoću veštačke inteligencije koje pokreće NPU računara.

Većina aktuelnih aplikacija koje imaju AI funkcije - uključujući Microsoft-ov Copilot chatbot - još ne koriste NPU. Umesto toga, oni pokreću svoje AI modele na udaljenim serverima u oblaku. Zbog toga možete da pokrećete stvari kao što su Microsoft Copilot, ChatGPT, Google Gemini, Adobe Firefly i druga AI rešenja na bilo kom uređaju, bilo na starom Windows računaru, Chromebook-u, Mac-u, Android telefonu ili nečemu drugom. Ali korporacijama je skupo da pokreću svoje AI modele u oblaku. Na primer, Microsoft troši mnogo novca na zadatke Copilot AI u centrima podataka. Kompanije bi volele da prebace te AI zadatke na vaš lokalni računar i smanje sopstvene troškove računarstva u oblaku.

Naravno, ne radi se samo o uštedi troškova. Takođe imate koristi od mogućnosti da pokrenete računarski teške zadatke veštačke inteligencije na vašem lokalnom uređaju. Na primer, te funkcije veštačke inteligencije će i dalje raditi čak i kada ste van mreže, a svoje podatke možete čuvati privatnim umesto da ih sve vreme otpremate na servere u oblaku. (To je velika stvar i za kompanije koje žele da zadrže kontrolu nad sopstvenim poslovnim podacima iz razloga privatnosti i bezbednosti.)

Koliko su NPU-ovi dostupni i koliko su moćni? Performanse NPU-a se mere u TOPS, što predstavlja trilion operacija u sekundi. Da bismo vam dali osećaj šta to znači, NPU niske klase možda može da podnese samo 10 TOPS, dok računari koji se kvalifikuju za Microsoftov Copilot+ PC brend moraju da podnesu najmanje 40 TOPS. Ti brzi NPU-ovi su trenutno dostupni samo na najnovijim laptopovima, a često možete pronaći odlične ponude za starije računare koji su skoro jednako brzi kao i najnoviji modeli. Ako uočite laptop prethodne generacije na sniženju, možda nema smisla izdvajati značajno više novca samo za NPU, posebno ako nemate AI alate koje planirate da pokrenete.