Kaip veikia Raspberry pi ai rinkinys?
Raspberry Pi AI rinkinys veikia prijungdamas tam skirtą neuroninį apdorojimo įrenginį per M.2 HAT+ adapterį prie Raspberry Pi 5 PCIe sąsajos. Rinkinys atlieka 13 tera-operacijų per sekundę dirbtinio intelekto apdorojimo galios už 70 USD, todėl realiuoju laiku galima aptikti objektą, įvertinti pozą ir segmentuoti vaizdą neapkraunant pagrindinio procesoriaus. Šis atskiras pagreičio modulis tvarko AI išvadas vietoje, todėl jūsų Pi 5 gali paleisti sudėtingus kompiuterinės vizijos modelius, kuriems anksčiau reikėjo debesų kompiuterijos arba brangios aparatinės įrangos.
Rinkos laikas yra reikšmingas. „Raspberry Pi“ pranešė apie 259,5 mln. USD pajamas 2024 m. finansiniais metais, kai buvo pristatyti 22 produktai, skirti dirbtinio intelekto ir daiktų interneto aparatūrai, o tai rodo jų strateginį statymą dėl kraštinių skaičiavimų. Kai įmonės perkelia AI darbo krūvį iš debesies į kraštinius įrenginius, kūrėjams, dirbantiems su išmaniųjų fotoaparatų, robotikos ir pramonės automatizavimo projektais, labai svarbu suprasti, kaip veikia šis prieinamas rinkinys.
Aparatūros viduje: fizinė architektūra
AI rinkinį sudaro trys integruoti komponentai, kurie veikia kartu. „Hailo-8L“ neuroninis procesorius yra pačiame centre – čia atliekami faktiniai AI skaičiavimai. Modulis naudoja M.2 2242 formos koeficientą ir jungiasi per M rakto krašto jungtį, laikantis standartinių kompiuterio komponentų susitarimų.
M.2 HAT+ tarnauja kaip tiltas tarp Hailo lusto ir jūsų Raspberry Pi PCIe Gen 3 sąsajos. Pagalvokite apie tai kaip apie vertėją, kuris konvertuoja signalus tarp dviejų skirtingų aparatinės įrangos kalbų. Tarp modulio ir HAT+ iš anksto-įtaisyta šiluminė pagalvė, kad būtų išvengta perkaitimo intensyvių AI operacijų metu,-ši detalė yra svarbi, nes neuroninis apdorojimas išskiria daug šilumos.
Ryšio seka vyksta taip: Raspberry Pi 5 → PCIe FPC kabelis → M.2 HAT+ → Hailo-8L lustas. Skirtingai nuo naujesnio AI HAT+, kuris viską sujungia į vieną plokštę, AI rinkinys naudoja šį modulinį M.2 metodą, suteikiantį jums lankstumo, jei reikia, galima keisti NVMe saugyklą.
Našumo metrika, kuri iš tikrųjų yra svarbi
Neapdoroti TOPS skaičiai nepasako visos istorijos. Hailo-8L pasiekia 3–4 TOPS vienam vatui efektyvumą, o tai paaiškina, kodėl jis veikia panašiai kaip sistemos, kainuojančios 5 kartus daugiau. Realaus pasaulio bandymai atskleidžia daugiau praktinių įžvalgų.
Vykdydamas YOLOv8s objektų aptikimą 640 x 640 pikselių vaizdo sklaidos kanale, Pi 5 su Hailo-8L pasiekia 80 FPS su įjungtu PCIe Gen 3 – dvigubai našesnis nei Gen 2 režimas. Energijos suvartojimas išlieka nepaprastai mažas. Visa Pi 5 8GB sistema su Hailo pagreičiu sunaudoja maždaug 10 W aktyvaus AI išvados metu, panašiai kaip įprasto telefono įkroviklio.
Temperatūros valdymas praktikoje yra veiksmingas. „Seeed Studio“ etaloninis bandymas parodė stabilų našumą ilgų seansų metu be droselio dėl iš anksto-įdiegto terminio sprendimo. Tai skiriasi nuo GPU{3}}pagrįstos išvados, kai šiluminiai apribojimai dažnai tampa kliūtimi.
Duomenų srautas: nuo fotoaparato iki išvadų rezultatų
Štai kas iš tikrųjų nutinka, kai jūsų Pi 5 apdoroja tiesioginį vaizdo įrašą per AI rinkinį. Kameros modulis fiksuoja kadrus ir siunčia neapdorotus vaizdo duomenis į Raspberry Pi CPU per CSI sąsają. Centrinis procesorius atlieka minimalų išankstinį apdorojimą-paprastai tik formato konvertavimą ir raiškos koregavimus-prieš perduodamas duomenis į Hailo greitintuvą.
PCIe Gen 3 magistralė perduoda šiuos iš anksto apdorotus duomenis į Hailo-8L iki 8 GT/s greičiu. Tada neuroninis procesorius atlieka tikrąją išvadą, naudodamas savo specializuotą architektūrą. Hailo-8 architektūra apima savarankišką RAM, nereikalaujant išorinės DRAM, o tai žymiai sumažina delsą, palyginti su tradiciniais AI greitintuvais, kurie nuolat gauna duomenis iš sistemos atminties.
Rezultatai grįžta per tą patį PCIe ryšį. Centrinis procesorius gauna struktūrizuotus duomenis-objekto koordinates, klasifikacijos patikimumo balus, aptiktas pozas-ne neapdorotus pikselius. Tada jūsų Python scenarijus interpretuoja šiuos rezultatus, kad suaktyvintų veiksmus: išsiųstų įspėjimą, įrašytų filmuotą medžiagą, suaktyvintumėte variklius arba atnaujintumėte duomenų bazę.
„rpicam“{0}}programų programinės įrangos rinkinys suteikia integravimo lygmenį. Šiuo metu rpicam{2}}programos yra pagrindinė programinė įranga su gilia Hailo integracija, nors buvo pridėtas Picamera2 palaikymas. Tai reiškia, kad galite rašyti scenarijus, kurie sklandžiai perduoda kameros įvestį per neuroninius tinklus, naudodami tik kelias kodo eilutes.
Realus-pasaulinis įgyvendinimas: išmanusis apsaugos kameros dėklas
Leiskite man peržvelgti konkretų pavyzdį, kuris parodo rinkinio galimybes. VEEB Projects sukūrė „Peeper Pam“ – AI-pagrįstą aptikimo sistemą, kuri per vaizdo skambučius įspėja vartotojus, kai kas nors priartėja iš nugaros, naudodama objektų aptikimą, kad atpažintų žmones, nepaisydama baldų ir augalų.
Jų įgyvendinimui reikėjo pagrindinių komponentų: Raspberry Pi 5 su AI rinkiniu, 3 kameros modulio, Raspberry Pi Pico W ir analoginio voltmetro. Sistema buvo sukurta vos tris dienas, o didžiausias techninis iššūkis buvo įdiegti žiniatinklio lizdus, skirtus efektyviam ryšiui tarp Pi 5 ir Pico W.
Architektūra demonstruoja išmanųjį skaičiavimą. „Pi 5“ apdoroja visą dirbtinio intelekto apdorojimą vietoje,{2}}analizuodamas kiekvieną kadrą, ar nėra žmogaus buvimo, apskaičiuodamas pasitikėjimo balus ir suaktyvindamas įspėjimus. Lengvas Pico W tiesiog klauso signalų, o ne nuolat apklausia, taupydamas energiją ir sumažindamas tinklo išlaidas. Analoginis matuoklis suteikia tiesioginį vaizdinį grįžtamąjį ryšį, pereinant nuo 0 (asmens neaptiktas) iki 1 (tam tikras aptikimas) su gradacija dėl neapibrėžtumo.
Šis projektas sunaudojo maždaug 12-15 W bendros energijos, įskaitant kamerą, daug mažiau nei panašūs debesies sprendimais, kuriems reikia nuolatinio vaizdo srautinio perdavimo. Vietinis apdorojimas taip pat pašalino privatumo problemas, nes jokia filmuota medžiaga nepalieka įrenginio.
Žingsnis{0}}po-žingsnis sąrankos procesas
AI rinkinio paleidimas apima penkis skirtingus etapus. Kiekvienas etapas turi specifinius reikalavimus ir bendrų spąstų, kurių reikia vengti.
1 etapas: aparatūros surinkimas
Pradėkite nuo Raspberry Pi 5, kuriame veikia naujausia 64 bitų Raspberry Pi OS. Pritvirtinkite M.2 HAT+ prie GPIO antraštės, užtikrindami tinkamą išlygiavimą. Prijunkite PCIe FPC kabelį ir prie Pi, ir prie HAT{6}}kabelis turi tam tikrą orientaciją, todėl neteisingai jį priverždami sugadinsite jungtį. Pritvirtinkite Hailo-8L modulį prie M.2 lizdo su pridedamu atrama.
2 etapas: įgalinkite PCIe Gen 3
Pi 5 numatytasis PCIe Gen 2 stabilumas. Redaguokite /boot/firmware/config.txt ir pridėkite dtparam=pciex1_gen=3. Šis vienintelis pakeitimas padvigubina jūsų išvadų našumą. Paleiskite iš naujo ir patvirtinkite naudodami lspci -vv|grep "LnkSta:", kad patvirtintumėte, kad Gen 3 aktyvus.
3 etapas: programinės įrangos diegimas
Įdiekite „Hailo“ programinės įrangos krūvą: sudo apt update ir sudo apt install hailo{0}}all. Į šį paketą įeina HailoRT vykdymo laikas, rpicam{2}}programos su Hailo palaikymu ir pavyzdiniai neuroninių tinklų modeliai. Įdiegimui reikia maždaug 2 GB vietos diske ir 10–15 minučių įprastu plačiajuosčiu ryšiu.
4 etapas: patikros testavimas
Paleiskite įtrauktą objektų aptikimo demonstraciją: rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov6_inference.json. Turėtumėte matyti objektų aptikimą realiuoju laiku{11}}su aplink aptiktus elementus nubrėžtais kraštiniais langeliais. Kadrų dažnis virš 60 FPS rodo tinkamą Gen 3 veikimą.
5 etapas: pasirinktinio modelio diegimas
Savo parengtiems modeliams naudokite Hailo Dataflow kompiliatorių, kad konvertuotumėte TensorFlow arba PyTorch modelius į Hailo HEF formatą. Kompiliatorius automatiškai tvarko kvantavimą ir optimizavimą, nors jums reikės reprezentatyvių duomenų rinkinių pavyzdžių kalibravimui. Įdiekite gautą .hef failą ir integruokite jį į savo rpicam{3}}programų srautą.
Rinkos kontekstas: kodėl „Edge AI“ pagreitis dabar svarbus
Krašto AI lustų rinka sparčiai auga. Pasaulinė AI lustų rinka 2024 m. pasiekė 123,16 mlrd. USD, o iki 2029 m. planuoja pasiekti 311,58 mlrd. USD, ty 24,4 % CAGR. Tai susiję ne tik su didesniais skaičiais,{7}}tai reiškia esminį AI apdorojimo pokytį.
Pagreičio lustą gaminanti bendrovė „Hailo“ užsitikrino reikšmingą patvirtinimą. 2024 m. balandžio mėn. startuolis surinko 120 mln. USD ir dabar aptarnauja daugiau nei 300 klientų automobilių, saugumo, mažmeninės prekybos ir pramonės automatikos sektoriuose. Jų išlikimas rinkoje, kurioje žlugo daugelis dirbtinio intelekto lustų įmonių, byloja apie į kraštą{5}} orientuotų sprendimų gyvybingumą.
Konkurencinga aplinka išryškina įdomius kompromisus. Hailo-10H užtikrina 40 TOPS INT4 našumą, atitinkantį 20 TOPS INT8, palyginti su Intel Core Ultra Meteor Lake NPU 11 TOPS ir AMD Ryzen 8040 16 TOPS. Tačiau JAV lustų įmonės nuo 2023 m. sausio iki rugsėjo surinko tik 881 mln. USD, palyginti su 1,79 mlrd. USD 2022 m., o tai rodo sudėtingą finansavimo aplinką, dėl kurios „Hailo“ sėkmė pastebima.
Numatoma, kad konkrečiai Raspberry Pi ekosistemoje AI ir daiktų internetas padidins 15-20 % per metus-priedų pardavimo augimą iki 2026 m. AI rinkinys atspindi Raspberry Pi įėjimą į rinką, kurioje jie gali panaudoti savo didžiulę vartotojų bazę ir platinimo tinklą prieš specializuotus konkurentus.
Dažnos klaidingos nuomonės apie AI rinkinį
Klaidinga nuomonė: „13 TOPS reiškia, kad jis veikia bet kokiu AI modeliu“
Realybė apima reikšmingus niuansus. Hailo-8L puikiai tinka konvoliuciniams neuroniniams tinklams, skirtiems kompiuterinio regėjimo objektų aptikimui, segmentavimui, pozos įvertinimui. Jis kovoja su dideliais kalbų modeliais, nes lustui trūksta pakankamai VRAM, kad būtų galima daryti išvadas. 13 TOPS skaičius taikomas INT8 operacijoms, o daugelis transformatorių modelių tikisi FP16 arba FP32 tikslumo.
Klaidinga nuomonė: „Tai tik greitesnis GPU“
Neuroniniai greitintuvai naudoja iš esmės skirtingas architektūras. GPU laikosi bendros paskirties-lygiagrečio apdorojimo dizaino, todėl jie yra lankstūs, bet mažiau veiksmingi. Hailo-8 duomenų srauto architektūra specialiai išnaudoja neuroninio tinklo savybes, pašalindama išorinę DRAM priklausomybę. Ši specializacija suteikia 20 kartų didesnį energijos vartojimo efektyvumą nei GPU sprendimai konkrečioms užduotims atlikti, bet taip pat reiškia mažesnį lankstumą atliekant ne AI darbo krūvius.
Klaidinga nuomonė: „Prijunkite{0}}ir žaisk su bet kokiu fotoaparatu“
Nors rinkinys palaiko kelias kameras, integracijai reikalingas specialus programinės įrangos palaikymas. Iš pradžių tik rpicam{1}}programos siūlė gilų Hailo integravimą, tačiau Picamera2 palaikymas atsirado vėliau. USB internetinės kameros veikia, tačiau reikalauja skirtingų kodų kelių. MIPI CSI kameros užtikrina griežčiausią integraciją, tačiau turėsite patikrinti suderinamumą su konkrečiu fotoaparato modeliu.
Klaidinga nuomonė: „Didesnis partijos dydis visada yra geresnis našumas“
Bandymas atskleidžia įdomų apribojimą. Našumas pagerėja nuo 2 partijos dydžio (80 FPS) iki 8 partijos dydžio (120 FPS), bet sumažėja iki 100 FPS, kai partijos dydis yra 16 dėl PCIe pralaidumo apribojimų. Tai rodo, kad „Pi 5“ PCIe Gen 3 x1 sąsaja tampa kliūtimi didesnei partijoms, o ne pats neuroninis procesorius.
Dažnai užduodami klausimai
Ar AI rinkinys gali paleisti „ChatGPT“ ar panašius LLM?
Dabartinė forma nėra veiksminga. „Hailo-8L“ trūksta atminties talpos didelėms kalbų modeliams, kuriems paprastai reikia 4–16 GB skirtos RAM, skirtos tik modelio svoriui. Tačiau mažesni kiekybiniai modeliai pagal 1B parametrus gali veikti su dideliais našumo apribojimais. Išplatintas Llama projektas demonstruoja LLaMA 3 8B paleidimą keturiuose Pi 4 įrenginiuose 1,6 žetono per sekundę greičiu, nors tai nepadeda dirbtinio intelekto rinkinio pagreičio.
Kuo skiriasi AI Kit ir AI HAT+?
AI rinkinyje naudojamas M.2 modulis, kuris jungiamas prie M.2 HAT+ adapterio plokštės. AI HAT+ integruoja Hailo lustą tiesiai į pilną HAT plokštę ir yra 13 TOPS (70 USD) ir 26 TOPS (110 USD) variantų. 26 TOPS versijoje vietoj Hailo-8L naudojamas Hailo-8. Abu naudoja identišką programinę įrangą ir bibliotekas, todėl pasirinkimas priklauso nuo to, ar M.2 lizdo jums reikia kitiems tikslams.
Kaip energijos suvartojimas palyginamas su išvadomis iš debesies?
Dramatiškai žemesnė. Visa Pi 5 sistema su aktyvia AI išvada sunaudoja apie 10 W, maždaug 240 Wh per dieną, jei ji veikia nuolat. Norint padaryti išvadas iš debesies, reikės nuolatinio vaizdo srautinio perdavimo (įkeliant 2–4 Mbps) ir API iškvietimų apdorojimui, todėl duomenų centre paprastai sunaudojama daugiau pralaidumo sąnaudų ir energijos. 24 valandas per parą, 7 dienas per savaitę, vietinis apdorojimas gali sutaupyti 20–40 USD per mėnesį pralaidumo ir debesies API mokesčių.
Ar galiu naudoti kelis AI rinkinius viename Raspberry Pi 5?
Ne tiesiogiai viename Pi 5, kuris turi tik vieną PCIe sąsają. Tačiau Jeffas Geerlingas pademonstravo kelių greitintuvų prijungimą naudojant PCIe jungiklius ir išplėtimo plokštes, iš viso pasiekiant 51 TOPS įvairiuose Hailo ir Coral lustuose, nors ši konfigūracija oficialiai nepalaikoma ir jai reikia išorinių maitinimo šaltinių.
Kokio kadrų dažnio turėčiau tikėtis naudojant{0}}realiojo laiko programas?
Tai priklauso nuo modelio sudėtingumo ir įvesties skiriamosios gebos. 640 x 640 raiška YOLOv8 pasiekia 80{12}}120 FPS, priklausomai nuo partijos dydžio. Paprastesni modeliai, tokie kaip „MobileNet“, gali pasiekti 200+ FPS. Sunkesni modeliai, tokie kaip YOLOv8x, gali sumažėti iki 30–40 FPS. Palyginimui, žmogaus regėjimas judesį suvokia sklandžiai 24–30 kadrų per sekundę greičiu, todėl dauguma realaus laiko programų turi patogią veikimo erdvę.
Kaip sunku mokyti individualius modelius?
Mokymo etapas vyksta staliniame kompiuteryje arba debesies pavyzdyje naudojant standartines TensorFlow arba PyTorch darbo eigas{0}}„Hailo“ lustas nedalyvauja mokymuose. Konvertavimo procesui reikia išmokti Hailo duomenų srauto kompiliatorių, kuris turi mokymosi kreivę, bet apima išsamią dokumentaciją. Jei jau esate susipažinę su neuroninio tinklo mokymu, pirmasis pritaikytas modelis bus paleistas per 2–3 dienas. Kompiliatorius automatiškai tvarko kvantavimą, nors jums reikės reprezentatyvaus kalibravimo duomenų rinkinio.
Ar jis veikia su kitais vieno{0}}borto kompiuteriais?
AI rinkinys konkrečiai skirtas Raspberry Pi 5 PCIe sąsajai ir formos faktoriui. Tačiau pagrindinis Hailo-8L M.2 modulis yra standartinis komponentas. Tokiuose įrenginiuose kaip „Seeed Studio“ reComputer R1000 su M.2 lizdais gali tilpti „Hailo“ modulis, nors turėsite perjungti programinės įrangos paketą. Kiti SBC su M.2 lizdais (Rock 5B, Orange Pi 5) teoriškai galėtų veikti, tačiau jiems reikia didelių programinės įrangos integravimo pastangų.
Kokius projektus žmonės iš tikrųjų kuria?
Bendruomenė sukūrė įvairių programų. Į projektus įeina išmanieji tablečių dozatoriai, naudojantys objektų atpažinimą, laukinės gamtos kameros su rūšių identifikavimu ir netvarkingo stalo įspėjimai, skaičiuojantys objektus. Pozos įvertinimas įgalina kūno rengybos stebėjimo programas, kurios stebi pratimų formą ir skaičiuoja pakartojimus. Pramonės naudotojai naudoja rinkinį, kad patikrintų kokybės kontrolę, skaičiuotų gaminius ant konvejerio juostų ir aptiktų saugos pažeidimus realiuoju laiku-vaizdo kanaluose.
Priimkite sprendimą: kai AI rinkinys turi prasmę
Raspberry Pi AI rinkinys puikiai tinka tam tikrais atvejais. Tai idealu, kai reikia{1}}kompiuterinio vaizdo realiuoju laiku naudojant akumuliatoriaus energiją arba įterptose aplinkose, kur debesų ryšys yra nepatikimas. Išmanieji durų skambučiai, laukinės gamtos kameros, pramoninės apžiūros sistemos ir robotikos programos yra puikios{3}}užduotys, kurioms reikalingas nuolatinis AI apdorojimas, laikantis griežtų delsos reikalavimų ir energijos biudžeto.
Apsvarstykite alternatyvas, kai jūsų reikalavimai skiriasi. Jei jus pirmiausia domina LLM arba natūralios kalbos apdorojimas, jums reikės kitokios aparatinės įrangos,{1}}galbūt darbalaukio GPU arba debesies API prieigos. Retkarčiais atliekant dirbtinio intelekto užduotis, kai delsa nėra labai svarbi, debesies paslaugos gali pasirodyti ekonomiškesnės-nepaisant didesnių už-išvadų sąnaudų.
70 USD kaina reiškia, kad rinkinys yra eksperimentavimo platforma, kuri yra pakankamai prieinama mokymuisi, tačiau pakankamai galinga prototipų gamybai. Kadangi Raspberry Pi strateginis dėmesys skiriamas dirbtinio intelekto galimybėms ir 2024 m. pristatys 22 produktus, programinės įrangos ekosistema ir toliau bręs, todėl investicijos laikui bėgant taps vertingesnės.
Papildomai sumokėkite 100–150 USD už pagalbinius komponentus: kokybišką maitinimo šaltinį, fotoaparato modulį, dėklą su aušinimu ir „microSD“ kortelę su pakankama greičio klase. Bendra 200–250 USD sistemos kaina vis tiek 50–70 % mažesnė už komercines AI kamerų sistemas, tuo pačiu suteikiant visišką pritaikymo laisvę.
Kraštinės AI rinkos trajektorija rodo, kad dabar yra strateginis laikas ugdyti įgūdžius naudojant šiuos įrankius. Nesvarbu, ar esate studentas, tyrinėjantis karjeros galimybes, gaminių prototipų kūrėjas ar inžinierius, vertinantis technologijas, skirtas pramoniniam diegimui, suprasdami, kaip veikia Raspberry Pi AI rinkinys, suteikia praktinės patirties su skaičiavimo architektūromis, kurios bus galingos kitą dešimtmetį išmaniųjų įrenginių.