Beth yw Edge AI?

Mae Edge AI yn gwthio deallusrwydd allan i'r mannau lle mae data'n cael ei eni. Mae'n swnio'n ffansi, ond mae'r syniad craidd yn syml: gwnewch y meddwl yn union wrth ymyl y synhwyrydd fel bod canlyniadau'n ymddangos nawr, nid yn hwyrach. Rydych chi'n cael cyflymder, dibynadwyedd, a stori breifatrwydd dda heb i'r cwmwl warchod pob penderfyniad. Gadewch i ni ei ddadbacio - llwybrau byr a chwiliadau ochr wedi'u cynnwys. 😅

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Beth yw AI cynhyrchiol
Esboniad clir o AI cynhyrchiol, sut mae'n gweithio, a defnyddiau ymarferol.

🔗 Beth yw AI asiantaidd
Trosolwg o AI asiantaidd, ymddygiadau ymreolaethol, a phatrymau cymhwysiad yn y byd go iawn.

🔗 Beth yw graddadwyedd AI
Dysgwch sut i raddio systemau AI yn ddibynadwy, yn effeithlon, ac yn gost-effeithiol.

🔗 Beth yw fframwaith meddalwedd ar gyfer AI
Dadansoddiad o fframweithiau meddalwedd AI, manteision pensaernïaeth, a hanfodion gweithredu.

Beth yw Edge AI? Y diffiniad cyflym 🧭

Ymyl AI yw'r arfer o redeg modelau dysgu peirianyddol hyfforddedig yn uniongyrchol ar neu ger y dyfeisiau sy'n casglu data - ffonau, camerâu, robotiaid, ceir, dyfeisiau gwisgadwy, rheolyddion diwydiannol, enwwch chi arno. Yn lle cludo data crai i weinyddion pell i'w dadansoddi, mae'r ddyfais yn prosesu mewnbynnau'n lleol ac yn anfon crynodebau yn unig neu ddim byd o gwbl. Llai o deithiau crwn, llai o oedi, mwy o reolaeth. Os ydych chi eisiau esboniad glân, niwtral o ran gwerthwr, dechreuwch yma. [1]

Beth sy'n Gwneud Edge AI yn wirioneddol ddefnyddiol? 🌟

• Oedi isel - mae penderfyniadau'n digwydd ar y ddyfais, felly mae ymatebion yn teimlo'n syth ar gyfer tasgau canfyddiad fel canfod gwrthrychau, adnabod geiriau deffro, neu rybuddion anomaledd. [1]

• Preifatrwydd yn ôl lleoliad - gall data sensitif aros ar y ddyfais, gan leihau amlygiad a helpu gyda thrafodaethau lleihau data. [1]

• Arbedion lled band - anfon nodweddion neu ddigwyddiadau yn lle ffrydiau crai. [1]

• Gwydnwch - yn gweithio yn ystod cysylltedd anwadal.

• Rheoli costau - llai o gylchoedd cyfrifiadura cwmwl a llai o allfa.

• Ymwybyddiaeth o gyd-destun - mae'r ddyfais yn "teimlo" yr amgylchedd ac yn addasu.

Hanesyn byr: fe wnaeth peilot manwerthu gyfnewid uwchlwythiadau camera cyson ar gyfer dosbarthiad person-vs-gwrthrych ar y ddyfais a gwthio cyfrifiadau bob awr a chlipiau eithriad yn unig. Canlyniad: rhybuddion o dan 200 ms ar ymyl y silff a gostyngiad o ~90% mewn traffig uplink - heb newid contractau WAN y siop. (Dull: casgliad lleol, swpio digwyddiadau, anomaleddau yn unig.)

AI ymyl vs AI cwmwl - y cyferbyniad cyflym 🥊

• Ble mae'r cyfrifiadura'n digwydd : ymyl = ar y ddyfais/ger y ddyfais; cwmwl = canolfannau data o bell.

• Oedi : ymyl ≈ amser real; mae gan y cwmwl deithiau crwn.

• Symud data : mae'r ymyl yn hidlo/cywasgu yn gyntaf; mae'r cwmwl wrth ei fodd ag uwchlwythiadau ffyddlondeb llawn.

• Dibynadwyedd : mae edge yn parhau i redeg all-lein; mae angen cysylltedd ar y cwmwl.

• Llywodraethu : mae ymyl yn cefnogi lleihau data; mae'r cwmwl yn canoli goruchwyliaeth. [1]

Nid yw'n naill ai-neu. Mae systemau clyfar yn cyfuno'r ddau: penderfyniadau cyflym yn lleol, dadansoddeg ddyfnach a dysgu fflyd yn ganolog. Mae'r ateb hybrid yn ddiflas - ac yn gywir.

Sut mae Edge AI yn gweithio o dan y cwfl mewn gwirionedd 🧩

1. synwyryddion yn dal signalau crai - fframiau sain, picseli camera, tapiau IMU, olion dirgryniad.

2. Mae prosesu ymlaen llaw yn ail-lunio'r signalau hynny yn nodweddion sy'n gyfeillgar i fodelau.

3. Mae amser rhedeg casgliad yn gweithredu model cryno ar y ddyfais gan ddefnyddio cyflymyddion pan fyddant ar gael.

4. Mae ôl-brosesu yn troi allbynnau yn ddigwyddiadau, labeli, neu gamau rheoli.

5. telemetreg yn ei uwchlwytho: crynodebau, anomaleddau, neu adborth cyfnodol.

LiteRT Google (TensorFlow Lite gynt), ONNX Runtime OpenVINO Intel . Mae'r cadwyni offer hyn yn gwasgu trwybwn o gyllidebau pŵer/cof tynn gyda thriciau fel meintioli a chyfuno gweithredwyr. Os ydych chi'n hoffi'r manylion, mae eu dogfennau'n gadarn. [3][4]

Ble mae'n ymddangos - achosion defnydd go iawn y gallwch chi bwyntio atynt 🧯🚗🏭

• Gweledigaeth ar yr ymyl : camerâu cloch drws (pobl yn erbyn anifeiliaid anwes), sganio silffoedd mewn manwerthu, dronau yn canfod diffygion.

• Sain ar y ddyfais : geiriau deffro, arddweud, canfod gollyngiadau mewn planhigion.

• Rhyngrwyd Pethau Diwydiannol : moduron a phympiau'n cael eu monitro am anomaleddau dirgryniad cyn methiant.

• Modurol : monitro gyrwyr, canfod lôn, cymorth parcio - o dan yr eiliad neu'n gyflym.

• Gofal iechyd : mae dyfeisiau gwisgadwy yn nodi arrhythmias yn lleol; cydamseru crynodebau yn ddiweddarach.

• Ffonau clyfar : gwella lluniau, canfod galwadau sbam, eiliadau “sut wnaeth fy ffôn hynny all-lein”.

Am ddiffiniadau ffurfiol (a'r sgwrs gefnder "niwl yn erbyn ymyl"), gweler model cysyniadol NIST. [2]

Y caledwedd sy'n ei gwneud hi'n snapiog 🔌

Mae rhai llwyfannau'n cael eu gwirio'n aml o ran enwau:

• NVIDIA Jetson - Modiwlau wedi'u pweru gan GPU ar gyfer robotiaid/camerâu-dirgryniadau cyllell Byddin y Swistir ar gyfer AI mewnosodedig.

• Google Edge TPU + LiteRT - casgliad cyfanrif effeithlon ac amser rhedeg symlach ar gyfer prosiectau pŵer isel iawn. [3]

• Apple Neural Engine (ANE) - ML ar ddyfais ar gyfer iPhone, iPad, a Mac; mae Apple wedi cyhoeddi gwaith ymarferol ar ddefnyddio trawsnewidyddion yn effeithlon ar ANE. [5]

• CPUs/iGPUs/NPUs Intel gydag OpenVINO - “ysgrifennu unwaith, defnyddio unrhyw le” ar draws caledwedd Intel; pasiau optimeiddio defnyddiol.

• Amser Rhedeg ONNX ym mhobman - amser rhedeg niwtral gyda darparwyr gweithredu plygiadwy ar draws ffonau, cyfrifiaduron personol, a phyrth. [4]

Oes angen pob un ohonyn nhw arnoch chi? Ddim o gwbl. Dewiswch un llwybr cryf sy'n addas i'ch fflyd a glynu wrtho - mae troi'n ôl yn elyn i dimau mewnosodedig.

Y pentwr meddalwedd - taith fer 🧰

• Cywasgu model : meintoli (yn aml i int8), tocio, distyllu.

• Cyflymiad lefel gweithredwr : cnewyllyn wedi'i diwnio i'ch silicon.

• Amseroedd rhedeg : LITR, Amser Rhedeg ONNX, OpenVINO. [3][4]

• Lapwyr defnyddio : cynwysyddion/bwndeli apiau; weithiau microwasanaethau ar byrth.

• MLOps ar gyfer yr ymyl : diweddariadau model OTA, cyflwyno A/B, dolenni telemetreg.

• Rheolyddion preifatrwydd a diogelwch : amgryptio ar y ddyfais, cychwyn diogel, ardystiad, amgaeadau.

Achos bach: distyllodd tîm drôn archwilio synhwyrydd pwysau trwm i fodel myfyriwr wedi'i feintioleiddio ar gyfer LiteRT, yna cyfunodd NMS ar y ddyfais. Gwellodd yr amser hedfan ~15% diolch i dynnu cyfrifiadurol is; crebachodd y gyfaint uwchlwytho i fframiau eithriad. (Dull: cipio set ddata ar y safle, calibradu ôl-feintiol, A/B modd cysgodol cyn ei gyflwyno'n llawn.)

Tabl cymharu - opsiynau Edge AI poblogaidd 🧪

Siarad go iawn: mae'r bwrdd hwn yn llawn barn ac ychydig yn flêr - yn union fel y byd go iawn.

Sut i ddewis llwybr Edge AI - coeden benderfyniadau fach 🌳

• Anodd amser real eich bywyd? Dechreuwch gyda chyflymyddion + modelau meintiol.

• Sawl math o ddyfeisiau? Ffafriwch ONNX Runtime neu OpenVINO ar gyfer cludadwyedd. [4]

• Anfon ap symudol? LiteRT yw'r llwybr lleiaf o wrthwynebiad. [3]

• Roboteg neu ddadansoddeg camera? Mae gweithrediadau Jetson sy'n gyfeillgar i GPU yn arbed amser.

• Ystum preifatrwydd llym? Cadwch ddata yn lleol, amgryptiwch wrth orffwys, logiwch agregau nid fframiau crai.

• Tîm bach? Osgowch gadwyni offer egsotig - mae diflas yn brydferth.

• A fydd modelau'n newid yn aml? Cynlluniwch OTA a thelemetreg o'r diwrnod cyntaf.

Risgiau, cyfyngiadau, a'r darnau diflas ond pwysig 🧯

• Drifft model - amgylcheddau'n newid; monitro dosraniadau, rhedeg moddau cysgod, ailhyfforddi o bryd i'w gilydd.

• Nenfydau cyfrifiadurol - mae cof/pŵer tynn yn gorfodi modelau llai neu gywirdeb hamddenol.

• Diogelwch - cymryd yn ganiataol mynediad corfforol; defnyddio cychwyn diogel, arteffactau wedi'u llofnodi, ardystiad, gwasanaethau lleiafswm breintiau.

• Llywodraethu data - mae prosesu lleol yn helpu, ond mae angen caniatâd, cadw data, a thelemetreg wedi'i chwmpasu arnoch o hyd.

• Gweithrediadau fflyd - mae dyfeisiau'n mynd all-lein ar yr adegau gwaethaf; dylunio diweddariadau gohiriedig ac uwchlwythiadau y gellir eu hailgychwyn.

• Cymysgedd o dalentau - wedi'u hymgorffori + ML + DevOps yn griw amrywiol; hyfforddi ar draws yn gynnar.

Map ffordd ymarferol i gludo rhywbeth defnyddiol 🗺️

1. Dewiswch un achos defnydd gyda chanfod diffygion gwerth mesuradwy ar Linell 3, gair deffro ar y siaradwr clyfar, ac ati.

2. Casglwch set ddata daclus sy'n adlewyrchu'r amgylchedd targed; chwistrellwch sŵn i gyd-fynd â realiti.

3. Prototeip ar becyn datblygu sy'n agos at galedwedd cynhyrchu.

4. Cywasgwch y model gyda meintioli/tocio; mesurwch golled cywirdeb yn onest. [3]

5. Lapio casgliad mewn API glân gyda phwysau cefn a chŵn gwarchod - oherwydd bod dyfeisiau'n hongian am 2 y bore

6. Dylunio telemetreg sy'n parchu preifatrwydd: anfon cyfrifon, histogramau, nodweddion a echdynnwyd o ymylon.

7. Diogelwch caledu : ffeiliau deuaidd wedi'u llofnodi, cychwyn diogel, gwasanaethau lleiaf ar agor.

8. Cynllun OTA : cyflwyno fesul cam, canaris, rholio'n ôl ar unwaith.

9. Peilotwch mewn achos cornel anodd yn gyntaf - os yw'n goroesi yno, bydd yn goroesi unrhyw le.

10. Graddio gyda llyfr chwarae : sut y byddwch chi'n ychwanegu modelau, yn cylchdroi allweddi, yn archifo data - fel nad yw prosiect #2 yn anhrefn.

Cwestiynau Cyffredin - atebion byr i chwilfrydeddau Edge AI

A yw Edge AI yn rhedeg model bach ar gyfrifiadur bach yn unig?
Yn bennaf, ie - ond nid maint yw'r stori gyfan. Mae hefyd yn ymwneud â chyllidebau oedi, addewidion preifatrwydd, a threfnu llawer o ddyfeisiau sy'n gweithredu'n lleol ond yn dysgu'n fyd-eang. [1]

A allaf hyfforddi ar yr ymyl hefyd?
Mae hyfforddiant/personoli ysgafn ar y ddyfais yn bodoli; mae hyfforddiant trymach yn dal i redeg yn ganolog. Mae ONNX Runtime yn dogfennu opsiynau hyfforddi ar y ddyfais os ydych chi'n anturus. [4]

Beth yw Edge AI vs niwl computing?
Mae niwl ac edge yn gefndryd. Mae'r ddau yn dod â chyfrifiadura yn agosach at ffynonellau data, weithiau trwy byrth cyfagos. Am ddiffiniadau ffurfiol a chyd-destun, gweler NIST. [2]

A yw Edge AI bob amser yn gwella preifatrwydd?
Mae'n helpu - ond nid yw'n hud. Mae angen lleihau, llwybrau diweddaru diogel, a chofnodi gofalus o hyd. Trin preifatrwydd fel arfer, nid blwch ticio.

Plymiadau dwfn y gallech chi eu darllen mewn gwirionedd 📚

1) Optimeiddio model nad yw'n difetha cywirdeb

Gall cwanteiddio leihau cof a chyflymu gweithrediadau, ond gall calibradu â data cynrychioliadol neu gall y model greu rhithweledigaethau o wiwerod lle mae conau traffig. Mae distyllu - athro yn tywys myfyriwr llai - yn aml yn cadw semanteg. [3]

2) Amseroedd rhedeg casgliad ymyl mewn ymarfer

Mae dehonglydd LiteRT yn fwriadol yn golygu nad yw cof yn cael ei droi'n statig yn ystod amser rhedeg. Mae ONNX Runtime yn plygio i mewn i wahanol gyflymyddion trwy ddarparwyr gweithredu. Nid yw'r naill na'r llall yn ateb da; mae'r ddau yn forthwylion cadarn. [3][4]

3) Cadernid yn y gwyllt

Gwres, llwch, pŵer anwadal, Wi-Fi diflas: adeiladwch warchodwyr sy'n ailgychwyn piblinellau, yn storio penderfyniadau mewn storfa dros dro, ac yn cymodi pan fydd y rhwydwaith yn dychwelyd. Llai hudolus na phennau sylw - yn fwy hanfodol serch hynny.

Yr ymadrodd y byddwch chi'n ei ailadrodd mewn cyfarfodydd - Beth yw Edge AI 🗣️

Mae Edge AI yn symud deallusrwydd yn agosach at ddata i fodloni cyfyngiadau ymarferol o ran hwyrni, preifatrwydd, lled band a dibynadwyedd. Nid un sglodion na fframwaith yw'r hud - mae'n ddewis yn ddoeth beth i'w gyfrifo ble.

Sylwadau Terfynol - Rhy Hir, Wnes i Ddim Ei Ddarllen 🧵

Mae Edge AI yn rhedeg modelau ger y data fel bod cynhyrchion yn teimlo'n gyflym, yn breifat, ac yn gadarn. Byddwch yn cyfuno casgliad lleol â goruchwyliaeth cwmwl er mwyn y gorau o'r ddau fyd. Dewiswch amser rhedeg sy'n cyd-fynd â'ch dyfeisiau, pwyswch ar gyflymyddion pan allwch chi, cadwch fodelau'n daclus gyda chywasgu, a dyluniwch weithrediadau fflyd fel pe bai eich swydd yn dibynnu arno - oherwydd, wel, fe allai. Os bydd rhywun yn gofyn Beth yw Edge AI , dywedwch: penderfyniadau clyfar, wedi'u gwneud yn lleol, ar amser. Yna gwênwch a newidiwch y pwnc i fatris. 🔋🙂

Cyfeiriadau

1. IBM - Beth yw Edge AI? (diffiniad, manteision).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Model Cysyniadol Cyfrifiadura Niwl (cyd-destun ffurfiol ar gyfer niwl/ymyl).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (TensorFlow Lite gynt) (amser rhedeg, meintioli, mudo).
   https://ai.google.dev/edge/littert

4. Amser Rhedeg ONNX - Hyfforddiant Ar y Ddyfais (amser rhedeg cludadwy + hyfforddiant ar ddyfeisiau ymyl).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Ymchwil Dysgu Peirianyddol Apple - Defnyddio Trawsnewidyddion ar Beiriant Niwral Apple (nodiadau effeithlonrwydd ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni