Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?

Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?

Mae rhwydweithiau niwral yn swnio'n ddirgel nes nad ydyn nhw'n gwneud hynny. Os ydych chi erioed wedi meddwl tybed beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial? ac a yw'n fathemateg gyda het ffansi yn unig, rydych chi yn y lle iawn. Byddwn ni'n ei gadw'n ymarferol, yn ychwanegu ychydig o wyriadau bach, ac ie - ychydig o emojis. Byddwch chi'n gadael gan wybod beth yw'r systemau hyn, pam maen nhw'n gweithio, ble maen nhw'n methu, a sut i siarad amdanyn nhw heb chwifio llaw.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Beth yw rhagfarn AI
Deall rhagfarn mewn systemau AI a strategaethau i sicrhau tegwch.

🔗 Beth yw AI rhagfynegol
Sut mae AI rhagfynegol yn defnyddio patrymau i ragweld canlyniadau yn y dyfodol.

🔗 Beth yw hyfforddwr AI
Archwilio rôl a chyfrifoldebau gweithwyr proffesiynol sy'n hyfforddi AI.

🔗 Beth yw gweledigaeth gyfrifiadurol mewn AI
Sut mae AI yn dehongli ac yn dadansoddi data gweledol trwy weledigaeth gyfrifiadurol.

Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial? Yr ateb 10 eiliad ⏱️

Rhwydwaith niwral yw pentwr o unedau cyfrifo syml o'r enw niwronau sy'n trosglwyddo rhifau ymlaen, yn addasu eu cryfderau cysylltiad yn ystod hyfforddiant, ac yn dysgu patrymau mewn data yn raddol. Pan glywch chi ddysgu dwfn , mae hynny fel arfer yn golygu rhwydwaith niwral gyda llawer o haenau wedi'u pentyrru, gan ddysgu nodweddion yn awtomatig yn lle i chi eu codio â llaw. Mewn geiriau eraill: llawer o ddarnau mathemateg bach, wedi'u trefnu'n glyfar, wedi'u hyfforddi ar ddata nes eu bod nhw'n ddefnyddiol [1].

Beth sy'n gwneud Rhwydwaith Niwral yn ddefnyddiol? ✅

  • Pŵer cynrychioliad : Gyda'r bensaernïaeth a'r maint cywir, gall rhwydweithiau frasamcanu ffwythiannau hynod gymhleth (gweler y Theorem Brasamcan Cyffredinol) [4].

  • Dysgu o'r dechrau i'r diwedd : Yn lle peiriannu nodweddion â llaw, mae'r model yn eu darganfod [1].

  • Cyffredinoliad : Nid yw rhwydwaith sydd wedi'i reoleiddio'n dda yn cofio yn unig - mae'n perfformio ar ddata newydd, anweledig [1].

  • Graddadwyedd : Mae setiau data mwy ynghyd â modelau mwy yn aml yn parhau i wella canlyniadau… hyd at derfynau ymarferol fel cyfrifiadura ac ansawdd data [1].

  • Trosglwyddadwyedd : Gall nodweddion a ddysgwyd mewn un dasg helpu un arall (trosglwyddo dysgu a mireinio) [1].

Nodyn maes bach (senario enghreifftiol): Mae tîm dosbarthu cynnyrch bach yn cyfnewid nodweddion a adeiladwyd â llaw am CNN cryno, yn ychwanegu ychwanegiadau syml (fflipio/cnydio), ac yn gwylio gwallau dilysu yn gostwng - nid oherwydd bod y rhwydwaith yn "hud," ond oherwydd ei fod wedi dysgu nodweddion mwy defnyddiol yn uniongyrchol o bicseli.

“Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?” mewn Saesneg plaen, gyda throsiad amheus 🍞

Dychmygwch linell becws. Mae cynhwysion yn mynd i mewn, mae gweithwyr yn addasu'r rysáit, mae profwyr blas yn cwyno, ac mae'r tîm yn diweddaru'r rysáit eto. Mewn rhwydwaith, mae mewnbynnau'n llifo trwy haenau, mae'r ffwythiant colli yn graddio'r allbwn, ac mae graddiannau'n gwthio pwysau i wneud yn well y tro nesaf. Nid yw'n berffaith fel trosiad - nid yw bara yn wahanoladwy - ond mae'n glynu [1].

Anatomeg rhwydwaith niwral 🧩

  • Niwronau : Cyfrifianellau bach sy'n defnyddio swm pwysol a swyddogaeth actifadu.

  • Pwysau a rhagfarnau : Knobiau addasadwy sy'n diffinio sut mae signalau'n cyfuno.

  • Haenau : Mae'r haen fewnbwn yn derbyn data, mae haenau cudd yn ei drawsnewid, mae'r haen allbwn yn gwneud y rhagfynegiad.

  • Swyddogaethau actifadu : Mae troeon anlinellol fel ReLU, sigmoid, tanh, a softmax yn gwneud dysgu'n hyblyg.

  • Swyddogaeth golled : Sgôr o ba mor anghywir yw'r rhagfynegiad (croes-entropi ar gyfer dosbarthu, MSE ar gyfer atchweliad).

  • Optimeiddiwr : Mae algorithmau fel SGD neu Adam yn defnyddio graddiannau i ddiweddaru pwysau.

  • Rheoleiddio : Technegau fel gollwng allan neu ddirywiad pwysau i atal y model rhag gor-ffitio.

Os ydych chi eisiau'r driniaeth ffurfiol (ond yn dal yn ddarllenadwy), mae'r gwerslyfr agored Deep Learning yn cwmpasu'r pentwr llawn: sylfeini mathemateg, optimeiddio, a chyffredinoli [1].

Swyddogaethau actifadu, yn fyr ond yn ddefnyddiol ⚡

  • ReLU : Sero ar gyfer negatifau, llinol ar gyfer positifau. Syml, cyflym, effeithiol.

  • Sigmoid : Yn gwasgu gwerthoedd rhwng 0 ac 1 - yn ddefnyddiol ond gall ddirlawn.

  • Tanh : Fel sigmoid ond cymesur o amgylch sero.

  • Softmax : Yn troi sgoriau crai yn debygolrwyddau ar draws dosbarthiadau.

Nid oes angen i chi gofio pob siâp cromlin - dim ond gwybod y cyfaddawdau a'r rhagosodiadau cyffredin [1, 2].

Sut mae dysgu'n digwydd mewn gwirionedd: cefn, ond nid yn frawychus 🔁

  1. Pasio ymlaen : Mae data'n llifo haen wrth haen i gynhyrchu rhagfynegiad.

  2. Cyfrifo colled : Cymharu rhagfynegiad â'r gwir.

  3. Yn ôl-leoliad : Cyfrifwch raddiannau'r golled mewn perthynas â phob pwysau gan ddefnyddio'r rheol gadwyn.

  4. Diweddariad : Mae'r Optimeiddiwr yn newid pwysau ychydig.

  5. Ailadrodd : Llawer o gyfnodau. Mae'r model yn dysgu'n raddol.

Am reddf ymarferol gyda delweddau ac esboniadau sy'n gysylltiedig â chod, gweler y nodiadau CS231n clasurol ar backprop ac optimeiddio [2].

Y prif deuluoedd o rwydweithiau niwral, ar yr olwg gyntaf 🏡

  • Rhwydweithiau porthiant ymlaen (MLPs) : Y math symlaf. Dim ond ymlaen y mae data'n symud.

  • Rhwydweithiau Niwral Convolutional (CNNs) : Gwych ar gyfer delweddau diolch i hidlwyr gofodol sy'n canfod ymylon, gweadau, siapiau [2].

  • Rhwydweithiau Niwral Cylchol (RNNs) ac amrywiadau : Wedi'u hadeiladu ar gyfer dilyniannau fel testun neu gyfresi amser trwy gadw ymdeimlad o drefn [1].

  • Trawsnewidyddion : Defnyddiwch sylw i fodelu perthnasoedd ar draws safleoedd mewn dilyniant i gyd ar unwaith; yn drech mewn iaith a thu hwnt [3].

  • Rhwydweithiau Niwral Graff (GNNs) : Gweithredu ar nodau ac ymylon graff - yn ddefnyddiol ar gyfer moleciwlau, rhwydweithiau cymdeithasol, argymhelliad [1].

  • Autoamgodwyr a VAEs : Dysgu cynrychioliadau cywasgedig a chynhyrchu amrywiadau [1].

  • Modelau cynhyrchiol : O GANs i fodelau trylediad, a ddefnyddir ar gyfer delweddau, sain, hyd yn oed cod [1].

Mae nodiadau CS231n yn arbennig o gyfeillgar i CNNs, tra bod papur Transformer yn brif ffynhonnell ar gyfer modelau sy'n seiliedig ar sylw [2, 3].

Tabl cymharu: mathau cyffredin o rwydweithiau niwral, ar gyfer pwy maen nhw, dirgryniadau cost, a pham maen nhw'n gweithio 📊

Offeryn / Math Cynulleidfa Pris-isel Pam mae'n gweithio
Adborth Ymlaen (MLP) Dechreuwyr, dadansoddwyr Isel-canolig Llinellau sylfaen syml, hyblyg, gweddus
CNN Timau gweledigaeth Canolig Patrymau lleol + rhannu paramedrau
RNN / LSTM / GRU Dilyniant pobl Canolig Cof amserol tebyg i… yn dal trefn
Trawsnewidydd NLP, amlfoddol Canolig-uchel Mae'r sylw'n canolbwyntio ar berthnasoedd perthnasol
GNN Gwyddonwyr, recsys Canolig Mae trosglwyddo negeseuon ar graffiau yn datgelu strwythur
Autoamgodwr / VAE Ymchwilwyr Isel-canolig Yn dysgu cynrychioliadau cywasgedig
GAN / Trylediad Labordai creadigol Canolig-uchel Hud dad-sŵn gwrthwynebol neu ailadroddus

Nodiadau: mae prisio yn ymwneud â chyfrifiadura ac amser; mae eich milltiroedd yn amrywio. Mae cell neu ddwy yn fwriadol sgwrsiol.

“Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?” yn erbyn algorithmau ML clasurol ⚖️

  • Peirianneg nodweddion : Mae ML clasurol yn aml yn dibynnu ar nodweddion â llaw. Mae rhwydweithiau niwral yn dysgu nodweddion yn awtomatig - buddugoliaeth fawr ar gyfer data cymhleth [1].

  • Newyn data : Yn aml, mae rhwydweithiau'n disgleirio gyda mwy o ddata; gall data bach ffafrio modelau symlach [1].

  • Cyfrifiadura : Mae rhwydweithiau wrth eu bodd â chyflymyddion fel GPUs [1].

  • Uchafswm perfformiad : Ar gyfer data heb strwythur (delweddau, sain, testun), mae rhwydi dwfn yn tueddu i ddominyddu [1, 2].

Y llif gwaith hyfforddi sy'n gweithio'n ymarferol mewn gwirionedd 🛠️

  1. Diffiniwch yr amcan : Dosbarthiad, atchweliad, graddio, cynhyrchu - dewiswch golled sy'n cyfateb.

  2. Ymdrechu data : Rhannu'n drên/dilysu/prawf. Normaleiddio nodweddion. Cydbwyso dosbarthiadau. Ar gyfer delweddau, ystyriwch ehangu fel fflipiau, cnydau, sŵn bach.

  3. Dewis pensaernïaeth : Dechreuwch yn syml. Ychwanegwch gapasiti dim ond pan fo angen.

  4. Dolen hyfforddi : Swp o'r data. Pasio ymlaen. Cyfrifo'r golled. Cefnogaeth. Diweddaru. Cofnodi metrigau.

  5. Rheoleiddio : Rhoi'r gorau i ymarfer, lleihau pwysau, rhoi'r gorau iddi'n gynnar.

  6. Gwerthuso : Defnyddiwch y set ddilysu ar gyfer hyperbaramedrau. Daliwch set brawf allan ar gyfer y gwiriad terfynol.

  7. Llongau'n ofalus : Monitro'r drifft, gwirio am duedd, cynllunio gwrthdroadau.

Ar gyfer tiwtorialau côd-ganolog o'r dechrau i'r diwedd gyda damcaniaeth gadarn, mae'r gwerslyfr agored a nodiadau CS231n yn angorau dibynadwy [1, 2].

Gor-ffitio, cyffredinoli, a gremlins eraill 👀

  • Gor-ffitio : Mae'r model yn cofio chwilfrydedd hyfforddi. Trwsiwch gyda mwy o ddata, rheoleiddio cryfach, neu bensaernïaeth symlach.

  • Tan-ffitio : Mae'r model yn rhy syml neu'r hyfforddiant yn rhy swil. Cynyddwch y capasiti neu hyfforddwch yn hirach.

  • Gollyngiad data : Mae gwybodaeth o'r set brawf yn sleifio i mewn i'r hyfforddiant. Gwiriwch eich holltiadau dair gwaith.

  • Calibradiad gwael : Mae model sy'n hyderus ond yn anghywir yn beryglus. Ystyriwch galibradiad neu bwysoli colled gwahanol.

  • Symudiad dosbarthiad : Symudiadau data yn y byd go iawn. Monitro ac addasu.

Am y ddamcaniaeth y tu ôl i gyffredinoli a rheoleiddio, pwyswch ar y cyfeiriadau safonol [1, 2].

Diogelwch, dehongliadwyedd, a defnydd cyfrifol 🧭

Gall rhwydweithiau niwral wneud penderfyniadau pwysig iawn. Nid yw'n ddigon eu bod yn perfformio'n dda ar fwrdd arweinwyr. Mae angen camau llywodraethu, mesur a lliniaru ar draws y cylch bywyd. Mae Fframwaith Rheoli Risg AI NIST yn amlinellu swyddogaethau ymarferol - LLYWODRAETHU, MAPIO, MESUR, RHEOLI - i helpu timau i integreiddio rheoli risg i ddylunio a defnyddio [5].

Ychydig o awgrymiadau cyflym:

  • Gwiriadau rhagfarn : Gwerthuso ar draws sleisys demograffig lle bo'n briodol ac yn gyfreithlon.

  • Dehongliadwyedd : Defnyddiwch dechnegau fel amlygrwydd neu briodoli nodweddion. Maent yn amherffaith, ond yn ddefnyddiol.

  • Monitro : Gosodwch rybuddion ar gyfer gostyngiadau metrig sydyn neu ddrifft data.

  • Goruchwyliaeth ddynol : Cadwch bobl yn y ddolen am benderfyniadau sy'n cael effaith fawr. Dim arwriaeth, dim ond hylendid.

Cwestiynau cyffredin oedd gennych chi'n gyfrinachol 🙋

Ai ymennydd yw rhwydwaith niwral yn y bôn?

Wedi'i ysbrydoli gan yr ymennydd, ie - ond wedi'i symleiddio. Mae niwronau mewn rhwydweithiau yn swyddogaethau mathemategol; mae niwronau biolegol yn gelloedd byw â deinameg gymhleth. Dirgryniadau tebyg, ffiseg wahanol iawn [1].

Faint o haenau sydd eu hangen arnaf?

Dechreuwch yn fach. Os ydych chi'n tan-ffitio, ychwanegwch led neu ddyfnder. Os ydych chi'n gor-ffitio, rheoleiddiwch neu lleihewch y capasiti. Does dim rhif hud; dim ond cromliniau dilysu ac amynedd sydd yna [1].

Oes angen GPU arnaf bob amser?

Nid bob amser. Gall modelau bach ar ddata cymedrol hyfforddi ar CPUs, ond ar gyfer delweddau, modelau testun mawr, neu setiau data mawr, mae cyflymyddion yn arbed tunnell o amser [1].

Pam mae pobl yn dweud bod sylw yn bwerus?

Oherwydd bod sylw yn caniatáu i fodelau ganolbwyntio ar y rhannau mwyaf perthnasol o fewnbwn heb fynd yn llym yn ôl trefn. Mae'n dal perthnasoedd byd-eang, sy'n beth pwysig ar gyfer iaith a thasgau amlfoddol [3].

A yw “Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?” yn wahanol i “beth yw dysgu dwfn”?

Dysgu dwfn yw'r dull ehangach sy'n defnyddio rhwydweithiau niwral dwfn. Felly mae gofyn Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial? fel gofyn am y prif gymeriad; dysgu dwfn yw'r ffilm gyfan [1].

Awgrymiadau ymarferol, ychydig yn farnllyd 💡

  • Dewiswch linellau sylfaen syml yn gyntaf. Gall hyd yn oed perceptron amlhaen bach ddweud wrthych a yw'r data yn ddysgadwy.

  • Cadwch eich piblinell ddata yn atgynhyrchadwy . Os na allwch ei hail-redeg, ni allwch ymddiried ynddi.

  • cyfradd dysgu yn bwysicach nag yr ydych chi'n meddwl. Rhowch gynnig ar amserlen. Gall ymarfer corff helpu.

  • cyfaddawdau maint swp yn bodoli. Mae swpiau mwy yn sefydlogi graddiannau ond gallant gyffredinoli'n wahanol.

  • Pan fyddwch chi'n drysu, plotiwch gromliniau colli a normau pwysau . Byddech chi'n synnu pa mor aml mae'r ateb yn y plotiau.

  • Dogfennu rhagdybiaethau. Anghofiwch bethau yn y dyfodol - yn gyflym [1, 2].

Gwyriad dwfn: rôl data, neu pam mae sbwriel i mewn yn dal i olygu sbwriel allan 🗑️➡️✨

Nid yw rhwydweithiau niwral yn trwsio data diffygiol yn hudolus. Bydd labeli gwyrdroëdig, camgymeriadau anodiadau, neu samplu cul i gyd yn atseinio drwy'r model. Curadwch, archwiliwch, ac ychwanegwch. Ac os nad ydych chi'n siŵr a oes angen mwy o ddata neu fodel gwell arnoch chi, mae'r ateb yn aml yn syml ac annifyr: y ddau - ond dechreuwch gydag ansawdd data [1].

“Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial?” - diffiniadau byr y gallwch eu hailddefnyddio 🧾

  • Mae rhwydwaith niwral yn frasamcan ffwythiant haenog sy'n dysgu patrymau cymhleth trwy addasu pwysau gan ddefnyddio signalau graddiant [1, 2].

  • Mae'n system sy'n trawsnewid mewnbynnau yn allbynnau trwy gamau anlinellol olynol, wedi'u hyfforddi i leihau colled [1].

  • Mae'n ddull modelu hyblyg, sy'n defnyddio llawer o ddata, sy'n ffynnu ar fewnbynnau anstrwythuredig fel delweddau, testun ac sain [1, 2, 3].

Rhy Hir, Heb ei Ddarllen a sylwadau terfynol 🎯

Os bydd rhywun yn gofyn i chi Beth yw Rhwydwaith Niwral mewn Deallusrwydd Artiffisial? dyma'r crynodeb: mae rhwydwaith niwral yn bentwr o unedau syml sy'n trawsnewid data gam wrth gam, gan ddysgu'r trawsnewidiad trwy leihau colled a dilyn graddiannau. Maent yn bwerus oherwydd eu bod yn graddio, yn dysgu nodweddion yn awtomatig, a gallant gynrychioli swyddogaethau cymhleth iawn [1, 4]. Maent yn beryglus os anwybyddwch ansawdd data, llywodraethu neu fonitro [5]. Ac nid hud ydyn nhw. Dim ond mathemateg, cyfrifiadura a pheirianneg dda - gyda mymryn o flas.

Darllen pellach, wedi'i ddewis yn ofalus (ychwanegion heb ddyfynnu)

Cyfeiriadau

[1] Goodfellow, I., Bengio, Y., a Courville, A. Dysgu Dwfn . Gwasg MIT. Fersiwn ar-lein am ddim: darllen mwy

[2] Stanford CS231n. Rhwydweithiau Niwral Cyfryngol ar gyfer Adnabyddiaeth Weledol (nodiadau cwrs): darllen mwy

[3] Vaswani, A., Shazeer, N., Parmar, N., ac eraill (2017). Sylw yw'r Cyfan Sydd Ei Angen Arnoch . NeurIPS. arXiv: darllen mwy

[4] Cybenko, G. (1989). Brasamcanu drwy uwchosodiadau o ffwythiant sigmoidaidd . Mathematics of Control, Signals and Systems , 2, 303–314. Springer: darllen mwy

[5] NIST. Fframwaith Rheoli Risg AI (AI RMF) : darllen mwy

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni

Yn ôl i'r blog