beth mae peirianwyr deallusrwydd artiffisial yn ei wneud

Beth mae Peirianwyr AI yn ei wneud?

Ydych chi erioed wedi meddwl tybed beth sy'n cuddio y tu ôl i'r gair poblogaidd "Peiriannydd AI"? Fe wnes i hefyd. O'r tu allan mae'n swnio'n ddisglair, ond mewn gwirionedd mae'n waith dylunio rhannau cyfartal, yn ymgodymu â data anhrefnus, yn gwnïo systemau at ei gilydd, ac yn gwirio'n obsesiynol a yw pethau'n gwneud yr hyn y dylent ei wneud. Os ydych chi eisiau'r fersiwn un llinell: maen nhw'n troi problemau aneglur yn systemau AI gweithredol nad ydyn nhw'n chwalu pan fydd defnyddwyr go iawn yn ymddangos. Y fersiwn hirach, ychydig yn fwy anhrefnus - wel, dyna isod. Cymerwch gaffein. ☕

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Offer AI ar gyfer peirianwyr: Hybu effeithlonrwydd ac arloesedd
Darganfyddwch offer AI pwerus sy'n gwella cynhyrchiant a chreadigrwydd peirianneg.

🔗 A fydd peirianwyr meddalwedd yn cael eu disodli gan AI?
Archwiliwch ddyfodol peirianneg feddalwedd yn oes awtomeiddio.

🔗 Cymwysiadau peirianneg deallusrwydd artiffisial sy'n trawsnewid diwydiannau
Dysgwch sut mae deallusrwydd artiffisial yn ail-lunio prosesau diwydiannol ac yn sbarduno arloesedd.

🔗 Sut i ddod yn beiriannydd AI
Canllaw cam wrth gam i ddechrau eich taith tuag at yrfa mewn peirianneg AI.


Y tro byr: beth mae peiriannydd AI mewn gwirionedd 💡

Ar y lefel symlaf, mae peiriannydd AI yn dylunio, yn adeiladu, yn cludo ac yn cynnal systemau AI. Mae'r gwaith o ddydd i ddydd yn tueddu i gynnwys:

  • Cyfieithu anghenion cynnyrch neu fusnes amwys yn rhywbeth y gall modelau ei drin mewn gwirionedd.

  • Casglu, labelu, glanhau, ac - yn anochel - ailwirio data pan fydd yn dechrau diflannu.

  • Dewis a hyfforddi modelau, eu barnu gyda'r metrigau cywir, ac ysgrifennu i lawr ble byddan nhw'n methu.

  • Lapio'r cyfan i mewn i biblinellau MLOps fel y gellir ei brofi, ei ddefnyddio, a'i arsylwi.

  • Ei wylio yn y gwyllt: cywirdeb, diogelwch, tegwch… ac addasu cyn iddo ddadreilio.

Os ydych chi'n meddwl “felly mae'n beirianneg feddalwedd ynghyd â gwyddor data gyda mymryn o feddwl cynnyrch” - ie, dyna sut mae'n gweithio.


Beth sy'n gwahanu peirianwyr AI da

Gallwch chi wybod pob papur pensaernïaeth a gyhoeddwyd ers 2017 a dal i greu llanast bregus. Mae pobl sy'n ffynnu yn y rôl fel arfer yn:

  • Meddyliwch mewn systemau. Maen nhw'n gweld y ddolen gyfan: data i mewn, penderfyniadau allan, popeth yn olrhainadwy.

  • Peidiwch â mynd ar ôl hud yn gyntaf. Llinellau sylfaen a gwiriadau syml cyn pentyrru cymhlethdod.

  • Pobwch adborth i mewn. Nid yw ailhyfforddi a rholio'n ôl yn bethau ychwanegol, maen nhw'n rhan o'r dyluniad.

  • Ysgrifennwch bethau i lawr. Cyfaddawdau, rhagdybiaethau, cyfyngiadau - diflas, ond yn aur yn ddiweddarach.

  • Cymerwch AI cyfrifol o ddifrif. Nid yw risgiau'n diflannu trwy optimistiaeth, maent yn cael eu cofnodi a'u rheoli.

Stori fer: Dechreuodd un tîm cymorth gyda llinell sylfaen rheolau twp + adfer. Rhoddodd hynny brofion derbyn clir iddynt, felly pan wnaethon nhw gyfnewid model mawr yn ddiweddarach, roedd ganddyn nhw gymhariaethau glân - a dewis wrth gefn hawdd pan oedd yn camymddwyn.


Y cylch bywyd: realiti blêr yn erbyn diagramau taclus 🔁

  1. Fframiwch y broblem. Diffiniwch nodau, tasgau, a beth yw “digon da”.

  2. Gwnewch y gwaith malu data. Glanhewch, labelwch, rhannwch, fersiwnwch. Dilyswch yn ddiddiwedd i ddal symudiadau sgema.

  3. Modelu arbrofion. Rhowch gynnig ar linellau sylfaen syml, profi, ailadrodd, dogfennu.

  4. Llongwch ef. Piblinellau CI/CD/CT, defnyddiau diogel, canaris, gwrthdroadau.

  5. Cadwch lygad. Monitro cywirdeb, oedi, drifft, tegwch, canlyniadau defnyddwyr. Yna ailhyfforddi.

Ar sleid mae hyn yn edrych fel cylch taclus. Yn ymarferol mae'n debycach i jyglo sbageti ag ysgub.


Deallusrwydd Artiffisial cyfrifol pan fydd y rwber yn taro'r ffordd 🧭

Nid yw'n ymwneud â deciau sleidiau tlws. Mae peirianwyr yn pwyso ar fframweithiau i wneud risg yn real:

  • Mae RMF AI NIST yn rhoi strwythur ar gyfer nodi, mesur a thrin risgiau ar draws dylunio hyd at ddefnydd [1].

  • Mae Egwyddorion OECD yn gweithredu'n debycach i gwmpawd - canllawiau eang y mae llawer o sefydliadau'n cyd-fynd â nhw [2].

Mae digon o dimau hefyd yn creu eu rhestrau gwirio eu hunain (adolygiadau preifatrwydd, gatiau bodau dynol-mewn-dolen) wedi'u mapio ar y cylchoedd bywyd hyn.


Dogfennau nad ydyn nhw'n teimlo'n ddewisol: Cardiau Model a Thaflenni Data 📝

Dau ddarn o waith papur y byddwch chi'n diolch i chi'ch hun amdanynt yn ddiweddarach:

  • Cardiau Model → sillafu'r defnydd bwriadedig, cyd-destunau gwerthuso, rhybuddion. Wedi'u hysgrifennu fel y gall pobl cynnyrch/cyfreithiol ddilyn hefyd [3].

  • Taflenni Data ar gyfer Setiau Data → esboniwch pam mae'r data'n bodoli, beth sydd ynddo, rhagfarnau posibl, a defnyddiau diogel vs. anniogel [4].

Bydd chi yn y dyfodol (a chyd-chwaraewyr y dyfodol) yn rhoi “high five” i chi’n dawel am eu hysgrifennu.


Ymchwiliad manwl: piblinellau data, contractau, a fersiynau 🧹📦

Mae data'n mynd yn afreolus. Mae peirianwyr deallusrwydd artiffisial clyfar yn gorfodi contractau, yn mewnosod sieciau, ac yn cadw fersiynau ynghlwm wrth god fel y gallwch chi ailchwarae yn nes ymlaen.

  • Dilysu → codio cynllun, ystodau, ffresni; cynhyrchu dogfennau'n awtomatig.

  • Fersiwnu → alinio setiau data a modelau gydag ymrwymiadau Git, fel bod gennych chi log newidiadau y gallwch chi ymddiried ynddo mewn gwirionedd.

Enghraifft fach: Llithrodd un manwerthwr wiriadau cynllun i mewn i rwystro porthiant cyflenwyr yn llawn o nulls. Stopiodd y wialen dramgwyddus sengl honno ollyngiadau dro ar ôl tro yn recall@k cyn i gwsmeriaid sylwi.


Plymio dwfn: cludo a graddio 🚢

model.fit() yn unig yw cael model i redeg yn prod . Mae'r gwregys offer yma'n cynnwys:

  • Docker ar gyfer pecynnu cyson.

  • Kubernetes ar gyfer cerddorfa, graddio, a chyflwyno diogel.

  • Fframweithiau MLOps ar gyfer canaris, holltiadau A/B, canfod allanolion.

Y tu ôl i'r llen mae'n wiriadau iechyd, olrhain, amserlennu CPU vs GPU, tiwnio amser terfyn. Ddim yn hudolus, yn gwbl angenrheidiol.


Ymchwiliad manwl: systemau GenAI a RAG 🧠📚

Mae systemau cynhyrchiol yn dod â thro arall - seilio adferiad.

  • Mewnosodiadau + chwiliad fector am chwiliadau tebygrwydd ar gyflymder.

  • cerddorfaol i adfer cadwyn, defnyddio offer, ôl-brosesu.

Dewisiadau mewn rhannu'n ddarnau, ail-rancio, gwerthuso - y galwadau bach hyn sy'n penderfynu a gewch chi sgwrsbot lletchwith neu gyd-beilot defnyddiol.


Sgiliau ac offer: beth sydd mewn gwirionedd yn y pentwr 🧰

Bag cymysg o ML clasurol ac offer dysgu dwfn:

  • Fframweithiau: PyTorch, TensorFlow, scikit-learn.

  • Piblinellau: Llif aer, ac ati, ar gyfer swyddi wedi'u hamserlennu.

  • Cynhyrchu: Docker, K8s, fframweithiau gweini.

  • Arsylwadwyedd: monitorau drifft, olrheinwyr hwyrni, gwiriadau tegwch.

Does neb yn defnyddio popeth . Y gamp yw gwybod digon ar draws y cylch bywyd i resymu'n synhwyrol.


Bwrdd offer: yr hyn y mae peirianwyr yn ei gyrraedd mewn gwirionedd 🧪

Offeryn Cynulleidfa Pris Pam ei fod yn gyfleus
PyTorch Ymchwilwyr, peirianwyr Ffynhonnell agored Hyblyg, pythonig, cymuned enfawr, rhwydi wedi'u teilwra.
TensorFlow Timau sy'n dysgu am gynnyrch Ffynhonnell agored Dyfnder ecosystem, TF Serving a Lite ar gyfer defnyddiau.
scikit-dysgu Defnyddwyr ML clasurol Ffynhonnell agored Llinellau sylfaen gwych, API taclus, prosesu ymlaen llaw wedi'i gynnwys.
MLflow Timau gyda llawer o arbrofion Ffynhonnell agored Yn cadw rhediadau, modelau, ac arteffactau wedi'u trefnu.
Llif aer Pobl biblinell Ffynhonnell agored DAGs, amserlennu, arsylwadwyedd yn ddigon da.
Docker Pawb yn y bôn Craidd rhydd Yr un amgylchedd (gan mwyaf). Llai o ymladdfeydd "dim ond ar fy ngliniadur y mae'n gweithio".
Kubernetes Timau is-drwm Ffynhonnell agored Awto-raddio, cyflwyniadau, cyhyr gradd menter.
Model yn gwasanaethu ar K8s Defnyddwyr model K8s Ffynhonnell agored Gweini safonol, bachau drifft, graddadwy.
Llyfrgelloedd chwilio fector Adeiladwyr RAG Ffynhonnell agored Tebygrwydd cyflym, cyfeillgar i GPU.
Storfeydd fector a reolir Timau RAG Menter Haenau taledig Mynegeion di-weinydd, hidlo, dibynadwyedd ar raddfa fawr.

Ydy, mae'r ymadrodd yn teimlo'n anwastad. Fel arfer mae dewisiadau offer yn anwastad.


Mesur llwyddiant heb foddi mewn niferoedd 📏

Mae'r metrigau sy'n bwysig yn dibynnu ar gyd-destun, ond fel arfer cymysgedd o:

  • Ansawdd rhagfynegiad: cywirdeb, galw i gof, F1, calibradu.

  • System + defnyddiwr: oedi, p95/p99, cynnydd mewn trosi, cyfraddau cwblhau.

  • Dangosyddion tegwch: cydraddoldeb, effaith anghyson - yn cael eu defnyddio'n ofalus [1][2].

Mae metrigau'n bodoli i ddod â chyfaddawdau i'r amlwg. Os nad ydyn nhw, cyfnewidiwch nhw.


Patrymau cydweithio: mae'n chwaraeon tîm 🧑🤝🧑

Mae peirianwyr AI fel arfer yn eistedd ar groesffordd â:

  • Pobl cynnyrch a pharth (diffiniwch lwyddiant, rheiliau gwarchod).

  • Peirianwyr data (ffynonellau, cynlluniau, SLAs).

  • Diogelwch/cyfreithiol (preifatrwydd, cydymffurfiaeth).

  • Dylunio/ymchwil (profi defnyddwyr, yn enwedig ar gyfer GenAI).

  • Ops/SRE (amser gweithredu ac ymarferion tân).

Disgwyliwch fyrddau gwyn wedi'u gorchuddio â sgribliadau a dadleuon metrigau gwresog achlysurol - mae'n iachus.


Peryglon: y gors dyled dechnegol 🧨

Mae systemau dysgu ar lefel lefel yn denu dyled gudd: ffurfweddiadau dryslyd, dibyniaethau bregus, sgriptiau glud anghofiedig. Mae gweithwyr proffesiynol yn sefydlu rheiliau gwarchod - profion data, ffurfweddiadau wedi'u teipio, gwrthdroadau - cyn i'r gors dyfu. [5]


Cadwriaid iechyd meddwl: arferion sy'n helpu 📚

  • Dechreuwch yn fach. Profwch fod y biblinell yn gweithio cyn cymhlethu modelau.

  • Piblinellau MLOps. CI ar gyfer data/modelau, CD ar gyfer gwasanaethau, CT ar gyfer ailhyfforddi.

  • Rhestrau gwirio AI cyfrifol. Wedi'u mapio i'ch sefydliad, gyda dogfennau fel Cardiau Model a Thaflenni Data [1][3][4].


Ail-wneud Cwestiynau Cyffredin Cyflym: ateb un frawddeg 🥡

Mae peirianwyr AI yn adeiladu systemau o'r dechrau i'r diwedd sy'n ddefnyddiol, yn brofadwy, yn ddefnyddiadwy, ac yn weddol ddiogel - gan wneud cyfaddawdau'n eglur fel nad oes neb yn y tywyllwch.


TL;DR 🎯

  • Maen nhw'n mynd i'r afael â phroblemau aneglur → systemau AI dibynadwy trwy waith data, modelu, MLOps, monitro.

  • Mae'r gorau'n ei gadw'n syml yn gyntaf, yn mesur yn ddi-baid, ac yn dogfennu rhagdybiaethau.

  • Deallusrwydd Artiffisial Cynhyrchu = piblinellau + egwyddorion (CI/CD/CT, tegwch lle bo angen, meddwl am risg wedi'i gynnwys).

  • Dim ond offer yw offer. Defnyddiwch yr isafswm sy'n eich cael chi drwodd trên → trac → gwasanaethu → arsylwi.


Dolenni cyfeirio

  1. NIST AI RMF (1.0). Cyswllt

  2. Egwyddorion Deallusrwydd Artiffisial OECD. Cyswllt

  3. Cardiau Model (Mitchell et al., 2019). Cyswllt

  4. Taflenni Data ar gyfer Setiau Data (Gebru et al., 2018/2021). Dolen

  5. Dyled Dechnegol Gudd (Sculley et al., 2015). Cyswllt


Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni

Yn ôl i'r blog