A fydd AI yn disodli Peirianwyr Data?

A fydd AI yn disodli Peirianwyr Data?

Yr ateb byr: Ni fydd AI yn disodli peirianwyr data yn llwyr; bydd yn awtomeiddio gwaith ailadroddus fel drafftio SQL, sgaffaldio piblinellau, profion a dogfennaeth. Os yw eich rôl yn bennaf yn waith perchnogaeth isel, wedi'i yrru gan docynnau, mae'n fwy agored i niwed; os ydych chi'n berchen ar ddibynadwyedd, diffiniadau, llywodraethu ac ymateb i ddigwyddiadau, mae AI yn bennaf yn eich gwneud chi'n gyflymach.

Prif bethau i'w cymryd:

Perchnogaeth : Blaenoriaethu atebolrwydd am ganlyniadau, nid dim ond cynhyrchu cod yn gyflym.

Ansawdd : Adeiladu profion, arsylwadwyedd, a chontractau fel bod piblinellau'n parhau i fod yn ddibynadwy.

Llywodraethu : Cadwch breifatrwydd, rheoli mynediad, cadw, a llwybrau archwilio yn eiddo i bobl.

Gwrthsefyll camddefnydd : Trin allbynnau AI fel drafftiau; eu hadolygu i osgoi anghywirdeb hyderus.

Newid rôl : Treuliwch lai o amser yn teipio patrwm safonol a mwy o amser yn dylunio systemau gwydn.

A fydd AI yn disodli Peirianwyr Data? Graffeg Gwybodaeth

Os ydych chi wedi treulio mwy na phum munud o gwmpas timau data, rydych chi wedi clywed y cytgan - weithiau'n cael ei sibrwd, weithiau'n cael ei lansio ar draws cyfarfod fel tro mewn plot: A fydd AI yn disodli Peirianwyr Data?

A… dw i’n deall. Gall deallusrwydd artiffisial gynhyrchu SQL, adeiladu piblinellau, egluro olion pentwr, drafftio modelau dbt, hyd yn oed awgrymu cynlluniau warws gyda hyder aflonyddgar. GitHub Copilot ar gyfer SQL Ynglŷn â modelau dbt GitHub Copilot
Mae'n teimlo fel gwylio fforch godi yn dysgu sut i jyglo. Trawiadol, ychydig yn frawychus, ac nid ydych chi'n hollol siŵr beth mae'n ei olygu i'ch swydd 😅

Ond mae'r gwir yn llai taclus na'r pennawd. Mae deallusrwydd artiffisial yn newid peirianneg data yn llwyr. Mae'n awtomeiddio'r darnau diflas, ailadroddadwy. Mae'n cyflymu'r eiliadau "Rwy'n gwybod beth rwy'n ei eisiau ond alla i ddim cofio'r cystrawen". Mae hefyd yn magu mathau newydd sbon o anhrefn.

Felly gadewch i ni ei osod allan yn iawn, heb optimistiaeth tonnog na phanig sgrolio tywyllwch.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 A fydd deallusrwydd artiffisial yn disodli radiolegwyr?
Sut mae delweddu AI yn newid llif gwaith, cywirdeb a rolau yn y dyfodol.

🔗 A fydd deallusrwydd artiffisial yn disodli cyfrifwyr?
Gweler pa dasgau cyfrifyddu y mae AI yn eu awtomeiddio a beth sy'n parhau i fod yn ddynol.

🔗 A fydd deallusrwydd artiffisial yn disodli bancwyr buddsoddi?
Deall effaith AI ar fargeinion, ymchwil a pherthnasoedd â chleientiaid.

🔗 A fydd AI yn disodli asiantau yswiriant?
Dysgwch sut mae AI yn trawsnewid tanysgrifennu, gwerthu a chymorth i gwsmeriaid.

Pam mae'r cwestiwn "Mae AI yn disodli Peirianwyr Data" yn codi eto 😬

Mae'r ofn yn dod o le penodol iawn: mae gan beirianneg data lawer o waith y gellir ei ailadrodd .

  • Ysgrifennu ac ailffactorio SQL

  • Adeiladu sgriptiau mewnlifiad

  • Mapio meysydd o un cynllun i un arall

  • Creu profion a dogfennaeth sylfaenol

  • Dadfygio methiannau piblinell sydd… braidd yn rhagweladwy

Mae AI yn anarferol o dda ar batrymau ailadroddadwy. A dyna'n union beth yw darn o beirianneg data - patrymau wedi'u pentyrru ar batrymau. Awgrymiadau cod GitHub Copilot

Hefyd, mae ecosystem yr offer eisoes yn “cuddio” cymhlethdod:

Felly pan fydd AI yn ymddangos, gall deimlo fel y darn olaf. Os yw'r pentwr eisoes wedi'i haniaethu, a gall AI ysgrifennu'r cod glud ... beth sydd ar ôl? 🤷

Ond dyma'r peth mae pobl yn ei hepgor: nid teipio yw peirianneg data yn bennaf . Teipio yw'r rhan hawdd. Y rhan anodd yw gwneud i realiti busnes tywyll, gwleidyddol, newidiol ymddwyn fel system ddibynadwy.

Ac mae AI yn dal i gael trafferth gyda'r tywyllwch hwnnw. Mae pobl yn cael trafferth hefyd - maen nhw'n syml yn gwella'r gallu i fyrfyfyrio.

Beth mae peirianwyr data yn ei wneud drwy'r dydd mewn gwirionedd (y gwir diflas) 🧱

Gadewch i ni fod yn onest - mae teitl y swydd “Peiriannydd Data” yn swnio fel eich bod chi'n adeiladu peiriannau roced allan o fathemateg bur. Yn ymarferol, rydych chi'n meithrin ymddiriedaeth .

Mae diwrnod nodweddiadol yn llai o “ddyfeisio algorithmau newydd” a mwy o:

  • Negodi gyda thimau i fyny'r afon ynghylch diffiniadau data (poenus ond angenrheidiol)

  • Ymchwilio pam y newidiodd metrig (ac a yw'n real)

  • Ymdrin â drifft cynllun a syrpreisys “ychwanegodd rhywun golofn am hanner nos”

  • Sicrhau bod piblinellau'n idempotent, yn adferadwy, yn arsylwadwy

  • Creu rheiliau gwarchod fel nad yw dadansoddwyr i lawr yr afon yn adeiladu dangosfyrddau nonsens ar ddamwain

  • Rheoli costau fel nad yw'ch warws yn troi'n dân gwyllt arian 🔥

  • Diogelu mynediad, archwilio, cydymffurfio, polisïau cadw Egwyddorion GDPR (Comisiwn Ewropeaidd) Cyfyngiad storio (ICO)

  • Adeiladu cynhyrchion data y gall pobl eu defnyddio mewn gwirionedd heb anfon neges uniongyrchol atoch chi 20 cwestiwn

Mae darn mawr o'r swydd yn gymdeithasol a gweithredol:

  • “Pwy sy’n berchen ar y bwrdd hwn?”

  • “A yw’r diffiniad hwn yn dal yn ddilys?”

  • “Pam mae’r CRM yn allforio dyblygiadau?”

  • “A allwn ni anfon y metrig hwn at weithredwyr heb gywilydd?” 😭

Gall deallusrwydd artiffisial helpu gyda rhannau o hyn, yn sicr. Ond mae ei ddisodli'n llwyr yn… anodd.

Beth sy'n gwneud fersiwn gref o rôl peirianneg data? ✅

Mae'r adran hon yn bwysig oherwydd bod siarad am ddisodli fel arfer yn tybio bod peirianwyr data yn bennaf yn "adeiladwyr piblinellau." Mae hynny fel tybio bod cogyddion yn bennaf yn "torri llysiau." Mae'n rhan o'r swydd, ond nid dyna'r swydd.

Mae fersiwn gref o beiriannydd data fel arfer yn golygu y gallant wneud y rhan fwyaf o'r rhain:

  • Dylunio ar gyfer newid
    Mae data'n newid. Mae timau'n newid. Mae offer yn newid. Mae peiriannydd da yn adeiladu systemau nad ydynt yn chwalu bob tro mae realiti'n tisian 🤧

  • Diffinio contractau a disgwyliadau
    Beth mae “cwsmer” yn ei olygu? Beth mae “gweithredol” yn ei olygu? Beth sy'n digwydd pan fydd rhes yn cyrraedd yn hwyr? Mae contractau'n atal anhrefn yn fwy na chod ffansi. Safon Contract Data Agored (ODCS) ODCS (GitHub)

  • Adeiladu arsylwadwyedd i mewn i bopeth
    Nid yn unig “a redodd” ond “a redodd yn gywir.” Ffresni, anomaleddau cyfaint, ffrwydradau nwl, sifftiau dosbarthiad. Arsylwadwyedd data (Dynatrace) Beth yw arsylwadwyedd data?

  • Gwnewch gyfaddawdau fel oedolyn
    Cyflymder vs cywirdeb, cost vs oedi, hyblygrwydd vs symlrwydd. Nid oes piblinell berffaith, dim ond piblinellau y gallwch fyw gyda nhw.

  • Trosi anghenion busnes yn systemau gwydn
    Mae pobl yn gofyn am fetrigau, ond yr hyn sydd ei angen arnynt yw cynnyrch data. Gall deallusrwydd artiffisial ddrafftio'r cod, ond ni all wybod yn hudol beth yw peryglon y busnes.

  • Cadwch ddata'n dawel
    Y ganmoliaeth fwyaf i blatfform data yw nad oes neb yn siarad amdano. Mae data digyffro yn ddata da. Fel plymio. Dim ond pan fydd yn methu rydych chi'n sylwi arno 🚽

Os ydych chi'n gwneud y pethau hyn, mae'r cwestiwn "A fydd AI yn disodli Peirianwyr Data?" yn dechrau swnio ... ychydig yn od. Gall AI ddisodli tasgau , nid perchnogaeth .

Lle mae AI eisoes yn helpu peirianwyr data (ac mae'n wirioneddol wych) 🤖✨

Nid marchnata yn unig yw deallusrwydd artiffisial. Os caiff ei ddefnyddio'n dda, mae'n luosydd grym cyfreithlon.

1) Gwaith SQL a thrawsnewid cyflymach

  • Drafftio uniadau cymhleth

  • Ysgrifennu swyddogaethau ffenestr nad hoffech chi feddwl amdanynt

  • Troi rhesymeg iaith syml yn sgerbydau ymholiad

  • Ailffactorio ymholiadau hyll yn CTEs darllenadwy GitHub Copilot ar gyfer SQL

Mae hyn yn enfawr oherwydd ei fod yn lleihau effaith y "dudalen wag". Mae angen i chi ddilysu o hyd, ond rydych chi'n dechrau ar 70% yn lle 0%.

2) Dadfygio a briwsion bara achos gwraidd

Mae AI yn dda yn:

  • Esbonio negeseuon gwall

  • Awgrymu ble i edrych

  • Argymhellir camau tebyg i “gwirio anghydweddiad sgema” GitHub Copilot
    Mae fel cael peiriannydd iau diflino nad yw byth yn cysgu ac weithiau'n dweud celwydd yn hyderus 😅

3) Cyfoethogi dogfennaeth a chatalog data

Wedi'i gynhyrchu'n awtomatig:

  • Disgrifiadau colofnau

  • Crynodebau model

  • Esboniadau llinach

  • “Beth yw pwrpas y tabl hwn?” drafftiau dogfennaeth dbt

Nid yw'n berffaith, ond mae'n torri melltith piblinellau heb eu dogfennu.

4) Profi sgaffaldiau a gwiriadau

Gall AI gynnig:

Unwaith eto - chi sy'n dal i benderfynu beth sy'n bwysig, ond mae'n cyflymu'r rhannau arferol.

5) Cod “glud” piblinell

Templedi ffurfweddu, sgaffaldiau YAML, drafftiau DAG cerddorfaol. Mae'r pethau hynny'n ailadroddus ac mae AI yn bwyta ailadroddus i frecwast 🥣 DAGau Apache Airflow

Lle mae AI yn dal i gael trafferth (a dyma graidd y cyfan) 🧠🧩

Dyma'r rhan sydd bwysicaf, oherwydd ei bod yn ateb y cwestiwn amnewid gyda gwead go iawn.

1) Amwysedd a diffiniadau sy'n newid

Anaml y bydd rhesymeg fusnes yn glir. Mae pobl yn newid eu meddyliau yng nghanol brawddeg. Mae “defnyddiwr gweithredol” yn dod yn “defnyddiwr gweithredol sy’n talu” yn dod yn “defnyddiwr gweithredol sy’n talu ac eithrio ad-daliadau ac eithrio weithiau”… rydych chi’n gwybod sut mae hi.

Ni all deallusrwydd artiffisial fod yn berchen ar yr amwysedd hwnnw. Dim ond dyfalu y gall.

2) Atebolrwydd a risg

Pan fydd piblinell yn torri ac mae'r dangosfwrdd gweithredol yn dangos nonsens, mae'n rhaid i rywun:

  • blaenoriaethu

  • cyfleu effaith

  • trwsio

  • atal ailddigwyddiad

  • ysgrifennwch y post-mortem

  • penderfynu a all y busnes ymddiried yn niferoedd yr wythnos diwethaf o hyd

Gall deallusrwydd artiffisial gynorthwyo, ond ni all fod yn atebol mewn ffordd ystyrlon. Nid yw sefydliadau'n rhedeg ar deimladau - maent yn rhedeg ar gyfrifoldeb.

3) Meddwl systemau

Mae llwyfannau data yn ecosystemau: llyncu, storio, trawsnewidiadau, trefniadaeth, llywodraethu, rheolaethau cost, SLAs. Mae newid mewn un haen yn arwain at donnau. Cysyniadau Apache Airflow

Gall AI gynnig optimeiddiadau lleol sy'n creu poen byd-eang. Mae fel trwsio drws sy'n gwichian trwy dynnu'r drws 😬

4) Diogelwch, preifatrwydd, cydymffurfiaeth

Dyma lle mae ffantasïau amnewid yn mynd i farw.

Gall deallusrwydd artiffisial ddrafftio polisïau, ond mae eu gweithredu'n ddiogel yn beirianneg go iawn.

5) Yr “anhysbys anhysbys”

Yn aml, mae digwyddiadau data yn anrhagweladwy:

  • Mae API gwerthwr yn newid semanteg yn dawel

  • Mae rhagdybiaeth parth amser yn newid

  • Mae ôl-lenwad yn dyblygu rhaniad

  • Mae mecanwaith ail-geisio yn achosi ysgrifennu dwbl

  • Mae nodwedd cynnyrch newydd yn cyflwyno patrymau digwyddiadau newydd

Mae AI yn wannach pan nad yw'r sefyllfa'n batrwm hysbys.

Tabl Cymharu: beth sy'n lleihau beth, yn ymarferol 🧾🤔

Isod mae golwg ymarferol. Nid “offer sy’n disodli pobl,” ond offer a dulliau sy’n lleihau tasgau penodol.

Offeryn / dull Cynulleidfa Awyrgylch pris Pam mae'n gweithio
Copilotau cod AI (cynorthwywyr SQL + Python) GitHub Copilot Peirianwyr sy'n ysgrifennu llawer o god Rhywfaint am ddim i rai â thâl Gwych am sgaffaldio, ailffactorio, cystrawen… weithiau'n hunanfodlon mewn ffordd benodol iawn
Cysylltwyr ELT a reolir Fivetran Timau wedi blino ar adeiladu mewnlifiad Tanysgrifiad-y Yn dileu poen llyncu arferol, ond yn torri mewn ffyrdd newydd hwyliog
Llwyfannau arsylwi data Arsylwi data (Dynatrace) Unrhyw un sy'n berchen ar SLAs Canolig i fenter Yn dal anomaleddau'n gynnar - fel larymau mwg ar gyfer piblinellau 🔔
Fframweithiau trawsnewid (modelu datganiadol) dbt Hybridau Dadansoddeg + DE Fel arfer offeryn + cyfrifo Yn gwneud rhesymeg yn fodiwlaidd ac yn brofadwy, llai o sbageti
Catalogau data + haenau semantig dbt Haen Semantig Sefydliadau gyda dryswch metrig Yn dibynnu, yn ymarferol Yn diffinio “gwirionedd” unwaith - yn lleihau dadleuon metrig diddiwedd
Cerddorfa gyda thempledi Apache Airflow Timau sy'n meddwl am blatfform Cost agored + gweithrediadau Safoni llif gwaith; llai o DAGs plu eira
cynhyrchu dogfennau dbt gyda chymorth deallusrwydd artiffisial Timau sy'n casáu ysgrifennu dogfennau Rhad i gymedrol Yn gwneud dogfennau “digon da” fel nad yw gwybodaeth yn diflannu
Polisïau llywodraethu awtomataidd Fframwaith Preifatrwydd NIST Amgylcheddau rheoleiddiedig Menter-y Yn helpu i orfodi rheolau - ond mae angen bodau dynol o hyd i ddylunio'r rheolau

Sylwch ar yr hyn sydd ar goll: rhes sy'n dweud “pwyswch y botwm i gael gwared ar beirianwyr data.” Ie… nid yw'r rhes honno'n bodoli 🙃

Felly… a fydd AI yn disodli Peirianwyr Data, neu a fydd yn newid y rôl yn unig? 🛠️

Dyma'r ateb di-drama: bydd AI yn disodli rhannau o'r llif gwaith, nid y proffesiwn.

Ond bydd yn ailgyflunio'r rôl. Ac os anwybyddwch hynny, byddwch yn teimlo'r wasgfa.

Beth sy'n newid:

  • Llai o amser yn ysgrifennu'r patrwm safonol

  • Llai o amser yn chwilio am ddogfennau

  • Mwy o amser yn adolygu, dilysu, dylunio

  • Mwy o amser yn diffinio contractau a disgwyliadau ansawdd Safon Contract Data Agored (ODCS)

  • Mwy o amser yn gweithio mewn partneriaeth â chynnyrch, diogelwch, cyllid

Dyma'r newid cynnil: mae peirianneg data yn dod yn llai am "adeiladu piblinellau" a mwy am "adeiladu system cynnyrch data ddibynadwy"

Ac mewn tro tawel, mae hynny'n fwy gwerthfawr, nid yn llai.

Hefyd - ac rydw i'n mynd i ddweud hyn hyd yn oed os yw'n swnio'n ddramatig - mae deallusrwydd arteffactau yn cynyddu nifer y bobl sy'n gallu cynhyrchu arteffactau data , sy'n cynyddu'r angen i rywun gadw'r cyfan yn synhwyrol. Mae mwy o allbwn yn golygu mwy o ddryswch posibl. GitHub Copilot

Mae fel rhoi dril pŵer i bawb. Gwych! Nawr mae angen i rywun orfodi'r rheol "peidiwch â drilio i'r bibell ddŵr os gwelwch yn dda" 🪠

Y pentwr sgiliau newydd sy'n aros yn werthfawr (hyd yn oed gydag AI ym mhobman) 🧠⚙️

Os ydych chi eisiau rhestr wirio ymarferol sy'n "barod i'r dyfodol", mae'n edrych fel hyn:

Meddylfryd dylunio system

  • Modelu data sy'n goroesi newid

  • Cyfaddawdau swp vs ffrydio

  • Meddylfryd ynghylch oedi, cost, dibynadwyedd

Peirianneg ansawdd data

Llywodraethu a phensaernïaeth ymddiriedolaeth

Meddwl platfform

  • Templedi y gellir eu hailddefnyddio, llwybrau euraidd

  • Patrymau safonol ar gyfer llyncu, trawsnewidiadau, profi profion data Fivetran

  • Offer hunanwasanaeth nad yw'n toddi i lawr

Cyfathrebu (ie, wir)

  • Ysgrifennu dogfennau clir

  • Alinio diffiniadau

  • Dweud “na” yn gwrtais ond yn gadarn

  • Esbonio cyfaddawdau heb swnio fel robot 🤖

Os gallwch chi wneud y rhain, mae'r cwestiwn “A fydd AI yn disodli Peirianwyr Data?” yn dod yn llai bygythiol. Daw AI yn sgerbwd allanol i chi, nid yn lle i chi.

Senarios realistig lle mae rhai rolau peirianneg data yn crebachu 📉

Iawn, gwiriad realiti cyflym, oherwydd nid heulwen a chonffeti emoji yw'r cyfan 🎉

Mae rhai rolau'n fwy agored i niwed:

  • Rolau mewnlifiad pur yn unig lle mae popeth yn gysylltwyr safonol Cysylltwyr Fivetran

  • Timau'n gwneud piblinellau adrodd ailadroddus yn bennaf gyda naws parth lleiaf posibl

  • Sefydliadau lle mae peirianneg data yn cael ei thrin fel “mwncïod SQL” (llym, ond yn wir)

  • Rolau perchnogaeth isel lle mae'r swydd yn docynnau a chopïo-gludo yn unig

Gall AI ynghyd ag offer rheoledig leihau'r anghenion hynny.

Ond hyd yn oed yno, mae amnewid fel arfer yn edrych fel:

  • Llai o bobl yn gwneud yr un gwaith ailadroddus

  • Mwy o bwyslais ar berchnogaeth a dibynadwyedd platfform

  • Symudiad tuag at “gall un person gynnal mwy o biblinellau”

Felly ie - gall patrymau cyfrif pennau newid. Mae rolau'n esblygu. Mae teitlau'n newid. Mae'r rhan honno'n real.

Serch hynny, mae'r fersiwn o'r rôl lle mae perchnogaeth uchel ac ymddiriedaeth uchel yn aros.

Crynodeb cloi 🧾✅

A fydd AI yn disodli Peirianwyr Data? Nid yn y ffordd lân, gyflawn y mae pobl yn ei dychmygu.

Bydd deallusrwydd artiffisial yn:

Ond mae peirianneg data yn y bôn yn ymwneud â:

Gall deallusrwydd artiffisial helpu gyda hynny… ond nid yw'n "berchen" arno.

Os ydych chi'n beiriannydd data, mae'r symudiad yn syml (ddim yn hawdd, ond yn syml):
pwyswch ar berchnogaeth, ansawdd, meddwl platfform, a chyfathrebu. Gadewch i AI ymdrin â'r manylion tra byddwch chi'n ymdrin â'r rhannau pwysig.

Ac ie - weithiau mae hynny'n golygu bod yr oedolyn yn yr ystafell. Ddim yn hudolus. Yn dawel bwerus serch hynny 😄

A fydd AI yn disodli Peirianwyr Data?
Bydd yn disodli rhai tasgau, yn aildrefnu'r ysgol, ac yn gwneud y peirianwyr data gorau hyd yn oed yn fwy gwerthfawr. Dyna'r stori go iawn.

Cwestiynau Cyffredin

A fydd AI yn disodli peirianwyr data yn llwyr?

Yn y rhan fwyaf o sefydliadau, mae AI yn fwy tebygol o gymryd drosodd tasgau penodol na dileu'r rôl yn llwyr. Gall gyflymu drafftio SQL, sgaffaldiau piblinell, pasio dogfennaeth am y tro cyntaf, a chreu profion sylfaenol. Ond mae peirianneg data hefyd yn cario perchnogaeth ac atebolrwydd, ynghyd â'r gwaith diflas o wneud i realiti busnes anhrefnus ymddwyn fel system ddibynadwy. Mae angen bodau dynol o hyd ar y rhannau hynny i benderfynu beth yw "cywir" ac i gymryd cyfrifoldeb pan fydd pethau'n torri.

Pa rannau o beirianneg data y mae AI eisoes yn eu awtomeiddio?

Mae deallusrwydd artiffisial yn perfformio orau ar waith ailadroddadwy: drafftio ac ailffactorio SQL, cynhyrchu sgerbydau model dbt, egluro gwallau cyffredin, a chynhyrchu amlinelliadau dogfennaeth. Gall hefyd sgaffaldio profion fel gwiriadau null neu unigrywiaeth a chynhyrchu cod "glud" templed ar gyfer offer cerddorfaol. Y fuddugoliaeth yw momentwm - rydych chi'n dechrau'n agosach at ateb gweithredol - ond mae angen i chi ddilysu cywirdeb o hyd a sicrhau ei fod yn cyd-fynd â'ch amgylchedd.

Os gall AI ysgrifennu SQL a phiblinellau, beth sydd ar ôl i beirianwyr data?

Llawer: diffinio contractau data, trin drifft sgema, a sicrhau bod piblinellau'n idempotent, yn arsylladwy, ac yn adferadwy. Mae peirianwyr data yn treulio amser yn ymchwilio i newidiadau metrig, yn adeiladu rheiliau gwarchod ar gyfer defnyddwyr i lawr yr afon, ac yn rheoli cyfaddawdau cost a dibynadwyedd. Yn aml, mae'r gwaith yn dibynnu ar feithrin ymddiriedaeth a chadw'r platfform data yn "dawel", sy'n golygu'n ddigon sefydlog fel nad oes rhaid i neb feddwl amdano o ddydd i ddydd.

Sut mae deallusrwydd artiffisial yn newid gwaith beunyddiol peiriannydd data?

Mae fel arfer yn lleihau amser y cynllun gweithredu a'r "amser chwilio", felly rydych chi'n treulio llai o amser yn teipio a mwy o amser yn adolygu, dilysu a dylunio. Mae'r newid hwnnw'n gwthio'r rôl tuag at ddiffinio disgwyliadau, safonau ansawdd a phatrymau y gellir eu hailddefnyddio yn hytrach na chodio popeth â llaw. Yn ymarferol, mae'n debyg y byddwch chi'n gwneud mwy o waith partneriaeth gyda chynnyrch, diogelwch a chyllid - oherwydd bod yr allbwn technegol yn dod yn haws i'w greu, ond yn anoddach i'w lywodraethu.

Pam mae AI yn cael trafferth gyda diffiniadau busnes amwys fel “defnyddiwr gweithredol”?

Gan nad yw rhesymeg fusnes yn statig nac yn fanwl gywir - mae'n newid yng nghanol prosiect ac yn amrywio yn ôl rhanddeiliad. Gall deallusrwydd artiffisial ddrafftio dehongliad, ond ni all fod yn berchen ar y penderfyniad pan fydd diffiniadau'n esblygu neu pan fydd gwrthdaro'n dod i'r amlwg. Yn aml, mae peirianneg data yn gofyn am drafod, dogfennu rhagdybiaethau, a throi gofynion aneglur yn gontractau gwydn. Mae'r gwaith "alinio dynol" hwnnw'n rheswm craidd pam nad yw'r rôl yn diflannu hyd yn oed wrth i offer wella.

A all deallusrwydd artiffisial ymdrin â llywodraethu data, preifatrwydd a chydymffurfiaeth yn ddiogel?

Gall deallusrwydd artiffisial helpu i ddrafftio polisïau neu awgrymu dulliau, ond mae gweithredu diogel yn dal i fynnu peirianneg go iawn a goruchwyliaeth ofalus. Mae llywodraethu yn cynnwys rheolaethau mynediad, trin PII, rheolau cadw, llwybrau archwilio, ac weithiau cyfyngiadau preswylio. Mae'r rhain yn feysydd risg uchel lle nad yw "bron yn iawn" yn dderbyniol. Rhaid i fodau dynol ddylunio'r rheolau, gwirio gorfodi, a pharhau i fod yn atebol am ganlyniadau cydymffurfiaeth.

Pa sgiliau sy'n parhau i fod yn werthfawr i beirianwyr data wrth i AI wella?

Sgiliau sy'n gwneud systemau'n wydn: meddwl dylunio systemau, peirianneg ansawdd data, a safoni sy'n canolbwyntio ar blatfformau. Mae contractau, arsylwadwyedd, arferion ymateb i ddigwyddiadau, a dadansoddiad achos gwreiddiol disgybledig yn dod yn bwysicach fyth pan all mwy o bobl gynhyrchu arteffactau data yn gyflym. Mae cyfathrebu hefyd yn dod yn wahaniaethwr - mae alinio diffiniadau, ysgrifennu dogfennau clir, ac egluro cyfaddawdau heb ddrama yn rhan fawr o gadw data yn ddibynadwy.

Pa rolau peirianneg data sydd fwyaf mewn perygl o AI ac offer a reolir?

Mae rolau sy'n canolbwyntio'n gul ar fewnlifiad ailadroddus neu biblinellau adrodd safonol yn fwy agored, yn enwedig pan fydd cysylltwyr ELT rheoledig yn cwmpasu'r rhan fwyaf o ffynonellau. Gall gwaith perchnogaeth isel, sy'n cael ei yrru gan docynnau, grebachu oherwydd bod AI ac haniaethu yn lleihau'r ymdrech fesul piblinell. Ond mae hyn fel arfer yn edrych fel llai o bobl yn gwneud tasgau ailadroddus, nid "dim peirianwyr data." Mae rolau perchnogaeth uchel sy'n canolbwyntio ar ddibynadwyedd, ansawdd ac ymddiriedaeth yn parhau i fod yn wydn.

Sut ddylwn i ddefnyddio offer fel GitHub Copilot neu dbt gydag AI heb greu anhrefn?

Trin allbwn AI fel drafft, nid penderfyniad. Defnyddiwch ef i gynhyrchu sgerbydau ymholiadau, gwella darllenadwyedd, neu sgaffaldio profion a dogfennau dbt, yna dilysu yn erbyn data go iawn ac achosion ymyl. Parwch ef â chonfensiynau cryf: contractau, safonau enwi, gwiriadau arsylwadwyedd, ac arferion adolygu. Y nod yw cyflwyno'n gyflymach heb aberthu dibynadwyedd, rheoli costau, na llywodraethu.

Cyfeiriadau

  1. Comisiwn Ewropeaidd - Esboniad o ddiogelu data: egwyddorion GDPR - commission.europa.eu

  2. Swyddfa'r Comisiynydd Gwybodaeth (ICO) - Cyfyngiad storio - ico.org.uk

  3. Comisiwn Ewropeaidd - Am ba hyd y gellir cadw data ac a oes angen ei ddiweddaru? - commission.europa.eu

  4. Sefydliad Cenedlaethol Safonau a Thechnoleg (NIST) - Fframwaith Preifatrwydd - nist.gov

  5. Canolfan Adnoddau Diogelwch Cyfrifiadurol NIST (CSRC) - SP 800-92: Canllaw i Reoli Logiau Diogelwch Cyfrifiadurol - csrc.nist.gov

  6. Canolfan Diogelwch Rhyngrwyd (CIS) - Rheoli Log Archwilio (Rheolyddion CIS) - cisecurity.org

  7. Dogfennaeth Snowflake - Polisïau mynediad rhes - docs.snowflake.com

  8. Dogfennaeth Google Cloud - Diogelwch lefel rhes BigQuery - docs.cloud.google.com

  9. BITOL - Safon Contract Data Agored (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - Safon Contract Data Agored - github.com

  11. Apache Airflow - Dogfennaeth (sefydlog) - airflow.apache.org

  12. Apache Airflow - DAGs (cysyniadau craidd) - airflow.apache.org

  13. Dogfennaeth Labordai dbt - Beth yw dbt? - docs.getdbt.com

  14. Dogfennaeth Labordai dbt - Ynglŷn â modelau dbt - docs.getdbt.com

  15. Dogfennaeth Labordai dbt - Dogfennaeth - docs.getdbt.com

  16. Dogfennaeth Labordai dbt - Profion data - docs.getdbt.com

  17. Dogfennaeth Labordai dbt - Haen Semantig dbt - docs.getdbt.com

  18. Dogfennaeth Fivetran - Dechrau Arni - fivetran.com

  19. Fivetran - Cysylltwyr - fivetran.com

  20. Dogfennaeth AWS - Canllaw Datblygwyr Lambda AWS - docs.aws.amazon.com

  21. GitHub - Copilot GitHub - github.com

  22. Dogfennau GitHub - Cael awgrymiadau cod yn eich IDE gyda GitHub Copilot - docs.github.com

  23. Microsoft Learn - GitHub Copilot ar gyfer SQL (estynniad VS Code) - learn.microsoft.com

  24. Dogfennaeth Dynatrace - Arsylladwyedd data - docs.dynatrace.com

  25. DataGalaxy - Beth yw arsylwadwyedd data? - datagalaxy.com

  26. Dogfennaeth Disgwyliadau Mawr - Trosolwg o ddisgwyliadau - docs.greatexpectations.io

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni

Yn ôl i'r blog