Yr ateb byr: Gall deallusrwydd artiffisial fod yn gywir iawn ar dasgau cul, wedi'u diffinio'n dda gyda gwirionedd clir ar y ddaear, ond nid yw "cywirdeb" yn sgôr sengl y gallwch ymddiried ynddo'n gyffredinol. Dim ond pan fydd y dasg, y data a'r metrig yn cyd-fynd â'r lleoliad gweithredol y mae'n dal; pan fydd mewnbynnau'n symud neu pan fydd tasgau'n dod yn ddiddiwedd, mae gwallau a rhithwelediadau hyderus yn cynyddu.
Prif bethau i'w cymryd:
Addasrwydd tasg : Diffiniwch y swydd yn union fel bod modd profi'r "cywir" a'r "anghywir".
Dewis metrig : Paru metrigau gwerthuso â chanlyniadau go iawn, nid traddodiad na chyfleustra.
Profi realiti : Defnyddiwch ddata cynrychioliadol, swnllyd a phrofion straen allan o ddosbarthiad.
Calibradu : Mesur a yw hyder yn cyd-fynd â chywirdeb, yn enwedig ar gyfer trothwyon.
Monitro cylch bywyd : Ailwerthuso'n barhaus wrth i ddefnyddwyr, data ac amgylcheddau newid dros amser.
Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:
🔗 Sut i ddysgu AI gam wrth gam
Map ffordd sy'n addas i ddechreuwyr i ddechrau dysgu AI yn hyderus.
🔗 Sut mae AI yn canfod anomaleddau mewn data
Yn egluro dulliau y mae AI yn eu defnyddio i weld patrymau anarferol yn awtomatig.
🔗 Pam y gall AI fod yn ddrwg i gymdeithas
Yn cwmpasu risgiau fel rhagfarn, effaith ar swyddi, a phryderon ynghylch preifatrwydd.
🔗 Beth yw set ddata AI a pham ei fod yn bwysig
Yn diffinio setiau data a sut maen nhw'n hyfforddi ac yn gwerthuso modelau AI.
1) Felly… Pa mor Gywir yw Deallusrwydd Artiffisial? 🧠✅
Gall deallusrwydd artiffisial fod yn hynod gywir mewn tasgau cul, wedi'u diffinio'n dda - yn enwedig pan fo'r "ateb cywir" yn ddiamwys ac yn hawdd ei sgorio.
Ond mewn tasgau agored (yn enwedig AI cynhyrchiol fel chatbots), mae "cywirdeb" yn mynd yn llithrig yn gyflym oherwydd:
-
efallai y bydd sawl ateb derbyniol
-
efallai bod yr allbwn yn rhugl ond heb fod wedi'i seilio ar ffeithiau
-
efallai bod y model wedi'i addasu ar gyfer naws "cymwynasgarwch", nid cywirdeb llym
-
mae'r byd yn newid, a gall systemau llusgo ar ôl realiti
Model meddyliol defnyddiol: nid priodwedd sydd gennych chi yw cywirdeb. Mae'n briodwedd rydych chi'n ei "ennill" ar gyfer tasg benodol, mewn amgylchedd penodol, gyda threfn fesur benodol . Dyna pam mae canllawiau difrifol yn trin gwerthuso fel gweithgaredd cylch bywyd - nid moment sgôrfwrdd untro. [1]
2) Nid un peth yw cywirdeb - mae'n deulu amrywiol cyfan 👨👩👧👦📏
Pan fydd pobl yn dweud “cywirdeb,” gallent olygu unrhyw un o’r rhain (ac yn aml maent yn golygu dau ohonynt ar unwaith heb sylweddoli):
-
Cywirdeb : a gynhyrchodd y label / ateb cywir?
-
Manwl gywirdeb yn erbyn cofio : a osgoiodd larymau ffug, neu a ddaliodd bopeth?
-
Calibradu : pan mae'n dweud “Rwy'n 90% yn siŵr,” a yw'n gywir mewn gwirionedd ~90% o'r amser? [3]
-
Cadernid : a yw'n dal i weithio pan fydd mewnbynnau'n newid ychydig (sŵn, ymadrodd newydd, ffynonellau newydd, demograffeg newydd)?
-
Dibynadwyedd : a yw'n ymddwyn yn gyson o dan amodau disgwyliedig?
-
Gwirionedd / ffeithiolrwydd (AI cynhyrchiol): a yw'n ffugio pethau (rhithweledigaethau) mewn tôn hyderus? [2]
Dyma hefyd pam nad yw fframweithiau sy'n canolbwyntio ar ymddiriedaeth yn trin "cywirdeb" fel metrig arwr unigol. Maent yn siarad am ddilysrwydd, dibynadwyedd, diogelwch, tryloywder, cadernid, tegwch, a mwy fel bwndel - oherwydd gallwch chi "optimeiddio" un a thorri un arall ar ddamwain. [1]
3) Beth sy'n gwneud fersiwn dda o fesur "Pa mor Gywir yw AI?" 🧪🔍
Dyma'r rhestr wirio "fersiwn dda" (yr un y mae pobl yn ei hepgor ... ac yna'n difaru'n ddiweddarach):
✅ Diffiniad clir o'r dasg (h.y.: ei gwneud yn brofadwy)
-
Mae "Crynhoi" yn amwys.
-
Mae “Crynhoi mewn 5 bwled, cynnwys 3 rhif pendant o'r ffynhonnell, a pheidiwch â dyfeisio dyfyniadau” yn brofadwy.
✅ Data prawf cynrychioliadol (aka: rhoi'r gorau i raddio ar y modd hawdd)
Os yw eich set brawf yn rhy lân, bydd cywirdeb yn edrych yn ffug-dda. Mae defnyddwyr go iawn yn dod â chamgymeriadau teipio, achosion ymyl rhyfedd, ac egni “Ysgrifennais hwn ar fy ffôn am 2am”.
✅ Metrig sy'n cyfateb i'r risg
Nid yw camddosbarthu meme yr un peth â chamddosbarthu rhybudd meddygol. Dydych chi ddim yn dewis metrigau yn seiliedig ar draddodiad - rydych chi'n eu dewis yn seiliedig ar ganlyniadau. [1]
✅ Profi allan o ddosbarthiad (aka: “beth sy’n digwydd pan fydd realiti’n ymddangos?”)
Rhowch gynnig ar ymadroddion rhyfedd, mewnbynnau amwys, awgrymiadau gwrthwynebol, categorïau newydd, cyfnodau amser newydd. Mae hyn yn bwysig oherwydd newid dosbarthu yn ffordd glasurol o fodelu wynebfaeth mewn cynhyrchu. [4]
✅ Gwerthusiad parhaus (h.y.: nid yw cywirdeb yn nodwedd "gosodwch ef a'i anghofio")
Mae systemau'n symud. Mae defnyddwyr yn newid. Mae data'n newid. Mae eich model "gwych" yn dirywio'n dawel - oni bai eich bod chi'n ei fesur yn barhaus. [1]
Patrwm bach o'r byd go iawn y byddwch chi'n ei adnabod: mae timau'n aml yn cludo gyda "chywirdeb demo" cryf, yna'n darganfod nad "atebion anghywir" yw eu dull methiant go iawn ... ond "atebion anghywir a gyflwynir yn hyderus, ar raddfa fawr." Mae honno'n broblem dylunio gwerthuso, nid problem model yn unig.
4) Ble mae AI fel arfer yn gywir iawn (a pham) 📈🛠️
Mae deallusrwydd artiffisial yn tueddu i ddisgleirio pan fo'r broblem yn:
-
cul
-
wedi'i labelu'n dda
-
sefydlog dros amser
-
yn debyg i'r dosbarthiad hyfforddi
-
hawdd sgorio'n awtomatig
Enghreifftiau:
-
Hidlo sbam
-
Echdynnu dogfennau mewn cynlluniau cyson
-
Dolenni graddio/argymhellion gyda llawer o signalau adborth
-
Llawer o dasgau dosbarthu golwg mewn lleoliadau rheoledig
Yr uwchbŵer diflas y tu ôl i lawer o'r rhain sy'n ennill: gwirionedd clir ar lawr gwlad + llawer o enghreifftiau perthnasol . Ddim yn hudolus - hynod effeithiol.
5) Lle mae cywirdeb AI yn aml yn methu 😬🧯
Dyma'r rhan y mae pobl yn ei theimlo yn eu hesgyrn.
Rhithwelediadau mewn AI cynhyrchiol 🗣️🌪️
Gall LLMs gynhyrchu credadwy ond anffeithiol - a'r rhan "credadwy" yw'n union pam ei fod yn beryglus. Dyna un rheswm pam mae canllawiau risg AI cynhyrchiol yn rhoi cymaint o bwyslais ar seilio, dogfennu a mesur yn hytrach na demos sy'n seiliedig ar naws. [2]
Symudiad dosbarthu 🧳➡️🏠
Gall model sydd wedi'i hyfforddi ar un amgylchedd faglu mewn un arall: iaith defnyddiwr wahanol, catalog cynnyrch gwahanol, normau rhanbarthol gwahanol, cyfnod amser gwahanol. Mae meincnodau fel WILDS yn bodoli'n y bôn i weiddi: "gall perfformiad yn y dosbarthiad orbwysleisio perfformiad yn y byd go iawn yn sylweddol." [4]
Cymhellion sy'n gwobrwyo dyfalu hyderus 🏆🤥
Mae rhai systemau’n gwobrwyo ymddygiad “atebwch bob amser” yn ddamweiniol yn lle “atebwch dim ond pan fyddwch chi’n gwybod”. Felly mae systemau’n dysgu swnio’n iawn yn lle bod yn iawn. Dyma pam mae’n rhaid i werthuso gynnwys ymddygiad ymatal / ansicrwydd - nid dim ond cyfradd ateb crai. [2]
Digwyddiadau yn y byd go iawn a methiannau gweithredol 🚨
Gall hyd yn oed model cryf fethu fel system: adferiad gwael, data hen, rheiliau gwarchod wedi torri, neu lif gwaith sy'n llwybro'r model yn dawel o amgylch y gwiriadau diogelwch. Mae canllawiau modern yn fframio cywirdeb fel rhan o ddibynadwyedd system , nid dim ond sgôr model. [1]
6) Yr uwch-bŵer danbrisiedig: calibradu (sef “gwybod yr hyn nad ydych chi'n ei wybod”) 🎚️🧠
Hyd yn oed pan fydd gan ddau fodel yr un "gywirdeb", gall un fod yn llawer mwy diogel oherwydd ei fod:
-
yn mynegi ansicrwydd yn briodol
-
yn osgoi atebion anghywir rhy hyderus
-
yn rhoi tebygolrwyddau sy'n cyd-fynd â realiti
Nid yw calibradu yn academaidd yn unig - dyma sy'n gwneud hyder yn ymarferol . Canfyddiad clasurol mewn rhwydweithiau niwral modern yw y gall y sgôr hyder fod yn anghywir â chywirdeb gwirioneddol oni bai eich bod yn ei galibradu neu'n ei fesur yn benodol. [3]
Os yw eich piblinell yn defnyddio trothwyon fel “cymeradwyo’n awtomatig uwchlaw 0.9,” calibradu yw’r gwahaniaeth rhwng “awtomeiddio” ac “anhrefn awtomataidd”
7) Sut mae cywirdeb AI yn cael ei werthuso ar gyfer gwahanol fathau o AI 🧩📚
Ar gyfer modelau rhagfynegi clasurol (dosbarthiad/atchweliad) 📊
Metrigau cyffredin:
-
Cywirdeb, manylder, cofio, F1
-
ROC-AUC / PR-AUC (yn aml yn well ar gyfer problemau anghytbwys)
-
Gwiriadau calibradu (cromliniau dibynadwyedd, meddwl arddull gwall calibradu disgwyliedig) [3]
Ar gyfer modelau iaith a chynorthwywyr 💬
Mae gwerthuso'n dod yn aml-ddimensiynol:
-
cywirdeb (lle mae gan y dasg amod gwirionedd)
-
dilyn cyfarwyddiadau
-
diogelwch ac ymddygiad gwrthod (mae gwrthodiadau da yn rhyfedd o anodd)
-
sail ffeithiol / disgyblaeth dyfynnu (pan fydd ei hangen ar eich achos defnydd)
-
cadernid ar draws awgrymiadau ac arddulliau defnyddwyr
Un o gyfraniadau mawr meddwl gwerthuso “holistaidd” yw gwneud y pwynt yn glir: mae angen metrigau lluosog ar draws senarios lluosog, oherwydd mae cyfaddawdau’n real. [5]
Ar gyfer systemau sydd wedi'u hadeiladu ar LLMs (llif gwaith, asiantau, adferiad) 🧰
Nawr rydych chi'n gwerthuso'r biblinell gyfan:
-
ansawdd adfer (a aeth â'r wybodaeth gywir i nôl?)
-
rhesymeg offeryn (a ddilynodd y broses?)
-
ansawdd allbwn (a yw'n gywir ac yn ddefnyddiol?)
-
rheiliau gwarchod (a oedd yn osgoi ymddygiad peryglus?)
-
monitro (a wnaethoch chi sylwi ar fethiannau yn y gwyllt?) [1]
Gall dolen wan yn unrhyw le wneud i'r system gyfan edrych yn "anghywir," hyd yn oed os yw'r model sylfaenol yn dda.
8) Tabl Cymharu: ffyrdd ymarferol o werthuso “Pa mor Gywir yw AI?” 🧾⚖️
| Offeryn / dull | Gorau ar gyfer | Awyrgylch cost | Pam mae'n gweithio |
|---|---|---|---|
| Pecynnau prawf achos defnydd | Apiau LLM + meini prawf llwyddiant wedi'u teilwra | Rhad ac am ddim | Rydych chi'n profi eich llif gwaith, nid bwrdd arweinwyr ar hap. |
| Cwmpas senario aml-fetrig | Cymharu modelau'n gyfrifol | Rhad ac am ddim | Rydych chi'n cael "proffil" gallu, nid un rhif hud. [5] |
| Risg cylch bywyd + meddylfryd gwerthuso | Systemau risg uchel sydd angen trylwyredd | Rhad ac am ddim | Yn eich gwthio i ddiffinio, mesur, rheoli a monitro'n barhaus. [1] |
| Gwiriadau calibradu | Unrhyw system sy'n defnyddio trothwyon hyder | Rhad ac am ddim | Yn gwirio a yw “90% yn siŵr” yn golygu unrhyw beth. [3] |
| Paneli adolygu dynol | Diogelwch, tôn, naws, “ydy hyn yn teimlo’n niweidiol?” | $$ | Mae bodau dynol yn dal cyd-destun a niwed y mae metrigau awtomataidd yn eu methu. |
| Monitro digwyddiadau + dolenni adborth | Dysgu o fethiannau yn y byd go iawn | Rhad ac am ddim | Mae gan realiti dderbynebau - ac mae data cynhyrchu yn eich dysgu'n gyflymach na barn. [1] |
Cyffes cwir fformatio: Mae “Rhyw fath o ddim” yn gwneud llawer o waith yma oherwydd y gost wirioneddol yn aml yw oriau pobl, nid trwyddedau 😅
9) Sut i wneud AI yn fwy cywir (liferi ymarferol) 🔧✨
Data gwell a phrofion gwell 📦🧪
-
Ehangu achosion ymyl
-
Cydbwyso senarios prin ond hollbwysig
-
Cadwch “set aur” sy’n cynrychioli poen gwirioneddol y defnyddiwr (a daliwch ati i’w diweddaru)
Sylfaen ar gyfer tasgau ffeithiol 📚🔍
Os oes angen dibynadwyedd ffeithiol arnoch, defnyddiwch systemau sy'n tynnu o ddogfennau dibynadwy ac atebwch yn seiliedig ar y rheini. Mae llawer o ganllawiau risg AI cynhyrchiol yn canolbwyntio ar ddogfennaeth, tarddiad, a gosodiadau gwerthuso sy'n lleihau cynnwys ffug yn hytrach na gobeithio y bydd y model yn "ymddwyn". [2]
Dolenni gwerthuso cryfach 🔁
-
Cynnal gwerthusiadau ar bob newid ystyrlon
-
Gwyliwch am atchweliadau
-
Prawf straen ar gyfer awgrymiadau rhyfedd a mewnbynnau maleisus
Anogwch ymddygiad wedi'i galibro 🙏
-
Peidiwch â chosbi “Dydw i ddim yn gwybod” yn rhy galed
-
Gwerthuso ansawdd ymatal, nid dim ond y gyfradd ateb
-
Trin hyder fel rhywbeth rydych chi'n ei fesur a'i ddilysu , nid rhywbeth rydych chi'n ei dderbyn ar vibrations [3]
10) Gwiriad cyflym o'ch perfedd: pryd ddylech chi ymddiried mewn cywirdeb AI? 🧭🤔
Ymddiriedwch ynddo mwy pan:
-
mae'r dasg yn gul ac yn ailadroddadwy
-
gellir gwirio allbynnau yn awtomatig
-
mae'r system yn cael ei monitro a'i diweddaru
-
mae hyder wedi'i galibro, a gall ymatal [3]
Ymddiriedwch yn llai pan:
-
mae'r risgiau'n uchel a'r canlyniadau'n real
-
mae'r awgrym yn agored (“dywedwch bopeth wrthyf am…”) 😵💫
-
does dim sail, dim cam gwirio, dim adolygiad dynol
-
mae'r system yn ymddwyn yn hyderus yn ddiofyn [2]
Trosiad ychydig yn wallus: mae dibynnu ar AI heb ei wirio ar gyfer penderfyniadau pwysig fel bwyta swshi sydd wedi bod yn eistedd yn yr haul… efallai ei fod yn iawn, ond mae eich stumog yn mentro na wnaethoch chi gofrestru ar ei gyfer.
11) Nodiadau Cloi a Chrynodeb Byr 🧃✅
Felly, Pa Mor Gywir yw AI?
Gall AI fod yn anhygoel o gywir - ond dim ond o'i gymharu â thasg ddiffiniedig, dull mesur, a'r amgylchedd y caiff ei ddefnyddio ynddo . Ac ar gyfer AI cynhyrchiol, mae "cywirdeb" yn aml yn llai am sgôr sengl a mwy am ddyluniad system ddibynadwy : sylfaen, calibradu, sylw, monitro, a gwerthuso gonest. [1][2][5]
Crynodeb Cyflym 🎯
-
Nid un sgôr yw “cywirdeb” - mae’n gywirdeb, calibradu, cadernid, dibynadwyedd, a (ar gyfer AI cynhyrchiol) gwirionedd. [1][2][3]
-
Mae meincnodau'n helpu, ond mae gwerthuso achosion defnydd yn eich cadw'n onest. [5]
-
Os oes angen dibynadwyedd ffeithiol arnoch, ychwanegwch sail + camau gwirio + gwerthuswch ymataliad. [2]
-
Gwerthuso cylch bywyd yw'r dull i oedolion… hyd yn oed os yw'n llai cyffrous na sgrinlun o fwrdd arweinwyr. [1]
Cwestiynau Cyffredin
Cywirdeb AI mewn defnydd ymarferol
Gall deallusrwydd artiffisial fod yn hynod gywir pan fydd y dasg yn gul, wedi'i diffinio'n dda, ac wedi'i chlymu â gwirionedd clir y gallwch ei sgorio. Mewn defnydd cynhyrchu, mae "cywirdeb" yn dibynnu a yw eich data gwerthuso yn adlewyrchu mewnbynnau swnllyd gan ddefnyddwyr a'r amodau y bydd eich system yn eu hwynebu yn y maes. Wrth i dasgau ddod yn fwy agored (fel robotiaid sgwrsio), mae camgymeriadau a rhithwelediadau hyderus yn ymddangos yn amlach oni bai eich bod yn ychwanegu sail, gwirio a monitro.
Pam nad yw “cywirdeb” yn un sgôr y gallwch ymddiried ynddi
Mae pobl yn defnyddio "cywirdeb" i olygu gwahanol bethau: cywirdeb, manylder yn erbyn cofio, calibradu, cadernid, a dibynadwyedd. Gall model edrych yn ardderchog ar set brawf lân, yna baglu pan fydd newidiadau ymadrodd, drifftiau data, neu'r risgiau'n newid. Mae gwerthusiad sy'n canolbwyntio ar ymddiriedaeth yn defnyddio metrigau a senarios lluosog, yn hytrach na thrin un rhif fel dyfarniad cyffredinol.
Y ffordd orau o fesur cywirdeb AI ar gyfer tasg benodol
Dechreuwch drwy ddiffinio'r dasg fel bod "cywir" ac "anghywir" yn brofadwy, nid yn amwys. Defnyddiwch ddata prawf cynrychioliadol, swnllyd sy'n adlewyrchu defnyddwyr go iawn ac achosion ymyl. Dewiswch fetrigau sy'n cyd-fynd â chanlyniadau, yn enwedig ar gyfer penderfyniadau anghytbwys neu risg uchel. Yna ychwanegwch brofion straen allan o ddosbarthiad a daliwch ati i ailwerthuso dros amser wrth i'ch amgylchedd esblygu.
Sut mae cywirdeb a chywirdeb siâp yn cael eu hadalw yn ymarferol
Mae manylder ac ad-alw yn mapio i wahanol gostau methiant: mae manylder yn pwysleisio osgoi larymau ffug, tra bod ad-alw yn pwysleisio dal popeth. Os ydych chi'n hidlo sbam, efallai y bydd ychydig o fethiannau yn dderbyniol, ond gall canlyniadau positif ffug rwystro defnyddwyr. Mewn lleoliadau eraill, mae methu achosion prin ond critigol yn bwysicach na baneri ychwanegol. Mae'r cydbwysedd cywir yn dibynnu ar ba gostau "anghywir" yn eich llif gwaith.
Beth yw calibradu, a pham ei fod yn bwysig ar gyfer cywirdeb
Mae calibradu yn gwirio a yw hyder model yn cyd-fynd â realiti - pan mae'n dweud “90% yn siŵr,” a yw'n gywir tua 90% o'r amser? Mae hyn yn bwysig pryd bynnag y byddwch chi'n gosod trothwyon fel cymeradwyo awtomatig uwchlaw 0.9. Gall dau fodel fod â chywirdeb tebyg, ond mae'r un sydd wedi'i galibradu'n well yn fwy diogel oherwydd ei fod yn lleihau atebion anghywir rhy hyderus ac yn cefnogi ymddygiad ymatal craffach.
Cywirdeb AI cynhyrchiol, a pham mae rhithwelediadau'n digwydd
Gall deallusrwydd artiffisial cynhyrchiol gynhyrchu testun rhugl a chredadwy hyd yn oed pan nad yw wedi'i seilio ar ffeithiau. Mae cywirdeb yn anoddach i'w bennu oherwydd bod llawer o awgrymiadau'n caniatáu atebion derbyniol lluosog, a gellir optimeiddio modelau ar gyfer "defnyddioldeb" yn hytrach na chywirdeb llym. Mae rhithwelediadau'n dod yn arbennig o beryglus pan fydd allbynnau'n cyrraedd gyda hyder uchel. Ar gyfer achosion defnydd ffeithiol, mae seilio ar ddogfennau dibynadwy ynghyd â chamau dilysu yn helpu i leihau cynnwys ffug.
Profi am symudiad dosbarthu a mewnbynnau allan o ddosbarthiad
Gall meincnodau o fewn y dosbarthiad orbwysleisio perfformiad pan fydd y byd yn newid. Profwch gyda geiriad anarferol, camgymeriadau teipio, mewnbynnau amwys, cyfnodau amser newydd, a chategorïau newydd i weld ble mae'r system yn cwympo. Mae meincnodau fel WILDS wedi'u hadeiladu o amgylch y syniad hwn: gall perfformiad ostwng yn sydyn pan fydd data'n newid. Trin profion straen fel rhan graidd o werthuso, nid rhywbeth braf i'w gael.
Gwneud system AI yn fwy cywir dros amser
Gwella data a phrofion drwy ehangu achosion ymyl, cydbwyso senarios prin ond hollbwysig, a chynnal "set aur" sy'n adlewyrchu poen gwirioneddol y defnyddiwr. Ar gyfer tasgau ffeithiol, ychwanegwch sail a gwirio yn hytrach na gobeithio y bydd y model yn ymddwyn. Rhedeg gwerthusiad ar bob newid ystyrlon, gwyliwch am atchweliadau, a monitro mewn cynhyrchiad am ddrifft. Hefyd gwerthuswch ymatal fel nad yw "Dydw i ddim yn gwybod" yn cael ei gosbi i ddyfalu hyderus.
Cyfeiriadau
[1] NIST AI RMF 1.0 (NIST AI 100-1): Fframwaith ymarferol ar gyfer nodi, asesu a rheoli risgiau AI ar draws y cylch bywyd llawn. darllen mwy
[2] Proffil AI Cynhyrchiol NIST (NIST AI 600-1): Proffil cydymaith i'r AI RMF yn canolbwyntio ar ystyriaethau risg sy'n benodol i systemau AI cynhyrchiol. darllen mwy
[3] Guo et al. (2017) - Calibration of Modern Neural Networks: Papur sylfaenol sy'n dangos sut y gellir camgalibro rhwydi niwral modern, a sut y gellir gwella calibro. darllen mwy
[4] Koh et al. (2021) - Meincnod WILDS: Cyfres feincnod a gynlluniwyd i brofi perfformiad model o dan sifftiau dosbarthu byd go iawn. darllen mwy
[5] Liang et al. (2023) - HELM (Holistic Evaluation of Language Models): Fframwaith ar gyfer gwerthuso modelau iaith ar draws senarios a metrigau i ddod â chyfaddawdau go iawn i'r amlwg. darllen mwy