Sut mae Uwchraddio AI yn gweithio? [Fideo a Chwis]

Yr ateb byr: Mae uwchraddio AI yn gweithio trwy hyfforddi model ar ddelweddau cydraniad isel ac uchel wedi'u paru, yna ei ddefnyddio i ragweld picseli ychwanegol credadwy yn ystod yr uwchraddio. Os yw'r model wedi gweld gweadau neu wynebau tebyg yn yr hyfforddiant, gall ychwanegu manylion argyhoeddiadol; os na, gall "rhithweledu" arteffactau fel halos, croen cwyraidd, neu fflachio mewn fideo. 

Prif bethau i'w cymryd:

Rhagfynegiad: Mae'r model yn cynhyrchu manylion credadwy, nid ail-greu gwarantedig o realiti.

Dewis model: Mae CNNs yn tueddu i fod yn fwy sefydlog; gall GANs edrych yn fwy craff ond mae risg y byddant yn dyfeisio nodweddion.

Gwiriadau arteffactau: Chwiliwch am halos, gweadau ailadroddus, “llythrennau bron”, ac wynebau plastig.

Sefydlogrwydd fideo: Defnyddiwch ddulliau amserol neu fe welwch chi ddisgleirdeb a drifft o ffrâm i ffrâm.

Defnydd risg uchel: Os yw cywirdeb yn bwysig, datgelwch y prosesu a thrinwch y canlyniadau fel rhai darluniadol.

Mae'n debyg eich bod chi wedi'i weld: mae delwedd fach, grimp yn troi'n rhywbeth digon clir i'w argraffu, ei ffrydio, neu ei ollwng i gyflwyniad heb wingo. Mae'n teimlo fel twyllo. Ac - yn y ffordd orau - mae'n debyg 😅

Felly, Sut mae Uwchraddio AI yn gweithio yn dibynnu ar rywbeth mwy penodol na “mae'r cyfrifiadur yn gwella manylion” (tonnog â llaw) ac yn agosach at “mae model yn rhagweld strwythur cydraniad uchel credadwy yn seiliedig ar batrymau a ddysgodd o lawer o enghreifftiau” (Dysgu Dwfn ar gyfer Uwch-ddatrysiad Delweddau: Arolwg). Y cam rhagfynegi hwnnw yw'r gêm gyfan - a dyna pam y gall uwchraddio AI edrych yn syfrdanol… neu ychydig yn blastig… neu fel pe bai eich cath wedi tyfu mwstas bonws.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Sut mae AI yn gweithio
Dysgwch hanfodion modelau, data, a chasgliadau mewn AI.

🔗 Sut mae AI yn dysgu
Gweler sut mae data hyfforddi ac adborth yn gwella perfformiad model dros amser.

🔗 Sut mae AI yn canfod anomaleddau
Deall llinellau sylfaen patrymau a sut mae AI yn nodi ymddygiad anarferol yn gyflym.

🔗 Sut mae AI yn rhagweld tueddiadau
Archwiliwch ddulliau rhagweld sy'n adnabod signalau ac yn rhagweld galw yn y dyfodol.

Sut mae Uwchraddio AI yn gweithio: y syniad craidd, mewn geiriau bob dydd 🧩

Mae uwchraddio yn golygu cynyddu'r datrysiad: mwy o bicseli, delwedd fwy. Mae uwchraddio traddodiadol (fel biciwbig) yn ymestyn picseli ac yn llyfnhau trawsnewidiadau (rhyngosodiad biciwbig). Mae'n iawn, ond ni all ddyfeisio newydd - mae'n rhyngosod yn unig.

Mae uwchraddio AI yn rhoi cynnig ar rywbeth mwy beiddgar (aka “uwch-ddatrysiad” yn y byd ymchwil) (Dysgu Dwfn ar gyfer Uwch-ddatrysiad Delweddau: Arolwg):

• Mae'n edrych ar y mewnbwn cydraniad isel

• Yn adnabod patrymau (ymylon, gweadau, nodweddion wyneb, strôcs testun, gwehyddu ffabrig…)

• Yn rhagweld sut olwg ddylai fod ar fersiwn cydraniad uwch

• Yn cynhyrchu data picsel ychwanegol sy'n cyd-fynd â'r patrymau hynny

Nid “adfer realiti’n berffaith,” yn fwy fel “gwneud dyfaliad hynod gredadwy” (Datrysiad Uwch Delwedd Gan Ddefnyddio Rhwydweithiau Cyfryngol Dwfn (SRCNN)). Os yw hynny’n swnio ychydig yn amheus, dydych chi ddim yn anghywir - ond dyna hefyd pam ei fod yn gweithio mor dda 😄

Ac ie, mae hyn yn golygu bod uwchraddio AI yn rhithweledigaeth dan reolaeth yn y bôn… ond mewn ffordd gynhyrchiol, sy'n parchu picseli.

Beth sy'n gwneud fersiwn dda o uwchraddio AI? ✅🛠️

Os ydych chi'n beirniadu uwchraddiwr AI (neu osodiad rhagosodedig), dyma beth sy'n tueddu i fod bwysicaf:

• Adfer manylion heb orgoginio
  Mae uwchraddio da yn ychwanegu crispness a strwythur, nid sŵn crensiog na mandyllau ffug.

• Disgyblaeth ymyl
  Mae llinellau glân yn aros yn lân. Mae modelau gwael yn gwneud i ymylon siglo neu egin halos.

• Realaeth gwead
  Ni ddylai gwallt ddod yn strôc brwsh paent. Ni ddylai brics ddod yn stamp patrwm ailadroddus.

• Trin sŵn a chywasgu
  Mae llawer o ddelweddau bob dydd yn cael eu JPEGio i farwolaeth. Nid yw uwchraddiwr da yn chwyddo'r difrod hwnnw (Real-ESRGAN).

• Ymwybyddiaeth o wynebau a thestun
  Wynebau a thestun yw'r lleoedd hawsaf i weld camgymeriadau. Mae modelau da yn eu trin yn ysgafn (neu mae ganddyn nhw ddulliau arbenigol).

• Cysondeb ar draws fframiau (ar gyfer fideo)
  Os yw manylion yn fflachio o ffrâm i ffrâm, bydd eich llygaid yn sgrechian. Mae uwchraddio fideo yn byw neu'n marw yn ôl sefydlogrwydd amserol (BasicVSR (CVPR 2021)).

• Rheolyddion sy'n gwneud synnwyr
  Rydych chi eisiau llithryddion sy'n mapio i ganlyniadau go iawn: dad-sŵn, dad-aneglurder, tynnu arteffactau, cadw grawn, hogi… y pethau ymarferol.

Rheol dawel sy'n dal i fyny: yr uwchraddio "gorau" yn aml yw'r un rydych chi prin yn sylwi arno. Mae'n edrych fel petaech chi wedi cael camera gwell i ddechrau 📷✨

Tabl Cymharu: opsiynau uwchraddio AI poblogaidd (a'r hyn maen nhw'n dda ar ei gyfer) 📊🙂

Isod mae cymhariaeth ymarferol. Mae prisiau'n aneglur yn fwriadol oherwydd bod offer yn amrywio yn ôl trwydded, bwndeli, costau cyfrifiadurol, a'r holl bethau hwyl hynny.

Cyffes rhyfedd fformatio: Mae “Paid-ish” yn gwneud llawer o waith yn y tabl yna. Ond rydych chi'n cael y syniad 😅

Y gyfrinach fawr: mae modelau'n dysgu mapio o gydraniad isel i gydraniad uchel 🧠➡️🖼️

Wrth wraidd y rhan fwyaf o uwchraddio AI mae gosodiad dysgu dan oruchwyliaeth (Datrysiad Uwch Delweddau Gan Ddefnyddio Rhwydweithiau Cyfryngol Dwfn (SRCNN)):

1. Dechreuwch gyda delweddau cydraniad uchel (y "gwirionedd")

2. Lleihau'r samplu i fersiynau cydraniad isel (y "mewnbwn")

3. Hyfforddi model i ail-greu'r cydraniad uchel gwreiddiol o'r cydraniad isel

Dros amser, mae'r model yn dysgu cydberthnasau fel:

• “Mae’r math yma o aneglurder o amgylch llygad fel arfer yn perthyn i amrannau”

• “Mae’r clwstwr picsel hwn yn aml yn dynodi testun serif”

• “Mae’r graddiant ymyl hwn yn edrych fel llinell ar do, nid sŵn ar hap”

Nid cofio delweddau penodol ydyw (yn yr ystyr syml), ond dysgu strwythur ystadegol (Dysgu Dwfn ar gyfer Uwch-ddatrysiad Delweddau: Arolwg). Meddyliwch amdano fel dysgu gramadeg gweadau ac ymylon. Nid gramadeg barddoniaeth, yn fwy fel… gramadeg â llaw IKEA 🪑📦 (trosiad lletchwith, ond yn ddigon agos).

Y manylion: beth sy'n digwydd yn ystod casgliad (pan fyddwch chi'n uwchraddio) ⚙️✨

Pan fyddwch chi'n bwydo delwedd i mewn i uwchraddiwr AI, fel arfer mae piblinell fel hon:

• Rhagbrosesu

  • Trosi gofod lliw (weithiau)

  • Normaleiddio gwerthoedd picsel

  • Teilsiwch y ddelwedd yn ddarnau os yw'n fawr (gwiriad realiti VRAM 😭) (Repo Real-ESRGAN (dewisiadau teils))

• Echdynnu nodweddion

  • Mae haenau cynnar yn canfod ymylon, corneli, graddiannau

  • Mae haenau dyfnach yn canfod patrymau: gweadau, siapiau, cydrannau wyneb

• Ailadeiladu

  • Mae'r model yn cynhyrchu map nodweddion cydraniad uwch

  • Yna'n trosi hynny'n allbwn picsel gwirioneddol

• Ôl-brosesu

  • Hogi dewisol

  • Dad-sŵn dewisol

  • Atal arteffactau dewisol (canu, halos, blocio)

Un manylyn cynnil: mae llawer o offer yn uwchraddio teils, yna'n cyfuno gwythiennau. Mae offer gwych yn cuddio ffiniau teils. Mae offer gwych yn gadael marciau grid gwan os byddwch chi'n llygadrythu. Ac ie, byddwch chi'n llygadrythu, oherwydd mae bodau dynol wrth eu bodd yn archwilio amherffeithrwydd bach ar chwyddo 300% fel gremlins bach 🧌

Y prif deuluoedd model a ddefnyddir ar gyfer uwchraddio AI (a pham maen nhw'n teimlo'n wahanol) 🤖📚

1) Uwch-ddatrysiad wedi'i seilio ar CNN (y ceffyl gwaith clasurol)

Mae rhwydweithiau niwral cyfryngol yn wych ar gyfer patrymau lleol: ymylon, gweadau, strwythurau bach (Datrysiad Uwch Delweddau Gan Ddefnyddio Rhwydweithiau Cyfryngol Dwfn (SRCNN)).

• Manteision: cyflym iawn, sefydlog, llai o syrpreisys

• Anfanteision: gall edrych braidd yn "brosesedig" os caiff ei wthio'n galed

2) Uwchraddio seiliedig ar GAN (arddull ESRGAN) 🎭

Mae GANs (Rhwydweithiau Gwrthwynebol Cynhyrchiol) yn hyfforddi generadur i gynhyrchu delweddau cydraniad uchel na all gwahaniaethwr eu gwahaniaethu oddi wrth rai go iawn (Rhwydweithiau Gwrthwynebol Cynhyrchiol).

• Manteision: manylion cryf, gwead trawiadol

• Anfanteision: gall ddyfeisio manylion nad oedd yno - weithiau'n anghywir, weithiau'n rhyfedd (SRGAN, ESRGAN)

Gall GAN ​​roi'r craffter sy'n haeddu anadl i chi. Gall hefyd roi ael ychwanegol i bwnc eich portread. Felly… dewiswch eich brwydrau 😬

3) Uwchraddio ar sail trylediad (y cerdyn gwyllt creadigol) 🌫️➡️🖼️

Mae modelau trylediad yn dadsŵn gam wrth gam a gellir eu harwain i gynhyrchu manylion cydraniad uchel (SR3).

• Manteision: gall fod yn wallgof o dda am fanylion credadwy, yn enwedig ar gyfer gwaith creadigol

• Anfanteision: gall symud i ffwrdd o'r hunaniaeth/strwythur gwreiddiol os yw'r gosodiadau'n ymosodol (SR3)

Dyma lle mae “uwchraddio” yn dechrau cymysgu i “ailddychmygu”. Weithiau dyna’n union yr hyn rydych chi ei eisiau. Weithiau nid yw.

4) Uwchraddio fideo gyda chysondeb amserol 🎞️

Mae uwchraddio fideo yn aml yn ychwanegu rhesymeg sy'n ymwybodol o symudiad:

• Yn defnyddio fframiau cyfagos i sefydlogi manylion (BasicVSR (CVPR 2021))

• Yn ceisio osgoi fflachio ac arteffactau sy'n cropian

• Yn aml yn cyfuno uwch-ddatrysiad â dad-sŵn a dad-rhyngblethu (Fideo Topaz)

Os yw uwchraddio delweddau fel adfer un paentiad, mae uwchraddio fideo fel adfer llyfr troi heb newid siâp trwyn y cymeriad bob tudalen. Sydd… yn anoddach nag y mae'n swnio.

Pam mae uwchraddio AI weithiau'n edrych yn ffug (a sut i'w weld) 👀🚩

Mae uwchraddio AI yn methu mewn ffyrdd adnabyddadwy. Unwaith y byddwch chi'n dysgu'r patrymau, fe welwch chi nhw ym mhobman, fel prynu car newydd a sylwi'n sydyn ar y model hwnnw ar bob stryd 😵💫

Dywed cyffredin:

• Croen cwyro ar wynebau (gormod o ddad-sŵn + llyfnhau)

• Halos wedi'u gor-fynio o amgylch ymylon (tiriogaeth "gor-saethu" glasurol) (rhyngosodiad deiciwbig)

• Gweadau ailadroddus (waliau brics yn dod yn batrymau copïo-gludo)

• Micro-gyferbyniad crensiog sy'n gweiddi "algorithm"

• Manteisio testun lle mae llythrennau'n dod yn bron yn llythrennau (y math gwaethaf)

• Drifft manylion lle mae nodweddion bach yn newid yn gynnil, yn enwedig mewn llifau gwaith gwasgariad (SR3)

Y rhan anodd: weithiau mae'r arteffactau hyn yn edrych yn "well" ar yr olwg gyntaf. Mae eich ymennydd yn hoffi miniogrwydd. Ond ar ôl eiliad, mae'n teimlo'n... od.

Tacteg dda yw chwyddo allan a gwirio a yw'n edrych yn naturiol ar bellter gwylio arferol. Os mai dim ond ar chwyddo 400% y mae'n edrych yn dda, nid yw hynny'n fuddugoliaeth, mae'n hobi 😅

Sut mae Uwchraddio AI yn gweithio: yr ochr hyfforddi, heb y cur pen mathemateg 📉🙂

Mae hyfforddi modelau uwch-ddatrysiad fel arfer yn cynnwys:

• Setiau data paru (mewnbwn cydraniad isel, targed cydraniad uchel) (Delwedd Uwch-Ddatrysiad Gan Ddefnyddio Rhwydweithiau Crynhoad Dwfn (SRCNN))

• Swyddogaethau colled sy'n cosbi ail-greu anghywir (SRGAN)

Mathau nodweddiadol o golledion:

• Colli picsel (L1/L2)
  Yn annog cywirdeb. Gall gynhyrchu canlyniadau ychydig yn feddal.

• Colli canfyddiadol
  Yn cymharu nodweddion dyfnach (fel “a yw hyn yn edrych yn debyg”) yn hytrach na picseli union (Colledion Canfyddiadol (Johnson et al., 2016)).

• Colli Gwrthwynebol (GAN)
  Yn annog realaeth, weithiau ar draul cywirdeb llythrennol (SRGAN, Rhwydweithiau Gwrthwynebol Cynhyrchiol).

Mae yna frwydr dynnu gyson:

• Gwnewch hi'n ffyddlon i'r gwreiddiol
  vs.

• Gwnewch hi'n bleserus yn weledol

Mae gwahanol offer yn glanio mewn gwahanol leoedd ar y sbectrwm hwnnw. Ac efallai y byddwch chi'n well ganddo un yn dibynnu a ydych chi'n adfer lluniau teulu neu'n paratoi poster lle mae "edrych yn dda" yn bwysicach na chywirdeb fforensig.

Llifau gwaith ymarferol: lluniau, sganiau hen, anime, a fideo 📸🧾🎥

Lluniau (portreadau, tirweddau, lluniau cynnyrch)

Yr arfer gorau fel arfer yw:

• Dad-sŵn ysgafn yn gyntaf (os oes angen)

• Uchel eu safon gyda gosodiadau ceidwadol

• Ychwanegwch grawn yn ôl os yw pethau'n teimlo'n rhy llyfn (ydw, wir)

Mae grawn fel halen. Mae gormod yn difetha cinio, ond ni all dim o gwbl flasu ychydig yn fflat 🍟

Sganiau hen a delweddau wedi'u cywasgu'n drwm

Mae'r rhain yn anoddach oherwydd gallai'r model drin blociau cywasgu fel "gwead".
Rhowch gynnig ar:

• Tynnu neu ddadflocio arteffactau

• Yna uwchraddio

• Yna hogi'n ysgafn (dim gormod… mi wn, mae pawb yn dweud hynny, ond serch hynny)

Anime a chelf llinell

Mae celf llinell yn elwa o:

• Modelau sy'n cadw ymylon glân

• Rhithweledigaeth gwead llai Mae
  uwchraddio anime yn aml yn edrych yn wych oherwydd bod y siapiau'n symlach ac yn gyson. (Lwcus.)

Fideo

Mae'r fideo yn ychwanegu camau ychwanegol:

• Dadsŵn

• Dad-blethu (ar gyfer rhai ffynonellau)

• Uchelgeisiol

• Llyfnhau neu sefydlogi amserol (BasicVSR (CVPR 2021))

• Ailgyflwyno grawn dewisol ar gyfer cydlyniant

Os byddwch chi'n hepgor cysondeb amserol, byddwch chi'n cael y manylion disglair hynny'n fflachio. Unwaith i chi sylwi arno, ni allwch ei ddad-weld. Fel cadair gwichian mewn ystafell dawel 😖

Dewis gosodiadau heb ddyfalu'n wyllt (taflen dwyllo fach) 🎛️😵💫

Dyma feddylfryd cychwynnol da:

• Os yw wynebau'n edrych yn blastig,
  lleihewch y sŵn, lleihewch y miniogrwydd, rhowch gynnig ar fodel neu fodd sy'n cadw wynebau.

• Os yw gweadau'n edrych yn rhy ddwys,
  gostwngwch y llithryddion “gwella manylion” neu “adfer manylion”, ychwanegwch raen cynnil ar ôl.

• Os yw'r ymylon yn tywynnu
  Trowch i lawr y miniogi, gwiriwch yr opsiynau atal halo.

• Os yw'r ddelwedd yn edrych yn rhy “AI”
  Ewch yn fwy ceidwadol. Weithiau'r symudiad gorau yw… llai.

Hefyd: peidiwch â'i uwchraddio 8x dim ond oherwydd eich bod chi'n gallu. 2x neu 4x glân yw'r man perffaith yn aml. Heblaw hynny, rydych chi'n gofyn i'r model ysgrifennu ffuglen gefnogwyr am eich picseli 📖😂

Moeseg, dilysrwydd, a'r cwestiwn lletchwith o "wirionedd" 🧭😬

Mae uwchraddio AI yn aneglur llinell:

• Mae adferiad yn golygu adfer yr hyn a oedd yno

• Mae gwella yn awgrymu ychwanegu'r hyn nad oedd

Gyda lluniau personol, mae fel arfer yn iawn (ac yn hyfryd). Gyda newyddiaduraeth, tystiolaeth gyfreithiol, delweddu meddygol, neu unrhyw beth lle mae ffyddlondeb yn bwysig… mae angen i chi fod yn ofalus (OSAC/NIST: Canllaw Safonol ar gyfer Rheoli Delweddau Digidol Fforensig, Canllawiau SWGDE ar gyfer Dadansoddi Delweddau Fforensig).

Rheol syml:

• Os yw'r risgiau'n uchel, ystyriwch uwchraddio AI fel rhywbeth darluniadol, nid fel rhywbeth pendant.

Hefyd, mae datgeliad yn bwysig mewn cyd-destunau proffesiynol. Nid oherwydd bod deallusrwydd artiffisial yn ddrwg, ond oherwydd bod cynulleidfaoedd yn haeddu gwybod a gafodd manylion eu hail-greu neu eu cipio. Mae hynny'n... barchus.

Nodiadau cloi a chrynodeb byr 🧡✅

Felly, sut mae Uwchraddio AI yn gweithio : mae modelau'n dysgu sut mae manylion cydraniad uchel yn tueddu i gysylltu â phatrymau cydraniad isel, yna'n rhagweld picseli ychwanegol credadwy yn ystod uwchraddio (Dysgu Dwfn ar gyfer Uwch-ddatrysiad Delwedd: Arolwg). Yn dibynnu ar y teulu modelau (CNN, GAN, trylediad, fideo-amserol), gall y rhagfynegiad hwnnw fod yn geidwadol ac yn ffyddlon ... neu'n feiddgar ac weithiau'n ansicr 😅

Crynodeb cyflym

• Mae uwchraddio traddodiadol yn ymestyn picseli (rhyngosodiad biciwbig)

• Mae uwchraddio AI yn rhagweld manylion coll gan ddefnyddio patrymau dysgedig (Uwch-ddatrysiad Delwedd Gan Ddefnyddio Rhwydweithiau Cyfryngol Dwfn (SRCNN))

• Daw canlyniadau gwych o'r model cywir + cymalu

• Chwiliwch am halos, wynebau cwyraidd, gweadau ailadroddus, a fflachiadau mewn fideo (BasicVSR (CVPR 2021))

• Yn aml, mae uwchraddio yn "ail-greu credadwy", nid yn wirionedd perffaith (SRGAN, ESRGAN)

Os ydych chi eisiau, dywedwch wrthyf beth rydych chi'n ei uwchraddio (wynebau, hen luniau, fideo, anime, sganiau testun), a byddaf yn awgrymu strategaeth gosodiadau sy'n tueddu i osgoi'r peryglon cyffredin "edrych AI" 🎯🙂

Enghraifft o'r byd go iawn: Uwchraddio lluniau cynnyrch hen farchnad 📸

Senario

Mae gan siop gamerâu ail-law fach 40 o luniau cynnyrch wedi'u hallforio o hen wefan ar led 800px. Mae'r perchennog eisiau eu hailddefnyddio ar dudalen e-fasnach newydd, lle mae maint y ddelwedd a argymhellir yn 1,600px o led.

Y broblem: mae newid maint arferol yn gwneud i'r camerâu edrych yn feddal, tra gall uwchraddio AI ymosodol wneud i afaelion rwber, rhifau cyfresol, a marciau lens edrych yn amheus o ffug. Mae hynny'n bwysig oherwydd bod prynwyr yn dibynnu ar y manylion hynny cyn prynu.

Nid “adfer” gwybodaeth goll yn berffaith yw’r nod. Y nod yw creu delweddau rhestru glanach gan gadw’r ffeiliau gwreiddiol ar gael, oherwydd bod uwchraddio AI yn rhagweld manylion credadwy yn hytrach na gwirionedd gwarantedig.

Beth sydd ei angen ar y llif gwaith

Lluniau cynnyrch gwreiddiol, yn ddelfrydol y fersiynau lleiaf cywasgedig sydd ar gael

Maint allbwn targed, fel uwchraddiad 2× o 800px i 1,600px o led

Offeryn neu fodel gyda rheolyddion ar wahân ar gyfer dadsŵn, hogi a chael gwared ar arteffactau

Rhestr wirio adolygu syml ar gyfer testun, ymylon, logos, sgriwiau, botymau, graen lledr, ac adlewyrchiadau

Ffolder ar gyfer y gwreiddiol a ffolder ar wahân ar gyfer allforion wedi'u golygu, felly does dim byd yn cael ei drosysgrifo

Cyfarwyddyd enghreifftiol

Defnyddiwch y math hwn o gyfarwyddyd wrth brofi uwchraddiwr AI:

Uwchraddiwch y llun cynnyrch hwn 2× ar gyfer rhestr e-fasnach. Cadwch siâp y gwrthrych, lleoliad y logo, marciau'r lens, ymylon y botymau, a gwead yr wyneb mor agos â phosibl i'r gwreiddiol. Defnyddiwch lanhau cywasgu ysgafn, miniogi isel, ac osgoi dyfeisio testun ychwanegol, crafiadau, labeli, rhifau cyfresol, neu fanylion addurniadol. Dylai'r ddelwedd derfynol edrych yn naturiol ar faint tudalen cynnyrch arferol, nid yn artiffisial miniog ar chwyddo 400%.

Sut i'w brofi

Dechreuwch gyda phum delwedd gymysg cyn prosesu'r swp llawn:

Un llun cynnyrch glân gyda goleuadau da

Un ddelwedd gywasgedig JPEG gyda blocedd

Un llun gyda thestun bach wedi'i argraffu neu farciau lens

Un ddelwedd dywyll gyda sŵn yn y cysgodion

Un ddelwedd gyda metel neu wydr adlewyrchol

Ar ôl uwchraddio, cymharwch bob canlyniad yn erbyn y gwreiddiol ar 100% a 200%. Gwiriwch a yw enwau brandiau, deialau, sgriwiau, porthladdoedd a phatrymau gwead yn dal i gyd-fynd. Os yw'r model yn creu "bron yn llythrennau" neu farciau arwyneb ffug, gostwngwch y gosodiad hogi neu adfer manylion.

Canlyniad

Canlyniad darluniadol: yn seiliedig ar amseru prawf pum delwedd cyn ac ar ôl defnyddio'r llif gwaith hwn.

Cymerodd glanhau a newid maint â llaw tua 9 munud fesul delwedd, neu 45 munud ar gyfer pum delwedd.

Cymerodd y llif gwaith gyda chymorth AI tua 3 munud fesul delwedd, neu 15 munud ar gyfer pum delwedd.

Dyna oddeutu 30 munud a arbedwyd ar bum delwedd, neu tua 4 awr a arbedwyd ar draws swp o 40 delwedd.

Canlyniad y gwiriad ansawdd: Pasiodd 4 allan o 5 delwedd yr adolygiad cyntaf. Methodd un ddelwedd oherwydd bod yr uwchraddiwr wedi ystumio testun lens bach, felly cafodd ei ailbrosesu gyda llai o finiogrwydd a dim gwella testun.

Nid dim ond “edrych yn fwy craff” yw’r metrig gwerthfawr yma. Dyma’r mesur: faint o ddelweddau sy’n pasio adolygiad ochr yn ochr heb fanylion wedi’u dyfeisio?

Beth all fynd o'i le

Gall y model droi llwch, blociau JPEG, neu grafiadau yn wead "go iawn".

Gall testun bach iawn droi’n destun ffug sy’n edrych yn gredadwy nes i chi chwyddo i mewn.

Gall gormod o ddad-sŵn wneud i rwber, lledr, neu fetel wedi'i frwsio edrych yn gwyraidd.

Gall hogi cryf greu halos o amgylch ymylon cynnyrch.

Gall prosesu swp guddio camgymeriadau, felly adolygwch sampl cyn allforio popeth.

Ar gyfer e-fasnach, y rheol fwyaf diogel yw syml: peidiwch byth â defnyddio uwchraddio AI i guddio difrod, newid cyflwr, neu wneud i gynnyrch edrych yn fwy newydd nag ydyw.

Tecawê ymarferol

Mae uwchraddio AI yn gweithio orau pan fyddwch chi'n ei drin fel cam gorffen rheoledig, nid botwm atgyweirio hud. Defnyddiwch osodiadau 2× ceidwadol, gwiriwch y manylion y mae prynwyr yn poeni amdanynt, a chadwch y ddelwedd wreiddiol fel bod y fersiwn wedi'i golygu yn aros yn gredadwy.

Enghraifft o'r byd go iawn: Uwchraddio hen fideo hyfforddi heb ei wneud yn disgleirio

Senario

Mae gan gwmni hyfforddi bach fideo arddangos diogelwch 7 munud a recordiwyd yn 2014 ar 720p. Mae gwerth i'r cynnwys o hyd, ond mae'r lluniau'n edrych yn wan ar wefan newydd y cwmni, yn enwedig ar sgriniau gliniaduron mwy.

Mae'r tîm eisiau allforio fersiwn 1080p glanach heb ail-saethu. Y risg yw y gallai uwchraddio AI ymosodol wneud i wynebau edrych yn gwyraidd, troi testun ar arwyddion yn "bron yn eiriau", neu greu gwead sy'n fflachio o ffrâm i ffrâm.

Nid gwneud i'r fideo edrych yn newydd sbon yw'r nod. Y nod yw ei wneud yn gliriach, yn fwy sefydlog, ac yn llai cywasgedig gan gadw wyneb yr hyfforddwr, labeli rhybuddio, symudiadau dwylo, a manylion yr offer yn ffyddlon i'r gwreiddiol.

Beth sydd ei angen ar y llif gwaith

Ffeil fideo wreiddiol, nid lawrlwythiad cyfryngau cymdeithasol cywasgedig os yn bosibl

Maint allforio targed, fel 720p i 1080p yn hytrach na neidio'n syth i 4K

Uwchraddiwr fideo gyda dewisiadau dadsŵn, miniogi, atgyweirio cywasgu, a chysondeb amserol

Clip prawf byr gydag wynebau, symudiad, testun ac arwynebau manwl

Rhestr wirio adolygu ar gyfer fflachio, halos, testun gwyrdroëdig, gwead wyneb, ac ymylon symudol

Copi wedi'i gadw o'r fideo gwreiddiol ar gyfer cymharu a datgelu os oes angen

Cyfarwyddyd enghreifftiol

Defnyddiwch y math hwn o gyfarwyddyd cyn prosesu'r fideo llawn:

Uwchraddiwch y fideo hyfforddi 720p hwn i 1080p. Blaenoriaethwch symudiad naturiol, ymylon sefydlog, testun presennol darllenadwy, a gwead croen realistig. Defnyddiwch atgyweirio cywasgu ysgafn a miniogi isel. Peidiwch â dyfeisio testun coll, logos, labeli, crafiadau, manylion wyneb, na marciau offer. Osgowch lewyrch ffrâm-i-ffrâm. Dylai'r canlyniad terfynol edrych yn gliriach ar faint gwylio arferol, nid yn artiffisial o finiog pan gaiff ei oedi a'i chwyddo i mewn.

Sut i'w brofi

Cyn prosesu'r ffeil 7 munud lawn, allforiwch sampl 20 eiliad sy'n cynnwys:

Wyneb yr hyfforddwr wrth siarad

Llaw yn symud ar draws y ffrâm

Label rhybuddio neu destun printiedig bach

Arwyneb gweadog, fel ffabrig, concrit, metel wedi'i frwsio, neu blastig

Pan camera neu unrhyw symudiad sigledig

Gwyliwch y sampl ddwywaith: unwaith ar gyflymder arferol ac unwaith wedi'i oedi ffrâm wrth ffrâm. Ar gyflymder arferol, chwiliwch am fflachio, gwead yn cropian, neu symudiad annaturiol o amgylch ymylon. Pan fyddwch wedi'i oedi, cymharwch y fersiynau gwreiddiol a'r rhai wedi'u huwchraddio i wirio a yw'r testun, y botymau, yr offer a nodweddion yr wyneb yn dal i gyd-fynd.

Canlyniad

Canlyniad darluniadol: yn seiliedig ar amseru un clip prawf 20 eiliad ac yna cymhwyso'r un gosodiadau i fideo 7 munud.

Cymerodd llif gwaith “newid maint a miniogi” â llaw tua 35 munud, gan gynnwys allforio ac adolygu, ond dangosodd y canlyniad lewyrch gweladwy ar wallt yr hyfforddwr a llewyrch o amgylch arwyddion diogelwch.

Cymerodd y llif gwaith gyda chymorth AI tua 55 munud gan gynnwys allforion prawf, ond lleihaodd broblemau adolygu o 8 problem weladwy yn yr allforion cyntaf i 2 broblem fach yn yr allforion terfynol.

Pasiodd y fersiwn derfynol 10 allan o 12 gwiriad ar y rhestr wirio adolygu. Y ddau broblem oedd ychydig o feddalwch ar destun cefndir a sŵn ysgafn mewn un gornel dywyll. Derbyniwyd y ddau oherwydd bod yr hyfforddwr, yr offer, a'r camau diogelwch wedi aros yn gyson yn weledol.

Nid “1080p wedi’i gyflawni” yw’r metrig ystyrlon yma. Dyma’r metrig: faint o eiliadau o’r fideo sy’n dangos arteffactau sy’n tynnu sylw yn ystod chwarae arferol?

Beth all fynd o'i le

Gall y model hogi blociau cywasgu a'u gwneud yn edrych fel gwead dilys.

Gall testun mân edrych yn fwy hyderus ond yn llai cywir.

Gall wynebau fynd yn rhy llyfn os yw'r dadsŵn yn rhy uchel.

Gall ymylon symudol ddisgleirio os yw'r offeryn yn trin pob ffrâm yn rhy annibynnol.

Gall allforion 4K edrych yn waeth nag allforion 1080p cyfyngedig oherwydd bod yn rhaid i'r model ddyfeisio gormod o fanylion.

Y camgymeriad mwyaf yw barnu ffrâm wedi'i saib yn unig. Rhaid i uwchraddio fideo edrych yn naturiol mewn symudiad, nid dim ond yn drawiadol fel delwedd llonydd.

Tecawê ymarferol

Ar gyfer fideo, mae uwchraddio AI yn gweithio orau pan fyddwch chi'n profi adran fer yn gyntaf, yn cadw'r uwchraddio'n gymedrol, ac yn barnu symudiad cyn miniogrwydd. Mae canlyniad ychydig yn feddalach ond sefydlog fel arfer yn well na fersiwn glir sy'n fflachio bob tro mae rhywun yn symud.

Cwestiynau Cyffredin

Uwchraddio AI a sut mae'n gweithio

Mae uwchraddio AI (a elwir yn aml yn "uwch-ddatrysiad") yn cynyddu datrysiad delwedd trwy ragweld manylion cydraniad uchel sydd ar goll o batrymau a ddysgwyd yn ystod hyfforddiant. Yn lle ymestyn picseli yn unig fel rhyngosodiad deu-giwbig, mae model yn astudio ymylon, gweadau, wynebau, a strôcs tebyg i destun, yna'n cynhyrchu data picsel newydd sy'n cyd-fynd â'r patrymau a ddysgwyd hynny. Mae'n llai o "adfer realiti" a mwy o "wneud dyfaliad credadwy" sy'n darllen fel rhywbeth naturiol.

Uwchraddio AI yn erbyn newid maint deucubig neu draddodiadol

Mae dulliau uwchraddio traddodiadol (fel biciwbig) yn rhyngosod yn bennaf rhwng picseli presennol, gan lyfnhau trawsnewidiadau heb greu manylion newydd go iawn. Nod uwchraddio AI yw ail-greu strwythur credadwy trwy adnabod ciwiau gweledol a rhagweld sut olwg sydd ar fersiynau cydraniad uchel o'r ciwiau hynny. Dyna pam y gall canlyniadau AI deimlo'n llawer mwy miniog, a hefyd pam y gallant gyflwyno arteffactau neu "ddyfeisio" manylion nad oeddent yn bresennol yn y ffynhonnell.

Pam y gall wynebau edrych yn gwyraidd neu'n rhy llyfn

Mae wynebau cwyraidd fel arfer yn deillio o ddad-sŵn a llyfnhau ymosodol ynghyd â hogi sy'n tynnu gwead naturiol y croen i ffwrdd. Mae llawer o offer yn trin sŵn a gwead mân yn yr un modd, felly gall "glanhau" delwedd ddileu mandyllau a manylion cynnil. Dull cyffredin yw lleihau dad-sŵn a hogi, defnyddio modd cadw wynebau os yw ar gael, yna ailgyflwyno ychydig o raen fel bod y canlyniad yn teimlo'n llai plastig ac yn fwy ffotograffig.

Arteffactau uwchraddio AI cyffredin i gadw llygad amdanynt

Mae arwyddion nodweddiadol yn cynnwys halos o amgylch ymylon, patrymau gwead ailadroddus (fel briciau copïo-gludo), micro-gyferbyniad crensiog, a thestun sy'n troi'n "lythrennau bron". Mewn llifau gwaith sy'n seiliedig ar drylediad, gallwch hefyd weld manylion yn symud yn gyflym lle mae nodweddion bach yn newid yn gynnil. Ar gyfer fideo, mae manylion yn fflachio ac yn cropian ar draws fframiau yn faneri coch mawr. Os yw'n edrych yn dda ar chwyddo eithafol yn unig, mae'n debyg bod y gosodiadau'n rhy ymosodol.

Sut mae uwchraddwyr GAN, CNN, ac uwchsafwyr trylediad yn tueddu i fod yn wahanol o ran canlyniadau

Mae uwch-ddatrysiad sy'n seiliedig ar CNN yn tueddu i fod yn fwy cyson a rhagweladwy, ond gall edrych yn "brosesedig" os caiff ei wthio'n galed. Yn aml, mae opsiynau sy'n seiliedig ar GAN (arddull ESRGAN) yn cynhyrchu gwead mwy grymus a miniogrwydd canfyddedig, ond gallant greu rhithweledigaeth o fanylion anghywir, yn enwedig ar wynebau. Gall uwchraddio sy'n seiliedig ar drylediad gynhyrchu manylion hardd a chredadwy, ond gall wyro o'r strwythur gwreiddiol os yw'r gosodiadau canllaw neu gryfder yn rhy gryf.

Strategaeth gosodiadau ymarferol ar gyfer osgoi golwg "rhy AI"

Dechreuwch yn geidwadol: uwchraddiwch 2× neu 4× cyn cyrraedd at ffactorau eithafol. Os yw wynebau'n edrych yn blastig, diddymwch y dadsŵn a'r hogi a rhowch gynnig ar ddull sy'n ymwybodol o wynebau. Os yw gweadau'n mynd yn rhy ddwys, gostwngwch y gwelliant manylion ac ystyriwch ychwanegu graen cynnil wedyn. Os yw ymylon yn tywynnu, lleihau'r hogi a gwirio atal halo neu arteffactau. Mewn llawer o biblinellau, mae "llai" yn ennill oherwydd ei fod yn cadw realaeth gredadwy.

Trin sganiau hen neu ddelweddau wedi'u cywasgu'n drwm o ran JPEG cyn eu huwchraddio

Mae delweddau cywasgedig yn anodd oherwydd gall modelau drin arteffactau bloc fel gwead go iawn a'u mwyhau. Llif gwaith cyffredin yw tynnu neu ddadflocio arteffactau yn gyntaf, yna uwchraddio, yna hogi'n ysgafn dim ond os oes angen. Ar gyfer sganiau, gall glanhau ysgafn helpu'r model i ganolbwyntio ar y strwythur gwirioneddol yn hytrach na difrod. Y nod yw lleihau "ciwiau gwead ffug" fel nad yw'r un sy'n uwchraddio yn cael ei orfodi i wneud dyfaliadau hyderus o fewnbynnau swnllyd.

Pam mae uwchraddio fideo yn anoddach na uwchraddio lluniau

Rhaid i uwchraddio fideo fod yn gyson ar draws fframiau, nid dim ond yn dda ar un ddelwedd llonydd. Os yw manylion yn fflachio o ffrâm i ffrâm, mae'r canlyniad yn dod yn tynnu sylw'n gyflym. Mae dulliau sy'n canolbwyntio ar fideo yn defnyddio gwybodaeth amserol o fframiau cyfagos i sefydlogi ail-greu ac osgoi arteffactau disglair. Mae llawer o lifau gwaith hefyd yn cynnwys dad-sŵn, dad-blethu ar gyfer rhai ffynonellau, ac ailgyflwyno grawn dewisol fel bod y dilyniant cyfan yn teimlo'n gydlynol yn hytrach nag yn artiffisial o finiog.

Pan nad yw uwchraddio AI yn briodol neu pan fo'n beryglus dibynnu arno

Mae'n well trin uwchraddio AI fel gwelliant, nid prawf. Mewn cyd-destunau pwysig fel newyddiaduraeth, tystiolaeth gyfreithiol, delweddu meddygol, neu waith fforensig, gall cynhyrchu picseli "credadwy" gamarwain oherwydd gall ychwanegu manylion na chawsant eu dal. Fframio mwy diogel yw ei ddefnyddio'n ddarluniadol a datgelu bod proses AI wedi ail-greu manylion. Os yw ffyddlondeb yn hanfodol, cadwch y gwreiddiol a dogfennwch bob cam prosesu a gosodiad.

Cyfeiriadau

1. arXiv - Dysgu Dwfn ar gyfer Uwch-ddatrysiad Delweddau: Arolwg - arxiv.org

2. arXiv - Uwch-Datrysiad Delwedd Gan Ddefnyddio Rhwydweithiau Cyfunol Dwfn (SRCNN) - arxiv.org

3. arXiv - Real-ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. Datblygwr NVIDIA - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. Mynediad Agored Sefydliad Gweledigaeth Gyfrifiadurol (CVF) - BasicVSR: Y Chwilio am Gydrannau Hanfodol mewn Uwch-Ddatrysiad Fideo (CVPR 2021) - openaccess.thecvf.com

9. arXiv - Rhwydweithiau Cynhyrchiol Gwrthwynebol - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - Colledion Canfyddiadol (Johnson et al., 2016) - arxiv.org

12. GitHub - Storfa Real-ESRGAN (dewisiadau teils) - github.com

13. Wicipedia - Rhyngosodiad biciwbig - wikipedia.org

14. Labs Topaz - Llun Topaz - topazlabs.com

15. Topaz Labs - Fideo Topaz - topazlabs.com

16. Canolfan Gymorth Adobe - Adobe Enhance > Datrysiad Uwch - helpx.adobe.com

17. NIST / OSAC - Canllaw Safonol ar gyfer Rheoli Delweddau Digidol Fforensig (Fersiwn 1.0) - nist.gov

18. SWGDE - Canllawiau ar gyfer Dadansoddi Delweddau Fforensig - swgde.org

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni