Faint o Ynni mae Deallusrwydd Artiffisial yn ei ddefnyddio? [Fideo a Chwis]

Ateb: Gall deallusrwydd artiffisial ddefnyddio ychydig iawn o drydan ar gyfer tasg destun syml, ond llawer mwy pan fydd awgrymiadau'n hir, allbynnau'n amlfoddol, neu systemau'n gweithredu ar raddfa enfawr. Hyfforddiant yw'r ergyd ynni fwyaf ymlaen llaw fel arfer, tra bod casgliadau dyddiol yn dod yn arwyddocaol wrth i geisiadau gronni.

Prif bethau i'w cymryd:

Cyd-destun: Diffiniwch y dasg, y model, y caledwedd a'r raddfa cyn dyfynnu unrhyw amcangyfrif ynni.

Hyfforddiant: Ystyriwch hyfforddiant modelu fel y prif ddigwyddiad ynni ymlaen llaw wrth gynllunio cyllidebau.

Casgliad: Gwyliwch gasgliad dro ar ôl tro yn ofalus, oherwydd mae costau bach fesul cais yn cronni'n gyflym ar raddfa fawr.

Seilwaith: Cynhwyswch oeri, storio, rhwydweithiau, a chapasiti segur mewn unrhyw amcangyfrif realistig.

Effeithlonrwydd: Defnyddiwch fodelau llai, awgrymiadau byrrach, storio dros dro, a sypynnu i leihau'r defnydd o ynni.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Sut mae AI yn effeithio ar yr amgylchedd
Yn egluro ôl troed carbon, defnydd ynni, a chyfaddawdau cynaliadwyedd AI.

🔗 A yw AI yn ddrwg i'r amgylchedd?
Yn datgloi costau amgylcheddol cudd modelau AI a chanolfannau data.

🔗 A yw AI yn dda neu'n ddrwg? Manteision ac anfanteision
Golwg gytbwys ar fanteision, risgiau, moeseg ac effeithiau gwirioneddol AI.

🔗 Beth yw AI? Canllaw syml
Dysgwch hanfodion AI, termau allweddol ac enghreifftiau bob dydd mewn munudau.

Pam mae'r cwestiwn hwn yn bwysicach nag y mae pobl yn ei feddwl 🔍

Nid dim ond pwnc trafod amgylcheddol yw defnydd ynni AI. Mae'n cyffwrdd â rhai pethau go iawn:

• Cost trydan - yn enwedig i fusnesau sy'n rhedeg llawer o geisiadau AI

• Effaith carbon - yn dibynnu ar y ffynhonnell bŵer y tu ôl i'r gweinyddion

• Straen caledwedd - mae sglodion pwerus yn tynnu watedd difrifol

• Penderfyniadau graddio - gall un awgrym rhad droi'n filiynau o rai drud

• Dylunio cynnyrch - mae effeithlonrwydd yn aml yn nodwedd well nag y mae pobl yn ei sylweddoli (Google Cloud, Deallusrwydd Artiffisial Gwyrdd)

Mae llawer o bobl yn gofyn “Faint o Ynni mae AI yn ei ddefnyddio?” oherwydd eu bod nhw eisiau nifer dramatig. Rhywbeth enfawr. Rhywbeth sy'n addas i'r penawdau. Ond y cwestiwn gwell yw hwn: Pa fath o ddefnydd AI yr ydym yn sôn amdano? Oherwydd mae hynny'n newid popeth. (IEA)

Un awgrym cwblhau awtomatig? Eithaf bach.
Hyfforddi model ffiniol ar draws clystyrau enfawr? Llawer, llawer mwy.
Llif gwaith AI menter sydd bob amser ymlaen yn cyffwrdd â miliynau o ddefnyddwyr? Ydy, mae hynny'n cronni'n gyflym... fel ceiniogau'n troi'n daliad rhent. (DOE, Google Cloud)

Faint o Ynni mae Deallusrwydd Artiffisial yn ei ddefnyddio? Yr ateb byr ⚡

Dyma'r fersiwn ymarferol.

Gall deallusrwydd artiffisial ddefnyddio unrhyw beth o gyfran fach iawn o awr-wat ar gyfer tasg ysgafn i symiau enfawr o drydan ar gyfer hyfforddiant a defnydd ar raddfa fawr. Mae'r ystod honno'n swnio'n ddoniol o eang oherwydd ei bod hi'n eang. (Google Cloud, Strubell ac eraill)

Yn syml:

• Tasgau casglu syml - yn aml yn gymharol gymedrol fesul defnydd

• Sgyrsiau hir, allbynnau mawr, cynhyrchu delweddau, cynhyrchu fideo - yn sylweddol fwy dwys o ran ynni

• Hyfforddi modelau mawr - pencampwr pwysau trwm y defnydd o bŵer

• Rhedeg AI ar raddfa fawr drwy'r dydd - lle mae "bach fesul cais" yn dod yn "fil cyfan mawr" (Google Cloud, DOE)

Rheol gyffredinol dda yw hon:

• Hyfforddiant yw'r digwyddiad ynni enfawr ymlaen llaw 🏭

• Casgliad yw'r bil cyfleustodau parhaus 💡 (Strubell et al., Ymchwil Google)

Felly pan fydd rhywun yn gofyn, Faint o Ynni mae AI yn ei ddefnyddio?,yr ateb uniongyrchol yw, “Nid un swm - ond digon fel bod effeithlonrwydd yn bwysig, a digon fel bod graddfa yn newid y stori gyfan.” (IEA, Green AI)

Dyw hynny ddim mor ddeniadol ag y mae pobl eisiau, mi wn. Ond mae'n wir.

Beth sy'n gwneud fersiwn dda o amcangyfrif ynni AI? 🧠

Nid dim ond rhif dramatig wedi'i daflu ar graffig yw amcangyfrif da. Mae amcangyfrif ymarferol yn cynnwys cyd-destun. Fel arall mae fel pwyso niwl gyda chlorian ystafell ymolchi. Yn ddigon agos i swnio'n drawiadol, nid yn ddigon agos i ymddiried ynddo. (IEA, Google Cloud)

Dylai amcangyfrif ynni AI gweddus gynnwys:

• Y math o dasg - testun, delwedd, sain, fideo, hyfforddiant, mireinio

• Maint y model - mae angen mwy o gyfrifiadura ar fodelau mwy fel arfer

• Y caledwedd a ddefnyddir - nid yw pob sglodion yr un mor effeithlon

• Hyd y sesiwn - mae awgrymiadau byr a llifau gwaith aml-gam hir yn wahanol iawn

• Defnydd - mae systemau segur yn dal i ddefnyddio pŵer

• Oeri a seilwaith - nid y gweinydd yw'r bil cyfan

• Lleoliad a chymysgedd ynni - nid yw trydan yr un mor lân ym mhobman (Google Cloud, IEA)

Dyma pam y gall dau berson ddadlau am ddefnydd trydan AI a'r ddau swnio'n hyderus wrth siarad am bethau hollol wahanol. Mae un person yn golygu un ymateb sgwrsbot. Mae'r llall yn golygu rhediad hyfforddi enfawr. Mae'r ddau yn dweud “AI,” ac yn sydyn mae'r sgwrs yn llithro oddi ar y cledrau 😅

Tabl Cymharu - y ffyrdd gorau o amcangyfrif defnydd ynni AI 📊

Dyma dabl ymarferol i unrhyw un sy'n ceisio ateb y cwestiwn heb ei droi'n gelfyddyd perfformio.

Offeryn neu ddull	Cynulleidfa orau	Pris	Pam mae'n gweithio
Amcangyfrif rheol-fawd syml	Darllenwyr chwilfrydig, myfyrwyr	Am ddim	Cyflym, hawdd, ychydig yn aneglur - ond yn ddigon da ar gyfer cymariaethau bras
Mesurydd wat ochr y ddyfais	Adeiladwyr unigol, hobïwyr	Isel	Yn mesur y lluniad peiriant gwirioneddol, sy'n adfywiol o goncrit
Dangosfwrdd telemetreg GPU	Peirianwyr, timau ML	Canolig	Gwell manylion ar dasgau sy'n drwm ar gyfrifiadura, er y gall golli'r uwchben cyfleuster mwy
Bilio cwmwl + logiau defnydd	Busnesau newydd, timau gweithredol	Canolig i uchel	Yn cysylltu defnydd AI â gwariant go iawn - nid yn berffaith, ond yn dal yn eithaf gwerthfawr
Adrodd ynni canolfannau data	Timau menter	Uchel	Yn rhoi gwelededd gweithredol ehangach, mae oeri a seilwaith yn dechrau ymddangos yma
Asesiad cylch bywyd llawn	Timau cynaliadwyedd, sefydliadau mawr	Uchel iawn, weithiau'n boenus	Gorau ar gyfer dadansoddi difrifol oherwydd ei fod yn mynd y tu hwnt i'r sglodion ei hun ... ond mae'n araf ac yn fath o fwystfil

Does dim dull perffaith. Dyna'r rhan sydd braidd yn rhwystredig. Ond mae lefelau o werth. Ac fel arfer, mae rhywbeth defnyddiol yn curo perffaith. (Google Cloud)

Nid hud yw'r ffactor mwyaf - cyfrifiadura a chaledwedd ydyw 🖥️🔥

Pan fydd pobl yn dychmygu defnydd ynni AI, maen nhw'n aml yn dychmygu'r model ei hun fel y peth sy'n defnyddio pŵer. Ond y model yw rhesymeg feddalwedd sy'n rhedeg ar galedwedd. Y caledwedd yw lle mae'r bil trydan yn ymddangos. (Strubell et al., Google Cloud)

Mae'r newidynnau mwyaf fel arfer yn cynnwys:

• Math o GPU neu gyflymydd

• Faint o sglodion sy'n cael eu defnyddio

• Am ba hyd maen nhw'n aros yn weithredol

• Llwyth cof

• Maint y swp a'r allbwn

• P'un a yw'r system wedi'i optimeiddio'n dda neu a yw'n gorfodi popeth yn greulon (Google Cloud, Quantization, Batching, a Strategies Gweini mewn Defnydd Ynni LLM)

Gall system sydd wedi'i optimeiddio'n fawr wneud mwy o waith gyda llai o ynni. Gall system flêr wastraffu trydan gyda hyder syfrdanol. Rydych chi'n gwybod sut mae hi - mae rhai gosodiadau yn geir rasio, mae rhai yn gerti siopa gyda rocedi wedi'u tâp dwythell arnynt 🚀🛒

Ac ie, mae maint y model yn bwysig. Mae modelau mwy yn tueddu i fod angen mwy o gof a mwy o gyfrifiadura, yn enwedig wrth gynhyrchu allbynnau hir neu drin rhesymu cymhleth. Ond gall triciau effeithlonrwydd newid y darlun: (Deallusrwydd Artiffisial Gwyrdd, Meintioli, Sypio, a Strategaethau Gweini mewn Defnydd Ynni LLM)

• meintioli

• llwybro gwell

• modelau arbenigol llai

• storio

• swpio

• amserlennu caledwedd mwy craff (Strategaethau Meintioli, Batio, a Gweini mewn Defnydd Ynni LLM)

Felly nid dim ond “Pa mor fawr yw’r model?” yw’r cwestiwn, ond hefyd “Pa mor ddeallus yw ei fod yn cael ei redeg?”

Hyfforddiant vs casgliad - mae'r rhain yn anifeiliaid gwahanol 🐘🐇

Dyma'r rhaniad sy'n drysu bron pawb.

Hyfforddiant

Hyfforddiant yw pan fydd model yn dysgu patrymau o setiau data enfawr. Gall gynnwys llawer o sglodion yn rhedeg am gyfnodau hir, gan gnoi trwy gyfrolau enfawr o ddata. Mae'r cam hwn yn llwglyd o ran ynni. Weithiau'n wyllt felly. (Strubell et al.)

Mae egni hyfforddi yn dibynnu ar:

• maint y model

• maint y set ddata

• nifer y rhediadau hyfforddi

• arbrofion aflwyddiannus

• pasiau mireinio

• effeithlonrwydd caledwedd

• uwchben oeri (Strubell et al., Ymchwil Google)

A dyma'r rhan y mae pobl yn aml yn ei cholli - mae'r cyhoedd yn aml yn dychmygu un rhediad hyfforddi mawr, wedi'i wneud unwaith, diwedd y stori. Yn ymarferol, gall datblygu gynnwys rhediadau dro ar ôl tro, tiwnio, ailhyfforddi, gwerthuso, a'r holl iteriadau rhyddiaith ond drud o amgylch y prif ddigwyddiad. (Strubell et al., Green AI)

Casgliad

Casgliad yw'r model sy'n ateb ceisiadau gwirioneddol defnyddwyr. Efallai na fydd un cais yn edrych fel llawer. Ond mae casgliad yn digwydd dro ar ôl tro. Miliynau o weithiau. Weithiau biliynau. (Ymchwil Google, DOE)

Mae egni casgliad yn tyfu gyda:

• hyd y prydlon

• hyd allbwn

• nifer y defnyddwyr

• gofynion oedi

• nodweddion amlfoddol

• disgwyliadau amser gweithredu

• camau diogelwch ac ôl-brosesu (Google Cloud, Meintoli, Batsio, a Strategaethau Gweini mewn Defnydd Ynni LLM)

Felly hyfforddiant yw'r daeargryn. Casgliad yw'r llanw. Mae un yn ddramatig, mae un yn barhaus, a gall y ddau ail-lunio'r arfordir ychydig. Mae'n drosiad anarferol, efallai, ond mae'n dal at ei gilydd... fwy neu lai.

Y costau ynni cudd y mae pobl yn anghofio amdanynt 😬

Pan fydd rhywun yn amcangyfrif defnydd pŵer AI trwy edrych ar y sglodion yn unig, maen nhw fel arfer yn tangyfrif. Nid bob amser yn drychinebus, ond digon i fod o bwys. (Google Cloud, IEA)

Dyma'r darnau cudd:

Oeri ❄️

Mae gweinyddion yn cynhyrchu gwres. Mae caledwedd AI pwerus yn cynhyrchu llawer ohono. Nid yw oeri yn ddewisol. Mae pob wat a ddefnyddir gan gyfrifiadura yn tueddu i wahodd mwy o ddefnydd ynni dim ond i gadw'r tymheredd yn synhwyrol. (IEA, Google Cloud)

Symud data 🌐

Mae symud data ar draws storfa, cof a rhwydweithiau hefyd yn cymryd ynni. Nid dim ond "meddwl" yw AI. Mae hefyd yn cymysgu gwybodaeth o gwmpas yn gyson. (IEA)

Capasiti segur 💤

Nid yw systemau a adeiladwyd ar gyfer y galw brig bob amser yn rhedeg ar y galw brig. Mae seilwaith segur neu dan-ddefnydd yn dal i ddefnyddio trydan. (Google Cloud)

Diswyddedd a dibynadwyedd 🧱

Copïau wrth gefn, systemau methiant drosodd, rhanbarthau dyblyg, haenau diogelwch - i gyd yn werthfawr, i gyd yn rhan o'r darlun ynni ehangach. (IEA)

Storio 📦

Data hyfforddi, mewnosodiadau, logiau, pwyntiau gwirio, allbynnau a gynhyrchwyd - mae'r rhain i gyd yn byw yn rhywle. Mae storio yn rhatach na chyfrifiadura, yn sicr, ond nid yw am ddim o ran ynni. (IEA)

Dyma pam y cwestiwn Faint o Ynni mae Deallusrwydd Artiffisial yn ei Ddefnyddio? yn dda trwy syllu ar un siart meincnod. Mae'r pentwr llawn yn bwysig. (Google Cloud, IEA)

Pam y gall un awgrym AI fod yn fach iawn - a gall yr un nesaf fod yn anghenfil 📝➡️🎬

Nid yw pob awgrym yn gyfartal. Nid yw cais byr am ailysgrifennu brawddeg yn gymaradwy â gofyn am ddadansoddiad hir, sesiwn codio aml-gam, neu gynhyrchu delwedd cydraniad uchel. (Google Cloud)

Pethau sy'n tueddu i gynyddu'r defnydd o ynni fesul rhyngweithio:

• Ffenestri cyd-destun hirach

• Ymatebion hirach

• Camau defnyddio ac adfer offer

• Pasiadau lluosog ar gyfer rhesymu neu ddilysu

• Cynhyrchu delwedd, sain, neu fideo

• Cydamseredd uwch

• Targedau oedi is (Google Cloud, Meintoli, Batio, a Strategaethau Gweini mewn Defnydd Ynni LLM)

Gallai ateb testun ysgafn fod yn gymharol rhad. Gall llif gwaith amlfoddol enfawr fod, wel, ddim yn rhad. Mae ychydig fel archebu coffi yn erbyn arlwyo priodas. Mae'r ddau yn cyfrif fel "gwasanaeth bwyd", yn dechnegol. Nid yw un fel y llall ☕🎉

Mae hyn yn bwysig i dimau cynnyrch yn arbennig. Gall nodwedd sy'n ymddangos yn ddiniwed wrth ei defnyddio'n isel ddod yn ddrud ar raddfa fawr os yw pob sesiwn defnyddiwr yn hirach, yn gyfoethocach, ac yn fwy cyfrifiadurol-drwm. (DOE, Google Cloud)

Nid yw AI defnyddwyr ac AI menter yr un peth 🏢📱

Gallai'r person cyffredin sy'n defnyddio AI yn achlysurol gymryd yn ganiataol mai eu hanogiadau achlysurol yw'r broblem fawr. Fel arfer, nid dyna lle mae'r stori ynni brif yn byw. (Google Cloud)

Mae defnydd menter yn newid y mathemateg:

• miloedd o weithwyr

• cyd-beilotiaid bob amser ymlaen

• prosesu dogfennau awtomataidd

• crynodeb galwadau

• dadansoddi delweddau

• offer adolygu cod

• asiantau cefndir yn rhedeg yn gyson

Dyna lle mae defnydd ynni cyfanredol yn dechrau gwneud llawer o wahaniaeth. Nid oherwydd bod pob gweithred yn apocalyptaidd, ond oherwydd bod ailadrodd yn lluosydd. (DOE, IEA)

Yn fy adolygiadau profi a llif gwaith fy hun, dyma lle mae pobl yn synnu. Maen nhw'n canolbwyntio ar enw'r model, neu'r demo fflachlyd, ac yn anwybyddu'r gyfrol. Yn aml, y gyfrol yw'r gwir ysgogydd - neu'r gras achubol, yn dibynnu a ydych chi'n bilio cwsmeriaid neu'n talu'r bil cyfleustodau 😅

I ddefnyddwyr, gall yr effaith deimlo'n haniaethol. I fusnesau, mae'n dod yn goncrit yn gyflym iawn:

• biliau seilwaith mwy

• mwy o bwysau i optimeiddio

• angen cryfach am fodelau llai lle bo modd

• adrodd cynaliadwyedd mewnol

• mwy o sylw i storio data mewn storfa a llwybro (Google Cloud, Deallusrwydd Artiffisial Gwyrdd)

Sut i leihau defnydd ynni AI heb roi'r gorau i AI 🌱

Mae'r rhan hon yn bwysig oherwydd nid y nod yw "rhoi'r gorau i ddefnyddio AI". Fel arfer nid yw hynny'n realistig, ac nid yw hyd yn oed yn angenrheidiol. Defnydd gwell yw'r llwybr mwy craff.

Dyma'r liferi mwyaf:

1. Defnyddiwch y model lleiaf sy'n gwneud y gwaith

Nid oes angen yr opsiwn trwm ar bob tasg. Gall model ysgafnach ar gyfer dosbarthu neu grynhoi leihau gwastraff yn gyflym. (Deallusrwydd Artiffisial Gwyrdd, Google Cloud)

2. Byrhau awgrymiadau ac allbynnau

Llawer o amser i mewn, llawer o amser allan. Mae tocynnau ychwanegol yn golygu cyfrifiad ychwanegol. Weithiau, tocio'r awgrym yw'r ffordd hawsaf o ennill. (Strategaethau Meintoli, Swpio, a Gweini mewn Defnydd Ynni LLM, Google Cloud)

3. Storio canlyniadau ailadroddus yn y storfa

Os yw'r un ymholiad yn ymddangos yn gyson, peidiwch â'i ail-greu bob tro. Mae hyn bron yn amlwg iawn, ond mae'n cael ei fethu. (Google Cloud)

4. Swyddi swp pan fo'n bosibl

Gall rhedeg tasgau mewn sypiau wella defnydd a lleihau gwastraff. (Strategaethau Meintoli, Sypio, a Gweini mewn Defnydd Ynni LLM)

5. Llwybro tasgau'n ddeallus

Defnyddiwch fodelau mawr dim ond pan fydd hyder yn gostwng neu gymhlethdod tasgau'n cynyddu. (Deallusrwydd Artiffisial Gwyrdd, Google Cloud)

6. Optimeiddio seilwaith

Amserlennu gwell, caledwedd gwell, strategaeth oeri well - pethau rhyddiaith, gwobr enfawr. (Google Cloud, DOE)

7. Mesur cyn cymryd yn ganiataol

Mae llawer o dimau'n meddwl eu bod nhw'n gwybod i ble mae pŵer yn mynd. Yna maen nhw'n mesur, a dyna ni - mae'r rhan ddrud yn gorwedd yn rhywle arall. (Google Cloud)

Nid yw gwaith effeithlonrwydd yn hudolus. Anaml y mae'n cael cymeradwyaeth. Ond mae'n un o'r ffyrdd gorau o wneud AI yn fwy fforddiadwy ac yn fwy amddiffynadwy ar raddfa fawr 👍

Mythau cyffredin am ddefnyddio trydan AI 🚫

Gadewch i ni glirio rhai mythau oherwydd mae'r pwnc hwn yn mynd yn gymhleth yn gyflym.

Myth 1 - Mae pob ymholiad AI yn wastraffus iawn

Ddim o reidrwydd. Mae rhai yn gymedrol. Mae graddfa a math o dasg yn bwysig iawn. (Google Cloud)

Myth 2 - Hyfforddiant yw'r unig beth sy'n bwysig

Na. Gall casgliad ddominyddu dros amser pan fo'r defnydd yn enfawr. (Ymchwil Google, DOE)

Myth 3 - Mae model mwy bob amser yn golygu canlyniad gwell

Weithiau ie, weithiau ddim o gwbl. Mae digon o dasgau'n gwneud yn iawn gyda systemau llai. (Deallusrwydd Artiffisial Gwyrdd)

Myth 4 - Mae defnydd ynni yn hafal i effaith carbon yn awtomatig

Ddim yn union. Mae carbon yn dibynnu ar y ffynhonnell ynni hefyd. (IEA, Strubell et al.)

Myth 5 - Gallwch gael un rhif cyffredinol ar gyfer defnydd ynni AI

Ni allwch, o leiaf nid mewn ffurf sy'n aros yn ystyrlon. Neu gallwch, ond bydd yn cael ei gyfartaleddu cymaint fel ei fod yn peidio â bod yn werthfawr. (IEA)

Dyma pam mae gofyn Faint o Ynni mae Deallusrwydd Artiffisial yn ei Ddefnyddio? yn gall - ond dim ond os ydych chi'n barod am ateb haenog yn lle slogan.

Felly... faint o Ynni mae AI yn ei ddefnyddio, mewn gwirionedd? 🤔

Dyma'r casgliad sailol.

Defnyddiau AI:

• ychydig, ar gyfer rhai tasgau syml

• llawer mwy, ar gyfer cynhyrchu amlfoddol trwm

• swm mawr iawn, ar gyfer hyfforddiant modelu ar raddfa fawr

• swm enfawr i gyd, pan fydd miliynau o geisiadau'n cronni dros amser (Google Cloud, DOE)

Dyna ei siâp.

Y peth allweddol yw peidio â gwasgaru'r mater cyfan i mewn i un rhif brawychus neu un ysgwydd ddiystyriol. Mae defnydd ynni AI yn real. Mae'n bwysig. Gellir ei wella. A'r ffordd orau o siarad amdano yw gyda chyd-destun, nid theatrig. (IEA, Green AI)

Mae llawer o'r sgwrs gyhoeddus yn siglo rhwng eithafion - “Mae AI yn rhad ac am ddim yn y bôn” ar un ochr, “Mae AI yn apocalyps trydanol” ar y llall. Mae realiti yn fwy cyffredin, sy'n ei gwneud yn fwy addysgiadol. Mae'n broblem systemau. Caledwedd, meddalwedd, defnydd, graddfa, oeri, dewisiadau dylunio. Rhyddiol? Ychydig. Pwysig? Iawn. (IEA, Google Cloud)

Pwyntiau allweddol i'w cymryd ⚡🧾

Os daethoch chi yma yn gofyn, Faint o Ynni mae AI yn ei ddefnyddio?,dyma'r casgliad:

• Nid oes un rhif sy'n addas i bawb

• Fel arfer, hyfforddiant sy'n defnyddio'r mwyaf o egni ymlaen llaw

• Mae casgliad yn dod yn ffactor pwysig ar raddfa fawr

• Mae maint y model, y caledwedd, y llwyth gwaith a'r oeri i gyd yn bwysig

• Gall optimeiddiadau bach wneud gwahaniaeth mawr annisgwyl

• Y cwestiwn mwyaf call yw nid yn unig “faint,” ond hefyd “ar gyfer pa dasg, ar ba system, ar ba raddfa?” (IEA, Google Cloud)

Felly ie, mae AI yn defnyddio ynni go iawn. Digon i haeddu sylw. Digon i gyfiawnhau peirianneg well. Ond nid mewn ffordd gartwnaidd, un rhif.

Enghraifft o'r byd go iawn: Mesur cost ynni cynorthwyydd cymorth AI

Senario

Dychmygwch gwmni SaaS bach yn defnyddio cynorthwyydd AI i ddrafftio atebion i docynnau cymorth cwsmeriaid. Mae hwn yn enghraifft ffuglennol ond realistig, nid astudiaeth achos cwmni.

Mae'r tîm yn delio â thua 500 o docynnau cymorth bob wythnos. Mae'r rhan fwyaf yn syml: ailosod cyfrinair, cwestiynau bilio, esboniadau nodweddion, a datrys problemau sylfaenol. Nid yw'r cwmni eisiau i'r cynorthwyydd anfon atebion yn awtomatig. Mae'n drafftio atebion i asiant cymorth dynol eu hadolygu.

Nid yw'r cwestiwn ynni, “Faint mae AI yn ei ddefnyddio yn gyffredinol?” Mae'n fwy ymarferol:

“Faint o gyfrifiadura ychwanegol rydyn ni’n ei greu drwy ychwanegu deallusrwydd artiffisial at y llif gwaith hwn, ac a allwn ni ei leihau heb niweidio ansawdd?”

Beth sydd ei angen ar y cynorthwyydd

Byddai'r tîm yn dechrau gyda:

Cronfa wybodaeth canolfan gymorth lân

Rhestr o reolau ad-daliad, preifatrwydd ac uwchgyfeirio cymeradwy

20-30 enghraifft o atebion cefnogaeth gref yn y gorffennol

Cyfarwyddyd clir y mae'n rhaid i'r cynorthwyydd ei ddrafftio, nid ei anfon

Logiau defnydd cwmwl neu logiau defnydd API model

Taenlen syml i olrhain math o docyn, hyd yr anogwr, hyd yr allbwn, amser adolygu, ac a gafodd yr ateb ei dderbyn

Y peth pwysig yw mesur. Heb logiau, dim ond dyfalu mae'r tîm.

Cyfarwyddyd enghreifftiol

Rydych chi'n gynorthwyydd drafftio cymorth ar gyfer cynnyrch SaaS. Defnyddiwch gynnwys a nodiadau polisi cymeradwy'r ganolfan gymorth yn unig. Drafftiwch ateb clir a chwrtais mewn llai na 180 o eiriau. Os yw'r cwsmer yn gofyn am ad-daliad, dileu cyfrif, cyngor cyfreithiol, manylion diogelwch, neu unrhyw beth nad yw wedi'i gynnwys yn y dogfennau, peidiwch ag ateb yn uniongyrchol. Nodwch ef ar gyfer adolygiad dynol ac esboniwch pa wybodaeth sydd ar goll.

Cyn ysgrifennu'r ateb, dosbarthwch y tocyn fel: syml, sensitif i bolisi, technegol, neu angen uwchgyfeirio.

Sut i'w brofi

Gallai'r tîm brofi'r cynorthwyydd ar 50 o docynnau blaenorol cyn ei ddefnyddio'n fyw.

Gallai set brawf syml gynnwys:

10 tocyn cyfrinair neu fewngofnodi

10 tocyn bilio

10 tocyn datrys problemau technegol

10 neges cwsmer amwys neu anghyflawn

10 tocyn sensitif i bolisi sy'n ymwneud ag ad-daliadau, preifatrwydd, neu gau cyfrif

Ar gyfer pob tocyn, dylai'r tîm gofnodi:

A oedd y drafft yn gywir yn ffeithiol?

A ddefnyddiodd wybodaeth gymeradwy yn unig?

A arhosodd o dan y terfyn geiriau?

A wnaeth nodi achosion sensitif yn gywir?

Pa mor hir dreuliodd yr asiant dynol yn ei olygu?

Faint o docynnau neu geisiadau a ddefnyddiodd y llif gwaith?

Mae hyn yn rhoi rhywbeth pendant i'r tîm i'w gymharu yn lle dibynnu ar dybiaethau.

Canlyniad

Canlyniad darluniadol: Yn seiliedig ar amseru 50 o docynnau sampl cyn ac ar ôl defnyddio'r llif gwaith, mae'r tîm yn amcangyfrif bod yr amser drafft cyntaf cyfartalog yn gostwng o 6 munud y tocyn i 2 funud y tocyn.

Am 500 o docynnau'r wythnos, mae hynny'n arbed tua 2,000 o funudau, neu tua 33 awr o amser drafftio.

Ond mae'r logiau hefyd yn dangos rhywbeth gwerthfawr: mae 38% o docynnau yn ailadroddiadau syml. Drwy storio atebion cymeradwy ar gyfer y cwestiynau ailadroddus hyn yn lle ailgynhyrchu pob drafft o'r dechrau, mae'r tîm yn lleihau ceisiadau AI o 500 yr wythnos i 310 yr wythnos.

Mae hynny'n ostyngiad o 38% mewn galwadau casgliad wythnosol ar gyfer y llif gwaith hwn, heb gael gwared ar y nodwedd AI.

Gall y tîm wirio hyn drwy gymharu:

Cyfanswm y ceisiadau AI wythnosol cyn ac ar ôl storio yn y storfa

Hyd cyfartalog yr anogwr a'r allbwn

Cyfradd derbyniad dynol

Nifer yr uwchgyfeiriadau a ddaliwyd yn gywir

Sgoriau ansawdd cymorth neu gyfrifon adolygu

Byddai'r union arbediad trydan yn dal i ddibynnu ar y model, y caledwedd, y darparwr a'r seilwaith. Ond mae'r gostyngiad yn y llwyth gwaith ei hun yn fesuradwy.

Beth all fynd o'i le

Gall y cynorthwyydd or-ateb cwestiynau polisi os yw'r rheolau uwchgyfeirio yn amwys.

Gall dogfennau canolfan gymorth hir chwyddo hyd yr anogwr os yw'r drefniant adfer wedi'i strwythuro'n wael.

Gall asiantau ymddiried mewn drafftiau rhugl yn rhy gyflym a cholli gwallau cynnil.

Gall storio mewn storfa ddod yn beryglus os yw hen bolisïau ad-daliad, prisio neu breifatrwydd yn parhau mewn cylchrediad.

Efallai y bydd y tîm yn optimeiddio ar gyfer llai o docynnau wrth gynhyrchu atebion llai defnyddiol ar ddamwain.

Mae'r fersiwn fwyaf diogel yn cadw bodau dynol yn y ddolen, yn mesur atebion a dderbynnir, ac yn adolygu ymatebion sydd wedi'u storio yn y storfa pryd bynnag y bydd polisïau'n newid.

Tecawê ymarferol

Mae amcangyfrif ynni AI cadarn yn dechrau gyda llif gwaith pendant. Cyfrifwch y ceisiadau, byrhewch yr awgrymiadau, storiwch atebion ailadroddus yn y storfa, a mesurwch ansawdd yr adolygiadau. Mae hynny'n troi "Faint o ynni mae AI yn ei ddefnyddio?" o ddadl amwys yn gwestiwn peirianneg ymarferol gyda niferoedd y gall tîm eu gwella'n ymarferol.

Cwestiynau Cyffredin

Faint o ynni mae AI yn ei ddefnyddio ar gyfer un awgrym?

Nid oes rhif cyffredinol ar gyfer un awgrym, oherwydd bod y defnydd o ynni yn dibynnu ar y model, y caledwedd, hyd yr awgrym, hyd yr allbwn, ac unrhyw ddefnydd o offer ychwanegol sy'n gysylltiedig. Gall ymateb testun byr fod yn gymharol gymedrol, tra gall tasg aml-foddol hir ddefnyddio llawer mwy. Nid un ffigur pennawd yw'r ateb mwyaf ystyrlon, ond y cyd-destun sy'n amgylchynu'r dasg.

Pam mae amcangyfrifon o ddefnydd pŵer AI yn amrywio cymaint?

Mae amcangyfrifon yn amrywio oherwydd bod pobl yn aml yn cymharu pethau gwahanol iawn o dan yr un label AI. Gall un amcangyfrif ddisgrifio ateb sgwrsbot ysgafn, tra gall un arall gwmpasu cynhyrchu delweddau, fideo, neu hyfforddiant model ar raddfa fawr. Er mwyn i amcangyfrif fod yn ystyrlon, mae angen cyd-destun arno fel math o dasg, maint model, caledwedd, defnydd, oeri, a lleoliad.

Ai hyfforddi AI neu redeg AI o ddydd i ddydd yw'r gost ynni fwyaf?

Fel arfer, hyfforddiant yw'r digwyddiad ynni mawr ymlaen llaw, oherwydd gall gynnwys llawer o sglodion yn rhedeg am gyfnodau hir ar draws setiau data enfawr. Casgliad yw'r gost barhaus sy'n ymddangos bob tro y mae defnyddwyr yn anfon ceisiadau, ac ar raddfa fawr gall hefyd ddod yn fawr iawn. Yn ymarferol, mae'r ddau yn bwysig, er eu bod yn bwysig mewn gwahanol ffyrdd.

Beth sy'n gwneud un cais AI yn llawer mwy dwys o ran ynni nag un arall?

Mae ffenestri cyd-destun hirach, allbynnau hirach, pasiau rhesymu dro ar ôl tro, galwadau offer, camau adfer, a chynhyrchu amlfoddol i gyd yn tueddu i gynyddu'r defnydd o ynni fesul rhyngweithio. Mae targedau oedi yn bwysig hefyd, oherwydd gall gofynion ymateb cyflymach leihau effeithlonrwydd. Nid yw cais ailysgrifennu bach a llif gwaith codio neu ddelwedd hir yn gymharol.

Pa gostau ynni cudd y mae pobl yn eu colli wrth ofyn faint o ynni y mae AI yn ei ddefnyddio?

Mae llawer o bobl yn canolbwyntio ar y sglodion yn unig, ond mae hynny'n anwybyddu oeri, symud data, storio, capasiti segur, a systemau dibynadwyedd fel copïau wrth gefn neu ranbarthau methiant drosodd. Gall yr haenau ategol hyn newid yr ôl troed cyfan yn sylweddol. Dyna pam anaml y mae meincnod ar ei ben ei hun yn dal y darlun ynni llawn.

A yw model AI mwy bob amser yn defnyddio mwy o ynni?

Mae modelau mwy fel arfer angen mwy o gyfrifiadura a chof, yn enwedig ar gyfer allbynnau hir neu gymhleth, felly maent yn aml yn defnyddio mwy o ynni. Ond nid yw mwy yn golygu'n well ar gyfer pob swydd o reidrwydd, a gall optimeiddio newid y darlun yn sylweddol. Gall modelau arbenigol llai, meintioli, swpio, storio dros dro, a llwybro mwy craff i gyd wella effeithlonrwydd.

Ai defnydd deallusrwydd artiffisial defnyddwyr yw'r brif broblem ynni, neu ai deallusrwydd artiffisial mentrau yw'r broblem fwy?

Gall defnydd defnyddwyr achlysurol gynyddu, ond mae'r stori ynni ehangach yn aml yn ymddangos mewn lleoliadau menter. Mae cyd-beilotiaid sydd bob amser ymlaen, prosesu dogfennau, crynhoi galwadau, adolygu cod, ac asiantau cefndir yn creu galw dro ar ôl tro ar draws seiliau defnyddwyr mawr. Fel arfer, mae'r broblem yn ymwneud llai ag un weithred ddramatig a mwy â chyfaint cynaliadwy dros amser.

Faint o ynni mae AI yn ei ddefnyddio pan fyddwch chi'n cynnwys canolfannau data ac oeri?

Unwaith y bydd y system ehangach wedi'i chynnwys, mae'r ateb yn dod yn fwy realistig ac fel arfer mae'n fwy nag yr hyn a awgrymir gan amcangyfrifon sglodion yn unig. Mae angen pŵer ar ganolfannau data nid yn unig ar gyfer cyfrifiadura, ond hefyd ar gyfer oeri, rhwydweithio, storio a chynnal capasiti sbâr. Dyna pam mae dylunio seilwaith ac effeithlonrwydd cyfleusterau bron yr un mor bwysig â dylunio modelau.

Beth yw'r ffordd fwyaf ymarferol o fesur defnydd ynni AI mewn llif gwaith go iawn?

Mae'r dull gorau yn dibynnu ar bwy sy'n mesur ac at ba ddiben. Gall rheol gyffredinol fras helpu gyda chymhariaethau cyflym, tra bod mesuryddion wat, telemetreg GPU, logiau bilio cwmwl, ac adrodd ar ganolfannau data yn darparu mewnwelediad gweithredol sy'n raddol gryfach. Ar gyfer gwaith cynaliadwyedd difrifol, mae golwg cylch bywyd mwy cyflawn yn gryfach fyth, er ei fod yn arafach ac yn fwy heriol.

Sut gall timau leihau'r defnydd o ynni AI heb roi'r gorau i nodweddion AI defnyddiol?

Fel arfer, daw'r enillion mwyaf o ddefnyddio'r model lleiaf sy'n dal i wneud y gwaith, byrhau awgrymiadau ac allbynnau, storio canlyniadau ailadroddus mewn storfa, swpio gwaith, a llwybro tasgau anoddach yn unig i fodelau mwy. Mae optimeiddio seilwaith yn bwysig hefyd, yn enwedig amserlennu ac effeithlonrwydd caledwedd. Mewn llawer o biblinellau, mae mesur yn gyntaf yn helpu i atal timau rhag optimeiddio'r peth anghywir.

Cyfeiriadau

1. Asiantaeth Ynni Ryngwladol (IEA) - Galw am ynni o AI - iea.org

2. Adran Ynni'r Unol Daleithiau (DOE) - Mae'r DOE yn cyhoeddi adroddiad newydd yn gwerthuso'r cynnydd yn y galw am drydan mewn canolfannau data - energy.gov

3. Google Cloud - Mesur effaith amgylcheddol casgliad AI - cloud.google.com

4. Ymchwil Google - Newyddion da am ôl troed carbon hyfforddiant dysgu peirianyddol - research.google

5. Ymchwil Google - Bydd ôl troed carbon hyfforddiant dysgu peirianyddol yn lefelu ac yna'n lleihau - research.google

6. arXiv - Deallusrwydd Artiffisial Gwyrdd - arxiv.org

7. arXiv — Strubell et al. - arxiv.org

8. arXiv - Strategaethau Cwanteiddio, Batio, a Gweini mewn Defnydd Ynni LLM - arxiv.org

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni