Beth yw Canolfan Ddata Deallusrwydd Artiffisial? [Fideo a Chwis]

Yr ateb byr: Mae canolfan ddata AI yn dwysedd uchel lle mae pŵer, oeri, ffabrig a storfa wedi'u plygu o amgylch modelau hyfforddi a gweini, nid ystafell weinyddion gyda GPUs ychwanegol. Y sglodion sy'n cael yr enwogrwydd; yr adeilad sy'n penderfynu a ydynt yn gweithio. Os na all y delweddau adael, ôl-osodwch gell fach; dylai'r rhan fwyaf o dimau rentu.

Prif bethau i'w cymryd:

Sglodion yn erbyn adeiladu: Pŵer, oeri, ffabrig a storio sy'n penderfynu a yw'r cyflymyddion yn gweithio.

Lleoedd nid palasau: Ôl-osod dau rac pan na all data adael; peidiwch â phrynu campws.

Cymedr vs canolrif: Ar wyth rhediad, mae'r canolrif hid yn ailgychwyn; defnyddiwch y cymedr 18 awr.

Gwrthwynebiad camddefnydd: Peidiwch â dyfynnu PUE ar gyfer dau rac mewn neuadd gymysg.

Canlyniadau darluniadol: Mae wyth rhediad yn fap bach, nid arbediad cynhyrchu o 50%.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 A yw AI yn ddibynadwy? Fideo a chwis
Archwiliwch ddibynadwyedd AI trwy fideo deniadol a chwis rhyngweithiol.

🔗 Sut i ddefnyddio AI ym mywyd beunyddiol
Darganfyddwch ffyrdd ymarferol y gall AI symleiddio tasgau ac arferion bob dydd.

🔗 Sut i ddefnyddio AI yn y gwaith
Dysgwch ffyrdd ymarferol o ddefnyddio AI ar gyfer cynhyrchiant mwy craff yn y gweithle.

🔗 A all deallusrwydd artiffisial feddwl drosto'i hun?
Deall a all deallusrwydd artiffisial feddwl yn annibynnol neu resymu'n wirioneddol.

Sut mae'n wahanol i ganolfan ddata "normal"

Mae neuaddau traddodiadol yn optimeiddio ar gyfer llwythi gwaith cymysg ac amser gweithredu ar draws llawer o wasanaethau bach. Rydych chi'n poeni am ddiswyddiad, yn sicr, ac am PUE fel cysyniad - ynni ychwanegol y mae'r adeilad yn ei losgi i ddarparu wat o gyfrifiadura. Nid ydych chi, fel arfer, yn dylunio pob coridor o amgylch rac sy'n ymddwyn fel fferm gwresogydd cludadwy.

Mae safleoedd AI yn troi'r cymhareb. Mae dwysedd yn cynyddu. Mae'r rhwydwaith yn dod yn ffabrig na all y swydd hyfforddi lithro hebddo. Mae'n rhaid i storfa gadw pwyntiau gwirio i symud neu mae cyflymyddion yn aros yn segur, fel ceffylau rasio mewn tagfa draffig.

Mae gwahaniaeth diwylliannol hefyd. Mae gweithredwyr menter yn meddwl mewn tocynnau a ffenestri newid. Mae gweithredwyr AI yn meddwl mewn ciwiau swyddi a'r teimlad sâl pan fydd nod yn marw'n hwyr mewn rhediad hir. Mae'n debyg y gallech chi dal alw'r ddau yn "ganolfannau data" oherwydd eu bod nhw. Mae'r label yn cuddio'r plymio yn unig.

Nid graddio moesol. Peiriannau gwahanol, yr un enw teulu.

GPUs, cyflymyddion, a'r rac sy'n bwyta pŵer

Cerddwch lawr traddodiadol wedi'i godi ac mae'r rheseli'n edrych bron yn gwrtais. Cerddwch res AI ac maen nhw'n edrych fel eu bod nhw eisiau llyncu'r adeilad.

Nid CPU clyfar yw'r caledwedd sy'n sefyll allan. Dyma hambwrdd y cyflymydd: GPUs neu sglodion AI eraill, wedi'u pacio i mewn i weinyddion, yna raciau, yna rhesi sy'n rhannu ffabrig lled band uchel. Mae rhyng-gysylltu GPUs yn gwnïo sglodion i mewn i rywbeth a all esgus bod yn un cyflymydd enfawr; mae ffabrig y clwstwr yn gwneud yr un tric ar raddfa rhes. Dim ond os yw'r cysylltiadau hynny'n aros yn dew ac yn rhagweladwy y mae hyfforddiant cyfochrog yn gweithio. Colli hynny a'ch "clwstwr" yw pentwr o orsafoedd gwaith drud sy'n rhannu cod post.

Mae pŵer yn dilyn y sglodion. Nid PDU swyddfa drwchus. Llwyth megawat o TG unwaith y bydd neuadd yn llenwi - wna i ddim dyfeisio rhif. Dwysedd fesul rac yw tro'r stori. Llai o raciau. Pob un yn ffwrnais fach. Yn aml, yr is-orsaf yw'r ffactor sy'n cyfyngu, nid rhestr ddymuniadau'r GPUs. Rydych chi'n gwybod sut mae hi: mae caffael eisiau mwy o gyflymyddion; mae'r cyfleustodau eisiau sgwrs hir a siec fawr iawn.

Un metaffor braidd yn wirion na allaf ei ysgwyd: mae'r rac yn anifail llwglyd. Gallwch chi fridio un cyflymach. Mae'n rhaid i chi ei fwydo o hyd, ac mae'n rhaid i chi faw'r gwres o hyd. Os na fyddwch chi'n gwneud hynny, bydd yn bwysau papur costus iawn.

Pŵer, gwres, a'r broblem oeri

Trydan i mewn. Gwres allan. Dyna'r grefydd gyfan.

Mae rheseli dwysedd uchel yn gollwng gwres mewn ffordd na ofynnwyd i aer ei drin erioed mewn gwirionedd. Gallwch chi wthio aer yn galetach - cyfnewidwyr gwres drws cefn, eiliau poethach, cynnwys clyfar - ac mae hynny'n gweithio hyd at ryw bwynt. Yna mae hylif yn ymddangos:

• Oeri uniongyrchol i sglodion

• Dolenni oerydd sy'n gwneud i'r ystafell blanhigion edrych fel gwaith cemegol

• Trochi mewn ychydig o ddyluniadau, sy'n dal i synnu pobl sy'n meddwl na ddylai dŵr a gweinyddwyr rannu brawddeg

Does dim o hyn yn hudolus. Y cynnyrch yw'r cyfan, oherwydd mae cyflymydd sy'n sbarduno yn un rydych chi eisoes wedi talu amdano ac na allwch chi ei ddefnyddio'n llawn.

Mae PUE yn dal i fod yn bwysig. Mae'n gymhareb, nid personoliaeth. Mae gweithredwyr yn ei erlid oherwydd bod pob wat sy'n cael ei wario ar gefnogwyr a phympiau yn wat nad aeth i GPU. Ni fyddaf yn dyfynnu ffigur "nodweddiadol"; mae hinsawdd a sut rydych chi'n llunio'r ffin yn ei symud, ac mae cywirdeb ffug yn waeth na dim. Mae dŵr yn rhan o'r stori hefyd. Mae rhai planhigion yn sipian. Mae rhai'n llyncu. oeri anweddol yn effeithlon nes bod yr afon neu sychder yn ei wneud yn wleidyddol.

Rhwydweithio: pam mae'r ffabrig yr un mor bwysig â'r sglodion

Mae pobl yn tynnu lluniau o'r GPUs. Dylen nhw dynnu lluniau o'r switshis.

Mae hyfforddiant yn sgwrs. ​​Miloedd o gyflymyddion yn cyfnewid graddiannau, paramedrau, darnau o fodel, mewn cydamseriad tynn. Os yw'r ffabrig yn crynu, mae'r gwaith cyfan yn aros ar y hop arafaf. Dyna pam mae neuaddau AI yn obsesu dros rwydweithio lled band uchel, latency isel, a thopolegau nad ydynt yn plygu yn eu hanner pan fydd cyswllt yn methu. Ffabrigau tebyg i InfiniBand, Ethernet yn yr un rôl, rhyng-gysylltiadau GPU y tu mewn i'r blwch, ceblau y mae'n rhaid iddynt fod yn iawn y tro cyntaf.

Mae casgliad yn sgwrs wahanol. Mae gweini modelau yn poeni am oedi cynffon - yr ateb araf, nid yr un cyffredin. Mae swp vs amser real yn hollti'r bersonoliaeth. Mae clwstwr hyfforddi eisiau symudiad brasterog, cyfunol, o bawb i bawb. Mae fflyd sy'n gweini eisiau llawer o geisiadau llai ac ynysu, heb dagfeydd traffig wrth y cydbwysydd llwyth.

Y golled, tra byddaf i yma: mae pobl yn trin y rhwydwaith fel plymio a'r sglodion fel y bwyty. Yn yr adeilad hwn, y plymio yw'r bwyty. Colli hynny a phrynu cegin na all dderbyn danfoniad.

Hyfforddiant vs casgliad: dau adeilad, weithiau'n llythrennol

Mae hyfforddiant yn ymgyrch. Rydych chi'n llunio clwstwr, yn ei fwydo â data, yn gwirio'n gyson, yn rhedeg am oriau neu wythnosau, ac yn gweddïo y bydd y ffabrig yn aros yn ddi-drafferth. Yn drwm ar swp, yn llwglyd am led band, yn amyneddgar yn dawel - nes bod nod aflwyddiannus yn cymryd brathiad allan o'r rhediad. Gall un cyflymydd marw mewn swydd sydd wedi'i chyplysu'n dynn oedi'r corws cyfan.

Mae casgliad yn siop flaen. Modelau sydd eisoes wedi'u hyfforddi, bellach yn ateb cwestiynau, yn dosbarthu delweddau, yn cynhyrchu testun. Mae oedi yn bwysig. Gall cyflymydd ychydig yn hŷn ger y cwsmer guro un hudolus gyfandir i ffwrdd.

Felly rydych chi'n cael rhaniad. Mae campysau hyfforddi yn mynd ar ôl pŵer, tir, a dwysedd. Mae safleoedd casgliad yn mynd ar ôl latency a phresenoldeb. Mae neuaddau hybrid yn bodoli hefyd, oherwydd nid yw cyfalaf yn ddiddiwedd. Wel - nid bob amser dau adeilad. Weithiau un neuadd gyda rhaff felfed a dau ddolen oeri.

Dyma hefyd lle mae cydleoli, campysau hypergrade, a fforch on-prem. Mae hypergradewyr yn adeiladu ar raddfeydd sy'n gwneud i'r gweddill ohonom edrych fel ein bod ni'n trefnu dodrefn. Mae colos yn gwerthu dwysedd fesul rac. Mae on-prem yn dal i ddigwydd pan na all data adael.

Trwybwn storio, pwyntiau gwirio, a sglodion llwglyd

Does neb yn rhoi'r system ffeiliau gyfochrog ar glawr y llyfryn.

Rhaid i ddata hyfforddi gyrraedd yn ddigon cyflym fel nad yw GPUs yn tapio eu traed. Rhaid i bwyntiau gwirio lanio fel nad yw damwain yn taflu wythnos i ffwrdd. Rhaid i bwysau model lwytho cyn bod replica gweini yn fyw. Trwybwn storio - nid capasiti yn unig - yw'r tagfa dawel. Gallwch wario ffortiwn ar gyflymyddion a'u llwgu gyda arae cwrtais wedi'i gynllunio ar gyfer peiriannau rhithwir.

Mae'r patrwm yn gyfarwydd: clwstwr sgleiniog, ciw swyddi, ac aros mewnbwn/allbwn yn syllu'n ôl fel anfoneb anghwrtais. Clystyru cyfrifiadura heb glystyru'r llwybr data yw sut rydych chi'n cael segur drud iawn. Cadwch y sglodion wedi'u bwydo neu cyfaddefwch eich bod wedi prynu cerflun.

Meddalwedd, cerddorfa, a'r haen weithrediadau ddi-nod

Caledwedd yw'r enwog. Mae amserlenwyr yn gwneud y gwaith.

Mae canolfan ddata AI yn ddiwerth os na all swyddi ddod o hyd i GPUs, os na all dau dîm rannu clwstwr heb ymladd, os na ellir disodli rheng aflwyddiannus, os yw cadarnwedd yn symud nes bod y ffabrig yn methu mewn symudiad araf. Cerddorfa, arsylladwyedd, capio pŵer - yr haen weithrediadau ddi-nod, sef sut rydych chi'n gwybod ei bod hi'n bwysig.

Mae gen i hoffter o'r haen hon. Hefyd, lle mae NIC sydd wedi'i gamffurfweddu yn dynwared problem oeri am brynhawn cyfan... rydych chi'n darganfod hynny'n anodd.

Pan fydd nod yn marw yng nghanol rhediad

Mae nod yn marw. Mae ffenestri newid yn dal i wrthdaro â rhediadau hyfforddi nad ydynt yn poeni am eich calendr. Rydych chi'n trefnu swyddi mawr mewn grwpiau, yn ffensio pyllau casglu, yn ysgrifennu llyfrau rhedeg ar gyfer methiannau sy'n edrych fel "mae'r swydd yn araf" nes eu bod nhw'n edrych fel "mae'r swydd wedi marw." Mae diswyddiad yn dal i fod yn bwysig - pŵer, oeri, llwybrau, storio - ond mae'r modd methiant yn llai taclus na'r hen sleid naw-o-amser-ymlaen. Casgliad: replica, draenio'r nod sâl, daliwch ati i ateb. Mae hyfforddiant eisiau pwyntiau gwirio, nid optimistiaeth.

Lleoliad, dŵr, grid, a chymdogion

Dydych chi ddim yn gollwng un o'r rhain wrth ymyl bwthyn er mwyn yr olygfa.

Yn aml, cysylltiad â'r grid yw'r broses wirioneddol o ddewis safle. Mae tir yn hawdd o'i gymharu ag is-orsaf a chyfleustodau sydd â chwsmeriaid eraill. Mae dŵr ar gyfer oeri, os ydych chi'n ei ddefnyddio, yn dod yn broblem i gymdogion cyn gynted ag y bydd glawiad anarferol. Sŵn. Maint gweledol. Gwres wrth ffens ffin. Mae pwyllgorau cynllunio yn darganfod barn am "y cwmwl" y foment y mae angen cae ac afon arno.

Mae oedi yn tynnu'r ffordd arall. Mae casgliad yn hoffi bod yn agos at ddefnyddwyr a rhyng-gysylltiadau. Gall hyfforddiant guddio mewn marchnadoedd pŵer rhatach a hinsoddau oerach. Mae'r diwydiant yn siarad fel pe bai un safle perffaith. Nid oes. Mae cyfaddawd gyda datganiad i'r wasg.

Gwres dros ben a'r ffwrnais ddiwahoddiad

Mae llyfrynnau wrth eu bodd â'r darn yma. Pibellwch y gwres gwastraff i gartrefi, pyllau, tai gwydr; mae'n frawddeg hyfryd. Weithiau mae dolen y dosbarth yn ddilys. Weithiau mae'r campws yn y lle anghywir ac mae'r gwres yn dal i fynd i'r awyr. Rwy'n amheus o fersiwn y llyfryn; dydw i ddim yn amheus o'r ffiseg.

Pwy sydd angen un (a phwy ddylai rentu yn lle)

Nid oes angen i'r rhan fwyaf o bobl fod yn berchen ar un o'r neuaddau hyn.

Y rhestr ddi-flewyn-ar-dafod:

• Hypergradewyr, oherwydd mai'r cynnyrch yw'r fflyd

• Labordai, pan fo amser ciw yn rhwystr, neu pan na all data adael

• Gall banc, grŵp ysbyty, llywodraeth, neu wneuthurwr gyda set ddata gyfrinachol - ar y safle neu mewn cawell colo preifat - fod yn rhesymol, hyd yn oed os yw'n ffŵl

Dylai pawb arall rentu. Cydleoli gyda dwysedd parod ar gyfer deallusrwydd artiffisial. Archeb cwmwl. Clwstwr wedi'i reoli. Rydych chi'n cael y cyflymyddion heb ddod yn weithredwr gorsaf bŵer hefyd. Mae'r rhamant yn pylu'r tro cyntaf i rywun ofyn pwy sydd ar alwad ar gyfer y ddolen oerydd am 3 y bore.

Mae yna beth balchder, rhaid i mi gyfaddef. Mae bod yn berchen ar y clwstwr yn teimlo fel bod yn berchen ar y modd o ragweld. Yna mae'r anfoneb drydan yn cyrraedd, ac mae'r balchder yn eistedd i lawr.

Beth yw pwrpas yr adeilad

Felly, beth yw Canolfan Ddata AI? Campws arbenigol, dwysedd uchel lle mae cyflymyddion, pŵer, oeri, ffabrig a storio wedi'u trefnu o amgylch modelau hyfforddi a gweini - nid TG pwrpas cyffredinol gyda GPU yn y gornel. Mae'n edrych fel warws. Mae'n ymddwyn fel gorsaf bŵer sy'n gwneud mathemateg.

Os nad ydych chi'n cofio dim byd arall: y sglodion sy'n cael yr enwogrwydd; yr is-orsaf, yr oerydd, a'r rhwydwaith sy'n penderfynu a oedd y sglodion hynny'n syniad da. Gall hyfforddiant a chasgliadau rannu to; maen nhw'n dal i fod eisiau gwahanol arferion. Dylai'r rhan fwyaf o sefydliadau rentu. Dylai ychydig adeiladu. Bydd cymdogion yn sylwi beth bynnag.

Roedd gan y cwmwl adeilad erioed. Y dyddiau hyn mae gan yr adeilad farn.

Enghraifft o'r byd go iawn: Cell hyfforddi dwy rac pan na all y delweddau adael

Senario

Tomos yw arweinydd seilwaith yn Kestrel Precision, gwneuthurwr 400 o bobl yng Ngorllewin Canolbarth Lloegr. Mae ganddyn nhw neuadd fach ar y safle eisoes: ERP, rhannu ffeiliau, peiriannau rhithwir, y gymdogaeth gymysg y dechreuodd yr erthygl hon gyda hi. Oeri aer. Ethernet cyffredin. SAN sy'n berffaith gwrtais ar gyfer disgiau swyddfa.

Mae angen i'r tîm gweledigaeth beiriannol hyfforddi model arolygu ar ddelweddau llonydd ffatri. Ni all y delweddau llonydd adael y safle. Maent yn dangos proses na fydd y cwmni'n ei rhoi ar ddisg cwmwl, hyd yn oed un breifat. Datrysiad Caffael yw pedwar gweinydd cyflymydd deuol a sleid o'r enw "ein canolfan ddata AI". Mae'r gweinyddion yn mynd i mewn i ddau rac presennol, oherwydd bod lle, ac roedd lle yn teimlo fel y cyfyngiad.

Nid yw. O fewn pythefnos mae'r GPUs yn swnio'n brysur ac yna'n baglu'n dawel. Mae swyddi'n cropian pan fydd pwynt gwirio yn taro'r SAN. Mae nod yn marw am awr un ar ddeg ac mae'r rhediad wedi mynd... i ffwrdd. Nid yw Tomos wedi methu â phrynu sglodion. Mae wedi prynu pentwr o orsafoedd gwaith drud yn rhannu cod post. Roedd yr adeilad yn dal i fod yn neuadd fenter.

Nid oes angen campws, is-orsaf newydd, nac afon arnyn nhw. Mae angen cell fach arnyn nhw sy'n ymddwyn fel canolfan ddata AI mewn mân-lun: pŵer y gall y rheseli ei ddal mewn gwirionedd, gwres sy'n gadael heb goginio'r sglodion, ffabrig y gall y swydd hyfforddi siarad drosto, storfa a all gymryd pwynt gwirio, a llyfr rhedeg ar gyfer pan fydd nod yn marw. Gan na all y delweddau adael, nid rhentu cawell colo ddeugain munud i ffwrdd yw'r ateb. Mae ôl-osod dau rac yn ateb.

Yr hyn sydd ei angen ar y gell

• Cyllideb pŵer wedi'i mesur ar y rhes honno, o'r PDUs, nid o restr ddymuniadau'r GPU. Os na all y capasiti sbâr fwydo'r pedwar gweinydd ar y llwyth hyfforddi, mae'r sgwrs yn dod i ben yno ac maen nhw'n edrych ar liw dwysach, nid gwyrth

• Ni ofynnwyd erioed i oeri'r aer ymdrin ag ef ar y dwysedd hwn: cyfnewidwyr gwres drws cefn os gall y neuadd eu cymryd, neu ddolen hylif fach os gall gymryd hynny yn lle. Os nad yw'r naill na'r llall, ni fydd y gweinyddion yn mynd i mewn

• Ffabrig lled band uchel pwrpasol rhwng y pedwar nod, nid Ethernet y swyddfa. Os mai dim ond switsh 10 Gb sydd gan y gwerthwr yn y catalog, nid yw hynny'n glwstwr

• Storio cyflym lleol ar gyfer pwyntiau gwirio a darnau hyfforddi, nid y VM SAN

• Amserlennwr, cyfnod pwynt gwirio, a llwybr ailgychwyn ysgrifenedig. Caledwedd yw'r enwogrwydd. Yr haen hon yw'r swydd

• Blwch casglu wedi'i ffensio ar gyfer llinell y ffatri, ar wahân i'r sgwrs hyfforddi, oherwydd bod y gweini eisiau hwyrni cynffon ac ynysu, nid cyfunol

• Caniatâd i gofnodi pŵer, clociau GPU, digwyddiadau sbardun, a chloc wal swyddi. Os na allant archwilio'r rheini, byddant yn tynnu lluniau o'r GPUs ac yn methu'r switshis

Cyfarwyddyd enghreifftiol

Mae Tomos yn rhoi hyn yn y crynodeb cyfleusterau, mewn iaith gyffredin:

Peidiwch â galw hwn yn gampws AI. Adeiladwch gell hyfforddi dau rac yn y neuadd bresennol ar gyfer pedwar gweinydd â chyflymydd deuol. Mae delweddau'r ffatri yn aros ar y safle. Llwyddiant yw: mae'r pedwar nod yn cwblhau rysáit hyfforddi-arolygu 12 cyfnod heb sbardun thermol, yn ysgrifennu pwynt gwirio mewn munudau nid degau o funudau, ac yn ailddechrau o'r pwynt gwirio hwnnw pan fyddwn yn lladd rheng yn fwriadol. Rhaid i oeri gadw'r GPUs ar eu clociau hyfforddi. Rhaid i rwydweithio fod yn ffabrig y mae'r pedwar blwch hynny'n ei rannu, nid llwybr trwy bentwr y swyddfa. Rhaid i storfa fwydo'r sglodion. Os na fydd cyfnewidwyr gwres drws cefn yn ffitio, dywedwch hynny a stopiwch. Peidiwch â dyfynnu PUE ar gyfer dau rac mewn neuadd gymysg. Byddai'r rhif hwnnw'n theatr.

Yna mae'n rhoi hyn yn y swydd hyfforddi ei hun:

Pwynt gwirio bob 30 munud i'r pwll cyflym lleol. Os yw rheng yn marw, ailgychwyn o'r pwynt gwirio cyflawn diwethaf. Peidiwch ag aros ar y SAN. Peidiwch â pharhau i hyfforddi tra bod y clociau wedi gostwng o'r gwres. Cofnodwch ef a stopiwch fel y gallwn weld y stondin.

Mae awr dda yn edrych fel hyn: pob un o'r wyth GPU ar glociau hyfforddi, ffeil wirio wedi glanio, y swydd yn dal i fod yn gyson. Mae awr wael yn edrych fel hyn: cefnogwyr ar gyflymder llawn, clociau i lawr, pwynt gwirio 2% wedi'i ysgrifennu ar ôl deg munud, a rhywun yn y swyddfa yn dweud "mae'r clwstwr ar ei draed". Nid yw i fyny yn hyfforddi.

Sut i'w brofi

Maen nhw'n ysgrifennu'r prawf cyn yr ôl-osod, sef holl bwynt peidio ag ymddiried mewn demo.

• Yr un rysáit 12 cyfnod, yr un 120,000 o luniau llonydd archwilio, wyth rhediad

• Mae'r amseru ar ffurf cloc wal i rysáit orffenedig, gan gynnwys unrhyw ailgychwyn, wedi'i fesur o gyflwyno swydd i'r pwynt gwirio olaf yn y 12fed cyfnod

• Pasio gwres: mae clociau GPU yn aros ar y targed hyfforddi ar gyfer y rhediad. Mae digwyddiad sbardun yn fethiant hyd yn oed os yw'r gwaith yn gorffen yn y pen draw

• Pas ar storio: amser ysgrifennu pwynt gwirio, canolrif a gwaethaf, o log y swydd

• Pasio ffabrig: nid yw'r gwaith yn aros ar y cyd tra bo rheng yn iach. Os na allant weld yr aros hwnnw, nid yw'r offeryniaeth wedi'i gwneud

• Mae dau o'r wyth rhediad yn cael rheng wedi'i ladd mewn cam sefydlog, yn fwriadol, i brofi'r llwybr ailgychwyn

• Mae casgliad yn brawf 200 delwedd ar wahân o linell y ffatri i'r blwch gweini wedi'i ffensio. Nid yw llwyddiant hyfforddi yn cyfrif fel llwyddiant gweini

• Maen nhw'n cofnodi pŵer rac o'r PDUs mewn samplau 15 munud felly does dim rhaid i neb ddyfeisio megawat

Derbyniad am alw'r gell yn "BAROD AR-DDALL": mae 8 o 8 rysáit yn gorffen; mae 0 o 8 yn dangos sbardun thermol; mae'r ddau rediad a laddwyd yn ailddechrau; mae'r pwyntiau gwirio yn aros am funudau. Os ydyn nhw'n methu hynny, mae ganddyn nhw ystafell weinyddion o hyd gyda chardiau graffeg ffansi.

Canlyniad

Canlyniad darluniadol, o brawf wyth rhediad ffug, nid ffigur Kestrel cyhoeddedig.

Rhagdybiaethau: pedwar gweinydd cyflymydd deuol mewn dau rac; un model arolygu; 120,000 o luniau llonydd; wyth rhediad o rysáit 12 cyfnod sefydlog; mae cloc wal yn cynnwys ailgychwyniadau nes bod y rysáit wedi gorffen; mae sbardun yn golygu gostyngiad wedi'i gofnodi oddi ar y cloc hyfforddi; amser y pwynt gwirio yw'r ysgrifennu, nid y dymuniad; pŵer rac yw samplau PDU, nid PUE campws.

Cyn yr ôl-osod, GPUs mewn raciau cyffredin wedi'u hoeri ag aer ar Ethernet y swyddfa a'r VM SAN:

• Gorffennwyd 5 o 8 rhediad ar yr ymgais gyntaf. Cloc wal canolrifol ymhlith y pum hynny: 14 awr

• Bu’n rhaid i 3 o 8 ailgychwyn ar ôl stopio tua awr 11 (dau ar ôl i nod farw gyda phwynt gwirio hen, un ar ôl i bwynt gwirio lenwi’r SAN). Ail-geisio ar unwaith, dim aros dros nos yn y cloc: 11 awr wedi’u gwastraffu ynghyd ag ail ymgais o 14 awr, neu 25 awr i rysáit orffenedig ar y tri hynny

• Amser cymedrig i rysáit orffen ar draws yr wyth, gan gynnwys ailgychwyniadau: 18 awr. (Pump am 14, tri am 25. Mae canolrif yr wyth yn dal i fod yn 14, a fyddai'n cuddio'r ailgychwyniadau. Dyna pam mai'r cymedr yw'r llinell sylfaen yma.)

• Sbardun thermol wedi mewngofnodi ar 7 o 8 rhediad. Amser canolrifol ar gloc wedi'i leihau: 3 awr mewn ymgais 14 awr

• Ysgrifennu pwynt gwirio: canolrif 22 munud

• Nid prawf y gallent ei basio oedd lladd-rheng. Nid oedd ganddyn nhw lyfr rhedeg. Y ddau farwolaeth ddamweiniol oedd y canfyddiad

• Llwyth TG brig ar y ddau rac yn ystod yr hyfforddiant: tua 18 kW. Roedd gan y rhwyf y watiau. Nid oedd ganddo'r oeri na'r ffabrig

Ar ôl cyfnewidwyr gwres drws cefn ar y ddau rac hynny, ffabrig pwrpasol rhwng y pedwar nod, pwll NVMe bach ar gyfer pwyntiau gwirio, pwynt gwirio 30 munud, a llyfr rhedeg ailgychwyn:

• Gorffennodd 8 o 8 ar yr ymgais gyntaf. Cloc wal canolrifol: 9 awr

• Sbardun thermol: 0 o 8

• Ysgrifennu pwynt gwirio: canolrif 90 eiliad. Gwaethaf yn y set: 3 munud

• Ailgychwynnodd y ddau ladd-rheng bwriadol o'r pwynt gwirio 30 munud olaf. Cloc wal ychwanegol ar y ddau rediad hynny: tua 40 munud yr un, gan gynnwys diagnosis, felly eisteddodd y ddau hynny bron i 9 awr 40 munud. Cyfartaledd ar draws wyth rownd llonydd i 9 awr

• Llwyth TG brig o hyd tua 18 kW. Yr un sglodion. Ymddygiad adeilad gwahanol

Ar draws y sampl hon, gostyngodd yr amser cymedrig i rysáit orffen o 18 awr i 9 awr, neu 9 awr yr un, 72 awr ar draws wyth rhediad. Aeth yr amser gorffenedig tro cyntaf o 5 o 8 i 8 o 8. Aeth y sbardun o 7 o 8 i 0 o 8. Y rhif olaf hwnnw yw'r un sy'n dweud a wnaethant brynu cyflymyddion neu bwysau papur. Ni fyddant yn galw'r newid amser yn arbediad o 50% mewn cynhyrchu. Mae wyth rhediad yn set fach, hawdd.

Mae'r ffigurau hyn yn amcangyfrif enghreifftiol yn seiliedig ar y prawf a nodwyd, sampl fach, un model, ac un neuadd gymysg. Nid ydynt yn PUE, nid yn megawat campws, ac nid yn brawf y dylai Kestrel adeiladu safle hyfforddi mewn cae. Roedd adolygiad o'r logiau yn eistedd y tu mewn i'r 9 awr; ni wnaethant ei guddio. Mae'r ffigur 18 kW yn ddarlleniad PDU crwn, nid anfoneb cyfleustodau. Ni wnaethant drosi'r 72 awr yn gost, oherwydd byddai cyfradd drydan gymysg y ffatri wedi gwneud achos busnes ffug.

Roedd y siec weini ar wahân ac yn llai: 200 o ddelweddau llinell i'r blwch wedi'i ffensio, i gyd ar y safle. Casgliad yw hynny, nid hyfforddiant. Byddai cymysgu'r ddau wedi bod yn gamgymeriad y neuadd hybrid mewn mân-lun.

Beth all fynd o'i le

• Mae caffael yn dal i alw pedwar gweinydd yn "ganolfan ddata AI". Mae'r label yn cuddio'r plymio, a'r pryniant nesaf yw mwy o GPUs ar gyfer yr un eil cleifion

• Mae cyfnewidwyr drws cefn yn mynd i mewn a does neb yn comisiynu ochr y dŵr. Mae'r cefnogwyr yn dal i weiddi. Mae'r clociau'n dal i ostwng

• Mae'r ffabrig yn un switsh heb lwybr sbâr. Un ddolen wedi methu a'r "clwstwr" yw pedair gorsaf waith eto

• Mae pwyntiau gwirio yn aros ar y SAN oherwydd bod y pwll NVMe yn "gam dau". Nid yw cam dau yn cyrraedd cyn y nod marw nesaf

• Maen nhw'n dyfynnu PUE ar gyfer dau rac mewn neuadd gymysg. Mae hinsawdd, ffin, a gweddill rhes ERP yn gwneud y gymhareb honno'n wisg

• Mae hyfforddi a gweini yn rhannu'r ffabrig. Mae llifogydd mewn man gwirio yn gwneud i linell y ffatri aros. Oedi cynffon yw'r cynnyrch yno, nid dwysedd

• Mae nod yn marw ac mae rhywun yn ei drin fel tocyn amser gweithredu yn hytrach nag ailgychwyn pwynt gwirio. Mae gweithrediadau menter a gweithrediadau AI yn siarad heibio i'w gilydd am brynhawn cyfan

• Gallent fod wedi rhentu cawell, ond ni all y delweddau adael. Mae anghofio'r cyfyngiad hwnnw'n eu hanfon i sgwrs cwmwl lle bydd yn rhaid iddynt ymlacio

Tecawê ymarferol

Nid warws yw Canolfan Ddata AI, yn y ffurf hon, ac nid anfoneb GPU mohoni. Dyma'r gell sy'n gadael i gyflymyddion orffen y rhediad: pŵer y gallant ei ddal, gwres sy'n gadael, ffabrig, pwynt gwirio, a rhywun ar y bachyn pan fydd rheng yn marw. Nid oedd angen campws ar Kestrel. Roedd angen dau rac arnynt i roi'r gorau i esgus. Dylai'r rhan fwyaf o dimau rentu'r ymddygiad hwnnw. Dylai ychydig, gyda set ddata gyfrinachol a neuadd a all gymryd y gwres, adeiladu cell a gwrthod y sleid.

Cwestiynau Cyffredin

Beth yw Canolfan Ddata AI?

Safle cyfrifiadura dwysedd uchel lle mae pŵer, oeri, rhwydweithio a storio wedi'u plygu o amgylch hyfforddiant cyfochrog a gwasanaethu modelau, nid rhesi taclus o weinyddion pwrpas cyffredinol. Mae wedi'i gynllunio fel y gall nifer enfawr o gyflymyddion hyfforddi a gwasanaethu modelau heb doddi, oedi ar y rhwydwaith, neu aros ar ddisg. Mae neuadd fenter gyffredin yn gymdogaeth gymysg. Mae neuadd AI yn fonoddiwylliant y mae ei uned werth yn gyflymydd, fel GPUs neu sglodion arddull TPU. Mae'n edrych fel warws ac yn ymddwyn fel gorsaf bŵer sy'n gwneud mathemateg.

Sut mae canolfan ddata AI yn wahanol i ganolfan ddata arferol?

Mae neuaddau traddodiadol yn optimeiddio ar gyfer llwythi gwaith cymysg ac amser gweithredu ar draws llawer o wasanaethau bach. Mae safleoedd AI yn troi'r cymhareb: mae dwysedd yn cynyddu, mae'r rhwydwaith yn dod yn ffabrig na all y swydd hyfforddi lithro hebddo, ac mae'n rhaid i storfa gadw pwyntiau gwirio i symud neu mae cyflymyddion yn aros yn segur. Mae gweithredwyr menter yn meddwl mewn tocynnau a ffenestri newid. Mae gweithredwyr AI yn meddwl mewn ciwiau swyddi a'r teimlad sâl pan fydd nod yn marw'n hwyr mewn rhediad hir. Gallech chi ddal i ffonio'r ddwy ganolfan ddata. Mae'r label yn cuddio'r plymio yn unig.

Pam mae canolfannau data AI yn defnyddio cymaint o bŵer?

Nid CPU clyfar yw'r caledwedd sy'n sefyll allan. Dyma'r hambwrdd cyflymydd: GPUs neu sglodion AI eraill, wedi'u pacio i mewn i weinyddion, yna raciau, yna rhesi sy'n rhannu ffabrig lled band uchel. Dwysedd fesul rac yw tro'r stori: llai o raciau, pob un yn ffwrnais fach. Mae megawatiau o lwyth TG yn ymddangos unwaith y bydd neuadd yn llenwi, er nad yw dyfeisio ffigur nodweddiadol yn werth chweil. Yn aml, yr is-orsaf yw'r ffactor sy'n cyfyngu, nid rhestr ddymuniadau'r GPUs.

Sut mae canolfannau data AI yn cael eu hoeri?

Mae rheseli dwysedd uchel yn gollwng gwres mewn ffordd na ofynnwyd i aer ei drin erioed mewn gwirionedd. Gallwch chi wthio aer yn galetach gyda chyfnewidwyr gwres drws cefn, eiliau poethach, a chyfyngiad clyfar. Yna mae hylif yn ymddangos: oeri uniongyrchol-i-sglodion, dolenni oerydd, a throchi mewn ychydig o ddyluniadau. Mae cyflymydd sy'n tagu yn un rydych chi eisoes wedi talu amdano ac na allwch chi ei ddefnyddio'n llawn. Mae PUE yn dal i fod yn bwysig oherwydd bod pob wat sy'n cael ei wario ar gefnogwyr a phympiau yn wat nad aeth i GPU. Mae dŵr yn rhan o'r stori hefyd: mae rhai planhigion yn sipian, mae rhai'n llyncu.

Pam mae rhwydweithio cymaint o bwys â'r GPUs?

Mae hyfforddiant yn sgwrs: miloedd o gyflymyddion yn cyfnewid graddiannau, paramedrau, a darnau o fodel mewn cydamseriad tynn. Os yw'r ffabrig yn crynu, mae'r gwaith cyfan yn aros ar y hop arafaf. Dyna pam mae neuaddau AI yn obsesu dros rwydweithio lled band uchel, hwyrni isel, ffabrigau tebyg i InfiniBand neu Ethernet yn yr un rôl, a thopolegau nad ydynt yn plygu yn eu hanner pan fydd cyswllt yn methu. Mae casgliad yn poeni am hwyrni cynffon, llawer o geisiadau llai, ac ynysu. Yn yr adeilad hwn, y plymio yw'r bwyty.

Beth yw pwrpas Canolfan Ddata AI: hyfforddiant neu gasgliad?

Mae hyfforddiant yn ymgyrch: cydosod clwstwr, bwydo data iddo, gwirio'n grefyddol, a rhedeg am oriau neu wythnosau. Mae casgliad yn siop flaen: modelau sydd eisoes wedi'u hyfforddi, bellach yn ateb, gyda'r hwyrni sy'n bwysig. Mae campysau hyfforddi yn mynd ar ôl pŵer, tir a dwysedd. Mae safleoedd casgliad yn mynd ar ôl hwyrni a phresenoldeb. Mae neuaddau hybrid yn bodoli oherwydd nad yw cyfalaf yn anfeidrol, weithiau un neuadd gyda dau ddolen oeri. Gall cyflymydd ychydig yn hŷn ger y cwsmer guro un hudolus gyfandir i ffwrdd.

Pam mae storio yn bwysig mewn canolfan ddata AI?

Rhaid i ddata hyfforddi gyrraedd yn ddigon cyflym fel nad yw GPUs yn tapio eu traed. Rhaid i bwyntiau gwirio lanio fel nad yw damwain yn taflu wythnos i ffwrdd. Rhaid i bwysau model lwytho cyn bod replica gweini yn fyw. Trwybwn storio, nid capasiti yn unig, yw'r tagfa dawel. Gallwch wario ffortiwn ar gyflymyddion a'u llwgu gyda arae cwrtais wedi'i gynllunio ar gyfer peiriannau rhithwir.

Beth sy'n digwydd pan fydd nod yn marw yng nghanol cyfnod?

Gall un cyflymydd marw mewn swydd hyfforddi sydd wedi'i chysylltu'n dynn rwystro'r corws cyfan. Mae hyfforddiant eisiau pwyntiau gwirio, nid optimistiaeth. Mae casgliad yn draenio'r nod sâl, yn cadw replica yn ateb, ac yn aros yn fyw. Mae ffenestri newid yn dal i wrthdaro â rhediadau hyfforddi nad ydynt yn poeni am eich calendr. Mae diswyddiad yn dal i fod yn bwysig ar gyfer pŵer, oeri, llwybrau a storio, ond mae'r modd methiant yn llai taclus na'r hen sleid naw-o-amser-ymlaen.

Beth yw effaith Canolfan Ddata Deallusrwydd Artiffisial ar y grid, dŵr, a chymdogion?

Yn aml, cysylltiad â'r grid yw'r broses wirioneddol o ddewis safle. Mae tir yn hawdd o'i gymharu ag is-orsaf a chyfleustodau sydd â chwsmeriaid eraill. Mae dŵr ar gyfer oeri, os ydych chi'n ei ddefnyddio, yn dod yn broblem i gymdogion cyn gynted ag y bydd glawiad yn anarferol, ynghyd â sŵn, maint gweledol, a gwres wrth ffens ffin. Gall hyfforddiant guddio mewn marchnadoedd pŵer rhatach a hinsoddau oerach. Mae casgliad yn hoffi bod yn agos at ddefnyddwyr. Nid oes un safle perffaith. Mae cyfaddawd gyda datganiad i'r wasg.

Oes angen i mi fod yn berchen ar ganolfan ddata AI, neu a ddylwn i rentu?

Nid oes angen i'r rhan fwyaf o bobl fod yn berchen ar un o'r neuaddau hyn. Mae hypergradewyr yn adeiladu oherwydd mai'r cynnyrch yw'r fflyd. Mae labordai yn adeiladu pan fo amser ciw yn fodiwlaidd neu pan na all data adael. Gall banc, ysbyty, llywodraeth, neu wneuthurwr sydd â set ddata gyfrinachol wneud cydleoli ar y safle neu breifat yn rhesymol. Dylai pawb arall rentu: cydleoli sy'n barod ar gyfer AI, archeb cwmwl, neu glwstwr a reolir. Rydych chi'n cael y cyflymyddion heb ddod yn weithredwr gorsaf bŵer.

Cyfeiriadau

1. IEA - www.iea.org

2. LBNL - datacentres.lbl.gov

3. Y Grid Gwyrdd - www.thegreengrid.org

4. LBNL - datacentres.lbl.gov

5. LBNL - datacentres.lbl.gov

6. Sefydliad Amser Ar-lein - journal.uptimeinstitute.com

7. NVIDIA - datblygwr.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni