Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol?

Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol?

Yr ateb byr: Modelau AI mawr, at ddibenion cyffredinol yw modelau sylfaen sydd wedi'u hyfforddi ar setiau data helaeth ac eang, ac yna'n cael eu haddasu i lawer o swyddi (ysgrifennu, chwilio, codio, delweddau) trwy ysgogi, mireinio, offer, neu adfer. Os oes angen atebion dibynadwy arnoch, parwch nhw â sylfaen (fel RAG), cyfyngiadau clir, a gwiriadau, yn hytrach na gadael iddyn nhw fyrfyfyrio.

Prif bethau i'w cymryd:

Diffiniad : Un model sylfaenol wedi'i hyfforddi'n eang a ailddefnyddir ar draws llawer o dasgau, nid un dasg fesul model.

Addasu : Defnyddiwch ysgogi, mireinio, LoRA/addaswyr, RAG, ac offer i lywio ymddygiad.

Ffit cynhyrchiol : Maent yn pweru cynhyrchu testun, delwedd, sain, cod, a chynnwys amlfoddol.

Signalau o ansawdd : Blaenoriaethu rheolaethadwyedd, llai o rithwelediadau, gallu amlfoddol, a chasgliadau effeithlon.

Rheolaethau risg : Cynllunio ar gyfer rhithwelediadau, rhagfarn, gollyngiad preifatrwydd, a chwistrelliad prydlon trwy lywodraethu a phrofi.

Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol? Graffeg Gwybodaeth

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Beth yw cwmni AI
Deall sut mae cwmnïau AI yn adeiladu cynhyrchion, timau a modelau refeniw.

🔗 Sut olwg sydd ar god AI
Gweler enghreifftiau o god AI, o fodelau Python i APIs.

🔗 Beth yw algorithm AI
Dysgwch beth yw algorithmau AI a sut maen nhw'n gwneud penderfyniadau.

🔗 Beth yw technoleg AI
Archwiliwch dechnolegau craidd AI sy'n pweru awtomeiddio, dadansoddeg ac apiau deallus.

1) Modelau sylfaen - diffiniad dim niwl 🧠

model sylfaen yn fodel AI mawr, cyffredinol sydd wedi'i hyfforddi ar ddata eang (fel arfer tunnell ohono) felly gellir ei addasu i lawer o dasgau, nid dim ond un ( NIST , Stanford CRFM ).

Yn lle adeiladu model ar wahân ar gyfer:

  • ysgrifennu negeseuon e-bost

  • ateb cwestiynau

  • crynhoi ffeiliau PDF

  • cynhyrchu delweddau

  • dosbarthu tocynnau cymorth

  • cyfieithu ieithoedd

  • gwneud awgrymiadau cod

…rydych chi'n hyfforddi un model sylfaenol mawr sy'n "dysgu'r byd" mewn ffordd ystadegol aneglur, yna rydych chi'n addasu i swyddi penodol gydag awgrymiadau, mireinio, neu offer ychwanegol ( Bommasani et al., 2021 ).

Mewn geiriau eraill: mae'n injan gyffredinol y gallwch chi ei lywio.

Ac ie, yr allweddair yw “cyffredinol.” Dyna’r tric cyfan.

2) Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol? (Sut maen nhw'n ffitio'n benodol) 🎨📝

Felly, beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol? Nhw yw'r modelau sylfaenol sy'n pweru systemau a all gynhyrchu cynnwys newydd - testun, delweddau, sain, cod, fideo, ac yn gynyddol ... cymysgeddau o'r rheini i gyd ( NIST , Proffil Deallusrwydd Artiffisial Cynhyrchiol NIST ).

Nid yw AI cynhyrchiol yn ymwneud â rhagweld labeli fel “sbam / nid sbam” yn unig. Mae'n ymwneud â chynhyrchu allbynnau sy'n edrych fel eu bod wedi'u gwneud gan berson.

  • paragraffau

  • cerddi

  • disgrifiadau cynnyrch

  • darluniau

  • alawon

  • prototeipiau apiau

  • lleisiau synthetig

  • a nonsens hyderus annhebygol weithiau 🙃

Mae modelau sylfaen yn arbennig o dda yma oherwydd:

Nhw yw'r "haen sylfaen" - fel toes bara. Gallwch chi ei bobi i mewn i faguette, pitsa, neu roliau sinamon… nid trosiad perffaith, ond rydych chi'n fy ngweld 😄

3) Pam wnaethon nhw newid popeth (a pham na fydd pobl yn rhoi'r gorau i siarad amdanyn nhw) 🚀

Cyn modelau sylfaen, roedd llawer o AI yn benodol i dasgau:

  • hyfforddi model ar gyfer dadansoddi teimlad

  • hyfforddi un arall ar gyfer cyfieithu

  • hyfforddi un arall ar gyfer dosbarthu delweddau

  • hyfforddi un arall ar gyfer adnabod endid a enwir

Gweithiodd hynny, ond roedd yn araf, yn ddrud, ac yn fath o… frau.

Modelau sylfaen wedi'i droi:

Yr ailddefnyddio hwnnw yw'r lluosydd. Gall cwmnïau adeiladu 20 o nodweddion ar ben un teulu o fodelau, yn hytrach na hailddyfeisio'r olwyn 20 gwaith.

Hefyd, daeth profiad y defnyddiwr yn fwy naturiol:

  • dydych chi ddim yn “defnyddio dosbarthwr”

  • rydych chi'n siarad â'r model fel pe bai'n gydweithiwr defnyddiol sydd byth yn cysgu ☕🤝

Weithiau mae hefyd fel cydweithiwr sy'n camddeall popeth yn hyderus, ond hei. Twf.

4) Y syniad craidd: hyfforddi ymlaen llaw + addasu 🧩

Mae bron pob model sylfaen yn dilyn patrwm ( Stanford CRFM , NIST ):

Cyn-hyfforddi (y cyfnod “amsugno’r rhyngrwyd”) 📚

Mae'r model wedi'i hyfforddi ar setiau data enfawr, eang gan ddefnyddio dysgu hunan-oruchwyliedig ( NIST ). Ar gyfer modelau iaith, mae hynny fel arfer yn golygu rhagweld geiriau coll neu'r tocyn nesaf ( Devlin et al., 2018 , Brown et al., 2020 ).

Nid dysgu un dasg iddo yw'r pwynt. Y pwynt yw dysgu cynrychioliadau cyffredinol :

  • gramadeg

  • ffeithiau (math o)

  • patrymau rhesymu (weithiau)

  • arddulliau ysgrifennu

  • strwythur cod

  • bwriad dynol cyffredin

Addasu (y cyfnod “gwneud pethau’n ymarferol”) 🛠️

Yna rydych chi'n ei addasu gan ddefnyddio un neu fwy o'r canlynol:

  • annog (cyfarwyddiadau mewn iaith glir)

  • tiwnio cyfarwyddiadau (ei hyfforddi i ddilyn cyfarwyddiadau) ( Wei et al., 2021 )

  • mireinio (hyfforddi ar ddata eich parth)

  • LoRA / addaswyr (dulliau tiwnio ysgafn) ( Hu et al., 2021 )

  • RAG (cynhyrchu adfer-estynedig - mae'r model yn ymgynghori â'ch dogfennau) ( Lewis et al., 2020 )

  • defnyddio offer (galw swyddogaethau, pori systemau mewnol, ac ati)

Dyma pam y gall yr un model sylfaenol ysgrifennu golygfa ramant… yna helpu i ddadfygio ymholiad SQL bum eiliad yn ddiweddarach 😭

5) Beth sy'n gwneud fersiwn dda o fodel sylfaen? ✅

Dyma'r adran y mae pobl yn ei hepgor, ac yna'n difaru'n ddiweddarach.

Nid yw model sylfaen “da” yn “fwy” yn unig. Mae mwy yn helpu, yn sicr… ond nid dyna’r unig beth. Fel arfer mae gan fersiwn dda o fodel sylfaen:

Cyffredinoliad cryf 🧠

Mae'n perfformio'n dda ar draws llawer o dasgau heb fod angen ailhyfforddi penodol i'r dasg ( Bommasani et al., 2021 ).

Llywio a rheolaeth 🎛️

Gall ddilyn cyfarwyddiadau fel:

  • “bod yn gryno”

  • “defnyddio pwyntiau bwled”

  • "ysgrifennu mewn tôn gyfeillgar"

  • “peidiwch â datgelu gwybodaeth gyfrinachol”

Mae rhai modelau'n glyfar ond yn llithrig. Fel ceisio dal bar o sebon yn y gawod. Yn ddefnyddiol, ond yn afreolaidd 😅

Tuedd isel i rithweledigaethau (neu o leiaf ansicrwydd gonest) 🧯

Does dim model yn imiwn i rithwelediadau, ond y rhai da:

Gallu amlfoddol da (pan fo angen) 🖼️🎧

Os ydych chi'n creu cynorthwywyr sy'n darllen delweddau, yn dehongli siartiau, neu'n deall sain, mae amlfoddol yn bwysig iawn ( Radford et al., 2021 ).

Casgliad effeithlon ⚡

Mae oedi a chost yn bwysig. Mae model sy'n gryf ond yn araf fel car chwaraeon gyda theiar fflat.

Ymddygiad diogelwch ac aliniad 🧩

Nid dim ond “gwrthod popeth,” ond:

Dogfennaeth + ecosystem 🌱

Mae hyn yn swnio'n sych, ond mae'n real:

  • offeru

  • harneisiau gwerthuso

  • opsiynau defnyddio

  • rheolaethau menter

  • cefnogaeth mireinio

Ie, mae “ecosystem” yn air amwys. Dw i’n ei gasáu hefyd. Ond mae’n bwysig.

6) Tabl Cymharu - opsiynau model sylfaen cyffredin (a beth maen nhw'n dda ar ei gyfer) 🧾

Isod mae tabl cymharu ymarferol, ychydig yn amherffaith. Nid dyma'r "un rhestr wirioneddol," mae'n debycach i: yr hyn y mae pobl yn ei ddewis yn y gwyllt.

math o offeryn / model cynulleidfa pris-isel pam mae'n gweithio
LLM Perchnogol (arddull sgwrsio) timau sydd eisiau cyflymder + sglein yn seiliedig ar ddefnydd / tanysgrifiad Dilyn cyfarwyddiadau gwych, perfformiad cyffredinol cryf, fel arfer orau “allan o’r bocs” 😌
LLM pwysau agored (hunan-gynnaladwy) adeiladwyr sydd eisiau rheolaeth cost seilwaith (a chur pen) Addasadwy, yn gyfeillgar i breifatrwydd, yn gallu rhedeg yn lleol… os ydych chi'n hoffi chwarae am hanner nos
Generadur delwedd trylediad creadigwyr, timau dylunio rhad ac am ddim i daladwy Synthesis delweddau rhagorol, amrywiaeth arddull, llifau gwaith iterus (hefyd: efallai bod y bysedd i ffwrdd) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Model amlfoddol “iaith-gweledigaeth” apiau sy'n darllen delweddau + testun seiliedig ar ddefnydd Yn gadael i chi ofyn cwestiynau am ddelweddau, sgrinluniau, diagramau - yn syndod o ddefnyddiol ( Radford et al., 2021 )
Mewnosod model sylfaen systemau chwilio + RAG cost isel fesul galwad Yn troi testun yn fectorau ar gyfer chwiliad semantig, clystyru, argymhelliad - egni MVP tawel ( Karpukhin et al., 2020 , Douze et al., 2024 )
Model sylfaen lleferydd-i-destun canolfannau galwadau, crewyr seiliedig ar ddefnydd / lleol Trawsgrifio cyflym, cefnogaeth amlieithog, digon da ar gyfer sain swnllyd (fel arfer) 🎙️ ( Sibrydiad )
Model sylfaen testun-i-leferydd timau cynnyrch, cyfryngau seiliedig ar ddefnydd Cynhyrchu llais naturiol, arddulliau llais, adrodd - gall fynd yn arswydus-real ( Shen et al., 2017 )
LLM sy'n canolbwyntio ar god datblygwyr yn seiliedig ar ddefnydd / tanysgrifiad Gwell ar batrymau cod, dadfygio, ailffactorio… ddim yn darllen meddyliau o hyd serch hynny 😅

Sylwch sut nad yw “model sylfaen” yn golygu “chatbot” yn unig. Gall mewnosodiadau a modelau lleferydd fod yn debyg i sylfaen hefyd, oherwydd eu bod yn eang ac yn ailddefnyddiadwy ar draws tasgau ( Bommasani et al., 2021 , NIST ).

7) Golwg agosach: sut mae modelau sylfaen iaith yn dysgu (y fersiwn vibe) 🧠🧃

Mae modelau sylfaen iaith (a elwir yn aml yn LLMs) fel arfer yn cael eu hyfforddi ar gasgliadau enfawr o destun. Maent yn dysgu trwy ragweld tocynnau ( Brown et al., 2020 ). Dyna ni. Dim llwch tylwyth teg cyfrinachol.

Ond y hud yw bod rhagweld tocynnau yn gorfodi'r model i ddysgu strwythur ( CSET ):

  • gramadeg a chystrawen

  • perthnasoedd pwnc

  • patrymau tebyg i resymu (weithiau)

  • dilyniannau cyffredin o feddwl

  • sut mae pobl yn esbonio pethau, yn dadlau, yn ymddiheuro, yn negodi, yn addysgu

Mae fel dysgu dynwared miliynau o sgyrsiau heb “ddeall” sut mae bodau dynol yn gwneud. Sy'n swnio fel na ddylai weithio… ac eto mae'n parhau i weithio.

Un gor-ddweud bach: mae'n debyg i gywasgu ysgrifen ddynol i mewn i ymennydd tebygolrwydd enfawr.
Ac eto, mae'r trosiad hwnnw ychydig yn felltith. Ond rydyn ni'n symud 😄

8) Golwg agosach: modelau trylediad (pam mae delweddau'n gweithio'n wahanol) 🎨🌀

Mae modelau sylfaen delweddau yn aml yn defnyddio trylediad ( Ho et al., 2020 , Rombach et al., 2021 ).

Y syniad bras:

  1. ychwanegu sŵn at ddelweddau nes eu bod nhw'n statig ar y teledu yn y bôn

  2. hyfforddi model i wrthdroi'r sŵn hwnnw gam wrth gam

  3. adeg cynhyrchu, dechreuwch gyda sŵn a “dad-sŵn” i ddelwedd wedi’i harwain gan ysgogiad ( Ho et al., 2020 )

Dyma pam mae cynhyrchu delweddau'n teimlo fel "datblygu" llun, heblaw bod y llun yn ddraig yn gwisgo esgidiau chwaraeon mewn eil archfarchnad 🛒🐉

Mae modelau trylediad yn dda oherwydd:

  • maen nhw'n cynhyrchu delweddau o ansawdd uchel

  • gellir eu harwain yn gryf gan destun

  • maent yn cefnogi mireinio iterus (amrywiadau, mewnbaentio, uwchraddio) ( Rombach et al., 2021 )

Maent hefyd weithiau'n cael trafferth gyda:

  • rendro testun y tu mewn i ddelweddau

  • manylion anatomeg manwl

  • hunaniaeth gymeriad gyson ar draws golygfeydd (mae'n gwella, ond o hyd)

9) Golwg agosach: modelau sylfaen amlfoddol (testun + delweddau + sain) 👀🎧📝

Nod modelau sylfaen amlfoddol yw deall a chynhyrchu ar draws sawl math o ddata:

Pam mae hyn yn bwysig mewn bywyd go iawn:

  • gall cymorth cwsmeriaid ddehongli sgrinluniau

  • gall offer hygyrchedd ddisgrifio delweddau

  • gall apiau addysg esbonio diagramau

  • gall crewyr ailgymysgu fformatau'n gyflym

  • gall offer busnes “ddarllen” sgrinlun dangosfwrdd a’i grynhoi

O dan y cwfl, mae systemau amlfoddol yn aml yn alinio cynrychioliadau:

  • troi delwedd yn fewnosodiadau

  • troi testun yn fewnosodiadau

  • dysgwch ofod a rennir lle mae “cath” yn cyfateb i bicseli cath 😺 ( Radford et al., 2021 )

Nid yw bob amser yn gain. Weithiau mae wedi'i wnïo at ei gilydd fel cwilt. Ond mae'n gweithio.

10) Addasu'n fanwl yn erbyn annog yn erbyn RAG (sut rydych chi'n addasu'r model sylfaenol) 🧰

Os ydych chi'n ceisio gwneud model sylfaen yn ymarferol ar gyfer maes penodol (cyfreithiol, meddygol, gwasanaeth cwsmeriaid, gwybodaeth fewnol), mae gennych chi ychydig o ddulliau:

Anogiad 🗣️

Cyflymaf a symlaf.

  • manteision: dim hyfforddiant, ailadrodd ar unwaith

  • anfanteision: gall fod yn anghyson, cyfyngiadau cyd-destun, bregusrwydd prydlon

Mireinio 🎯

Hyfforddwch y model ymhellach ar eich enghreifftiau.

  • manteision: ymddygiad mwy cyson, iaith parth well, gall leihau hyd yr anogwr

  • anfanteision: cost, gofynion ansawdd data, risg o or-osod, cynnal a chadw

Tiwnio ysgafn (LoRA / addaswyr) 🧩

Fersiwn fwy effeithlon o fireinio ( Hu et al., 2021 ).

  • manteision: rhatach, modiwlaidd, haws i'w gyfnewid

  • anfanteision: mae angen hyfforddiant a gwerthusiad o hyd

RAG (cenhedlaeth adfer-estynedig) 🔎

Mae'r model yn nôl dogfennau perthnasol o'ch cronfa wybodaeth ac atebion gan ddefnyddio'r rhain ( Lewis et al., 2020 ).

  • manteision: gwybodaeth gyfoes, dyfyniadau mewnol (os ydych chi'n ei weithredu), llai o ailhyfforddi

  • anfanteision: gall ansawdd adfer ei wneud neu ei dorri, mae angen rhannu a mewnosod da

Siarad go iawn: mae llawer o systemau llwyddiannus yn cyfuno ysgogi a RAG. Mae mireinio yn bwerus, ond nid yw bob amser yn angenrheidiol. Mae pobl yn neidio ato'n rhy gyflym oherwydd ei fod yn swnio'n drawiadol 😅

11) Risgiau, cyfyngiadau, a'r adran “peidiwch â defnyddio hwn yn ddall” 🧯😬

Mae modelau sylfaen yn bwerus, ond nid ydyn nhw'n sefydlog fel meddalwedd draddodiadol. Maen nhw'n debycach i… intern talentog gyda phroblem hyder.

Cyfyngiadau allweddol i gynllunio ar eu cyfer:

Rhithwelediadau 🌀

Gall modelau ddyfeisio:

  • ffynonellau ffug

  • ffeithiau anghywir

  • camau credadwy ond anghywir ( Ji et al., 2023 )

Lliniariadau:

  • RAG gyda chyd-destun seiliedig ( Lewis et al., 2020 )

  • allbynnau cyfyngedig (sgemâu, galwadau offer)

  • cyfarwyddyd penodol “peidiwch â dyfalu”

  • haenau gwirio (rheolau, croeswiriadau, adolygiad dynol)

Rhagfarn a phatrymau niweidiol ⚠️

Gan fod data hyfforddi yn adlewyrchu bodau dynol, gallwch gael:

Lliniariadau:

Preifatrwydd a gollyngiadau data 🔒

Os ydych chi'n bwydo data cyfrinachol i mewn i bwynt terfynol model, mae angen i chi wybod:

  • sut mae'n cael ei storio

  • a yw'n cael ei ddefnyddio ar gyfer hyfforddiant

  • pa gofnodi sy'n bodoli

  • beth sy'n rheoli anghenion eich sefydliad ( NIST AI RMF 1.0 )

Lliniariadau:

Chwistrelliad prydlon (yn enwedig gyda RAG) 🕳️

Os yw'r model yn darllen testun annibynadwy, gall y testun hwnnw geisio ei drin:

Lliniariadau:

Ddim yn ceisio dy ddychryn. Dim ond… mae'n well gwybod ble mae'r lloriau'n gwichian.

12) Sut i ddewis model sylfaen ar gyfer eich achos defnydd 🎛️

Os ydych chi'n dewis model sylfaen (neu'n adeiladu ar un), dechreuwch gyda'r awgrymiadau hyn:

Diffiniwch beth rydych chi'n ei gynhyrchu 🧾

  • testun yn unig

  • delweddau

  • sain

  • amlfoddol cymysg

Gosodwch eich bar ffeithiolrwydd 📌

Os oes angen cywirdeb uchel arnoch (cyllid, iechyd, cyfreithiol, diogelwch):

Penderfynwch ar eich targed latency ⚡

Mae sgwrsio ar unwaith. Gall crynhoi swp fod yn arafach.
Os oes angen ymateb ar unwaith arnoch, mae maint y model a'r cynnal yn bwysig.

Anghenion preifatrwydd a chydymffurfiaeth map 🔐

Mae rhai timau angen:

Cydbwyso'r gyllideb - ac amynedd gweithredwyr 😅

Mae hunan-gynnal yn rhoi rheolaeth ond yn ychwanegu cymhlethdod.
Mae APIs rheoledig yn hawdd ond gallant fod yn ddrud ac yn llai addasadwy.

Awgrym bach ymarferol: gwnewch brototeip gyda rhywbeth hawdd yn gyntaf, yna caledwch yn ddiweddarach. Mae dechrau gyda'r gosodiad "perffaith" fel arfer yn arafu popeth.

13) Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol? (Y model meddyliol cyflym) 🧠✨

Gadewch i ni ddod ag ef yn ôl. Beth yw Modelau Sylfaen mewn Deallusrwydd Artiffisial Cynhyrchiol?

Nhw yw:

Nid un pensaernïaeth na brand sengl ydyn nhw. Maen nhw'n gategori o fodelau sy'n ymddwyn fel platfform.

Mae model sylfaen yn llai tebyg i gyfrifiannell ac yn fwy tebyg i gegin. Gallwch chi goginio llawer o brydau bwyd ynddo. Gallwch chi hefyd losgi'r tost os nad ydych chi'n talu sylw… ond mae'r gegin yn dal yn eithaf defnyddiol 🍳🔥

14) Crynodeb a bwyd i'w fwyta ✅🙂

Modelau sylfaen yw peiriannau ailddefnyddiadwy AI cynhyrchiol. Maent yn cael eu hyfforddi'n eang, yna'n cael eu haddasu i dasgau penodol trwy ysgogi, mireinio ac adfer ( NIST , Stanford CRFM ). Gallant fod yn anhygoel, yn flêr, yn bwerus, ac o bryd i'w gilydd yn chwerthinllyd - i gyd ar unwaith.

Crynodeb:

Os ydych chi'n adeiladu unrhyw beth gyda deallusrwydd artiffisial cynhyrchiol, nid yw deall modelau sylfaen yn ddewisol. Dyma'r llawr cyfan y mae'r adeilad yn sefyll arno ... ac ie, weithiau mae'r llawr yn siglo ychydig 😅

Cwestiynau Cyffredin

Modelau sylfaen, mewn termau syml

Mae model sylfaen yn fodel AI mawr, cyffredinol, wedi'i hyfforddi ar ddata eang fel y gellir ei ailddefnyddio ar gyfer llawer o dasgau. Yn hytrach nag adeiladu un model fesul swydd, rydych chi'n dechrau gyda model "sylfaenol" cryf ac yn ei addasu yn ôl yr angen. Mae'r addasiad hwnnw'n aml yn digwydd trwy annog, mireinio, adfer (RAG), neu offer. Y syniad canolog yw lled ynghyd â llywadwyedd.

Sut mae modelau sylfaen yn wahanol i fodelau AI traddodiadol sy'n benodol i dasgau

Mae deallusrwydd artiffisial traddodiadol yn aml yn hyfforddi model ar wahân ar gyfer pob tasg, fel dadansoddi teimlad neu gyfieithu. Mae modelau sylfaen yn gwrthdroi'r patrwm hwnnw: hyfforddi ymlaen llaw unwaith, yna ailddefnyddio ar draws llawer o nodweddion a chynhyrchion. Gall hyn leihau ymdrech ddyblyg a chyflymu'r broses o gyflwyno galluoedd newydd. Y cyfaddawd yw y gallant fod yn llai rhagweladwy na meddalwedd glasurol oni bai eich bod yn ychwanegu cyfyngiadau a phrofion.

Modelau sylfaen mewn AI cynhyrchiol

Mewn AI cynhyrchiol, modelau sylfaen yw'r systemau sylfaenol a all gynhyrchu cynnwys newydd fel testun, delweddau, sain, cod, neu allbynnau amlfoddol. Nid ydynt yn gyfyngedig i labelu na dosbarthu; maent yn cynhyrchu ymatebion sy'n debyg i waith a wnaed gan ddyn. Gan eu bod yn dysgu patrymau eang yn ystod hyfforddiant ymlaen llaw, gallant drin llawer o fathau a fformatau o awgrymiadau. Nhw yw'r "haen sylfaenol" y tu ôl i'r rhan fwyaf o brofiadau cynhyrchiol modern.

Sut mae modelau sylfaen yn dysgu yn ystod cyn-hyfforddi

Mae'r rhan fwyaf o fodelau sylfaen iaith yn dysgu trwy ragweld tocynnau, fel y gair nesaf neu eiriau coll mewn testun. Mae'r amcan syml hwnnw'n eu gwthio i fewnoli strwythur fel gramadeg, arddull, a phatrymau cyffredin o esboniad. Gallant hefyd amsugno llawer iawn o wybodaeth y byd, er nad yw bob amser yn ddibynadwy. Y canlyniad yw cynrychiolaeth gyffredinol gref y gallwch ei llywio'n ddiweddarach tuag at waith penodol.

Y gwahaniaeth rhwng annog, mireinio, LoRA, a RAG

Y ffordd gyflymaf o lywio ymddygiad gan ddefnyddio cyfarwyddiadau yw ysgogi, ond gall fod yn fregus. Mae mireinio'r model yn hyfforddi ymhellach ar eich enghreifftiau ar gyfer ymddygiad mwy cyson, ond mae'n ychwanegu cost a chynnal a chadw. Mae LoRA/addaswyr yn ddull mireinio ysgafnach sydd yn aml yn rhatach ac yn fwy modiwlaidd. Mae RAG yn adfer dogfennau perthnasol ac mae ganddo ateb y model gan ddefnyddio'r cyd-destun hwnnw, sy'n helpu gyda ffresni a sylfaen.

Pryd i ddefnyddio RAG yn lle mireinio

Yn aml, mae RAG yn ddewis cryf pan fyddwch angen atebion sydd wedi'u seilio ar eich dogfennau cyfredol neu'ch cronfa wybodaeth fewnol. Gall leihau "dyfalu" trwy roi cyd-destun perthnasol i'r model ar adeg ei gynhyrchu. Mae mireinio yn well pan fyddwch angen arddull gyson, ymadrodd parth, neu ymddygiad na all ysgogi ei gynhyrchu'n ddibynadwy. Mae llawer o systemau ymarferol yn cyfuno ysgogi + RAG cyn cyrraedd at fireinio.

Sut i leihau rhithwelediadau a chael atebion mwy dibynadwy

Dull cyffredin yw seilio'r model gydag adferiad (RAG) fel ei fod yn aros yn agos at y cyd-destun a ddarperir. Gallwch hefyd gyfyngu allbynnau gyda sgemâu, gofyn am alwadau offer ar gyfer camau allweddol, ac ychwanegu cyfarwyddiadau "peidiwch â dyfalu" penodol. Mae haenau gwirio yn bwysig hefyd, fel gwiriadau rheolau, croeswirio, ac adolygiad dynol ar gyfer achosion defnydd â risg uwch. Trin y model fel cynorthwyydd tebygolrwydd, nid ffynhonnell wirionedd yn ddiofyn.

Y risgiau mwyaf gyda modelau sylfaen mewn cynhyrchiad

Mae risgiau cyffredin yn cynnwys rhithwelediadau, patrymau rhagfarnllyd neu niweidiol o ddata hyfforddi, a gollyngiadau preifatrwydd os caiff data sensitif ei drin yn wael. Gall systemau hefyd fod yn agored i chwistrelliad prydlon, yn enwedig pan fydd y model yn darllen testun annibynadwy o ddogfennau neu gynnwys gwe. Mae lliniariadau fel arfer yn cynnwys llywodraethu, tîmio coch, rheolaethau mynediad, patrymau annog mwy diogel, a gwerthuso strwythuredig. Cynlluniwch ar gyfer y risgiau hyn yn gynnar yn hytrach na'u hatgyweirio'n ddiweddarach.

Chwistrelliad prydlon a pham ei fod yn bwysig mewn systemau RAG

Chwistrelliad prydlon yw pan fydd testun annibynadwy yn ceisio diystyru cyfarwyddiadau, fel “anwybyddu cyfarwyddiadau blaenorol” neu “datgelu cyfrinachau.” Yn RAG, gall dogfennau a adferwyd gynnwys y cyfarwyddiadau maleisus hynny, a gall y model eu dilyn os nad ydych chi'n ofalus. Dull cyffredin yw ynysu cyfarwyddiadau system, diheintio cynnwys a adferwyd, a dibynnu ar bolisïau sy'n seiliedig ar offer yn hytrach nag awgrymiadau yn unig. Mae profi gyda mewnbynnau gwrthwynebol yn helpu i ddatgelu mannau gwan.

Sut i ddewis model sylfaen ar gyfer eich achos defnydd

Dechreuwch drwy ddiffinio'r hyn sydd angen i chi ei gynhyrchu: testun, delweddau, sain, cod, neu allbynnau amlfoddol. Yna gosodwch eich bar ffeithiolrwydd - yn aml mae angen sylfaen (RAG), dilysu, ac weithiau adolygiad dynol ar barthau cywirdeb uchel. Ystyriwch oedi a chost, oherwydd gall model cryf sy'n araf neu'n ddrud fod yn anodd ei anfon. Yn olaf, mapio anghenion preifatrwydd a chydymffurfiaeth i opsiynau a rheolaethau defnyddio.

Cyfeiriadau

  1. Sefydliad Cenedlaethol Safonau a Thechnoleg (NIST) - Model Sylfaen (Term rhestr termau) - csrc.nist.gov

  2. Sefydliad Cenedlaethol Safonau a Thechnoleg (NIST) - NIST AI 600-1: Proffil Deallusrwydd Artiffisial Cynhyrchiol - nvlpubs.nist.gov

  3. Sefydliad Cenedlaethol Safonau a Thechnoleg (NIST) - NIST AI 100-1: Fframwaith Rheoli Risg AI (AI RMF 1.0) - nvlpubs.nist.gov

  4. Canolfan Stanford ar gyfer Ymchwil ar Fodelau Sylfaen (CRFM) - Adroddiad - crfm.stanford.edu

  5. arXiv - Ar Gyfleoedd a Risgiau Modelau Sylfaen (Bommasani et al., 2021) - arxiv.org

  6. arXiv - Modelau Iaith yw Dysgwyr Ychydig o Ergydion (Brown et al., 2020) - arxiv.org

  7. arXiv - Cynhyrchu Adalw-Ehangedig ar gyfer Tasgau NLP sy'n Dwys o ran Gwybodaeth (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: Addasiad Safle Isel o Fodelau Iaith Mawr (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: Hyfforddi ymlaen llaw Trawsnewidyddion Dwyffordd Dwfn ar gyfer Deall Iaith (Devlin et al., 2018) - arxiv.org

  10. arXiv - Modelau Iaith wedi'u Diwnio'n Fân yw Dysgwyr Ergyd Sero (Wei et al., 2021) - arxiv.org

  11. Llyfrgell Ddigidol ACM - Arolwg o Rhithweledigaethau mewn Cynhyrchu Iaith Naturiol (Ji et al., 2023) - dl.acm.org

  12. arXiv - Dysgu Modelau Gweledol Trosglwyddadwy o Oruchwyliaeth Iaith Naturiol (Radford et al., 2021) - arxiv.org

  13. arXiv - Modelau Tebygolrwydd Trylediad Dad-sŵn (Ho et al., 2020) - arxiv.org

  14. arXiv - Synthesis Delwedd Cydraniad Uchel gyda Modelau Trylediad Cudd (Rombach et al., 2021) - arxiv.org

  15. arXiv - Adfer Darn Dwys ar gyfer Ateb Cwestiynau Parth Agored (Karpukhin et al., 2020) - arxiv.org

  16. arXiv - Llyfrgell Faiss (Douze et al., 2024) - arxiv.org

  17. OpenAI - Cyflwyno Whisper - openai.com

  18. arXiv - Synthesis TTS Naturiol drwy Gyflyru WaveNet ar Ragfynegiadau Sbectrogram Mel (Shen et al., 2017) - arxiv.org

  19. Canolfan Diogelwch a Thechnoleg sy'n Dod i'r Amlwg (CSET), Prifysgol Georgetown - Pŵer annisgwyl rhagfynegi'r gair nesaf: modelau iaith mawr wedi'u hesbonio (rhan 1) - cset.georgetown.edu

  20. USENIX - Echdynnu Data Hyfforddi o Fodelau Iaith Mawr (Carlini et al., 2021) - usenix.org

  21. OWASP - LLM01: Chwistrelliad Prydlon - genai.owasp.org

  22. arXiv - Mwy nag yr ydych wedi gofyn amdano: Dadansoddiad Cynhwysfawr o Fygythiadau Chwistrelliad Prydlon Newydd i Fodelau Iaith Mawr sydd wedi'u hIntegreiddio â Chymwysiadau (Greshake et al., 2023) - arxiv.org

  23. Cyfres Taflenni Twyllo OWASP - Taflen Twyllo Atal Chwistrelliadau Prydlon LLM - cheatsheetseries.owasp.org

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni

Yn ôl i'r blog