Sut alla i sicrhau llwyddiant fy mhrosiect asiant AI?

Er mwyn sicrhau llwyddiant eich prosiect asiant AI, diffiniwch y swydd yn glir mewn un frawddeg a phenderfynwch ar y lefel ymreolaeth rydych chi'n gyfforddus â hi. Yn ogystal, gweithredwch gynlluniau offer llym, logio a strategaethau dilysu i atal peryglon cyffredin a chaniatáu datrys problemau gwell.

Beth ddylwn i ei ystyried wrth ddylunio'r offer ar gyfer fy asiant AI?

Wrth ddylunio offer ar gyfer eich asiant AI, gwnewch yn siŵr eu bod yn gul o ran ffocws, wedi'u teipio, a'u bod wedi'u caniatáu. Osgowch offer generig a all gyflawni unrhyw weithred. Yn lle hynny, crëwch alwadau swyddogaeth penodol y gall yr asiant eu defnyddio i gynnal diogelwch a dibynadwyedd.

Sut ydw i'n gosod amodau stop clir ar gyfer fy asiant AI?

I osod amodau stopio clir ar gyfer eich asiant AI, diffiniwch uchafswm nifer o gamau y gall eu cymryd, ynghyd ag amseroedd terfyn a gwiriadau cwblhau. Bydd hyn yn helpu i atal yr asiant rhag mynd yn sownd mewn dolenni a sicrhau y gall uwchgyfeirio problemau pan fo angen.

Beth yw'r ffordd orau o reoli cof mewn asiant AI?

Rheoli cof yn eich asiant AI trwy ei wahanu'n gydrannau tymor byr a thymor hir. Cadwch y cof tymor byr yn gryno, gan ganolbwyntio ar gamau a chynlluniau cyfredol, wrth ddefnyddio cof tymor hir ar gyfer gwybodaeth sefydlog fel dewisiadau defnyddwyr a rheolau sefydliadol.

A oes patrymau penodol ar gyfer cynllunio tasgau o fewn asiant AI?

Oes, gellir defnyddio gwahanol batrymau cynllunio, megis rhestrau gwirio ar gyfer tasgau rhagweladwy, dolenni ReAct ar gyfer ymatebion addasol i allbynnau offer, a modelau goruchwyliwr-gweithiwr sy'n galluogi gwahanu rolau ar gyfer prosiectau cymhleth. Dewiswch ddull cynllunio yn seiliedig ar ofynion penodol eich asiant.

Sut alla i werthuso perfformiad fy asiant AI yn effeithiol?

I werthuso perfformiad eich asiant AI, crëwch gyfres o senarios sy'n cynnwys llwybrau hapus, achosion ymyl, a cheisiadau amwys. Sgoriwch ganlyniadau yn seiliedig ar fetrigau fel cyfradd llwyddiant tasgau, amser ymateb, ac adferiad o wallau i wella ei alluoedd yn barhaus.

Sut i Adeiladu Asiant AI [Fideo a Chwis]

Ateb byr: I adeiladu asiant AI sy'n gweithio'n ymarferol, ei drin fel dolen reoledig: cymerwch fewnbwn, penderfynwch ar y camau nesaf, galwch offeryn â chwmpas cul, arsylwch y canlyniad, ac ailadroddwch nes bod gwiriad "wedi'i wneud" clir yn pasio. Mae'n ennill ei le pan fydd y dasg yn aml-gam ac yn cael ei gyrru gan offeryn; os yw un awgrym yn ei datrys, hepgorwch yr asiant. Ychwanegwch gynlluniau offer llym, terfynau cam, logio, a dilysydd/beirniad fel pan fydd offer yn methu neu pan fydd mewnbynnau'n amwys, bod yr asiant yn cynyddu yn lle dolennu.

Prif bethau i'w cymryd:

Dolen rheolydd: Gweithredu mewnbwn→gweithredu→arsylwi ailadrodd gydag amodau stopio penodol a'r camau mwyaf.

Dylunio offer: Cadwch offer yn gul, wedi'u teipio, wedi'u caniatáu, ac wedi'u dilysu i atal anhrefn "gwneud_unrhyw beth".

Hylendid cof: Defnyddiwch gyflwr tymor byr cryno ynghyd ag adferiad tymor hir; osgoi dympio trawsgrifiadau llawn.

Gwrthsefyll camddefnydd: Ychwanegu rhestrau caniatáu, terfynau cyfradd, analluogrwydd, a “rhediad sych” ar gyfer gweithredoedd peryglus.

Profiadwyedd: Cynnal cyfres o senarios (methiannau, amwysedd, chwistrelliadau) ac ailgynnal ar bob newid.

Sut i Adeiladu Asiant AI? Graffeg Gwybodaeth

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Sut i fesur perfformiad AI
Dysgwch fetrigau ymarferol i feincnodi cyflymder, cywirdeb a dibynadwyedd.

🔗 Sut i siarad ag AI
Defnyddiwch awgrymiadau, cyd-destun, a dilyniannau i gael atebion gwell.

🔗 Sut i werthuso modelau AI
Cymharwch fodelau gan ddefnyddio profion, rubriciau, a chanlyniadau tasgau yn y byd go iawn.

🔗 Sut i optimeiddio modelau AI
Gwella ansawdd a chost trwy diwnio, tocio a monitro.

1) Beth yw asiant AI, mewn termau person cyffredin 🧠

Mae asiant AI yn ddolen. Dogfennau “Asiantau” LangChain

Dyna ni. Dolen gydag ymennydd yn y canol.

Mewnbwn → meddwl → gweithredu → arsylwi → ailadrodd. Papur ReAct (rhesymu + gweithredu)

Ble:

Mewnbwn yw cais defnyddiwr neu ddigwyddiad (e-bost newydd, tocyn cymorth, ping synhwyrydd).
Meddwl yn fodel iaith sy'n rhesymu am y cam nesaf.
Mae Act yn galw offeryn (chwilio dogfennau mewnol, rhedeg cod, creu tocyn, drafftio ateb). Canllaw galw swyddogaeth OpenAI
Observe yn darllen allbwn yr offeryn.
Ailadrodd yw'r rhan sy'n gwneud iddo deimlo'n "asiantaidd" yn hytrach na "sgwrslyd". Dogfennau "Asiantau" LangChain

Mae rhai asiantau yn y bôn yn macros clyfar. Mae eraill yn gweithredu'n fwy fel gweithredwr iau sy'n gallu jyglo tasgau ac adfer o wallau. Mae'r ddau yn cyfrif.

Hefyd, does dim angen ymreolaeth lwyr arnoch chi. Mewn gwirionedd… mae'n debyg nad ydych chi ei eisiau 🙃

2) Pryd ddylech chi adeiladu asiant (a phryd na ddylech chi) 🚦

Adeiladu asiant pan:

Mae'r gwaith yn aml-gam ac yn newid yn dibynnu ar yr hyn sy'n digwydd hanner ffordd.
Mae angen defnyddio offer ar gyfer y swydd (cronfeydd data, CRMs, gweithredu cod, cynhyrchu ffeiliau, porwyr, APIs mewnol). Dogfennau “Offer” LangChain
Rydych chi eisiau canlyniadau ailadroddus gyda rheiliau gwarchod, nid atebion untro yn unig.
Gallwch chi ddiffinio “wedi’i wneud” mewn ffordd y gall cyfrifiadur ei wirio, hyd yn oed yn fras.

Peidiwch ag adeiladu asiant pan:

Mae awgrym syml + ymateb yn ei ddatrys (peidiwch â gor-beiriannu, byddwch chi'n casáu'ch hun yn ddiweddarach).
Mae angen penderfyniaeth berffaith arnoch chi (gall asiantau fod yn gyson, ond nid yn robotig).
Does gennych chi ddim offer na data i gysylltu - yna dim ond dirgryniadau ydyw gan mwyaf.

Gadewch i ni fod yn onest: gallai hanner “prosiectau asiant AI” fod yn llif gwaith gyda rhai rheolau canghennu. Ond hei, weithiau mae'r awyrgylch yn bwysig hefyd 🤷♂️

3) Beth sy'n gwneud fersiwn dda o asiant AI ✅

Dyma'r adran “Beth sy'n gwneud fersiwn dda o” y gofynnoch chi amdani, ond rydw i'n mynd i fod ychydig yn ddi-flewyn-ar-dafod:

Nid fersiwn dda o asiant AI yw'r un sy'n meddwl galetaf. Dyma'r un sy'n:

Yn gwybod beth mae'n cael ei wneud (ffiniau'r cwmpas)
Yn defnyddio offer yn ddibynadwy (galwadau strwythuredig, ailgeisiau, terfynau amser) Canllaw galwadau swyddogaeth OpenAI AWS “Terfynau amser, ailgeisiau, ac ad-daliad gyda jitter”
Yn cadw'r cyflwr yn lân (cof nad yw'n pydru) LangChain “Trosolwg o'r cof”
Yn egluro ei gamau gweithredu (llwybrau archwilio, nid dympiau rhesymu cyfrinachol) NIST AI RMF 1.0 (dibynadwyedd a thryloywder)
Yn stopio'n briodol (gwiriadau cwblhau, uchafswm camau, uwchgyfeirio) dogfennau “Asiantau” LangChain
Yn methu'n ddiogel (yn gofyn am gymorth, nid yw'n rhithweledigaethu awdurdod) NIST AI RMF 1.0
Yn brofadwy (gallwch ei redeg ar senarios tun a sgorio canlyniadau)

Os na ellir profi eich asiant, mae'n beiriant slot hyderus iawn yn y bôn. Hwyl mewn partïon, brawychus mewn cynhyrchiad 😬

4) Blociau adeiladu craidd asiant (yr “anatomeg” 🧩)

Mae gan y rhan fwyaf o asiantau solet y darnau hyn:

A) Y ddolen rheolydd 🔁

Dyma'r trefnydd:

cipio gôl
gofynnwch i'r model am y camau nesaf
offeryn rhedeg
atodi arsylwad
ailadroddwch nes bod wedi'i wneud Dogfennau “Asiantau” LangChain

B) Offer (aka galluoedd) 🧰

Offer yw'r hyn sy'n gwneud asiant yn effeithiol: dogfennau “Offer” LangChain

ymholiadau cronfa ddata
anfon negeseuon e-bost
tynnu ffeiliau
cod rhedeg
galw APIs mewnol
ysgrifennu i daenlenni neu CRMs

C) Cof 🗃️

Mae dau fath yn bwysig:

cof tymor byr: cyd-destun y rhediad cyfredol, camau diweddar, cynllun cyfredol
cof tymor hir: dewisiadau defnyddiwr, cyd-destun prosiect, gwybodaeth a adferwyd (yn aml trwy fewnosodiadau + storfa fector) papur RAG

D) Polisi cynllunio a phenderfynu 🧭

Hyd yn oed os nad ydych chi'n ei alw'n "gynllunio", mae angen dull arnoch chi:

rhestrau gwirio
Papur ReAct “meddwl wedyn offeryn” arddull ReAct
graffiau tasgau
patrymau goruchwyliwr-gweithiwr
patrymau goruchwyliwr-gweithiwr Microsoft AutoGen (fframwaith aml-asiant)

E) Rheiliau gwarchod a gwerthuso 🧯

caniatâd
cynlluniau offer diogel Allbynnau Strwythuredig OpenAI
dilysu allbwn
terfynau cam
logio
profion NIST AI RMF 1.0

Ydy, mae'n fwy o beirianneg nag annog. Sydd… yn rhywbeth o'r pwynt.

5) Tabl Cymharu: ffyrdd poblogaidd o adeiladu asiant 🧾

Isod mae “Tabl Cymharu” realistig - gydag ychydig o bethau rhyfedd, oherwydd mae timau go iawn yn rhyfedd 😄

Offeryn / Fframwaith	Cynulleidfa	Pris	Pam mae'n gweithio	Nodiadau (anhrefn bach)
CadwynLang	adeiladwyr sy'n hoffi cydrannau arddull Lego	rhad ac am ddim + is-seil	ecosystem fawr ar gyfer offer, cof, cadwyni	gall fynd yn sbageti-gyflym os na fyddwch chi'n enwi pethau'n glir
Mynegai Llama	Timau sy'n drwm ar RAG	rhad ac am ddim + is-seil	patrymau adfer cryf, mynegeio, cysylltwyr	gwych pan fydd eich asiant yn y bôn yn “chwilio + gweithredu”… sy'n gyffredin
Dull arddull Cynorthwywyr OpenAI	timau sydd eisiau sefydlu cyflymach	seiliedig ar ddefnydd	patrymau galw offer adeiledig a chyflwr rhedeg	llai hyblyg mewn rhai corneli, ond yn lân ar gyfer llawer o apiau	Mae OpenAI yn rhedeg galwadau ffwythiant Cynorthwywyr OpenAI API
Cnewyllyn Semantig	datblygwyr sydd eisiau cerddorfa strwythuredig	rhydd-aidd	haniaethu taclus ar gyfer sgiliau/swyddogaethau	yn teimlo'n "daclus menter" - weithiau mae hynny'n ganmoliaeth 😉
AutoGen	arbrofwyr aml-asiant	rhydd-aidd	patrymau cydweithio asiant-i-asiant	gall or-siarad; gosod rheolau terfynu llym
CrewAI	cefnogwyr “timau o asiantau”	rhydd-aidd	mae rolau + tasgau + trosglwyddiadau yn hawdd i'w mynegi	yn gweithio orau pan fydd tasgau'n grimp, nid yn feddal
Tatws gwair	pobl chwilio + piblinellau	rhydd-aidd	piblinellau solet, adfer, cydrannau	llai o “theatr asiant”, mwy o “ffatri ymarferol”
Rholiwch eich hun (dolen wedi'i haddasu)	pobl sy'n hoffi rheoli (cariadus)	eich amser	hud lleiaf, eglurder mwyaf	fel arfer y gorau yn y tymor hir… nes i chi ailddyfeisio popeth 😅

Dim un enillydd. Mae'r dewis gorau yn dibynnu a yw prif swydd eich asiant yn adfer, gweithredu offer, cydlynu aml-asiant, neu awtomeiddio llif gwaith.

6) Sut i Adeiladu Asiant AI gam wrth gam (y rysáit wirioneddol) 🍳🤖

Dyma'r rhan y mae'r rhan fwyaf o bobl yn ei hepgor, yna'n meddwl pam mae'r asiant yn ymddwyn fel racŵn mewn pantri.

Cam 1: Diffiniwch y swydd mewn un frawddeg 🎯

Enghreifftiau:

“Drafftiwch ateb cwsmer gan ddefnyddio cyd-destun polisi a thocyn, yna gofynnwch am gymeradwyaeth.”
“Ymchwilio i adroddiad nam, ei atgynhyrchu, a chynnig ateb.”
“Trowch nodiadau cyfarfod amherffaith yn dasgau, perchnogion, a therfynau amser.”

Os na allwch chi ei ddiffinio'n syml, ni all eich asiant chwaith. Hynny yw, gall, ond bydd yn fyrfyfyrio, a byrfyfyrio yw lle mae cyllidebau'n mynd i farw.

Cam 2: Penderfynwch ar lefel ymreolaeth (isel, canolig, sbeislyd) 🌶️

Ymreolaeth isel: yn awgrymu camau, mae cliciau dynol yn “cymeradwyo”
Canolig: yn rhedeg offer, yn drafftio allbwn, yn cynyddu ansicrwydd
Uchel: yn gweithredu o'r dechrau i'r diwedd, dim ond yn pingio bodau dynol ar eithriadau

Dechreuwch yn is nag yr hoffech. Gallwch chi bob amser ei gynyddu yn ddiweddarach.

Cam 3: Dewiswch eich strategaeth fodel 🧠

Rydych chi fel arfer yn dewis:

un model cryf ar gyfer popeth (syml)
un model cryf + model llai ar gyfer camau rhad (dosbarthiad, llwybro)
modelau arbenigol (gweledigaeth, cod, lleferydd) os oes angen

Penderfynwch hefyd:

uchafswm o docynnau
tymheredd
a ydych chi'n caniatáu olion rhesymu hir yn fewnol (gallwch chi, ond peidiwch â datgelu cadwyn feddwl amrwd i ddefnyddwyr terfynol)

Cam 4: Diffinio offer gyda chynlluniau llym 🔩

Dylai offer fod:

cul
wedi'i deipio
wedi'i ganiatau
Allbynnau Strwythuredig OpenAI wedi'u dilysu

Yn lle teclyn o'r enw do_anything(input: string), gwnewch:

search_kb(ymholiad: llinyn) -> canlyniadau[]
creu_tocyn(teitl: llinyn, corff: llinyn, blaenoriaeth: enum) -> ticket_id
send_email(to: string, subject: string, body: string) -> status Canllaw galw Swyddogaeth OpenAI

Os byddwch chi'n rhoi llif gadwyn i'r asiant, peidiwch â synnu pan fydd yn tocio gwrych trwy dynnu'r ffens hefyd.

Cam 5: Adeiladu'r ddolen reoli 🔁

Dolen leiaf:

Dechreuwch gyda'r nod + cyd-destun cychwynnol
Gofynnwch i'r model: “Cam nesaf?”
Os yw'r offeryn yn cael ei alw - gweithredu'r offeryn
Ychwanegu arsylwad
Gwiriwch yr amod stopio
Ailadroddwch (gyda'r camau mwyaf) dogfennau “Asiantau” LangChain

Ychwanegu:

amseroedd terfyn
ailgeisiau (byddwch yn ofalus - gall ailgeisiau fynd yn ôl ac ymlaen) AWS “Amseroedd terfyn, ailgeisiau, ac adferiad gyda jitter”
fformatio gwallau offeryn (clir, strwythuredig)

Cam 6: Ychwanegwch gof yn ofalus 🗃️

Tymor byr: cadwch “crynodeb cyflwr” cryno wedi’i ddiweddaru bob cam. “Trosolwg cof” LangChain
Tymor hir: storio ffeithiau gwydn (dewisiadau defnyddwyr, rheolau sefydliadol, dogfennau sefydlog).

Rheol gyffredinol:

os yw'n newid yn aml - cadwch ef yn fyrdymor
os yw'n sefydlog - storiwch am gyfnod hir
os yw'n sensitif - storiwch i'r lleiafswm (neu ddim o gwbl)

Cam 7: Ychwanegu dilysu a phas "beirniad" 🧪

Patrwm rhad, ymarferol:

asiant yn cynhyrchu canlyniad
mae dilysydd yn gwirio strwythur a chyfyngiadau
adolygiadau model beirniadol dewisol ar gyfer camau coll neu dorri polisïau NIST AI RMF 1.0

Ddim yn berffaith, ond mae'n dal swm syfrdanol o nonsens.

Cam 8: Cofnodwch bopeth y byddwch chi'n difaru peidio â'i gofnodi 📜

Log:

galwadau offeryn + mewnbynnau + allbynnau
penderfyniadau a wnaed
gwallau
allbynnau terfynol
tocynnau a latency primer arsylwadwyedd OpenTelemetry

Y dyfodol - byddwch chi'n diolch i chi. Y presennol - byddwch chi'n anghofio. Dyna fywyd yn unig 😵💫

7) Galwad offer nad yw'n torri'ch enaid 🧰😵

Galw offer yw lle mae “Sut i Adeiladu Asiant AI” yn dod yn beirianneg feddalwedd go iawn.

Gwneud offer yn ddibynadwy (mae dibynadwy yn dda)

Offer dibynadwy yw:

penderfynol
cul o ran cwmpas
hawdd i'w brofi
yn ddiogel ail-redeg “Ceisiadau Idempotent” Stripe

Ychwanegu rheiliau gwarchod ar yr haen offer, nid dim ond awgrymiadau

Awgrymiadau cwrtais yw awgrymiadau. Mae dilysu offer fel drws cloedig. Allbynnau Strwythuredig OpenAI

Gwnewch:

rhestrau caniatáu (pa offer all redeg)
dilysu mewnbwn
terfynau cyfradd OpenAI Canllaw terfynau cyfradd
gwiriadau caniatâd fesul defnyddiwr/sefydliad
“modd rhedeg sych” ar gyfer gweithredoedd peryglus

Dylunio ar gyfer methiant rhannol

Mae offer yn methu. Mae rhwydweithiau'n siglo. Mae'r awdurdodiad yn dod i ben. Rhaid i asiant:

dehongli gwallau
ailgeisio gyda backoff pan fo'n briodol strategaeth ailgeisio Google Cloud (backoff + jitter)
dewis offer amgen
cynyddu pan fyddwch chi'n sownd

Tric effeithiol tawel: dychwelyd gwallau strwythuredig fel:

math: gwall_awdurdodi
math: heb ei_ganfod
math: rate_limited
Felly gall y model ymateb yn ddeallus yn lle cynhyrfu.

8) Cof sy'n helpu yn lle eich aflonyddu 👻🗂️

Mae cof yn bwerus, ond gall hefyd ddod yn ddrôr sothach.

Cof tymor byr: cadwch ef yn gryno

Defnyddiwch:

N cam olaf
crynodeb rhedeg (yn cael ei ddiweddaru bob dolen)
cynllun cyfredol
cyfyngiadau cyfredol (cyllideb, amser, polisïau)

Os ydych chi'n rhoi popeth yn ei gyd-destun, rydych chi'n cael:

cost uwch
oedi arafach
mwy o ddryswch (ie, hyd yn oed wedyn)

Cof tymor hir: adfer yn hytrach na “stwffio”

Mae'r rhan fwyaf o "gof tymor hir" yn debycach i:

mewnosodiadau
siop fector
papur RAG cynhyrchu estynedig adfer (RAG)

Nid yw'r asiant yn cofio. Mae'n adfer y darnau mwyaf perthnasol yn ystod amser rhedeg. LlamaIndex “Cyflwyniad i RAG”

Rheolau cof ymarferol

Storiwch “dewisiadau” fel ffeithiau penodol: “Mae’r defnyddiwr yn hoffi crynodebau bwled ac yn casáu emojis” (lol, nid yma serch hynny 😄)
Storiwch “benderfyniadau” gyda stampiau amser neu fersiynau (fel arall bydd gwrthddywediadau’n cronni)
Peidiwch byth â storio cyfrinachau oni bai bod rhaid i chi wir

A dyma fy metaffor amherffaith: mae cof fel oergell. Os na fyddwch chi byth yn ei lanhau, yn y pen draw mae eich brechdan yn blasu fel winwns ac edifeirwch.

9) Patrymau cynllunio (o'r syml i'r ffansi) 🧭✨

Dim ond dadelfennu dan reolaeth yw cynllunio. Peidiwch â'i wneud yn gyfriniol.

Patrwm A: Cynlluniwr rhestr wirio ✅

Mae model yn allbynnu rhestr o gamau
Yn gweithredu gam wrth gam
Statws rhestr wirio diweddariadau

Gwych ar gyfer ymsefydlu. Syml, profadwy.

Patrwm B: Dolen ReAct (rheswm + gweithred) 🧠→🧰

model yn penderfynu galwad offeryn nesaf
yn arsylwi allbwn
yn ailadrodd papur ReAct

Dyma deimlad clasurol yr asiant.

Patrwm C: Goruchwyliwr-gweithiwr 👥

goruchwyliwr yn rhannu nod yn dasgau
gweithwyr yn cyflawni tasgau arbenigol
mae goruchwyliwr yn cyfuno canlyniadau Microsoft AutoGen (fframwaith aml-asiant)

Mae hyn yn werthfawr pan fo modd cyfochrog â thasgau, neu pan fyddwch chi eisiau "rolau" gwahanol fel:

ymchwilydd
codwr
golygydd
Gwiriwr sicrhau ansawdd

Patrwm D: Cynllunio-yna-gweithredu gydag ailgynllunio 🔄

creu cynllun
gweithredu
os bydd canlyniadau'r offeryn yn newid realiti, ailgynllunio

Mae hyn yn atal yr asiant rhag dilyn cynllun gwael yn ystyfnig. Mae bodau dynol yn gwneud hyn hefyd, oni bai eu bod wedi blino, ac os felly maent hefyd yn dilyn cynlluniau gwael.

10) Diogelwch, dibynadwyedd, a pheidio â chael eich diswyddo 🔐😅

Os gall eich asiant gymryd camau gweithredu, mae angen dyluniad diogelwch arnoch. Nid "braf ei gael". Angen. NIST AI RMF 1.0

Terfynau caled

uchafswm o gamau fesul rhediad
galwadau offer mwyaf y funud
gwariant uchaf fesul sesiwn (cyllideb tocyn)
offer cyfyngedig y tu ôl i gymeradwyaeth

Trin data

golygu mewnbynnau sensitif cyn cofnodi
amgylcheddau ar wahân (datblygu vs cynhyrchu)
caniatâd offeryn lleiaf breintiau

Cyfyngiadau ymddygiadol

gorfodi'r asiant i ddyfynnu darnau o dystiolaeth fewnol (nid dolenni allanol, dim ond cyfeiriadau mewnol)
gofyn am faneri ansicrwydd pan fo hyder yn isel
gofyn am “gofyn cwestiwn eglurhaol” os yw mewnbynnau’n amwys

Nid asiant dibynadwy yw'r un mwyaf hyderus. Dyma'r un sy'n gwybod pryd mae'n dyfalu… ac yn dweud hynny.

11) Profi a gwerthuso (y rhan y mae pawb yn ei hosgoi) 🧪📏

Ni allwch wella'r hyn na allwch ei fesur. Ie, mae'r llinell honno'n gawslyd, ond mae'n wir yn annifyr.

Adeiladu set senario

Creu 30-100 o achosion prawf:

llwybrau hapus
achosion ymyl
achosion “methiant offeryn”
ceisiadau amwys
awgrymiadau gwrthwynebol (ymdrechion chwistrellu prydlon) OWASP 10 Gorau ar gyfer Apiau LLM OWASP LLM01 Chwistrelliad Prydlon

Canlyniadau sgôr

Defnyddiwch fetrigau fel:

cyfradd llwyddiant tasg
amser i gwblhau
cyfradd adfer gwallau offeryn
cyfradd rhithweledigaethau (honiadau heb dystiolaeth)
cyfradd cymeradwyaeth ddynol (os mewn modd goruchwylio)

Profion atchweliad ar gyfer awgrymiadau ac offer

Unrhyw amser y byddwch chi'n newid:

cynllun offeryn
cyfarwyddiadau system
rhesymeg adfer
fformat cof
Rhedeg y gyfres eto.

Mae asiantau yn anifeiliaid sensitif. Fel planhigion tŷ, ond yn ddrytach.

12) Patrymau defnyddio nad ydynt yn toddi'ch cyllideb 💸🔥

Dechreuwch gydag un gwasanaeth

API rheolydd asiant
gwasanaethau offer y tu ôl iddo
logio + monitro primer arsylwadwyedd OpenTelemetry

Ychwanegwch reolaethau cost yn gynnar

canlyniadau adferiad yn y storfa
cywasgu cyflwr sgwrs gyda chrynodebau
defnyddio modelau llai ar gyfer llwybro ac echdynnu
cyfyngu “modd meddwl dwfn” i’r camau anoddaf

Dewis pensaernïaeth cyffredin

rheolydd di-wladwriaeth + storfa cyflwr allanol (DB/redis)
mae galwadau offer yn idempotent lle bo modd Stripe “Ceisiadau idempotent”
ciw ar gyfer tasgau hir (fel nad ydych chi'n cadw cais gwe ar agor am byth)

Hefyd: adeiladwch “switsh lladd”. Fyddwch chi ddim ei angen nes bod wir, wir ei angen arnoch chi 😬

13) Nodiadau cloi - y fersiwn fer ar Sut i Adeiladu Asiant AI 🎁🤖

Os nad ydych chi'n cofio dim byd arall, cofiwch hyn:

Sut i Adeiladu Asiant AI yn ymwneud yn bennaf ag adeiladu dolen ddiogel o amgylch model. Dogfennau “Asiantau” LangChain
Dechreuwch gyda nod clir, ymreolaeth isel, ac offer llym. Allbynnau Strwythuredig OpenAI
Ychwanegu cof drwy adfer, nid llenwi cyd-destun diddiwedd. Papur RAG
Gall cynllunio fod yn syml - mae rhestrau gwirio ac ailgynllunio yn mynd yn bell.
Mae logio a phrofion yn troi anhrefn asiant yn rhywbeth y gallwch ei gludo. Cyflwyniad arsylwadwyedd OpenTelemetry
Mae rheiliau gwarchod yn perthyn i god, nid mewn awgrymiadau yn unig. 10 Gorau OWASP ar gyfer Apiau LLM

Nid hud yw asiant. Mae'n system sy'n gwneud penderfyniadau da yn ddigon aml i fod yn werthfawr… ac yn cyfaddef trechu cyn iddo achosi niwed. Yn dawel gysurus, mewn ffordd 😌

Ac ie, os ydych chi'n ei adeiladu'n iawn, mae'n teimlo fel cyflogi intern digidol bach sydd byth yn cysgu, weithiau'n panicio, ac yn caru gwaith papur. Felly, yn y bôn yn intern.

Enghraifft o'r byd go iawn: Adeiladu asiant AI ar gyfer blaenoriaethu cymorth 🎫🤖

Senario

Dychmygwch dîm SaaS bach yn derbyn 120-180 o docynnau cymorth yr wythnos. Nid yw'r rhan fwyaf o docynnau'n gymhleth, ond maent yn dal i gymryd amser: ailosod cyfrinair, cwestiynau bilio, adroddiadau namau, ceisiadau am nodweddion, a negeseuon "ai ymddygiad disgwyliedig yw hwn?".

Gall sgwrsbot syml ddrafftio atebion, ond ni all wirio statws cyfrif yn ddibynadwy, chwilio'r gronfa wybodaeth, dosbarthu brys, na phenderfynu pryd mae angen i fod dynol ymyrryd. Dyma lle mae asiant yn gwneud synnwyr.

Nid yw'r nod yn disodli cefnogaeth yn llwyr. Y nod yw adeiladu asiant â llai o ymreolaeth sy'n darllen tocyn newydd, yn casglu cyd-destun, yn drafftio ateb, ac yn llwybro'r tocyn i'r ciw cywir. Mae bod dynol yn dal i gymeradwyo unrhyw beth sy'n ymwneud â chwsmeriaid.

Beth sydd ei angen ar y cynorthwyydd

Er mwyn gweithio'n ddiogel, mae angen set fach, rheoledig o fewnbynnau ac offer ar yr asiant:

Testun y tocyn sy'n dod i mewn
Math o gynllun cwsmer, oedran cyfrif, a statws bilio diweddar
Log newidiadau cynnyrch diweddar neu ddigwyddiadau hysbys
Erthyglau canolfan gymorth fewnol
Offeryn diweddaru tocynnau gyda meysydd cyfyngedig
Offeryn ateb drafft, nid offeryn anfon e-bost
Polisi uwchgyfeirio clir

Dylai'r rhestr offer aros yn gul yn fwriadol:

canolfan_gymorth_chwilio(ymholiad)
cael_statws_cwsmer(id_cwsmer)
gwirio_digwyddiadau_hysbys(ardal_cynnyrch)
diweddaru_categori_tocyn(id_tocyn, categori, blaenoriaeth)
ateb_draft(id_tocyn, testun_ateb)
escale_to_human(id_tocyn, rheswm)

Sylwch ar yr hyn sydd ar goll: nid oes offeryn “ad-dalu cwsmer”, “cau cyfrif”, na “anfon ateb terfynol”. Mae’r camau hynny’n rhy beryglus ar gyfer fersiwn gyntaf.

Cyfarwyddyd enghreifftiol

Rydych chi'n asiant blaenoriaethu cymorth ar gyfer cynnyrch SaaS.

Eich gwaith chi yw dosbarthu tocynnau sy'n dod i mewn, casglu'r cyd-destun sydd ei angen yn unig, drafftio ymateb awgrymedig, a phenderfynu a ddylid uwchgyfeirio'r tocyn.

Rheolau:

Peidiwch ag anfon atebion yn uniongyrchol at gwsmeriaid.

Defnyddiwch y ganolfan gymorth cyn ateb cwestiynau am gynnyrch.

Gwiriwch statws y cwsmer cyn ateb cwestiynau am biliau, cynlluniau neu fynediad.

Os yw'r cwsmer yn sôn am fygythiadau cyfreithiol, colli data, problemau diogelwch, methiant taliad, canslo cyfrif, neu iaith flin, cyfeiriwch at berson.

Os nad yw'r ateb yn cael ei gefnogi gan gynnwys y ganolfan gymorth a adferwyd neu ddata cyfrif, dywedwch beth sydd ar goll a'i uwchgyfeirio.

Stopiwch ar ôl uchafswm o 6 galwad offeryn.

Dim ond pan fydd ganddo gategori, blaenoriaeth, crynodeb tystiolaeth, ateb drafft, a naill ai “angen cymeradwyaeth ddynol” neu “wedi’i uwchgyfeirio” y mae tocyn wedi’i “orffen”.

Sut i'w brofi

Dechreuwch gyda 30 o docynnau prawf cyn ei gysylltu â defnyddwyr byw:

10 tocyn arferol, fel ailosod cyfrinair, terfynau cynllun, a chwestiynau sylfaenol “sut ydw i?”
5 tocyn bilio
5 adroddiad nam
5 tocyn amwys gyda gwybodaeth ar goll
5 tocyn peryglus, fel pryderon diogelwch, gofynion ad-daliad, a chwynion blin

Ar gyfer pob tocyn, sgôr:

A ddewisodd y categori cywir?
A ddefnyddiodd yr offeryn cywir cyn ateb?
A wnaeth osgoi honiadau heb eu cefnogi?
A wnaeth hynny gynyddu tocynnau peryglus?
Oedd angen golygu’r drafft yn drwm?

Mae taenlen syml o lwyddo/methu yn ddigon ar y dechrau. Peidiwch â gor-adeiladu'r system werthuso cyn i chi wybod a yw'r asiant yn cyflawni gwerth.

Canlyniad

Canlyniad darluniadol: Yn seiliedig ar amseru 30 o docynnau sampl cyn ac ar ôl defnyddio'r llif gwaith hwn, gallai arweinydd cymorth fesur y canlynol:

Gostyngiad o 6 munud fesul tocyn i 90 eiliad oedd yr amser dosbarthu cyntaf cyfartalog
30 o docynnau wedi'u dosbarthu mewn 45 munud yn lle 3 awr
27 allan o 30 tocyn wedi'u gosod yn y categori cywir
5 allan o 5 tocyn peryglus wedi'u huwchgyfeirio'n gywir
0 ymateb cwsmer wedi'u hanfon heb gymeradwyaeth ddynol

Amcangyfrif enghreifftiol yw'r niferoedd hyn, nid meincnod profedig. Mae'r mesuriad yn hawdd i'w ailadrodd: amserwch yr un swp o docynnau prawf â llaw, yna eu rhedeg drwy'r asiant a chymharwch gywirdeb categori, cywirdeb uwchgyfeirio, ac amser golygu.

Beth all fynd o'i le

Gall yr asiant fethu mewn ffyrdd arferol iawn o hyd.

Gallai ddosbarthu cwsmer rhwystredig ond syml fel "brys" oherwydd bod yr iaith yn swnio'n flin. Gallai ddrafftio ateb hyderus o erthygl gymorth sydd wedi dyddio. Gallai barhau i chwilio pan fo'r cam cywir yw cynyddu'r broblem. Gallai ddatgelu gormod o fanylion cyfrif mewn drafft ateb.

Nid “ysgrifennu awgrym gwell” a gobeithio yw’r ateb. Ychwanegu terfynau caled:

Uwchgyfeirio pan fydd iaith bilio, diogelwch, cyfreithiol neu ganslo yn ymddangos
Gofyn am ddyfyniadau o erthyglau cymorth mewnol yn y crynodeb tystiolaeth
Cadwch “anfon ateb” y tu ôl i gymeradwyaeth ddynol
Cofnodwch bob galwad offeryn a drafft terfynol
Ail-gynnal y gyfres brawf 30 tocyn ar ôl pob awgrym, offeryn, neu newid polisi

Tecawê ymarferol

Nid oes angen ymreolaeth ddramatig ar asiant gwerthfawr. Yn yr enghraifft hon, mae'r gwerth yn dod o ddolen reoledig: darllenwch y tocyn, nôl y cyd-destun cywir, ei ddosbarthu, drafftiwch ymateb, a stopiwch i'w adolygu. Mae hynny'n llawer haws ymddiried ynddo, ei brofi a'i wella nag asiant sy'n ceisio "ymdopi â chymorth" gydag un ysgogiad enfawr.

Cwestiynau Cyffredin

Beth yw asiant AI, mewn termau syml?

Yn y bôn, mae asiant AI yn ddolen sy'n ailadrodd: cymryd mewnbwn, penderfynu ar y cam nesaf, defnyddio offeryn, darllen y canlyniad, ac ailadrodd nes ei fod wedi'i wneud. Daw'r rhan "asiantaidd" o weithredu ac arsylwi, nid sgwrsio yn unig. Mae llawer o asiantau yn awtomeiddio clyfar gyda mynediad at offer, tra bod eraill yn ymddwyn yn debycach i weithredwr iau a all wella o wallau.

Pryd ddylwn i adeiladu asiant AI yn lle defnyddio prompt yn unig?

Adeiladu asiant pan fydd y gwaith yn aml-gam, newidiadau yn seiliedig ar ganlyniadau canolradd, ac angen defnydd dibynadwy o offer (APIs, cronfeydd data, tocynnau, gweithredu cod). Mae asiantau hefyd yn ddefnyddiol pan fyddwch chi eisiau canlyniadau ailadroddadwy gyda rheiliau gwarchod a ffordd i wirio "wedi'i wneud". Os yw ymateb prydlon syml yn gweithio, fel arfer nid oes angen asiant ar unrhyw gostau uwchben ac mae ganddo ddulliau methiant ychwanegol.

Sut ydw i'n adeiladu asiant AI nad yw'n mynd yn sownd mewn dolenni?

Defnyddiwch amodau stopio caled: uchafswm o gamau, uchafswm o alwadau offer, a gwiriadau cwblhau clir. Ychwanegwch gynlluniau offer strwythuredig, terfynau amser, ac ailgeisiau na fyddant yn ailgeisio am byth. Cofnodwch benderfyniadau ac allbynnau offer fel y gallwch weld ble mae'n dadreilio. Falf diogelwch gyffredin yw cynyddu: os yw'r asiant yn ansicr neu'n ailadrodd gwallau, dylai ofyn am gymorth yn hytrach na byrfyfyrio.

Beth yw'r bensaernïaeth leiaf ar gyfer Sut i Adeiladu Asiant AI?

O leiaf mae angen dolen reoli arnoch sy'n bwydo nod a chyd-destun i'r model, yn gofyn am y camau nesaf, yn gweithredu teclyn os gofynnir amdano, yn atodi'r arsylwad, ac yn ailadrodd. Mae angen offer arnoch hefyd gyda siapiau mewnbwn/allbwn llym a gwiriad "wedi'i wneud". Gall hyd yn oed dolen rholio-eich-hun weithio'n dda os ydych chi'n cadw'r cyflwr yn lân ac yn gorfodi terfynau cam.

Sut ddylwn i ddylunio galwadau offer fel eu bod yn ddibynadwy mewn cynhyrchu?

Cadwch offer yn gul, wedi'u teipio, wedi'u caniatâd, ac wedi'u dilysu—osgowch offeryn generig "gwneud_unrhyw beth". Dewiswch sgemâu llym (fel allbynnau strwythuredig/galwadau swyddogaeth) fel na all yr asiant anfon mewnbynnau â llaw. Ychwanegwch restrau caniatáu, terfynau cyfradd, a gwiriadau caniatâd defnyddiwr/sefydliad ar yr haen offer. Dyluniwch offer i fod yn ddiogel i'w hail-redeg pan fo'n bosibl, gan ddefnyddio patrymau idempotency.

Beth yw'r ffordd orau o ychwanegu cof heb waethygu'r asiant?

Trin cof fel dwy ran: cyflwr rhedeg tymor byr (camau diweddar, cynllun cyfredol, cyfyngiadau) ac adferiad tymor hir (dewisiadau, rheolau sefydlog, dogfennau perthnasol). Cadwch grynodeb tymor byr gyda chrynodebau rhedeg, nid trawsgrifiadau llawn. Ar gyfer cof tymor hir, mae adferiad (mewnosodiadau + storfa fector/patrymau RAG) fel arfer yn well na "stwffio" popeth i gyd-destun a drysu'r model.

Pa batrwm cynllunio ddylwn i ei ddefnyddio: rhestr wirio, ReAct, neu oruchwyliwr-gweithiwr?

Mae cynlluniwr rhestr wirio yn wych pan fo tasgau'n rhagweladwy ac rydych chi eisiau rhywbeth hawdd i'w brofi. Mae dolenni arddull ReAct yn disgleirio pan fydd canlyniadau offer yn newid yr hyn rydych chi'n ei wneud nesaf. Mae patrymau goruchwyliwr-gweithiwr (fel gwahanu rolau arddull AutoGen) yn helpu pan ellir paraleleiddio tasgau neu elwa o rolau gwahanol (ymchwilydd, codwr, sicrhau ansawdd). Mae cynllunio-yna-gweithredu gydag ailgynllunio yn dir canol ymarferol ar gyfer osgoi cynlluniau gwael ystyfnig.

Sut ydw i'n gwneud asiant yn ddiogel os gall gymryd camau gweithredu go iawn?

Defnyddiwch ganiatadau lleiaf breintiau a chyfyngwch offer peryglus y tu ôl i ddulliau cymeradwyo neu "drefn sych". Ychwanegwch gyllidebau a chapiau: uchafswm camau, uchafswm gwariant, a therfynau galw offer fesul munud. Golygwch ddata sensitif cyn cofnodi, a gwahanwch amgylcheddau datblygu o amgylcheddau cynhyrchu. Gofynnwch am faneri ansicrwydd neu eglurhad cwestiynau pan fydd mewnbynnau'n amwys, yn lle gadael i hyder ddisodli tystiolaeth.

Sut ydw i'n profi a gwerthuso asiant AI fel ei fod yn gwella dros amser?

Adeiladu cyfres o senarios gyda llwybrau hapus, achosion ymyl, methiannau offer, ceisiadau amwys, ac ymdrechion chwistrellu prydlon (arddull OWASP). Sgorio canlyniadau fel llwyddiant tasg, amser i gwblhau, adferiad o wallau offer, a honiadau heb dystiolaeth. Unrhyw amser y byddwch chi'n newid cynlluniau offer, awgrymiadau, adferiad, neu fformatio cof, ail-redeg y gyfres. Os na allwch ei phrofi, ni allwch ei llongio'n ddibynadwy.

Sut ydw i'n defnyddio asiant heb gynyddu oedi a chostau?

Patrwm cyffredin yw rheolydd di-wladwriaeth gyda storfa gyflwr allanol (DB/Redis), gwasanaethau offer y tu ôl iddo, a logio/monitro cryf (yn aml OpenTelemetry). Rheoli costau gyda storfa adfer, crynodebau cyflwr cryno, modelau llai ar gyfer llwybro/echdynnu, a chyfyngu "meddwl dwfn" i'r camau anoddaf. Defnyddiwch giwiau ar gyfer tasgau hir fel nad ydych chi'n dal ceisiadau gwe ar agor. Cynhwyswch switsh lladd bob amser.

Cyfeiriadau

Sefydliad Cenedlaethol Safonau a Thechnoleg (NIST) - NIST AI RMF 1.0 (dibynadwyedd a thryloywder) - nvlpubs.nist.gov
OpenAI - Allbynnau Strwythuredig - platform.openai.com
OpenAI - Canllaw galw swyddogaethau - platform.openai.com
OpenAI - Canllaw terfynau cyfradd - platform.openai.com
OpenAI - Yn rhedeg API - platform.openai.com
OpenAI - Galwadau swyddogaeth Cynorthwywyr - platform.openai.com
LangChain - Dogfennau asiantau (JavaScript) - docs.langchain.com
LangChain - Dogfennau offer (Python) - docs.langchain.com
LangChain - Trosolwg o'r cof - docs.langchain.com
arXiv - Papur ReAct (rheswm + gweithred) - arxiv.org
arXiv - papur RAG - arxiv.org
Llyfrgell Adeiladwyr Amazon Web Services (AWS) - Terfynau amser, ail-geisiau, ac adferiad gyda jitter - aws.amazon.com
OpenTelemetry - Cyflwyniad i arsylwadwyedd - opentelemetry.io
Stripe - Ceisiadau idempotent - docs.stripe.com
Google Cloud - Strategaeth ail-gynnig (backoff + jitter) - docs.cloud.google.com
OWASP - Y 10 Uchaf ar gyfer Cymwysiadau Model Iaith Mawr - owasp.org
OWASP - Chwistrelliad Prydlon LLM01 - genai.owasp.org
LlamaIndex - Cyflwyniad i RAG - datblygwyr.llamaindex.ai
Microsoft - Cnewyllyn Semantig - learn.microsoft.com
Microsoft AutoGen - Fframwaith aml-asiant (dogfennaeth) - microsoft.github.io
CrewAI - Cysyniadau asiantau - docs.crewai.com
Haystack (deepset) - Dogfennaeth Adalwyr - docs.haystack.deepset.ai

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni

Yn ôl i'r blog