Sut mae Synwyryddion AI yn gweithio? [Fideo a Chwis]

Yr ateb byr: Nid yw synwyryddion AI yn "profi" pwy ysgrifennodd rywbeth; maent yn amcangyfrif pa mor agos y mae darn yn cyfateb i batrymau model iaith cyfarwydd. Mae'r rhan fwyaf yn dibynnu ar gymysgedd o ddosbarthwyr, signalau rhagweladwyedd (dryswch/byrstio), steilometreg, ac, mewn achosion prinnach, gwiriadau dyfrnod. Pan fydd y sampl yn fyr, yn ffurfiol iawn, yn dechnegol, neu wedi'i ysgrifennu gan awdur Saesneg fel Ail Iaith, ystyriwch y sgôr fel ciw i adolygu - nid dyfarniad.

Prif bethau i'w cymryd:

Tebygolrwydd, nid prawf: Trin canrannau fel signalau risg “tebygrwydd i AI”, nid sicrwydd.

Cadarnhaol ffug: Yn aml, caiff ysgrifennu ffurfiol, technegol, wedi'i dempledu, neu nad yw'n frodorol ei nodi'n anghywir.

Cymysgedd o ddulliau: Mae offer yn cyfuno dosbarthwyr, dryswch/byrstio, steilometreg, a gwiriadau dyfrnod anghyffredin.

Tryloywder: Yn well ganddo synwyryddion sydd ag arwynebau, nodweddion ac ansicrwydd - nid un rhif yn unig.

Herioldeb: Cadwch ddrafftiau/nodiadau a phrosesu tystiolaeth wrth law ar gyfer anghydfodau ac apeliadau.

Erthyglau y gallech fod eisiau eu darllen ar ôl yr un hon:

🔗 Beth yw'r synhwyrydd AI gorau?
Offer canfod AI gorau wedi'u cymharu o ran cywirdeb, nodweddion ac achosion defnydd.

🔗 A yw synwyryddion AI yn ddibynadwy?
Yn egluro dibynadwyedd, canlyniadau positif ffug, a pham mae canlyniadau'n aml yn amrywio.

🔗 A all Turnitin ganfod AI?
Canllaw cyflawn i ganfod, terfynau ac arferion gorau AI Turnitin.

🔗 A yw synhwyrydd AI QuillBot yn gywir?
Adolygiad manwl o gywirdeb, cryfderau, gwendidau, a phrofion yn y byd go iawn.

1) Y syniad cyflym - beth mae synhwyrydd AI yn ei wneud mewn gwirionedd ⚙️

Nid yw'r rhan fwyaf o synwyryddion AI yn "dal AI" fel rhwyd ​​yn dal pysgodyn. Maen nhw'n gwneud rhywbeth mwy rhyddiaith:

• Maen nhw'n amcangyfrif y tebygolrwydd y bydd darn o destun yn edrych fel pe bai wedi dod o fodel iaith (neu wedi cael cymorth mawr gan un). (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM; OpenAI)

• Maen nhw'n cymharu eich testun yn erbyn patrymau a welir mewn data hyfforddi (ysgrifennu dynol vs ysgrifennu a gynhyrchwyd gan fodel). (Arolwg ar Ganfod Testun a Gynhyrchwyd gan LLM)

• Maen nhw'n allbynnu sgôr (canran yn aml) sy'n teimlo'n bendant…ond fel arfer nid yw. (Canllawiau Turnitin)

Gadewch i ni fod yn onest - bydd y rhyngwyneb defnyddiwr yn dweud rhywbeth fel “92% AI,” ac mae eich ymennydd yn mynd “welp, mae'n debyg mai ffaith yw hynny.” Nid ffaith yw e. Dyfaliad model am olion bysedd model arall ydyw. Sydd braidd yn ddoniol, fel cŵn yn arogli cŵn 🐕🐕

2) Sut Mae Synwyryddion AI yn Gweithio: y “peiriannau canfod” mwyaf cyffredin 🔍

Mae synwyryddion fel arfer yn defnyddio un (neu gymysgedd) o'r dulliau hyn: (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

A) Modelau dosbarthwr (y mwyaf cyffredin)

Mae dosbarthwr yn cael ei hyfforddi ar enghreifftiau wedi'u labelu:

• Samplau wedi'u hysgrifennu gan ddyn

• Samplau a gynhyrchwyd gan AI

• Weithiau samplau “hybrid” (testun AI wedi’i olygu gan ddyn)

Yna mae'n dysgu patrymau sy'n gwahanu'r grwpiau. Dyma'r dull dysgu peirianyddol clasurol a gall fod yn syndod o dda ... nes nad yw. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

B) Sgorio dryswch a “ffrwydrad” 📈

Mae rhai synwyryddion yn cyfrifo pa mor "rhagweladwy" yw'r testun.

• Dryswch: yn fras, pa mor syn yw model iaith gan y gair nesaf. (Prifysgol Boston - Postiadau Dryswch)

• Gall llai o ddryswch awgrymu bod y testun yn rhagweladwy iawn (a all ddigwydd gydag allbynnau AI). (DetectGPT)

• Mae “Bwrstiness” yn ceisio mesur faint o amrywiad sydd yng nghymhlethdod a rhythm brawddegau. (GPTZero)

Mae'r dull hwn yn syml ac yn gyflym. Mae hefyd yn hawdd ei ddrysu, oherwydd gall bodau dynol ysgrifennu'n rhagweladwy hefyd (helo e-byst corfforaethol). (OpenAI)

C) Stylometreg (ysgrifennu olion bysedd) ✍️

Mae steilometreg yn edrych ar batrymau fel:

• hyd brawddegau cyfartalog

• arddull atalnodi

• amlder gair swyddogaeth (y, a, ond…)

• amrywiaeth geirfa

• sgoriau darllenadwyedd

Mae fel “dadansoddi llawysgrifen,” ac eithrio testun. Weithiau mae'n helpu. Weithiau mae fel gwneud diagnosis o annwyd drwy edrych ar esgidiau rhywun. (Stylometreg a gwyddoniaeth fforensig: Adolygiad llenyddiaeth; Geiriau Swyddogaethol mewn Priodoliad Awduraeth)

D) Canfod dyfrnod (pan mae'n bodoli) 🧩

Gall rhai darparwyr modelau fewnosod patrymau cynnil (“dyfrnodau”) mewn testun a gynhyrchir. Os yw canfodydd yn gwybod y cynllun dyfrnod, gall geisio ei wirio. (Dyfrnod ar gyfer Modelau Iaith Mawr; Testun SynthID)

Ond… nid yw pob model yn dyfrnod, nid yw pob allbwn yn cadw'r dyfrnod ar ôl golygiadau, ac nid oes gan bob synhwyrydd fynediad at y cyfrinach. Felly nid yw'n ateb cyffredinol. (Ar Ddibynadwyedd Dyfrnodau ar gyfer Modelau Iaith Mawr; OpenAI)

3) Beth sy'n gwneud fersiwn dda o synhwyrydd AI ✅

Nid synhwyrydd “da” (yn fy mhrofiad i, yn profi criw ohonyn nhw ochr yn ochr ar gyfer llif gwaith golygyddol) yw'r un sy'n gweiddi uchaf. Dyma'r un sy'n ymddwyn yn gyfrifol.

Dyma beth sy'n gwneud synhwyrydd AI yn gadarn:

• Hyder wedi'i galibro: dylai 70% olygu rhywbeth cyson, nid chwifio â llaw. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

• Positifau ffug isel: ni ddylai nodi Saesneg nad yw'n frodorol, ysgrifennu cyfreithiol, na llawlyfrau technegol fel "AI" dim ond oherwydd eu bod yn lân. (Stanford HAI; Liang et al. (arXiv))

• Terfynau tryloyw: dylai gyfaddef ansicrwydd a dangos ystodau, nid esgus ei fod yn hollwybodol. (OpenAI; Turnitin)

• Ymwybyddiaeth o'r parth: mae synwyryddion sydd wedi'u hyfforddi ar flogiau achlysurol yn aml yn cael trafferth gyda thestun academaidd ac i'r gwrthwyneb. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

• Trin testun byr: mae offer da yn osgoi sgoriau rhy hyderus ar samplau bach (nid bydysawd yw paragraff). (OpenAI; Turnitin)

• Sensitifrwydd adolygu: dylai ymdrin â golygu dynol heb gwympo ar unwaith i ganlyniadau nonsens. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Mae'r rhai gorau dw i wedi'u gweld yn tueddu i fod ychydig yn ostyngedig. Mae'r rhai gwaethaf yn ymddwyn fel eu bod nhw'n darllen meddyliau 😬

4) Tabl Cymharu - "mathau" cyffredin o synwyryddion AI a ble maen nhw'n disgleirio 🧾

Isod mae cymhariaeth ymarferol. Nid enwau brand yw'r rhain - nhw yw'r prif gategorïau y byddwch chi'n dod ar eu traws. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Sylwch ar y golofn “teimlad pris”. Ie, nid yw hynny'n wyddonol. Ond mae'n onest 😄

5) Y signalau craidd y mae synwyryddion yn chwilio amdanynt - y "adroddiadau" 🧠

Dyma beth mae llawer o synwyryddion yn ceisio'i fesur o dan y cwfl:

Rhagweladwyedd (tebygolrwydd tocyn)

Mae modelau iaith yn cynhyrchu testun drwy ragweld y tocynnau nesaf tebygol. Mae hynny'n tueddu i greu:

• trawsnewidiadau llyfnach

• llai o ddewisiadau geiriau annisgwyl

• llai o dangiadau rhyfedd (oni bai eich bod yn cael eich annog)

• tôn gyson (Prifysgol Boston - Postiadau Dryswch; CanfodGPT)

Mae bodau dynol, ar y llaw arall, yn aml yn symud yn fwy igam-ogam. Rydym yn gwrth-ddweud ein hunain, yn ychwanegu sylwadau ochr ar hap, yn defnyddio trosiadau ychydig yn od - fel cymharu synhwyrydd AI â thostiwr sy'n barnu barddoniaeth. Mae'r trosiad hwnnw'n ddrwg, ond rydych chi'n ei gael.

Patrymau ailadrodd a strwythur

Gall ysgrifennu AI ddangos ailadrodd cynnil:

• sgaffaldiau brawddegau ailadroddus (“I gloi…”, “Yn ogystal…”, “Ar ben hynny…”)

• hyd paragraff tebyg

• cyflymder cyson (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Ond hefyd - mae digon o bobl yn ysgrifennu fel 'na, yn enwedig mewn ysgolion neu gorfforaethau. Felly mae ailadrodd yn gliw, nid prawf.

Gor-eglurder a rhyddiaith “rhy lân” ✨

Mae hwn yn un rhyfedd. Mae rhai synwyryddion yn trin “ysgrifennu glân iawn” yn amheus yn ymhlyg. (OpenAI)

Sy'n anghyfforddus oherwydd:

• mae awduron da yn bodoli

• mae golygyddion yn bodoli

• gwiriad sillafu yn bodoli

Felly os ydych chi'n meddwl Sut Mae Synwyryddion AI yn Gweithio, rhan o'r ateb yw: weithiau maen nhw'n gwobrwyo garwedd. Sydd… braidd yn groes i'r disgwyl.

Dwysedd semantig a mynegiant generig

Gall synwyryddion nodi testun sy'n teimlo fel:

• rhy gyffredinol

• isel ar fanylion byw penodol

• yn drwm ar ddatganiadau cytbwys, niwtral (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Mae AI yn aml yn cynhyrchu cynnwys sy'n swnio'n rhesymol ond ychydig yn ysgafn. Fel ystafell westy sy'n edrych yn braf ond heb unrhyw bersonoliaeth 🛏️

6) Y dull dosbarthwr - sut mae'n cael ei hyfforddi (a pham mae'n torri) 🧪

Mae synhwyrydd dosbarthwr fel arfer yn cael ei hyfforddi fel hyn:

1. Casglu set ddata o destun dynol (traethodau, erthyglau, fforymau, ac ati)

2. Cynhyrchu testun AI (anrhegion, arddulliau, hydau lluosog)

3. Labelwch y samplau

4. Hyfforddi model i'w gwahanu gan ddefnyddio nodweddion neu fewnosodiadau

5. Dilyswch ef ar ddata a gedwir allan

6. Anfonwch ef…ac yna mae realiti yn ei daro yn ei wyneb (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Pam mae realiti yn ei daro:

• Newid parth: nid yw data hyfforddi yn cyfateb i ysgrifennu defnyddwyr go iawn

• Newid model: nid yw modelau cenhedlaeth newydd yn ymddwyn fel y rhai yn y set ddata

• Effeithiau golygu: gall golygiadau dynol gael gwared ar batrymau amlwg ond cadw rhai cynnil

• Amrywiad iaith: mae tafodieithoedd, ysgrifennu Saesneg fel Ail Iaith, ac arddulliau ffurfiol yn cael eu camddarllen (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM; Liang et al. (arXiv))

Rydw i wedi gweld synwyryddion oedd yn "rhagorol" ar eu set demo eu hunain, yna'n chwalu ar ysgrifennu gweithle go iawn. Mae fel hyfforddi ci synhwyro ar un brand o gwcis yn unig a disgwyl iddo ddod o hyd i bob byrbryd yn y byd 🍪

7) Dryswch a byrstio - y llwybr byr mathemateg 📉

Mae'r teulu hwn o synwyryddion yn tueddu i ddibynnu ar sgorio model iaith:

• Maen nhw'n rhedeg eich testun trwy fodel sy'n amcangyfrif pa mor debygol yw pob tocyn nesaf.

• Maen nhw'n cyfrifo "syndod" cyffredinol (dryswch). (Prifysgol Boston - Postiadau Dryswch)

• Gallant ychwanegu metrigau amrywiad (“byrstio”) i weld a yw'r rhythm yn teimlo'n ddynol. (GPTZero)

Pam mae'n gweithio weithiau:

• Gall testun crai AI fod yn hynod o llyfn ac yn rhagweladwy yn ystadegol (DetectGPT)

Pam mae'n methu:

• mae samplau byr yn swnllyd

• mae ysgrifennu ffurfiol yn rhagweladwy

• mae ysgrifennu technegol yn rhagweladwy

• gall ysgrifennu nad yw'n frodorol fod yn rhagweladwy

• Gall testun AI sydd wedi'i olygu'n helaeth edrych yn ddynol (OpenAI; Turnitin)

Felly, mae Sut Mae Synwyryddion AI yn Gweithio weithiau'n debyg i gwn cyflymder sy'n drysu beiciau a beiciau modur. Yr un ffordd, peiriannau gwahanol 🚲🏍️

8) Dyfrnodau - y syniad “ôl bysedd yn yr inc” 🖋️

Mae dyfrnodi yn swnio fel yr ateb glân: marcio testun AI ar adeg ei gynhyrchu, yna ei ganfod yn ddiweddarach. (Dyfrnod ar gyfer Modelau Iaith Mawr; Testun SynthID)

Yn ymarferol, gall dyfrnodau fod yn fregus:

• gall paraffrasio eu gwanhau

• gall cyfieithu eu torri

• gall dyfynnu rhannol eu tynnu

• gall cymysgu sawl ffynhonnell gymylu'r patrwm (Ar Ddibynadwyedd Dyfrnodau ar gyfer Modelau Iaith Mawr)

Hefyd, dim ond os:

• defnyddir dyfrnod

• mae'r synhwyrydd yn gwybod sut i'w wirio

• nid yw'r testun wedi'i drawsnewid llawer (OpenAI; Testun SynthID)

Felly ie, gall dyfrnodau fod yn bwerus, ond nid bathodyn heddlu cyffredinol ydyn nhw.

9) Canlyniadau positif ffug a pham maen nhw'n digwydd (y rhan boenus) 😬

Mae hyn yn haeddu ei adran ar ei phen ei hun oherwydd dyna lle mae'r rhan fwyaf o ddadlau yn digwydd.

Sbardunau positif ffug cyffredin:

• Tôn ffurfiol iawn (ysgrifennu academaidd, cyfreithiol, cydymffurfio)

• Saesneg nad yw'n frodorol (gall strwythurau brawddegau symlach edrych yn "fel model")

• Ysgrifennu ar sail templedi (llythyrau eglurhaol, SOPs, adroddiadau labordy)

• Samplau testun byr (dim digon o signal)

• Cyfyngiadau pwnc (mae rhai pynciau'n gorfodi ymadrodd ailadroddus) (Liang et al. (arXiv); Turnitin)

Os ydych chi erioed wedi gweld rhywun yn cael ei feirniadu am ysgrifennu'n rhy dda… ie. Mae hynny'n digwydd. Ac mae'n greulon.

Dylid trin sgôr synhwyrydd fel:

• larwm mwg, nid dyfarniad llys 🔥
  Mae'n dweud wrthych chi “efallai gwirio,” nid “achos ar gau.” (OpenAI; Turnitin)

10) Sut i ddehongli sgoriau synhwyrydd fel oedolyn 🧠🙂

Dyma ffordd ymarferol o ddarllen canlyniadau:

Os yw'r offeryn yn rhoi canran sengl

Ymdriniwch ag ef fel arwydd risg bras:

• 0-30%: yn debygol o fod yn ddynol neu wedi'i olygu'n helaeth

• 30-70%parth amwys - peidiwch â thybio dim byd

• 70-100%: patrymau tebyg i AI yn fwy tebygol, ond nid prawf o hyd (Canllawiau Turnitin)

Gall hyd yn oed sgoriau uchel fod yn anghywir, yn enwedig ar gyfer:

• ysgrifennu safonol

• genres penodol (crynodebau, diffiniadau)

• Ysgrifennu Saesneg fel Ail Iaith (Liang et al. (arXiv))

Chwiliwch am esboniadau, nid rhifau yn unig

Mae synwyryddion gwell yn darparu:

• rhychwantau wedi'u hamlygu

• nodiadau nodwedd (rhagweladwyedd, ailadrodd, ac ati)

• cyfyngau hyder neu iaith ansicrwydd (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Os yw teclyn yn gwrthod esbonio unrhyw beth ac yn rhoi rhif ar eich talcen yn unig… Dydw i ddim yn ymddiried ynddo. Ni ddylech chi chwaith.

11) Sut Mae Synwyryddion AI yn Gweithio: model meddyliol syml 🧠🧩

Os ydych chi eisiau tecawê glân, defnyddiwch y model meddyliol hwn:

1. Mae synwyryddion AI yn chwilio am batrymau ystadegol ac arddull sy'n gyffredin mewn testun a gynhyrchir gan beiriant. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

2. Maen nhw'n cymharu'r patrymau hynny â'r hyn a ddysgon nhw o enghreifftiau hyfforddi. (Arolwg ar Ganfod Testun a Gynhyrchwyd gan LLM)

3. Maen nhw'n allbynnu dyfaliad tebyg i debygolrwydd, nid stori tarddiad ffeithiol. (OpenAI)

4. Mae'r dyfaliad yn sensitif i genre, pwnc, hyd, golygiadau, a data hyfforddi'r synhwyrydd. (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Mewn geiriau eraill, Sut Mae Synwyryddion AI yn Gweithio yw eu bod yn "barnu tebygrwydd," nid awduraeth. Fel dweud bod rhywun yn edrych fel ei gefnder. Nid yw hynny'r un peth â phrawf DNA ... a hyd yn oed mae gan brofion DNA achosion ymylol.

12) Awgrymiadau ymarferol i leihau baneri damweiniol (heb chwarae gemau) ✍️✅

Nid “sut i dwyllo synwyryddion.” Yn fwy fel sut i ysgrifennu mewn ffordd sy'n adlewyrchu awduraeth go iawn ac yn osgoi camddarlleniadau rhyfedd.

• Ychwanegwch fanylion pendant: enwau cysyniadau a ddefnyddiwyd gennych mewn gwirionedd, camau a gymerwyd gennych, cyfaddawdau a ystyriwyd gennych

• Defnyddiwch amrywiad naturiol: cymysgwch frawddegau byr a hir (fel mae bodau dynol yn ei wneud pan maen nhw'n meddwl)

• Cynhwyswch gyfyngiadau go iawn: terfynau amser, offer a ddefnyddiwyd, beth aeth o'i le, beth fyddech chi'n ei wneud yn wahanol

• Osgowch eiriau rhy dempled: cyfnewidiwch “Ar ben hynny” am rywbeth y byddech chi'n ei ddweud mewn gwirionedd

• Cadwch ddrafftiau a nodiadau: os bydd anghydfod byth, mae tystiolaeth proses yn bwysicach na theimlad y greddf

Mewn gwirionedd, yr amddiffyniad gorau yw… bod yn ddilys. Dilys yn amherffaith, nid dilys yn y “llyfryn perffaith”.

Nodiadau Cloi 🧠✨

Gall synwyryddion AI fod yn werthfawr, ond nid peiriannau gwirionedd ydyn nhw. Maent yn gyfatebwyr patrymau sydd wedi'u hyfforddi ar ddata amherffaith, yn gweithio mewn byd lle mae arddulliau ysgrifennu yn gorgyffwrdd yn gyson. (OpenAI; Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

Yn gryno:

• Mae synwyryddion yn dibynnu ar ddosbarthwyr, dryswch/byrstio, steilometreg, ac weithiau dyfrnodau 🧩 (Arolwg ar Ganfod Testun a Gynhyrchir gan LLM)

• Maen nhw'n amcangyfrif "tebygrwydd i AI," nid sicrwydd (OpenAI)

• Mae canlyniadau positif ffug yn digwydd llawer mewn ysgrifennu ffurfiol, technegol, neu ysgrifennu nad yw'n frodorol 😬 (Liang et al. (arXiv); Turnitin)

• Defnyddiwch ganlyniadau synhwyrydd fel ysgogiad i adolygu, nid dyfarniad (Turnitin)

Ac ie… os bydd rhywun yn gofyn eto, Sut Mae Synwyryddion AI yn Gweithio, gallwch chi ddweud wrthyn nhw: “Maen nhw'n dyfalu yn seiliedig ar batrymau - weithiau'n glyfar, weithiau'n wirion, bob amser yn gyfyngedig.” 

Enghraifft o'r byd go iawn: Adolygu traethawd myfyriwr wedi'i fflagio heb ruthro i farnu 🧑🏫

Senario

Dychmygwch fod tiwtor ysgrifennu prifysgol yn derbyn traethawd hanes 1,200 o eiriau y mae synhwyrydd AI yn ei farcio fel “86% AI yn debygol.” Mae'r traethawd yn ffurfiol, wedi'i strwythuro'n daclus, ac yn pwyso ar ymadroddion ailadroddus fel “mae hyn yn awgrymu bod” a “gellir dadlau.” Ar yr olwg gyntaf, gall edrych yn amheus.

Ond mae'r myfyriwr yn awdur Saesneg fel Ail Iaith, defnyddiodd dempled traethawd llym o'r dosbarth, a golygodd y drafft gyda meddalwedd gwirio gramadeg. Mewn geiriau eraill, dyma'r union fath o achos lle dylai sgôr canfod sbarduno adolygiad, nid cosb.

Nid “dal” y myfyriwr yw’r nod. Y nod yw penderfynu a yw’r sgôr yn cael ei chefnogi gan dystiolaeth arall.

Yr hyn sydd ei angen ar yr adolygydd

Cyn gwneud unrhyw farn, mae'r tiwtor yn casglu:

• Adroddiad y synhwyrydd, gan gynnwys darnau wedi'u hamlygu os ydynt ar gael

• Crynodeb y traethawd a'r rubric marcio

• Hanes, nodiadau, amlinelliad neu lyfryddiaeth drafft y myfyriwr

• Unrhyw offer cymorth ysgrifennu a ganiateir a restrir ym mholisi'r cwrs

• Un neu ddau sampl ysgrifennu cynharach gan yr un myfyriwr, os yw'r polisi'n caniatáu

• Esboniad byr gan y myfyriwr am eu proses ysgrifennu

Mae hyn yn bwysig oherwydd dim ond y testun terfynol y mae'r synhwyrydd yn ei weld. Nid yw'n gwybod a dreuliodd y myfyriwr bedwar diwrnod yn drafftio, defnyddio templed, copïo ymadrodd dosbarth, cyfieithu nodiadau, neu ddiwygio gydag adborth.

Cyfarwyddyd enghreifftiol

Gallai tiwtor ddefnyddio'r cyfarwyddyd adolygu hwn wrth asesu'r achos:

Adolygwch y traethawd hwn fel gwiriad o'r broses ysgrifennu, nid fel prawf o ddefnydd o AI. Cymharwch uchafbwyntiau'r synhwyrydd â nodiadau'r myfyriwr, hanes drafft, rhestr ffynonellau, a sampl ysgrifennu cynharach. Nodwch pa ddarnodau sy'n wirioneddol amheus a pha rai a allai fod yn ffurfiol, wedi'u templedu, neu wedi'u dylanwadu gan Saesneg fel Ail Iaith. Gwahanwch dystiolaeth yn dair grŵp: signal synhwyrydd, tystiolaeth o'r broses ysgrifennu, a barn ddynol. Peidiwch ag argymell camau disgyblu oni bai bod tystiolaeth ategol glir y tu hwnt i sgôr y synhwyrydd.

Sut i'w brofi

Gallai proses adolygu deg ddefnyddio tri gwiriad syml:

1. Gofynnwch i'r myfyriwr esbonio dau baragraff ar lafar.
   Os gallant esbonio'r ddadl, y ffynonellau, a pham y gwnaethon nhw ei geirio fel 'na, mae hynny'n dystiolaeth werthfawr o'r broses.

2. Cymharwch yr adrannau sydd wedi'u fflagio â'r templed traethawd.
   Os yw'r synhwyrydd yn amlygu ymadroddion arddull templed yn bennaf, efallai bod y sgôr yn ymateb i strwythur yn hytrach nag awduraeth.

3. Ail-ddarlledwch adrannau hirach yn unig, nid darnau bach
   . Gall un paragraff fod yn swnllyd. Fel arfer, mae sampl o 600-900 o eiriau yn rhoi signal mwy ystyrlon na thair brawddeg ynysig.

Canlyniad

Canlyniad darluniadol: Mewn ymarfer adolygu pum traethawd, mae tiwtor yn amseru'r broses cyn ac ar ôl defnyddio'r llif gwaith hwn.

Cyn y llif gwaith, roedd pob traethawd wedi'i fangio yn cymryd tua 35 munud i'w adolygu oherwydd bod yn rhaid i'r tiwtor benderfynu beth i'w wirio o'r dechrau.

Ar ôl defnyddio'r llif gwaith, cymerodd pob adolygiad tua 18 munud:

• 5 munud i ddarllen uchafbwyntiau'r synhwyrydd

• 6 munud i wirio drafftiau, nodiadau a ffynonellau

• 4 munud i gymharu iaith ysgrifennu neu dempled gynharach

• 3 munud i ysgrifennu nodyn adolygu byr

Mae hynny'n arbediad amcangyfrifedig o 17 munud fesul traethawd, neu 85 munud ar draws pum traethawd wedi'u fflagio. Mae'r metrig yn hawdd i'w wirio: amserwch bob adolygiad, cyfrifwch faint o achosion yr oedd angen eu dwysáu, a chofnodwch a oedd y penderfyniad terfynol yn dibynnu ar sgôr y synhwyrydd yn unig neu ar dystiolaeth ategol.

Nid "faint o fyfyrwyr a gafodd eu dal" yw mesur llwyddiant gwell. Ond faint o sgoriau amheus a gafodd eu hadolygu'n gyson, gyda thystiolaeth glir a llai o dybiaethau brysiog.

Beth all fynd o'i le

Y camgymeriad mwyaf yw trin canran y synhwyrydd fel y penderfyniad. Mae “86% AI yn debygol” yn swnio’n swyddogol, ond gall fod yn anghywir o hyd.

Mae camgymeriadau cyffredin eraill yn cynnwys:

• Gwirio'r traethawd terfynol yn unig ac anwybyddu drafftiau

• Cosbi ysgrifennu Saesneg fel Ail Iaith caboledig oherwydd ei fod yn edrych yn "rhy llyfn"

• Defnyddio un synhwyrydd fel pe bai'n offeryn fforensig

• Rhedeg darnau bach a thrin y sgôr fel un dibynadwy

• Methu â dweud wrth fyfyrwyr pa dystiolaeth y gallant ei darparu

• Anghofio y gall offer gramadeg, templedi ac adborth newid arddull

Dylai proses adolygu dda hefyd amddiffyn preifatrwydd. Ni ddylid gofyn i fyfyrwyr uwchlwytho nodiadau preifat, negeseuon personol, na dogfennau digyswllt oni bai bod y polisi'n caniatáu hynny'n glir.

Tecawê ymarferol

Defnyddiwch synwyryddion AI fel offeryn dosbarthu, nid peiriant gwirionedd. Mae proses gref yn cyfuno'r sgôr â drafftiau, gwiriadau ffynhonnell, hanes ysgrifennu, esboniad myfyrwyr, a barn ddynol. Mae hynny'n rhoi rhywbeth llawer mwy gwerthfawr i ysgolion, golygyddion ac adolygwyr na chanran frawychus: penderfyniad y gallant ei amddiffyn yn hyderus.

Cwestiynau Cyffredin

Sut mae synwyryddion AI yn gweithio'n ymarferol?

Nid yw'r rhan fwyaf o synwyryddion AI yn "brofi" awduraeth. Maent yn amcangyfrif pa mor debyg yw eich testun i batrymau a gynhyrchir yn gyffredin gan fodelau iaith, yna'n allbynnu sgôr tebyg i debygolrwydd. O dan y cwfl, gallant ddefnyddio modelau dosbarthwr, sgorio rhagweladwyedd arddull dryswch, nodweddion steilometreg, neu wiriadau dyfrnod. Mae'n well trin y canlyniad fel signal risg, nid dyfarniad pendant.

Pa signalau mae synwyryddion AI yn chwilio amdanynt yn ysgrifenedig?

Mae arwyddion cyffredin yn cynnwys rhagweladwyedd (pa mor "synnu" yw model gan eich geiriau nesaf), ailadrodd mewn sgaffaldiau brawddegau, cyflymder anarferol o gyson, a mynegiant generig gyda manylion pendant isel. Mae rhai offer hefyd yn archwilio marcwyr steilometreg fel hyd brawddegau, arferion atalnodi, ac amlder geiriau swyddogaethol. Gall y signalau hyn orgyffwrdd ag ysgrifennu dynol, yn enwedig mewn genres ffurfiol, academaidd neu dechnegol.

Pam mae synwyryddion AI yn nodi ysgrifennu dynol fel AI?

Mae canlyniadau positif ffug yn digwydd pan fydd ysgrifennu dynol yn edrych yn ystadegol “esmwyth” neu’n debyg i dempled. Gellir camddeall tôn ffurfiol, geiriad arddull cydymffurfio, esboniadau technegol, samplau byr, a Saesneg nad yw’n frodorol i gyd fel rhai tebyg i AI oherwydd eu bod yn lleihau amrywiad. Dyna pam y gall paragraff glân, wedi’i olygu’n dda, sbarduno sgôr uchel. Mae synhwyrydd yn cymharu tebygrwydd, nid yn cadarnhau tarddiad.

A yw synwyryddion dryswch a "ffrwydrad" yn ddibynadwy?

Gall dulliau sy'n seiliedig ar ddryswch weithio pan fydd testun yn allbwn crai, rhagweladwy iawn gan AI. Ond maent yn fregus: mae darnau byr yn swnllyd, ac mae llawer o genres dynol cyfreithlon yn naturiol rhagweladwy (crynodebau, diffiniadau, e-byst corfforaethol, llawlyfrau). Gall golygu a mireinio hefyd newid y sgôr yn ddramatig. Mae'r offer hyn yn addas ar gyfer dosbarthu cyflym, nid penderfyniadau risg uchel ar eu pen eu hunain.

Beth yw'r gwahaniaeth rhwng synwyryddion dosbarthwr ac offer stylometreg?

Mae synwyryddion dosbarthwyr yn dysgu o setiau data wedi'u labelu o destun dynol yn erbyn testun AI (ac weithiau hybrid) ac yn rhagweld pa fwced y mae eich testun fwyaf tebyg iddo. Mae offer steilometreg yn canolbwyntio ar ysgrifennu "olion bysedd" fel patrymau dewis geiriau, geiriau swyddogaeth, a signalau darllenadwyedd, a all fod yn fwy addysgiadol mewn dadansoddiad ffurf hir. Mae'r ddau ddull yn dioddef o newid parth a gallant gael trafferth pan fydd yr arddull ysgrifennu neu'r pwnc yn wahanol i'w data hyfforddi.

A yw dyfrnodau'n datrys canfod AI am byth?

Gall dyfrnodau fod yn gryf pan fydd model yn eu defnyddio a phan fydd y synhwyrydd yn gwybod y cynllun dyfrnod. Mewn gwirionedd, nid yw pob darparwr yn dyfrnodi, a gall trawsffurfiadau cyffredin - paraffrasio, cyfieithu, dyfynnu'n rhannol, neu gymysgu ffynonellau - wanhau neu dorri'r patrwm. Mae canfod dyfrnodau yn bwerus yn yr achosion cul lle mae'r gadwyn gyfan yn cyd-fynd, ond nid yw'n sylw cyffredinol.

Sut ddylwn i ddehongli sgôr “X% AI”?

Ystyriwch ganran sengl fel dangosydd bras o "debygrwydd i AI," nid prawf o awduraeth AI. Mae sgoriau canol-ystod yn arbennig o amwys, a gall hyd yn oed sgoriau uchel fod yn anghywir mewn ysgrifennu safonol neu ffurfiol. Mae offer gwell yn darparu esboniadau fel rhychwantau wedi'u hamlygu, nodiadau nodwedd, ac iaith ansicrwydd. Os na fydd synhwyrydd yn egluro ei hun, peidiwch â thrin y rhif fel un awdurdodol.

Beth sy'n gwneud synhwyrydd AI da ar gyfer ysgolion neu lif gwaith golygyddol?

Mae synhwyrydd solid wedi'i galibro, yn lleihau canlyniadau positif ffug, ac yn cyfleu terfynau'n glir. Dylai osgoi honiadau rhy hyderus ar samplau byr, trin gwahanol feysydd (academaidd vs blog vs technegol), ac aros yn sefydlog pan fydd bodau dynol yn adolygu testun. Mae'r offer mwyaf cyfrifol yn ymddwyn gyda gostyngeiddrwydd: maent yn cynnig tystiolaeth ac ansicrwydd yn hytrach na gweithredu fel darllenwyr meddyliau.

Sut alla i leihau baneri AI damweiniol heb “chwarae” y system?

Canolbwyntiwch ar arwyddion awduraeth dilys yn hytrach na thriciau. Ychwanegwch fanylion penodol pendant (camau a gymerwyd gennych, cyfyngiadau, cyfaddawdau), amrywiwch rythm brawddegau yn naturiol, ac osgoi trawsnewidiadau sydd wedi'u templedu'n ormodol na fyddech fel arfer yn eu defnyddio. Cadwch ddrafftiau, nodiadau, a hanes adolygu - mae tystiolaeth o brosesau yn aml yn bwysicach na sgôr synhwyrydd mewn anghydfodau. Y nod yw eglurder gyda phersonoliaeth, nid rhyddiaith llyfryn perffaith.

Cyfeiriadau

1. Cymdeithas Ieithyddiaeth Gyfrifiadurol (ACL Anthology) - Arolwg ar Ganfod Testun a Gynhyrchir gan LLM - aclanthology.org

2. OpenAI - Dosbarthwr AI newydd ar gyfer nodi testun wedi'i ysgrifennu gan AI - openai.com

3. Canllawiau Turnitin - Canfod ysgrifennu AI yn y golwg adroddiad clasurol - guides.turnitin.com

4. Canllawiau Turnitin - Model canfod ysgrifennu AI - guides.turnitin.com

5. Turnitin - Deall canlyniadau positif ffug o fewn ein galluoedd canfod ysgrifennu AI - turnitin.com

6. arXiv - CanfodGPT - arxiv.org

7. Prifysgol Boston - Postiadau Dryswch - cs.bu.edu

8. GPTZero - Dryswch a byrstio: beth ydyw? - gptzero.me

9. PubMed Central (NCBI) - Stylometreg a gwyddoniaeth fforensig: Adolygiad llenyddiaeth - ncbi.nlm.nih.gov

10. Cymdeithas Ieithyddiaeth Gyfrifiadurol (ACL Anthology) - Geiriau Swyddogaethol mewn Priodoliad Awduraeth - aclanthology.org

11. arXiv - Dyfrnod ar gyfer Modelau Iaith Mawr - arxiv.org

12. Google AI ar gyfer Datblygwyr - Testun SynthID - ai.google.dev

13. arXiv - Ar Ddibynadwyedd Dyfrnodau ar gyfer Modelau Iaith Mawr - arxiv.org

14. OpenAI - Deall ffynhonnell yr hyn a welwn ac a glywn ar-lein - openai.com

15. Stanford HAI - Synwyryddion AI yn Rhagfarnllyd yn Erbyn Awduron Saesneg Anfrodorol - hai.stanford.edu

16. arXiv - Liang ac eraill - arxiv.org

Dewch o hyd i'r AI Diweddaraf yn y Siop Swyddogol ar gyfer Cynorthwywyr AI

Amdanom Ni