Tehisintellekti mudeli hindamine enne tootmisse viimist

Iga uus tehisintellekti mudel saabub koos oma tulemustega avalikes edetabelites. Ükski neist tulemustest ei ütle, kas see sorteerib Teie e-kirju hästi või võtab Teie protokollid täpselt kokku. Tehisintellekti mudeli hindamine enne tootmisse viimist tähendab just sellele küsimusele vastamist, Teie enda ülesannetega, enne kui Teie kliendid seda Teie kahjuks teevad. See juhend meie rubriigist ettevõtte tehisintellekt, privaatne ja õiglase hinnaga annab meetodi kuues etapis ja seejärel selle piirid. Mudeli valik on kolmas viiest küsimusest meie juhendis tehisintellekti integreerimiseks ettevõttesse, pärast ülesannet ja andmete sihtkohta.

Lühidalt

• Edukriteeriumid kirjutatakse enne esimest testi, arvuliselt, kulu ja viivituse ülempiiriga.
• Paarkümmend päris näidet, keerulised juhtumid kaasa arvatud, annavad esimese otsuse; rohkem muudab selle kindlamaks.
• Kood hindab seda, mida saab kontrollida, tehisintellektist kohtunik seda, mis nõuab otsustusvõimet, inimene vaatab üle valimi.
• Valitud mudel on odavaim, mis täidab kõik kriteeriumid, parandamisaeg kaasa arvatud.
• Testi korratakse iga mudeli või juhise muutmisel; näiteks Anthropic eemaldab vanu mudeleid regulaarselt.

Miks avalikust edetabelist ei piisa

Avalik edetabel mõõdab mudelit kellegi teise küsimustega. Teie kasutusel on oma sõnavara, dokumendivormingud ja piirjuhtumid. Prantsuse andmekaitseasutus CNIL soovitab oma küsimustes ja vastustes generatiivse tehisintellekti kohta „lähtuda konkreetsetest vajadustest, et valida kõige sobivam süsteem“ ja vajaduse korral „viia läbi või tellida kavandatud kasutuseks kohandatud hindamine“. Anthropicu testimise juhend ütleb sama tarnija poolelt: test peab kordama Teie ülesannete tegelikku jaotust, unustamata piirjuhtumeid.

Nõudlikkuse tase sõltub seejärel kasutusest. CNIL eristab töötajatele pakutavat kirjutamisabi, mis kujutab endast vähem riske, süsteemist, mis aitab teha otsuseid klientide või kandidaatide kohta ja nõuab „kõrgemat nõudlikkuse taset“. Sisemiste e-kirjade sorteerimist ja kandideerimiste eelvalikut ei testita seega sama rangusega.

Kuidas hinnata tehisintellekti mudelit kuues etapis

Meetod kehtib ülesande kaupa: sama mudel võib kokkuvõttega hakkama saada ja summade väljavõtmisel ebaõnnestuda.

1. Kirjutage edukriteeriumid enne esimest testi

Kriteerium on mõõdetav. „E-kirju hästi liigitada“ ei saa kontrollida; „liigitada õigesti vähemalt 95 % testkirjadest“ näiteks saab. Anthropicu juhend nõuab täpseid, mõõdetavaid, saavutatavaid ja kasutuse jaoks asjakohaseid kriteeriume ning tuletab meelde, et enamik kasutusi ühendab mitu: näiteks truudus ülesandele, vastuste järjepidevus, toon, konfidentsiaalsus, viivitus ja hind.

Eristage ka häirivaid vigu tõsistest: Anthropicu näites peavad 90 % vigadest jääma lihtsalt ebamugavusteks. Valesti paigutatud e-kirja saab parandada, kliendile saadetud valet vastust palju vähem. Lisage punktid, mida CNIL palub kontrollida: turvalisus, asjakohasus Teie vajadusele, töökindlus, kallutatuse puudumine ja kasutuslitsents.

2. Koguge päris näiteid, keerulised juhtumid kaasa arvatud

Näited pärinevad Teie tegevusest: päris e-kirjad ja päris dokumendid, selles vahekorras, nagu need saabuvad. Meie katsestend lähtub 20–30 päris valimist: piisavalt esimese otsuse jaoks, mitte kindluse jaoks. Anthropicu juhend eelistab muide paljusid automaatselt hinnatud küsimusi mõnele käsitsi hinnatule.

Ärge unustage keerulisi juhtumeid. Anthropic nimetab nelja rühma: tühi või teemaväline sisend, liiga pikk sisend, halvasti sõnastatud või kahjulik päring ning mitmetähenduslikud juhtumid, mille puhul isegi inimestel oleks raske kokku leppida. Lõpuks pange osa näidetest kõrvale, kasutamata neid kunagi juhise häälestamiseks: just neilt loetakse tegelik tulemus.

3. Võrrelge kolme kuni viit mudelit, nende hulgas üht väikest

Testige mitut kandidaati samade näidetega, sama lähtejuhisega: mudel, mida juba kasutate, viitena, väiksem ja odavam mudel ning, kui Teie andmed on tundlikud, avatud kaaludega mudel, mida saaksite ise majutada. Meie katsestend võrdleb 3–5 mudelit. Seejärel kohandage iga mudeli juhist töönäidete põhjal, mitte kunagi kõrvale pandud näidete põhjal: halvasti juhitud mudel võib kaotada võrdluse, mille oleks võitnud.

4. Hinnake vastuseid: kõigepealt kood, siis tehisintellektist kohtunik, kontrolliks inimene

Anthropic soovitab valida iga kriteeriumi jaoks kõige kiirema, usaldusväärsema ja kõige paremini skaleeruva hindamismeetodi. Neid on kolm:

• Kood, kui õige vastus on teada: kategooria, summa, väljavõetud väli. See on kõige kiirem ja usaldusväärsem meetod, kuid see ei oska nüanssi hinnata.
• Tehisintellektist kohtunik, see tähendab teine mudel, mis hindab vastuseid kirjaliku hindamisskaala järgi: toon, asjakohasus, kokkuvõtte truudus. Anthropic soovitab üksikasjalikku skaalat, lihtsat hinnet („õige“ või „vale“, või 1 kuni 5), kohtunikku, kes arutleb enne hindamist, ja üldjuhul teistsugust mudelit kui see, mis vastas. Selle usaldusväärsust kontrollitakse enne, kui sellele toetutakse.
• Inimene, kõige paindlikum ja peenem, kuid aeglane ja kallis: Anthropic soovitab teda võimaluse korral vältida.

Tehisintellektist kohtunikul on oma kalded. Zhengi ja kaasautorite uuring, esitletud NeurIPS-il 2023. aastal, näitab, et teda mõjutavad vastuste järjekord, nende pikkus ja eelistus oma vastuste suhtes ning et tema arutlusvõime jääb piiratuks. See mõõdab ka, et tugev kohtunik (tol ajal GPT-4) ühtib inimeste eelistustega üle 80 % juhtudest, sama palju kui inimesed omavahel.

Meie katsestend hindab kvaliteeti kahes etapis: tehisintellektist kohtunik, seejärel inimese ülevaatus. Kohtunik võib olla tippmudel: see on kõne kohta kallis, kuid loeb ainult valimit.

5. Arvutage kasutuskõlbliku vastuse kulu, seejärel valige

Tokeni hinnast ei piisa kahe mudeli vahel otsustamiseks. Loeb kasutuskõlbliku vastuse kulu.

Poole odavam mudel, mis nõuab parandust igal kolmandal vastusel, võib seega kokkuvõttes kallimaks minna. Mõõtke ka vastamise aega, mis on otsustav reaalajas assistendi jaoks ja teisejärguline öise töötluse jaoks. Tokenites arvutamist kirjeldab meie juhend tehisintellekti kulust ettevõttes.

Valige odavaim mudel, mis täidab kõik 1. etapi kriteeriumid, ja kandke see oma suunamistabelisse koos testi kuupäeva ja valiku põhjusega: hiljem teate, miks see valiti.

6. Korrake testi iga muudatuse korral

Valitud mudel ei jää selleks igaveseks. Anthropicu mudelite eemaldamise lehe järgi eemaldab tarnija regulaarselt oma vanu mudeleid, teatab avaliku mudeli puhul sellest vähemalt 60 päeva ette ja päringud eemaldatud mudelile ebaõnnestuvad. 30. septembril 2026 teatas ta nii Claude Sonnet 4.5 eemaldamisest 30. novembriks 2026, asendajana Claude Sonnet 5.5, ja soovitab oma rakendusi asendajaga testida aegsasti enne kuupäeva. Need kuupäevad kehtivad platvormidele, mida ta ise haldab: Amazon Bedrock ja Google Cloud määravad oma ajakava.

Asendajat ei ühendata pimesi: sama lehe järgi tagastab Claude’i mudelitel alates versioonist 4.7 vaikeväärtusest erinevaks seatud temperatuur vea.

Korrake testi seega mudeli vahetamisel, aga ka iga juhise muudatuse korral. Hoidke testikomplekt enda juures koos kriteeriumide ja tulemustega: see võimaldab võrrelda asendajat või teist teenusepakkujat, alustamata nullist.

Mida hindamine Teile ei ütle

Hindamine hindab valimit, mitte kõike, mida mudel toodab: see on piir, mille me oma katsestendi jaoks kirja paneme. CNIL tuletab meelde, miks see loeb: generatiivne mudel ei ole teadmusbaas, see järgib tõenäosuslikku loogikat ja võib anda ebatäpseid tulemusi, „mis võivad siiski tunduda usutavad“. „Liigne usaldus“ ilma asjakohase kontrollita võib viia ekslike otsusteni.

Tootmine jätkab seega testi. Meie enda kulude sisestamise agent töötab Telegramis tootmises alates 2026. aasta juulist: see loeb kviitungi fotot ja võtab sellest teabe välja, seejärel kinnitab inimene enne raamatupidamissüsteemi kirjutamist. CNIL soovitab sama ettevaatust: mitte kunagi tehisintellekti süsteemi väljundeid muutmata üle võtta, hoiatada kasutajaid „automatiseerimise kalde“ eest ja koguda regulaarselt nende arvamust süsteemi kasulikkuse ja piiride kohta.

Kust alustada

Esimene test mahub nelja sammu:

1. 01Valige.

   Alustage kasutusest, mis maksab kõige rohkem või kujutab endast suurimat riski.

2. 02Määratlege.

   Kirjutage kolm arvulist kriteeriumi.

3. 03Koguge.

   Pange kokku paarkümmend päris näidet koos nende keeruliste juhtumitega.

4. 04Võrrelge.

   Testige oma praegust mudelit väiksema mudeli vastu.

See meetod pärineb tõlkeahela mudelivalikust, mida me haldame Palmora Property jaoks, kinnisvaraportaal, mida me toetame, kus teenusepakkuja vahetus jagas kulu 60-ga.

Selle otsuse saamiseks oma sisude kohta sisaldab meie pakkumine tehisintellekt õiglase hinnaga seda katsestendi: 20–30 valimit, 3–5 võrreldud mudelit, arvuline otsus ülesande kohta ning dateeritud ja selgitatud tabel, mis ütleb, milline mudel millise ülesande jaoks.

Korduma kippuvad küsimused

Allikad

1. Oma küsimustes ja vastustes generatiivse tehisintellekti kohta (uus vahekaart)cnil.fr
2. Anthropicu testimise juhend (uus vahekaart)platform.claude.com
3. Esitletud NeurIPS-il 2023. aastal (uus vahekaart)arxiv.org
4. Anthropicu mudelite eemaldamise lehe (uus vahekaart)platform.claude.com