RAG ettevõttes: tehisintellekt, mis vastab Teie dokumentidega

Teie protseduurides, lepingutes ja toimikutes on vastuseid, mida keegi üles ei leia, ja samad küsimused jõuavad samade kolleegideni. RAG ettevõttes lubab muuta need teadmised kättesaadavaks ühe küsimusega: assistent, kes loeb Teie dokumente ja viitab oma allikatele. Põhimõte mahub mõnele reale, tootmisse viimine nõuab rohkem hoolt. See artikkel meie rubriigist ettevõtte tehisintellekt, privaatne ja õiglase hinnaga selgitab, kuidas RAG töötab, millal on see kasulik, miks see vahel mööda vastab ja mida tuleb enne meeskonnale avamist paika panna. Tehisintellekti ühendamine Teie dokumentidega on vaid üks samm: meie juhend tehisintellekti integreerimiseks ettevõttesse paigutab selle sellele eelnevate otsuste hulka, alates soovitud ülesandest kuni mudeli valikuni.

Lühidalt

• Alla umbes 500 lehekülje (suurusjärk, mille Anthropic andis 2024. aastal) võivad Teie dokumendid mahtuda tervikuna mudeli juhisesse: tasub proovida enne RAG-i ehitamist.
• Peenhäälestus muudab mudelit ennast ja nõuab märkimisväärseid arvutusressursse; RAG jätab mudeli puutumata ja muudab selle vastused jälgitavamaks.
• Kui otsing toob vale lõigu, vastab mudel mööda: piisab kontekstist lahti lõigatud lõigust või kahe silma vahele jäänud täpsest viitest.
• Enne avamist neli seadistust: juurdepääsuõigused, indeksi uuendamine, kuvatav allikas ja testitud vastused.

Kuidas RAG töötab?

RAG on ingliskeelne lühend väljendist taastepõhine genereerimine (Retrieval Augmented Generation). Prantsusmaa andmekaitseasutus CNIL kirjeldab seda oma küsimustes ja vastustes generatiivse tehisintellekti kohta kui teabeotsingu mehhanismi lõimimist vektoriseeritud andmebaasi, mis annab vastuseid, mis on potentsiaalselt täpsemad ja kergemini ajakohastatavad kui mudel ise. Anthropic kirjeldab samme üksikasjalikult 2024. aasta septembri artiklis:

Mudel ei õpi Teie dokumentidest midagi: iga küsimuse korral loeb see väljavõtteid, mis talle edastatakse. Just see võimaldab kuvada vastuse allika, ja see on ka süsteemi piir: kui otsing toob vale lõigu, vastab mudel vale lõigu põhjal. CNIL lisab, et meetod nõuab rohkem ressursse ja oskusi kui mudel, mida kasutatakse muutmata kujul, kuid et seda on kergem kohandada ja see pakub rohkem jälgitavust.

Kas Teil on tõesti RAG-i vaja?

Mitte alati. Samas artiklis märgib Anthropic, et alla 200 000 tokeni suuruse teadmusbaasi, umbes 500 lehekülge, saab panna tervikuna mudeli juhisesse, ilma RAG-ita. „Sometimes the simplest solution is the best“, kirjutab ettevõte, ehk vahel on kõige lihtsam lahendus parim, ja lisas, et juhiste vahemällu salvestamine vähendas siis vastuseaega rohkem kui kaks korda ja kulusid kuni 90 %. Need arvud pärinevad 2024. aasta septembrist ja tolleaegsetest mudelitest: need annavad suurusjärgu, mida tuleb kontrollida mudelitel, mida Teie kasutate.

Sellel lihtsal versioonil on oma hind: iga küsimus saadab mudelile kogu baasi ja arve loetakse tokenites. Baaside puhul, mis ei mahu mudeli aknasse, on RAG tavapärane lahendus, märgib Anthropic samuti. Õige järjekord on seega proovida lihtsat versiooni oma dokumentidel ja seejärel ehitada RAG, kui maht, kulu või viivitus seda nõuavad.

RAG või peenhäälestus: mida valida oma dokumentide jaoks?

Peenhäälestus (fine-tuning) tähendab CNIL-i järgi mudeli parameetrite (kaalude) muutmist, säilitades selle põhiarhitektuuri. See parandab mudeli tulemusi teatud valdkonnas või konkreetsete päringute puhul, kuid nõuab märkimisväärseid ressursse, eriti arvutusvõimsuse osas. CNIL esitab mõlemat meetodit süsteemi parandamise võimalustena, üks ja/või teine.

Viimane rida pärineb CNIL-ilt ja on VKE jaoks oluline: mudeli peenhäälestamine oma andmetega võib muuta Teid pakkujaks Euroopa tehisintellekti määruse tähenduses, selle peenhäälestuse osas. Et lasta tehisintellektil vastata muutuvate dokumentide põhjal, kontrollitava allikaga, on RAG seega lähtepunkt; peenhäälestus taotleb midagi muud, paremaid tulemusi mingis valdkonnas või kindlate päringute puhul.

Miks vastab RAG vahel mööda?

Anthropic võtab probleemi kokku: klassikalised RAG-id eemaldavad lõikude kodeerimisel nende konteksti, mis takistab neil sageli õiget teavet leidmast. Eristada saab kolme põhjust.

Kontekstist lahti lõigatud lõik. Anthropicu näites ütleb finantsaruande väljavõte „The company’s revenue grew by 3% over the previous quarter“, ehk et ettevõtte käive kasvas eelmise kvartaliga võrreldes 3 %, nimetamata ettevõtet ega kvartalit. Eraldatuna muutub see raskesti leitavaks ja kasutatavaks. Teie dokumentides võib see olla lepingu punkt, mis ütleb „tähtaega pikendatakse kolmekümne päevani“, meenutamata, millise lepinguga on tegu.

Täpne viide, mida tähenduspõhine otsing ei näe. Embeddingud tabavad tähendust, kuid võivad täpse vaste maha magada: päringu „Error code TS-999“ puhul võib tähenduspõhine otsing tuua lõike veakoodidest üldiselt, leidmata just seda. Märksõnaotsing (BM25 meetod) leiab selle üles ja neid kahte saab kombineerida. Lepingunumbrid ja tootekoodid on samas olukorras.

Halvasti seadistatud tükeldamine. Lõikude suurus, koht, kust neid lõigatakse, ja nende kattuvus mõjutavad otsingut. Samuti edastatavate lõikude arv: Anthropic testis 5, 10 ja 20 lõiku, sai nende valikute seast parimad tulemused 20-ga ja soovitab proovida oma juhtumil; liiga palju teavet võib mudelit ka segada.

Nende ebaõnnestumiste vähendamiseks lisab Anthropic igale lõigule enne indekseerimist mõne mudeli koostatud kontekstilause (50 kuni 100 tokenit). Tema enda testikogumitel (kood, ilukirjandus, teadusartiklid) vähendab iga lisatud tehnika ebaõnnestumisi:

Need on ettevõtte mõõtmised tema andmetel, 2024. aastal: suurusjärk, mitte lubadus Teie dokumentide jaoks. Sama artikkel tuletab meelde, et mõõta tuleb alati: meie meetod tehisintellekti mudeli hindamiseks enne tootmisse viimist kehtib ka RAG-i kohta.

Mida paika panna enne assistendi avamist meeskonnale?

Tootmises olev RAG tõstatab ka korralduslikke küsimusi, mida mudel ei lahenda.

1. Juurdepääsuõigused. Assistent tohib iga inimese jaoks leida ainult dokumente, mida tal on õigus lugeda. Üks indeks, mis segab ärilepinguid ja personalitoimikuid, vastab kõigile kõigega: praktikandi küsimus võib tuua esile väljavõtte personalitoimikust. Õigused filtreeritakse otsingus, enne kui mudel midagi näeb. Nende korraldamine osakonna kaupa, hoides kogu ettevõttele ühiseid baase, on meie ettevõtte tehisintellekti juhtimise juhendi teema.
2. Indeksi uuendamine. Muudetud või eemaldatud dokument peab seda olema ka vektorandmebaasis, muidu tsiteerib assistent enesekindlalt aegunud protseduuri. Otsustage, kes uuendab ja millise rütmiga.
3. Kuvatav allikas ja „ma ei tea“. CNIL soovitab eelistada süsteeme, mis piiravad hallutsinatsioone, viidates oma allikatele ja filtreerides väljundeid. Iga vastus peab näitama lõiku, millele see tugineb, ja assistent peab ütlema, et ta ei tea, kui ükski lõik ei vasta.
4. Testid ja jälgimine. Päris küsimuste seeria koos oodatud vastustega läbitakse enne avamist ja seejärel iga mudeli, juhise või dokumentide muutmise korral. Pärast avamist soovitab CNIL koguda regulaarselt lõppkasutajate arvamust süsteemi kasulikkuse ja piiride kohta; vastuseta jäänud küsimused võivad viidata puuduvale dokumendile.

Kuhu lähevad Teie dokumendid, kui assistent vastab?

Iga küsimuse korral lähevad leitud väljavõtted sinna, kus mudel töötab, ja indeks sisaldab Teie tükeldatud dokumente. Kontrolli taset valitakse seega päritavate dokumentide järgi: meie võrdlus privaatse tehisintellekti neljast kontrollitasemest kirjeldab võimalusi, API-st kuni Teie ruumidesse paigaldatud serverini. Isikuandmete või tundliku dokumentatsiooni puhul peab CNIL kohapealset juurutamist üldiselt otstarbekamaks ja turvalisemaks, märkides samas, et selle kulu muudab sageli lihtsamaks kaugmajutuse, mida reguleerib volitatud töötleja leping.

Millest alustada

Neli sammu alustamiseks:

1. 01Ulatus

   Alustage ühest hästi piiritletud dokumendikogumist, näiteks ühe meeskonna protseduuridest, ja küsimustest, mis tõesti korduvad.

2. 02Lihtne versioon

   Kontrollige kõigepealt, kas kõik mahub mudeli juhisesse.

3. 03RAG

   Kui ei, ehitage see esimesele kogumile ja testige selle vastuseid.

4. 04Avamine

   Avage see väikesele grupile, enne kogu meeskonda.

Kui soovite assistenti, kes leiab vastuse Teie protseduuridest ja lepingutest, viitab oma allikale ja ütleb, kui ta ei tea, ehitab meie pakkumine tehisintellekti assistent Teie dokumentidel selle kolme nädalaga: juurdepääsud seadistatud meeskonniti, vastused testitud enne avamist ja isemajutatud võimalus kaasas, et kõik töötaks Teie või meie serveris, Euroopas.

Kui assistent on kasutusel, juhitakse selle arvet nagu kõike muud: meie pakkumine tehisintellekt õiglase hinnaga usaldab iga ülesande mudelile, millest piisab, eelarve ja kasutuspõhiste ülempiiridega.

Korduma kippuvad küsimused

Allikad

1. Oma küsimustes ja vastustes generatiivse tehisintellekti kohta (uus vahekaart)cnil.fr
2. Anthropic kirjeldab samme üksikasjalikult (uus vahekaart)anthropic.com