DeepL, Google või LLM: kes tõlgib Teie valdkonna tekste kõige paremini

Lühidalt

• Masintõlke sõltumatud hindamised kroonivad igal aastal erineva süsteemi ja paremusjärjestus muutub keelepaarist keelepaari.
• Tõlketeenused ja üldotstarbelised tehisintellekti mudelid lähenevad üksteisele: DeepL ja Google pakuvad nüüd oma LLM-tüüpi mudeleid.
• Valdkonna teksti puhul tuleb vastus katsest Teie tekstidega, mida hindab keelt valdav inimene.

„DeepL või ChatGPT?“ „Kas Google Tõlkest piisab?“ Küsimus kerkib üles igas tõlkeprojektis ja igal teenusepakkujal on oma vastus, mis põhineb tema enda testidel. See artikkel ei nimeta võitjat: see selgitab, mida näitavad sõltumatud hindamised, mis tööriistu tegelikult eristab ja kuidas neid Teie tekstidega võrrelda. See täiendab meie artikleid veebilehe tõlkimisest ja uute turgude avamisest.

Mida näitavad sõltumatud hindamised

Selle valdkonna etalon on WMT, iga-aastane masintõlke konverents, kus professionaalsed annoteerijad hindavad igal aastal kümnete süsteemide tõlkeid: teadusrühmade süsteeme, üldotstarbelisi tehisintellekti mudeleid ja veebipõhiseid tõlketeenuseid.

1. 2024

   WMT24 tulemuste järgi on parim süsteem kõigis kategooriates Claude 3.5 Sonnet, esikohal 11-st hinnatud keelepaarist 9-s.

2. 2025

   WMT25 tulemuste järgi on see Gemini 2.5 Pro, tipprühmas 16-st inimeste hinnatud paarist 14-s.

Kolm piirangut takistavad sellest Teie ettevõttele valikut tuletamast.

Võitja vahetub. Kaks väljaannet, kaks erinevat teenusepakkujat esikohal. Mudelid muutuvad iga paari kuu tagant: paremusjärjestus kehtib testitud versioonidele, testi kuupäeval.

Veebiteenused on anonüümitud. Avalike masintõlketeenuste tõlked esinevad hindamises koodnimede all (ONLINE-B, ONLINE-G, ONLINE-W): WMT ei ütle, milline neist on DeepL või Google Tõlge.

Tekstid ei ole Teie omad. Testitud valdkonnad on uudised, sotsiaalmeedia, kõne, kirjandus ja haridus, valitud nii, et neid saaks hinnata ilma erialaste teadmisteta. Lepingut, tehnilist andmelehte ega pakkumislehte nende hulgas ei ole. Samad tulemused märgivad muuseas püsivaid nõrkusi valdkonna terminoloogias.

Paremusjärjestus muutub ka keelest keelde. Näiteks inglise keelest Egiptuse araabia keelde ei ole järjekord sama mis üldarvestuses:

Üldarvestuse esikohal olev süsteem jõuab selles paaris alles neljandaks ja inimese tehtud võrdlustõlge jääb kõigist süsteemidest ette. See on kõige kaalukam argument testida keel keele haaval.

Mida ütlevad teenusepakkujad

Iga teenusepakkuja avaldab oma võrdlusi ja igaüks neist annab eelise talle endale. 2024. aasta juulis teatas DeepL uuest tõlkimiseks loodud keelemudelist, viidates pimetestidele keeleprofessionaalidega, kus tema tõlkeid eelistati Google Tõlke ja ChatGPT-4 omadele. Need on teenusepakkuja testid, tolleaegsete konkurentide versioonidega.

Need teated ütlevad midagi kasulikku: piir tööriistade perede vahel hägustub. DeepL toetub LLM-tüüpi mudelile, Google pakub Cloud Translationis klassikalise tõlkemudeli kõrval „Translation LLM-i“ ja üldotstarbelised mudelid tõlgivad. „Masintõlke“ ja „generatiivse tehisintellekti“ vastandamisel on üha vähem mõtet.

Mis tööriistu tegelikult eristab

Üldise kvaliteedihinde asemel võrrelge seda, mis muudab Teie igapäevatööd.

Tõlketeenused: DeepL, Google Cloud Translation

• Tekst läheb sisse, selle tõlge tuleb välja. Vähe juhiseid kirjutada: tööriist tõlgib, paketist sõltuvalt mõne seadistusega, näiteks DeepL-i ametlikkuse taseme või stiilireeglitega.
• Sõnastik on sisse ehitatud: DeepL ja Google aktsepteerivad sõnastikku, mis laaditakse üks kord ja rakendatakse igale tõlkele. Selle kasutamist kirjeldame artiklis brändisõnastik: kuidas vältida ebajärjekindlaid tõlkeid.
• Arveldus tähemärgi või tellimuse alusel, lihtne ette näha.

Üldotstarbelised tehisintellekti mudelid: Claude, Gemini, GPT, Mistral, DeepSeek ja teised

• Need järgivad juhiseid: toon, sinatamine või teietamine, maksimaalne pikkus, väljundi vorming, tekstiga kaasa antud sõnastik.
• Need tõlgivad terve dokumendi koos selle kontekstiga, mis aitab lõikudevaheliste viidete puhul.
• Need nõuavad rohkem kontrolli: generatiivne mudel võib lisada, välja jätta või ümber sõnastada. Arvud, kohustuslikud terminid ja pikkus kontrollitakse tagantjärele.
• Arveldus tokeni alusel, mis sõltub valitud mudelist ja juhiste pikkusest.

Andmete kasutamise tingimused

Üks kriteerium kaalub sama palju kui kvaliteet: mis saab saadetud tekstist. Tingimused muutuvad paketist sõltuvalt, mitte ainult teenusepakkujast. DeepL märgib oma tasulistel pakettidel „andmetega ei treenita“. Gemini API puhul märgib Google’i hinnakiri, et tasulise taseme sisu ei kasutata tema toodete parandamiseks, tasuta taseme sisu aga kasutatakse. Lugege selle paketi tingimusi, mida Te tegelikult kasutate, mitte teenusepakkuja tingimusi üldiselt.

Kuidas testida oma tekstidega

Ainus paremusjärjestus, mis loeb, on Teie tekstide oma. Katse mahub kuude sammu:

1. 01Koguge kakskümmend kuni kolmkümmend päris väljavõtet.

   Pakkumisleht, müügitingimused, tootekirjeldus, klienditeeninduse vastus, tehniline tekst: see, mida Te päriselt tõlgite, keerulised juhtumid kaasa arvatud.

2. 02Kehtestage kõigile samad reeglid.

   Sama sõnastik ja üldotstarbeliste mudelite puhul samad juhised.

3. 03Võrrelge kolme kuni viit tööriista

   Nende hulgas vähemalt üht tõlketeenust ja üht väikest mudelit, mis on sageli palju odavam.

4. 04Laske hinnata pimesi

   Keelt valdaval inimesel, kes ei tea, milline tööriist millise tõlke tegi. Märkige vead raskusastme järgi: vale tähendus, vale termin, toon, vorm.

5. 05Arvutage kasutuskõlbliku tõlke hind

   Parandus kaasa arvatud, mitte ainult tähemärgi hind.

6. 06Korrake iga muudatuse korral

   Tööriista uue versiooni või uue keele avamise puhul.

Üldist meetodit kirjeldame artiklis tehisintellekti mudeli hindamine enne tootmiskasutusse võtmist. Hindajat võib suure mahu sorteerimisel aidata teine tehisintellekti mudel, kuid otsuse teeb keelt valdav inimene: WMT korraldajad ise järeldavad, et inimhindamine peab jääma tõlke kvaliteedi lõplikuks kohtunikuks.

Mida tööriist ei lahenda

Parim tööriist ei asenda kohustusi loovate lehtede ülevaatust, sõnastikku, tõlkemälu ega hindade ja vormingute lokaliseerimist, mida kirjeldame artiklis lokaliseerida, mitte tõlkida. Kataloogi puhul ei vabasta see ka arvude ja ühikute kontrollist, mida kirjeldame artiklis tootekirjelduste tõlkimine ekspordiks. See ei asenda ka tõlkijat: see nihutab tema töö ülevaatuse, terminoloogia ja tõelist ümberkirjutamist nõudvate tekstide poole. Seda jaotust kirjeldame artiklis veebilehe tõlkimine tehisintellektiga, masinlikult või üle vaadatuna ja ühe keele täielikku eelarvet artiklis veebilehe tõlkimine: hind sõna, lehe ja turu kohta.

Millest alustada

Valige oma esimese turu keel ja kümme väljavõtet oma kõige olulisematest tekstidest, laske kolmel tööriistal need tõlkida ja andke kõik ilma nimedeta keelt valdavale inimesele. Saate kiiresti teada, millist tuleb kõige vähem parandada.

Täieliku katsestendi jaoks Teie sisuga, keel keele haaval, kirjeldage meile oma tekste ja keeli: lähtume Teie dokumentidest, mitte kunagi avalikust paremusjärjestusest.

Korduma kippuvad küsimused

Allikad

1. Findings of the WMT24 General Machine Translation Shared Task (uus vahekaart)aclanthology.org
2. Findings of the WMT25 General Machine Translation Shared Task (uus vahekaart)aclanthology.org
3. DeepL, teade uue põlvkonna keelemudelist (uus vahekaart)deepl.com
4. DeepL, Tõlkija paketid (uus vahekaart)deepl.com
5. Google, Gemini API hinnad (uus vahekaart)ai.google.dev