- Tiedonkeruu: Koulutukseni alkoi monipuolisella Internet-tekstivalikoimalla. Minun on kuitenkin huomattava, että vaikka sain koulutusta laajasta tietojoukosta, en tiedä tarkkoja tietoja siitä, mitkä asiakirjat olivat osa koulutuskokonaisuutta, tai minulla ei ole pääsyä tiettyihin asiakirjoihin tai lähteisiin.
- Peruskoulutus (esikoulutus): Täällä opin ennustamaan lauseen seuraavan sanan. En alkanut osata englantia tai mitään muuta kieltä. Sen sijaan ennustamalla seuraavan sanan miljoonilla lauseilla, opin vähitellen kielioppia, faktoja maailmasta ja joitakin päättelykykyjä. Tämä tarkoittaa kuitenkin myös sitä, että olen saattanut oppia puolueellisista tai virheellisistä tiedoista, koska tietoja ei suodatettu perusteellisesti.
- Hienosäätö: Alkukoulutuksen jälkeen OpenAI:n tekijäni antoivat lisäopastusta tarkemman tietojoukon kanssa, joka on luotu ihmisten arvioijien avulla. Nämä arvioijat noudattavat ohjeita tarkastellakseen ja arvioidakseen mahdollisia mallin lähtöjä useille esimerkkisyötteille. Hienosäätöprosessi on eräänlainen vuoropuhelu mallin ja arvioijien välillä, joka auttaa minua sopeutumaan paremmin inhimillisiin arvoihin.
- Jatkuva oppiminen: Vaikka en opi yksittäisistä vuorovaikutuksista tietosuojasyistä, OpenAI työskentelee jatkuvasti arvioijatiimin kanssa antaakseen palautetta ja tehdäkseen iteratiivisia parannuksia laajempien mallien ja oivallusten perusteella.
- Esimerkki harjoittelusta: Oletetaan, että meillä on lause "Kissa istui __:lla". Esiharjoitteluvaiheessa minun kaltaiseni malli oppii ennustamaan lauseen seuraavan sanan, joka voisi olla "matto", "katto" tai "puu". Tämä opitaan käsittelemällä miljardeja lauseita erilaisista Internet-teksteistä, joihin liittyy epäsuorasti ihmisten vuorovaikutusta ihmisten luodessaan alkuperäistä sisältöä.
- Hienosäätöesimerkki: Esiharjoitteluvaiheen jälkeen malli siirtyy hienosäätövaiheeseen. Näin se voi toimia:
Ihmisarvostelijalle annetaan tehtävänä tarkastella mahdollisia mallin tulosteita syötettä varten, kuten "Käännä seuraava englanninkielinen teksti ranskaksi: "Hei, miten menee?". Malli saattaa tuottaa useita vastauksia, kuten "Bonjour, comment ça va?" tai "Terve, kommentoi vas-tu?" jne.
Arvostelija arvioi nämä vastaukset tekijöiden, kuten tarkkuuden, sujuvuuden ja asianmukaisuuden, perusteella. Nämä arvosanat auttavat mallia yleistämään ja reagoimaan samankaltaisiin syötteisiin tulevaisuudessa.
Muista, että tässä annetut esimerkit on yksinkertaistettu havainnollistamaan prosessia. Varsinainen koulutus sisältää monimutkaisia algoritmeja ja valtavia tietomääriä.
- Erilaisia tietoja: Kyse ei ole vain tietojen määrästä, vaan myös monipuolisuudesta. Tietojen on oltava monipuolisia, jotta ne kattavat laajan valikoiman aiheita, tyylejä ja sävyjä ihmisten kielessä.
- Tietojen laatu: Koulutukseen käytetyn datan laatu voi myös vaikuttaa siihen, kuinka tehokkaasti malli oppii. Laadukkaat tiedot voivat mahdollisesti vähentää tehokkaan harjoittelun vaatimaa määrää.
- Mallin arkkitehtuuri: Mallin arkkitehtuuri (kuten hermoverkon kerrosten tai parametrien määrä) voi myös vaikuttaa siihen, kuinka paljon dataa tarvitaan. Suuremmat mallit, kuten GPT-3 tai GPT-4, vaativat yleensä enemmän tietoa kuin pienet mallit.
- Koulutustavoitteet: Se, minkä tyyppiset tehtävät mallin on tarkoitus suorittaa, voivat vaikuttaa tarvittavan tiedon määrään. Tiettyyn tehtävään suunniteltu malli saattaa vaatia vähemmän tietoja, jos se on hyvin kohdistettu, kun taas yleiskäyttöinen malli, kuten GPT-3 tai GPT-4, joka on suunniteltu käsittelemään monenlaisia tehtäviä, vaatii enemmän tietoa laajempaa ymmärtämistä varten.
Esimerkiksi GPT-3:n tapauksessa mallissa on 175 miljardia parametria ja se on koulutettu satojen gigatavujen tekstiin. Mutta nämä luvut eivät täysin kuvaa prosessin monimutkaisuutta. Koulutusprosessin yksityiskohdat, mukaan lukien käytetyn datan tarkka määrä, ovat OpenAI:n ja vastaavien organisaatioiden hallussa olevia yksityiskohtia.
- Aloita pienestä: Erityisesti yksinkertaisiin ongelmiin tai alkuperäisiin malliprototyyppeihin pienempi tietojoukko voi olla riittävä. Jos esimerkiksi rakennat peruskuvan luokittelijaa, voit aloittaa muutamalla sadalla tai tuhannella kuvalla luokkaa kohden.
- Harkitse monimutkaisuutta: Monimutkaisemmat ongelmat vaativat yleensä enemmän tietoa. Jos kehität syväoppimismallia tai työskentelet monimutkaisen ongelman, kuten luonnollisen kielen käsittelyn, parissa, saatat tarvita miljoonia tietopisteitä.
- Laatu korvaa määrän: Laadukas, relevantti data voi usein olla hyödyllisempää kuin valtava määrä huonolaatuista dataa. On erittäin tärkeää varmistaa, että tietosi on puhdistettu oikein, merkitty merkinnöillä ja edustamaan ongelmaa, jota yrität ratkaista.
- Tasapainota luokkasi: Valvotuissa oppimistehtävissä varmista, että jokaisella luokalla on hyvä tasapaino esimerkkejä. Epätasapainoinen tietojoukko voi johtaa malliin, joka toimii huonosti aliedustetuissa luokissa.
- Käytä validointi- ja testisarjoja: Osa tietojoukostasi tulee varata validointia (malliparametrien virittäminen) ja testausta (mallin suorituskyvyn arviointia) varten. Yleiset jaot voivat olla 70 % koulutuksen tiedoista, 15 % validoinnista ja 15 % testauksesta, vaikka nämä osuudet voivat vaihdella.
- Kokeile ja toista: Aloita alustavalla datamäärällä, harjoittele malliasi, arvioi sen suorituskykyä ja lisää toistuvasti lisää tietoja, säädä malliasi tai paranna tietojen laatua tulosten perusteella.
Muista, että enemmän dataa yleensä parantaa koneoppimismallien suorituskykyä, mutta vain tiettyyn pisteeseen asti. Tietyn pisteen jälkeen tietojen kerääminen voi olla enemmän aikaa vievää ja kalliimpaa kuin sen arvo, ja voi olla hyödyllisempää keskittyä tietojen laadun parantamiseen tai malliarkkitehtuurin hiomiseen.
- Esikoulutus: Tässä vaiheessa malli altistuu suurelle määrälle Internet-tekstidataa. Näitä tietoja ei ole erikseen merkitty, mutta malli on koulutettu ennustamaan lauseen seuraava sana. Tämä antaa mallille yleisen ymmärryksen kielioppista, maailmaa koskevista tosiasioista ja joitain päättelykykyjä.
- Hienosäätö: Esikoulutuksen jälkeen mallia jalostetaan edelleen kapeampaan tietoaineistoon, joka on luotu ihmisten arvioijien avulla. Nämä arvioijat noudattavat OpenAI:n ohjeita tarkastellakseen ja arvioidakseen mahdollisia mallien tuotoksia eri syötteille. Tässä mielessä hienosäätöprosessia voidaan pitää eräänlaisena huomautuksena, jossa tarkastajat ohjaavat mallin vastauksia, auttavat mallia mukautumaan paremmin inhimillisiin arvoihin ja varmistavat, että se välttää sopimattoman tai vaarallisen sisällön.
Joten vaikka esikoulutuksessa käytettyä alkuperäistä tietojoukkoa ei ole merkitty perinteisessä mielessä, hienosäätöprosessi sisältää eräänlaisen annotoinnin, jossa ihmisen arvioijat ohjaavat mallin käyttäytymistä arvioimalla erilaisia tulosteita.
Oikeus: Arvioijat arvioivat, onko mallin tulos tosiasiallisesti oikea.
Esimerkiksi:
Sopivuus: Mallin tuotos arvioidaan sen sopivuuden suhteen annettuun syötteeseen nähden.
Esimerkiksi:
Turvallisuus: Tulosteet tarkistetaan sen varmistamiseksi, että ne eivät sisällä haitallisia ohjeita tai loukkaavaa kieltä.
Esimerkiksi:
täydellisyys: Tämä arvioi, vastaako mallin vastaus täysin käyttäjän kyselyyn.
Esimerkiksi:
Sujuvuus: Arvioijat tarkistavat, onko mallin tulos kielellisesti sujuvaa ja johdonmukaista.
Esimerkiksi:
Nämä luokat ovat vain esimerkkejä. Varsinaiseen hienosäätöprosessiin kuuluu monimutkaisempi arviointijärjestelmä ja jatkuva palaute arvioijien ja tekoälyn kehitystiimin välillä. Näiden merkintöjen tavoitteena on tehdä mallin vastauksista hyödyllisempiä, turvallisempia ja inhimillisten arvojen mukaisia.
OpenAI, ChatGPT:n takana oleva organisaatio, ei paljasta julkisesti hienosäätöprosessiin osallistuneiden arvioijien tarkkaa määrää. Ottaen kuitenkin huomioon niin suuren kielimallin koulutuksen mittakaava ja monimutkaisuus, on turvallista sanoa, että prosessiin liittyy todennäköisesti huomattava joukko arvioijia.
Nämä tarkastajat noudattavat OpenAI:n antamia ohjeita arvioidakseen ja arvioidakseen mahdollisia mallien tuotoksia. Se on jatkuva, iteratiivinen prosessi, jossa arvioijien palautetta käytetään mallin parantamiseen ja tarkentamiseen ajan myötä. OpenAI ylläpitää vahvaa palautesilmukkaa arvioijien kanssa, mukaan lukien viikoittaiset tapaamiset, joissa käsitellään kysymyksiä ja annetaan selvennyksiä.
- Tehtävän monimutkaisuus: Yksinkertaiset tehtävät, kuten kuvien merkitseminen tai tekstin luokitteleminen, vievät vähemmän aikaa PDF-tiedostoa kohden, jolloin yksi annotaattori voi käsitellä enemmän tiedostoja. Toisaalta monimutkaiset tehtävät, kuten yksityiskohtainen kokonaisuuden purkaminen tai semanttinen analyysi, vaatisivat enemmän aikaa asiakirjaa kohden ja siten enemmän merkintöjä samalle PDF-määrälle.
- PDF-tiedostojen pituus ja monimutkaisuus: Pidemmän tai monimutkaisemman PDF-tiedoston merkintä vie enemmän aikaa kuin lyhyemmän tai yksinkertaisemman.
- Laatuvaatimukset: Jos vaaditaan suurta tarkkuutta, voi olla tarpeen käyttää useita merkintöjä PDF-tiedostoa kohden merkintöjen ristiintarkistamiseksi.
- Aikarajoitteet: Jos merkinnät on valmistettava nopeasti, tarvitaan lisää annotaattoreita.
Oletetaan hypoteettisena esimerkkinä, että annotaattori voi merkitä 5 PDF-tiedostoa päivässä tiettyä tehtävää varten ja työskentelee 5 päivää viikossa. Tässä tapauksessa yksi annotaattori tarvitsee 10,000 2000 päivää eli noin 8 vuotta XNUMX XNUMX PDF:n merkitsemiseen.
Jos sinulla olisi kuitenkin 20 annotaattorin tiimi, he voisivat suorittaa tehtävän noin viidessä kuukaudessa (olettaen 5 työpäivää kuukaudessa). 20 annotaattorilla sama tehtävä voitaisiin suorittaa noin kuukaudessa.
Muista, että nämä luvut ovat puhtaasti havainnollistavia ja merkintöjen todellinen nopeus riippuu yllä mainituista tekijöistä. Lisäksi annotaattorien asianmukainen koulutus ja johdonmukainen laadunvalvonta ovat ratkaisevan tärkeitä minkä tahansa suuren mittakaavan merkintäprojektin onnistumiselle.
