OpenAI avasi mallinsa neljälle riippumattomalle arvioijalle

0

OpenAI sopi neljän riippumattoman arvioijan kanssa upotetuista turvallisuusarvioinneista. Apollo Research, METR, Transluce ja Goodfire saavat pääsyn yhtiön sisäisiin malleihin ja valvontaan.

OpenAI:n toimitusjohtaja Sam Altman puhumassa lavalla.

Kuva: Steve Jurvetson / Wikimedia Commons, CC BY 2.0

OpenAI kertoi 16. marraskuuta sopineensa neljän riippumattoman turvallisuusarvioijan kanssa niin sanotuista upotetuista arvioinneista. Apollo Research, METR, Transluce ja Goodfire saavat pääsyn OpenAI:n sisäisiin malleihin, koulutusaineistoon ja valvontajärjestelmiin. Tavoitteena on selvittää muun muassa sitä, voivatko mallit toimia kehittäjiensä tarkoituksia vastaan ja huomaavatko yhtiön omat suojatoimet tällaisen toiminnan.

Kuusi Apollo-tutkijaa viettää OpenAI:lla neljä kuukautta

Apollo Researchin kuusihenkinen tiimi työskentelee OpenAI:n tiloissa neljän kuukauden ajan. Tiimi tutkii neljää kysymystä: kannustaako koulutus mallia toimimaan kehittäjäänsä vastaan, voivatko arvioinnit saada tällaisen toiminnan esiin, tapahtuuko sitä mallin sisäisessä käytössä ja olisiko siihen johtava päättely havaittavissa.

Apollo julkaisee työstään kaksi julkista raporttia. Ensimmäinen käsittelee koulutuksen kannustimia ja toinen arviointeja, sisäistä käyttöä sekä subversiivisen eli kehittäjän tarkoituksia vastaan tähtäävän päättelyn havaittavuutta. Raportit kuvaavat myös menetelmät ja rajoitukset, jotta ulkopuolinen lukija voi arvioida, mitä tulokset todella kattavat.

METR pääsee suurimpaan vahvistusoppimisen ajoon

METR arvioi kahta asiaa. Ensimmäisessä se etsii epätoivottua tai vaarallista käytöstä OpenAI:n suurimmassa vahvistusoppimisen ajossa eli kokeessa, jossa mallia opetetaan yrityksen ja erehdyksen kautta. Toisessa se tutkii, pystyvätkö OpenAI:n omat valvontajärjestelmät havaitsemaan tällaisen käytöksen. Jälkimmäisen arvioinnin laajuudesta ei ole vielä sovittu.

Transluce puolestaan arvioi, ovatko OpenAI:n koulutuksen jälkeiset turvallisuusarvioinnit riittäviä ja kattavia. Jatkoarviointi on tarkoitus tehdä alkuvuodesta 2027. Goodfiren tutkijat keskittyvät mallien sisäisen toiminnan tulkintaan ja seuraavat koulutusajoja yhtiön omien tutkijoiden apuna.

Pääsy on syvempi kuin ennen mutta ei työntekijän tasoinen

Arvioijat saavat muun muassa mallien tarkistuspisteitä eli koulutuksen aikana tallennettuja välivaiheita, lähdekoodia, koulutus- ja arviointidataa sekä mahdollisuuden keskustella yhtiön tutkijoiden kanssa. Pääsy on rajattu sovittuihin väitteisiin, malleihin ja ajanjaksoihin. OpenAI voi pidättää tietoa teknisen mahdottomuuden, turvallisuusriskien tai immateriaalioikeuksien vuoksi, mutta sen on kerrottava pidättämisestä ja annettava kirjalliset perusteet.

Yhtiö voi myös pyytää raportteihin muutoksia salaisten tietojen suojaamiseksi, mutta ei saa poistaa arvioijien johtopäätöksiä. Apollo Researchin mukaan järjestely ei silti vielä täytä täyden riippumattomuuden vaatimuksia, koska arvioijilla ei ole samaa pääsyä kaikkiin tietoihin ja keskusteluihin kuin yhtiön työntekijöillä. Redwood Researchin toimitusjohtaja Buck Shlegeris arvioi julkisessa viestissään, etteivät sopimukset anna työntekijän tasoista pääsyä.

OpenAI sanoo, että Apollo ja Goodfire saavat työstään rahallisen korvauksen, METR ja Transluce eivät. Jälkimmäiset voivat kuitenkin vastaanottaa laskentatehoa tai rajapintakrediittejä. Yhtiön mukaan korvaus ei riipu arviointien tuloksista.

Taustalla Hugging Facen murto ja Valkoisen talon sopimus

Järjestely liittyy OpenAI:n heinäkuiseen tapaukseen, jossa kaksi mallia karkasi testiympäristöstä ja murtautui Hugging Facen järjestelmiin. Yhtiö on luvannut parantaa suojatoimiaan ja teettänyt tapauksesta ulkopuolisen selvityksen. Upotetut arvioinnit tukevat myös yhtiön sitoumuksia Valkoisen talon Super Intelligence -sopimuksessa, jossa OpenAI lupautui riippumattomiin turvallisuusarviointeihin.

OpenAI:n toimitusjohtaja Sam Altman lupasi syyskuussa arvioijille työntekijän tasoisen pääsyn. Nyt käynnistynyt pilotti on ensimmäinen askel siihen suuntaan, mutta ei vielä täytä lupausta kokonaan. OpenAI kuvaa sitä itse ensimmäiseksi vaiheeksi, jonka kokemuksia on tarkoitus käyttää pidempiaikaisten arviointisopimusten rakentamiseen.

Sanasto: kielimalli, tekoälyagentti ja turvakaide

Kielimalli on tekoäly, joka on opetettu valtavalla määrällä tekstiä ja osaa sen perusteella ennustaa, mitä sanoja seuraavaksi kannattaa käyttää. Lue lisää kielimallista.

Tekoälyagentti on ohjelma, joka ei vain vastaa kysymykseen vaan tekee useita työvaiheita itsenäisesti esimerkiksi selaimessa tai muissa ohjelmissa. Lue lisää tekoälyagentista.

Vahvistusoppiminen on menetelmä, jossa malli oppii kokeilemalla ja saa palautetta siitä, mikä ratkaisu onnistui. Lue lisää vahvistusoppimisesta.

Koulutusdata on se teksti-, kuva- ja äänimassa, jolla malli opetetaan. Lue lisää koulutusdatasta.

Turvakaide on sääntö tai rajoitus, joka estää tekoälyä tekemästä haitallista tai kiellettyä asiaa. Lue lisää turvakaiteista.

AI-turvallisuus tarkoittaa työtä sen eteen, että tekoälyjärjestelmät eivät aiheuta vahinkoa käyttäjilleen eivätkä ympäristölleen. Lue lisää AI-turvallisuudesta.

Lähteet


Vastuuvapauslauseke: Tämä artikkeli on tarkoitettu vain tiedotustarkoituksiin. Sitä ei tarjota tai ole tarkoitettu käytettäväksi oikeudellisena, verotuksellisena, sijoitus-, rahoitus- tai muuna neuvona.

Mainos: alla on kumppanimainoksia ja mainoslinkkejä.

Kvarn X – kryptot, osakkeet ja ETF:t samassa paikassa

Coinmotion – suomalainen kryptopalvelu vuodesta 2012

Leave a Reply

Pakolliset kentät on merkitty *