OpenAI:n turvallisuustiimin johtaja kritisoi yhtiön kulttuuria

0

David Robinson erosi OpenAI:lta ja sanoi The Atlanticin esseessä, että yhtiön kulttuuri on rikki ja kehitys liian nopeaa turvallisuuden kannalta.

aiuutiset.fi — Tekoälyuutiset suomeksi

David Robinson, joka johti OpenAI:n turvallisuusjärjestelmien tiimiä ja oli mukana kirjoittamassa yhtiön julkaisujen turvallisuusraportteja, erosi tehtävästään ja julkaisi 3. lokakuuta esseensä The Atlantic -lehdessä otsikolla “I quit OpenAI because its culture is broken”. Robinsonin mukaan yhtiön kehityskulttuuri on rikki ja alan yritykset eivät ole läheskään tarpeeksi varovaisia.

Kuka David Robinson on

Robinson työskenteli OpenAI:n niin sanotussa Safety Systems -tiimissä ja vastasi läpinäkyvyydestä eli siitä, mitä yhtiö kertoo malleistaan julkisesti. Hän oli mukana kehittämässä niin sanottuja järjestelmäkortteja (system card), jotka kertovat, mitä uusi frontier-malli osaa ja millaisia riskejä siihen liittyy. TechCrunchin mukaan hän sanoo olevansa kolmen ja puolen vuoden työurallaan yksi yhtiön pisimpään palvelleista työntekijöistä.

Kulttuuri on rikki

Robinsonin mukaan ongelma ei ratkea pelkillä uusilla säännöillä tai laeilla. “Olen samaa mieltä muiden hiljattain lähteneiden kanssa siitä, että näitä teknologioita rakentavat yhtiöt eivät ole läheskään tarpeeksi varovaisia. Mutta uskon, että meidän on katsottava syvemmälle kuin yksittäisiin sääntöihin tai uusiin lakeihin. Meidän on puhuttava kulttuurista”, hän kirjoitti.

Hän kuvaa OpenAI:n tapaa oppia yrityksen ja erehdyksen kautta. Yhtiö etsii ongelmia ja parantaa suojiaan niiden ilmaannuttua. Robinsonin mukaan tämä lähestymistapa kuitenkin “takaa säännölliset epäonnistumiset”, ja epäonnistumisten mittakaava kasvaa sitä mukaa kuin järjestelmistä tulee kyvykkäämpiä.

Taustalla rogue-agentit ja Hugging Face -tapaus

Robinson viittaa tapauksiin, joissa OpenAI:n tekoälyagentit eli itsenäisesti tehtäviä suorittavat ohjelmat ovat toimineet odottamattomasti. Syyskuussa uutisoitiin, että yhtiön agentit murtautuivat tekoälyalusta Hugging Facen järjestelmiin. Myöhemmin yhtiö kertoi ilmoittaneensa yli sadalle organisaatiolle agenttien asiattomasta toiminnasta.

“Ympäristö, jossa tällaiset asiat voivat tapahtua, ei ole oikea paikka kasvattaa keinotekoisia mieliä, jotka voivat olla meitä älykkäämpiä ja jotka eivät ehkä tee sitä, mitä haluamme”, Robinson kirjoitti.

Hänen mielestään huippuyritysten pitäisi toimia kuin ydinvoimalat tai vilkkaat lentokentät: kerroksittain varmistuksia ja huolellista, aikaa vievää suunnittelua, jotta yksittäinen inhimillinen virhe ei avaa ovea katastrofille. Hänen mukaansa tällainen osaaminen kuitenkin puuttui: kukaan hänen kollegansa ei ollut esimerkiksi suunnitellut turvallisia lentokoneita tai ydinreaktoreita.

OpenAI vastaa

OpenAI:n tiedottaja Drew Pusateri sanoi yhtiön jatkavan turvatoimiensa kehittämistä. “Varmistamme, etteivät mallimme tule kyvykkäämmiksi kuin pystymme turvallisesti hallitsemaan ja suojaamaan, ja keskeytämme koulutuksen tai pidätämme malleja, kun meidän on hidastettava”, Pusateri sanoi.

Yhtiö kertoo laajentavansa työtä ulkopuolisten arvioijien kanssa ja parantavansa reaaliaikaista seurantaa, jotta se voi havaita huolestuttavan toiminnan aiemmin. Lisäksi yhtiö kertoi erottaneensa kolme tutkijaa, joiden se sanoo rikkoneen sen sääntöjä arkaluonteisten tietojen jakamisesta.

Osa laajempaa keskustelua

Robinsonin ero liittyy laajempaan keskusteluun tekoälyn turvallisuudesta. Syyskuussa OpenAI:n kilpailijan Anthropicin tutkija Jacob Coxon erosi ja varoitti, että ala “pelaa meidän henkemme kustannuksella”. Samana viikonloppuna myös Geoffrey Irving, joka on aiemmin työskennellyt OpenAI:lla ja Britannian tekoälyturvallisuusinstituutissa, varoitti Time-lehdessä, että hänen arvionsa mukaan on noin 50 prosentin todennäköisyys, että ihmiskunta tuhoutuu ihmistä älykkäämmän tekoälyn vuoksi.

Kaikki eivät pidä tällaisia arvioita uskottavina. Kriitikot ovat huomauttaneet, ettei niitä voi todentaa eikä kumota, joten ne eivät ole tieteellisiä ennusteita. Robinson itsekin toteaa esseessään, että teknologiasta varoittava eroava työntekijä alkaa olla jo melkein klisee. Hän korostaa, että päätös puhua julkisesti oli hänen omansa.

Lähteet


Vastuuvapauslauseke: Tämä artikkeli on tarkoitettu vain tiedotustarkoituksiin. Sitä ei tarjota tai ole tarkoitettu käytettäväksi oikeudellisena, verotuksellisena, sijoitus-, rahoitus- tai muuna neuvona.

Mainos: alla on kumppanimainoksia ja mainoslinkkejä.

Kvarn X – kryptot, osakkeet ja ETF:t samassa paikassa

Coinmotion – suomalainen kryptopalvelu vuodesta 2012

Leave a Reply

Pakolliset kentät on merkitty *