Google laajensi TPU-perheensä neljään järjestelmään

0

Google Cloud julkisti 9. marraskuuta TPU 8tx:n ja TPU 8i Maxin. Toinen suojaa tiedot salauksella myös käsittelyn aikana, toinen pakkaa kaksi piiriä yhteen pakettiin.

Googlen TPU v4 -tensorisuorittimen rakennekuva

Kuva: TPU v4, Jouppi ym., Wikimedia Commons, CC BY 4.0

Google Cloud julkisti maanantaina 9. marraskuuta kaksi uutta tekoälylaskennan järjestelmää: TPU 8tx:n ja TPU 8i Maxin. Ne täydentävät yhtiön kahdeksannen sukupolven TPU-perheen neljään järjestelmään. TPU on Googlen oma tensorisuoritin eli tekoälylaskentaan erikoistunut piiri. Google ei kertonut julkistuksen yhteydessä järjestelmien hintoja, saatavuusalueita tai sitä, milloin ne tulevat yleisesti saataville.

8tx pitää tiedot salattuina myös silloin, kun malli käyttää niitä

TPU 8tx on tarkoitettu salattuun eli luottamukselliseen inferenssiin. Inferenssi tarkoittaa vaihetta, jossa valmis malli tuottaa vastauksia. Tavallisesti tiedot salataan tallennettaessa ja verkossa siirrettäessä, mutta puretaan muistiin käsittelyn ajaksi. 8tx rakentaa salauksen suoraan laitteistoon ja pitää sekä arkaluonteiset tiedot että mallin painot eristettyinä myös silloin, kun malli on aktiivisesti käytössä. Järjestelmä perustuu samaan piiriin kuin TPU 8t, ja sen kanssa käytetään AMD:n viidennen sukupolven EPYC-suorittimia.

Google suuntaa 8tx:n säännellyille toimialoille ja viranomaisille, jotka ajavat omia tai kaupallisia huippumallejaan arkaluonteisen aineiston kanssa. Samalla järjestelmällä voi yhtiön mukaan hienosäätää malleja yksityisellä datalla, pienentää suuria malleja ja kouluttaa agentteja ilman, että tietoja tarvitsee siirtää klusterista toiseen.

8i Max pakkaa kaksi sirua yhteen pakettiin

TPU 8i Max on tarkoitettu tehtäviin, joissa muisti muodostuu pullonkaulaksi. Google yhdisti kaksi matalan viiveen TPU 8i -piiriä samaan pakettiin. Ratkaisu kaksinkertaistaa laskentatehon, SRAM-muistin ja HBM-muistin kaistanleveyden verrattuna yksittäiseen 8i-piiriin. Data Center Knowledgen mukaan järjestelmässä on 384 gigatavua HBM-muistia. HBM on tekoälysiruissa käytettävä nopea muisti, joka sijaitsee aivan laskentapiirin lähellä.

Koska kaksi piiriä mahtuu samaan räkkiin kuin yksi aiemmin, datakeskukseen saa yhtiön mukaan selvästi enemmän laskentatehoa samalla lattiapinta-alalla ja samalla teholla. Järjestelmä on suunnattu erityisesti erittäin pitkiin konteksti-ikkunoihin eli tilanteisiin, joissa malli käsittelee kerrallaan esimerkiksi kokonaista koodikantaa tai tunteja videota.

Neljäs TPU-järjestelmä samana vuonna

Google esitteli huhtikuussa TPU 8t:n suurten mallien koulutukseen ja TPU 8i:n reaaliaikaiseen päättelyyn. Nyt julkistetut 8tx ja 8i Max nostavat saman sukupolven järjestelmien määrän neljään. Google Cloudin mukaan kyse on ensimmäisestä kerrasta, kun yhtiö tuo markkinoille neljä TPU-järjestelmää yhden vuoden aikana.

Yhtiö kertoo, että TPU:ita käyttää jo lähes 100 asiakasta. Mukana on huippumallien kehittäjiä, kaupankäyntiyhtiöitä, jälleenmyyjiä ja yliopistoja. Google on samalla avannut TPU-ohjelmistoaan laajemmin: TorchTPU:n ansiosta PyTorch-koodia voi ajaa TPUilla ilman uudelleenkirjoitusta, ja TPU Sync sekä XLA Serving Engine ovat avointa lähdekoodia.

Nvidian valtakauden haastaminen jatkuu

TPU on Googlen tärkein vastaus Nvidialle, jonka grafiikkasuorittimet hallitsevat tekoälylaskennan markkinaa. Google ei kerro uusien järjestelmien hinnoista tai toimitusajoista, joten on vielä avoinna, kuinka nopeasti ne päätyvät asiakkaiden käyttöön. Reutersin mukaan Google laajentaa siruvalikoimaansa juuri, kun tekoälylaskennan kysyntä kasvaa voimakkaasti.

Lähteet: Google Cloud, Reuters ja Data Center Knowledge


Vastuuvapauslauseke: Tämä artikkeli on tarkoitettu vain tiedotustarkoituksiin. Sitä ei tarjota tai ole tarkoitettu käytettäväksi oikeudellisena, verotuksellisena, sijoitus-, rahoitus- tai muuna neuvona.

Mainos: alla on kumppanimainoksia ja mainoslinkkejä.

Kvarn X – kryptot, osakkeet ja ETF:t samassa paikassa

Coinmotion – suomalainen kryptopalvelu vuodesta 2012

Leave a Reply

Pakolliset kentät on merkitty *