Sivustot voivat jatkossa kieltää tekoälykoulutuksen yhdellä robots.txt-merkinnällä

Kirjoittaja: AI Uutiset Toimitus · Tarkastanut: Pasi Kalevi, päätoimittaja · 31.10.2026

OpenAI, Google, Microsoft ja Anthropic ilmoittivat perjantaina 30. lokakuuta, että ne aikovat noudattaa yhteistä merkintää, jolla verkkosivusto voi kertoa yhdellä kertaa, saako sen sisältöä käyttää tekoälyn koulutukseen. Merkintä kirjoitetaan sivuston robots.txt-tiedostoon, ja sen taustalla on internetin standardointijärjestön IETF:n työryhmässä valmisteltu luonnos. Käytännön toteutus on vielä kesken: aikataulut vaihtelevat yhtiöittäin, ja Google on kertonut aloittavansa vasta vuonna 2027.

Yksi rivi korvaa kymmenet erilliset säännöt

Tähän asti sivuston omistaja on joutunut luettelemaan jokaisen tekoäly-yhtiön oman crawlerin eli verkkosivuja automaattisesti keräävän ohjelman erikseen ja kirjoittamaan kullekin oman sääntönsä. Uudessa mallissa sivusto kirjoittaa robots.txt-tiedostoon ryhmän, jonka User-Agent-rivillä on yhteinen merkintä __usage_ai-training. Sen alle kirjoitetaan tavalliset Disallow- ja Allow-rivit.

Luonnoksen esimerkissä sivusto kieltää koulutuksen kaikilta poluilta paitsi lehdistömateriaaleilta:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Merkintä ei tuo robots.txt-tiedostoon uutta kieltosanaa eikä uutta syntaksia. Polkusäännöt ja pisimmän osuman periaate säilyvät ennallaan, joten vanhat ohjelmat, jotka eivät tunne merkintää, ohittavat sen eivätkä riko sivuston muita sääntöjä. robots.txt on verkkotunnuksen juuressa oleva tekstitiedosto, jossa sivusto kertoo automaattisille ohjelmille, mitä ne saavat tehdä. Keräämistä kutsutaan verkkokaavinnaksi.

Google tulkitsee merkinnän Google-Extendedin estoksi

Google kertoo omassa tiedotteessaan, että jos sivusto käyttää yhteistä merkintää kieltääkseen koulutuksen eikä mainitse erikseen Google-Extendediä, Google tulkitsee sen samaksi kuin julkaisija olisi kieltänyt Google-Extendedin. Google-Extended on yhtiön oma keinonsa, jolla sivusto on voinut vuodesta 2023 lähtien kieltää sisältönsä käytön Gemini-mallien koulutukseen.

Yhtiön omat erilliset keinot jäävät voimaan yhteisen merkinnän rinnalla. Google aikoo ottaa uuden merkinnän käyttöön vuonna 2027 ja kertoo päivittävänsä tilannetta sitä mukaa.

OpenAI lupaa toteutuksen lähikuukausina, Microsoft lisää oman grounding-asetuksensa

OpenAI:n mukaan yhtiö alkaa noudattaa yhteistä merkintää ja kertoo toteutuksen yksityiskohdista myöhemmin. Yhtiön mukaan uusi merkintä ei korvaa sen nykyisiä crawler-kohtaisia sääntöjä, jotka pysyvät voimassa.

Microsoft ilmoitti samana päivänä, että se ottaa yhteisen koulutusmerkinnän käyttöön ja lisää sen rinnalle oman, sivukohtaisen asetuksen. Yhtiö jakaa asetukset kahteen osaan: koulutukseen ja niin sanottuun groundingiin eli sisällön käyttöön vastausten tausta-aineistona. Uusi DisallowExtended-asetus rajaa groundingin Microsoftin omiin palveluihin, kuten Bingiin, Copilotiin ja Microsoft 365:een, ja jättää ulkopuolelle kolmansille tarjottavat grounding-palvelut.

Meta ilmoitti tuestaan mutta ei ole luvannut noudattaa merkintää

The Vergen mukaan Metan viestintäjohtaja Andy Stone kertoi tukevansa uutta merkintää ja piti yhteistä tapaa kertoa toiveista tärkeänä askeleena. Hän ei kuitenkaan sanonut, aikooko Meta itse noudattaa merkintää omissa crawler-eissaan. Muista suurista yhtiöistä ainakin OpenAI, Google, Microsoft ja Anthropic ovat ilmoittautuneet mukaan.

Suomalaiselle julkaisijalle helpotus on toistaiseksi lupaus

Muutos koskee myös suomalaisia verkkosivustoja ja julkaisijoita: yksi merkintä vähentäisi tarvetta seurata, millä nimellä kukin tekoäly-yhtiö kerää aineistoa ja mitä sääntöä sen ohjelma kunnioittaa. Toistaiseksi kyse on kuitenkin aikomuksesta. Ennen kuin palvelut toteuttavat merkinnän, sivuston kannattaa pitää voimassa myös vanhat crawler-kohtaiset sääntönsä.

Luonnoksen mukaan kyse on toiveesta, joka koskee sisällön käyttöä, ei teknisestä kiellosta. Se ei siis estä sivun hakemista, vaan kertoo, mihin kerättyä aineistoa saa käyttää. Koulutusdata on se teksti- ja kuvamassa, jolla malli opetetaan.

Lähteet

• OpenAI: Making it easier for websites to express AI training preferences, 30.10.2026.
• Google Search Central: Supporting a shared AI training control for websites, 30.10.2026.
• Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding, 30.10.2026.
• IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00), 30.10.2026.
• IETF AI Preferences -työryhmä: A Vocabulary For Expressing AI Usage Preferences, syyskuu 2026.
• Anthropic / IETF-postituslista: New draft: draft-kelley-aipref-training-preference-signal-00, 30.10.2026.
• The Verge: The biggest names in AI are backing a new way to opt out of scraping, 30.10.2026.
• Search Engine Roundtable: Google Also Adopts New AI Training Control, 30.10.2026.

Vastuuvapauslauseke: Tämä artikkeli on tarkoitettu vain tiedotustarkoituksiin. Sitä ei tarjota tai ole tarkoitettu käytettäväksi oikeudellisena, verotuksellisena, sijoitus-, rahoitus- tai muuna neuvona.

Mainos: alla on kumppanimainoksia ja mainoslinkkejä.