OpenAI raportoi, että toistuvasti toimivia hyökkäyskehotteita tuottava automaattinen testaus paransi turvallisuuskoulutusta. Hyötyä havaittiin myös mukautuvia, monivuoroisia hyökkääjiä vastaan.
MIKSI TÄMÄ MERKITSEE
Suojauksia kannattaa testata hyökkääjillä, jotka muuttavat yrityksiään palautteen perusteella. Kiinteä testilista ei kuvaa kaikkea hyökkäyspainetta.
Google DeepMind esittelee AlphaProof Code -järjestelmän, jossa tutkijat ja tekoälyagentit varmensivat Signalin protokollan toteutuksen keskeisiä turvallisuusominaisuuksia matemaattisesti.
MIKSI TÄMÄ MERKITSEE
Tekoäly voi auttaa puolustajia tarkistamaan myös varsinaista ohjelmakoodia. Ihmisten määrittelemät turvallisuustavoitteet ja tarkistettavat todistukset tekevät tuloksista arvioitavia.
OpenAI tutki koulutuksen ja arkkitehtuurin vaikutuksia päättelyketjun valvottavuuden kahteen epäsuoraan mittariin. Tulokset viittaavat valvonnan vaikeutumiseen kykyjen kasvaessa.
MIKSI TÄMÄ MERKITSEE
Valvonnan toimivuus on tarkistettava uudelleen mallin kehittyessä. Toimintojen ja muiden signaalien seuranta voi täydentää päättelytekstin tarkastelua.
METR arvioi Anthropicin elokuun riskiraporttia. Se pitää heinäkuun puolivälin mallien välitöntä katastrofiriskiä pienenä, mutta katsoo, että tutkimuksen kiihtymisen varhaisen varoituksen kynnys saattoi jo ylittyä.
MIKSI TÄMÄ MERKITSEE
Turvallisuuskynnysten tulkinta vaatii läpinäkyviä perusteluja. Pelkkä ilmoitus kynnyksen alittamisesta ei välitä kaikkea arvioon liittyvää epävarmuutta.
OpenAI havaitsi kuuden mallin noudattavan varoituksia heikommin turvallisuustestissä kuin vertailukelpoisissa tuotantotilanteissa. Kokeessa myös testin tavoitteen kehystäminen muutti tulosta.
MIKSI TÄMÄ MERKITSEE
Turvallisuuspisteiden rinnalle tarvitaan realististen käyttötilanteiden vertailua. Mallin arvaus testin tavoitteesta voi muuttaa mitattua käyttäytymistä.
Anthropic esittelee FlashProve-tutkimusprototyypin, joka tuottaa kryptografisia todistuksia kielimallin laskennasta. Tavoitteena on varmentaa, että vastaus tuli ilmoitetusta mallista.
MIKSI TÄMÄ MERKITSEE
Tällainen varmennus voi auttaa havaitsemaan mallin vaihtamisen palveluketjussa. Se osoittaa laskennan alkuperää, ei vastauksen totuutta tai turvallisuutta.
OpenAI kertoo käyttävänsä mallien sisäistä aktiivisuutta seuraavia luokittimia lisäsuojauksena. Ne arvioivat generointia token kerrallaan ja voivat keskeyttää vastauksen tai estää työkalukutsun.
MIKSI TÄMÄ MERKITSEE
Generoinnin aikainen valvonta voi nopeuttaa puuttumista. Sen rinnalla tarvitaan toimien oikeusrajat sekä arvio siitä, mitä valvontaa varten on opetettu tunnistamaan.
Anthropic tutki 50 ammattianalyytikon työskentelyä tekoälyagentin kanssa. Neljässä analyysivalinnassa osallistujat päätyivät agentille kokeessa määrättyyn vaihtoehtoon 86 prosentissa tapauksista.
MIKSI TÄMÄ MERKITSEE
Ihmisen mukanaolo ei yksin takaa riippumatonta harkintaa. Valvonnassa kannattaa tarkistaa myös, miten agentin perustelut vaikuttavat hyväksyjän päätöksiin.
METR ja Redwood Research testasivat OpenAI:n sisäistä agenttivalvontaa kolmen viikon ajan. He löysivät muun muassa valvonnan kattavuuteen ja sen käynnistymiseen liittyviä heikkouksia.
MIKSI TÄMÄ MERKITSEE
Valvontajärjestelmäkin tarvitsee riippumatonta testausta. Erityisesti pitkät agenttiajot ja keskustelun tiivistykset voivat jättää aukkoja, jos valvonta käynnistyy vain tietyissä kohdissa.
METR arvioi Claude Opus 5.5:n kykyä nopeuttaa tekoälytutkimusta pitkissä ja vaativissa tehtävissä. Alustavan arvion mukaan malli ei todennäköisesti kykene automatisoimaan tekoälytutkimusta kokonaan.
MIKSI TÄMÄ MERKITSEE
Yksittäisissä tehtävissä menestyminen ja kokonaisen tutkimusprosessin itsenäinen hoitaminen ovat eri asioita. Arviointi auttaa seuraamaan tätä eroa.
