Claude Fable saa kritiikkiä julkaisun jälkeen – käyttäjät raportoivat heikosta suorituskyvystä

Anthropicin uusin tekoälymalli, Claude Fable, jota on kuvailtu yrityksen tähän mennessä tehokkaimmaksi malliksi, on nyt saatavilla laajemmalle käyttäjäkunnalle. Kehittäjien ja tekoälykäyttäjien alustavat reaktiot kuitenkin viittaavat siihen, että lanseeraus ei ole vastannut odotuksia.

Kun tuli tieto rajoituksista Claude Fable oli poistettu, monet odottivat innolla mallin saatavuutta Claude Codessa. Useat käyttäjät olivat myös täydentäneet käyttökrediittejään odottaen mallin lanseerausta puhtaasti käyttöön perustuvana palveluna.

Monien yllätykseksi se oli Claude Fable saatavilla myös käyttäjille, joilla on 100 dollarin kuukausittainen Max-tilaus. Samalla otettiin käyttöön useita rajoituksia, jotka vaikuttavat mallin käyttöön.

Antrooppisen mukaan Fable sisältyy Max-, Pro- ja Team-tilauksiin, mutta käyttö on rajoitettua. Esimerkiksi mallia voi käyttää vain enintään 50 prosenttia viikoittaisesta käyttökiintiöstä. Heinäkuun 7. päivän jälkeen Fabelen odotetaan myös siirtyvän kokonaan luottopohjaiseen järjestelmään, jossa käyttäjät maksavat todellisen käytön perusteella.

Käyttäjät raportoivat heikentyneestä suorituskyvystä

Suurin kritiikki ei kuitenkaan kohdistu tilausten rajoituksiin, vaan mallin havaittuun suorituskykyyn. Tekoälyyhteisössä useat käyttäjät kuvailevat Claude Fablea "heikentyneeksi", mikä tarkoittaa, että malli tuottaa huonompia tuloksia kuin aiemmat versiot.

Reddit-raporteissa Useat käyttäjät raportoivat, että uudelleenjulkaistu malli ohjataan huomattavasti useammin vanhempiin malleihin uusien turvajärjestelmien vuoksi.

Käyttäjä kirjoittaa:

“Uudet kaiteet pysäyttävät aivan liian monta pyyntöä ja palaavat Opus 4.8:aan. Tämä ei ole malli, joka aiemmin estettiin.”

Samankaltaisia raportteja tulee myös mm. Claude-koodi, jossa useat kehittäjät kokevat mallin muuttuvan Opus 4.8 huomattavasti odotettua useammin.

Käyttäjä toteaa, että Claude Fable ei edes sallinut käyttämättömän koodin etsimistä ennen kuin malli vaihtoi automaattisesti Opukseen. Toinen kuvailee siirtymistä erittäin selkeäksi, koska Claude ilmoittaa käyttäjälle mallin muutoksesta, kun se tapahtuu.

Koodaustehtävät näyttävät käynnistävän turvaominaisuudet

Useat kehittäjät kuvaavat myös ongelmia matalan tason ohjelmointityössä. C-, C++-, Rust- ja Win32 API -kieliin liittyviä tehtäviä, muistinhallinta tai tiedostot, jotka sisältävät sanoja kuten “tietoturva”, “haavoittuvuus”, “epävarma” tai “koukku”, raportoidaan käynnistävän tietoturvaominaisuuksia tai automaattisia mallinvaihtoja useammin.

Tämä tarkoittaa, että Claude Fable voi edelleen tarjota erittäin korkean suorituskyvyn käytännössä käytettynä, mutta uusi versio näyttää olevan huomattavasti herkempi tietyntyyppisille käskyille, projektitiedostoille ja tietoturvaan liittyville tehtäville.

Kyse on luultavasti tiukemmista turvatoimista.

Samaan aikaan ei ole viitteitä siitä, että itse tekoälymallia olisi teknisesti heikennetty. Todennäköisempi selitys on, että Anthropic on ottanut käyttöön huomattavasti tiukempia turvamekanismeja, jotka joissakin tapauksissa aktivoituvat jopa suhteellisen vaarattomissa tehtävissä.

Havainnot osoittavat, että Claude Fable joskus vaihdetaan Opus 4.8:aan, vaikka tehtävä ei näyttäisi aiheuttavan ilmeistä tietoturvariskiä.

Antrooppinen on aiemmin todennut, että yhtiön päivitetty suojausjärjestelmä perustuu suureen turvamarginaaliin väärinkäytön riskin minimoimiseksi. Tämä strategia voi myös johtaa niin sanottujen väärien positiivisten tulosten lisääntymiseen, joissa laillista dataa rajoitetaan tarpeettomasti.

Yhtiö ei ole vielä kommentoinut vääriä positiivisia tuloksia tai havaittua suorituskyvyn heikkenemistä koskevia raportteja. Jos ongelmat osoittautuvat laajalle levinneiksi, on todennäköistä, että Antrooppinen säätää turvamekanismeja tulevassa päivityksessä.