Trellner Research julkaisi 2. syyskuuta selvityksen siitä, mihin lähteisiin tekoälyn ohjelmistosuositukset nojaavat. Tulos on karu: valtaosa lähteistä ei ole tunnettuja sivustoja.
Selvityksen mukaan 59,8 prosenttia Perplexityn siteeraamista verkkotunnuksista sijoittui Tranco-listalla huonommin kuin sijalle 100 000. Peräti 23,4 prosenttia ei mahtunut miljoonan suosituimman joukkoon lainkaan.
Miten mittaus tehtiin
Tutkijat kysyivät kahdelta verkkohakuun kytketyltä mallilta parhaita tuotteita 380 ohjelmistokategoriassa. Mallit olivat perplexity/sonar ja perplexity/sonar-pro, joita ajettiin OpenRouterin kautta. Yksi kehote kategoriaa kohti tuotti yhteensä 760 kutsua.
Jokainen kutsu pyysi viiden tuotteen listan JSON-muodossa sekä kunkin tuotteen virallisen kotisivun verkkotunnuksen. Kaikki 760 kutsua palauttivat jäsennettävän vastauksen. Molemmat mallit raportoivat myös noutamansa osoitteet ja perustelut niiden valinnalle.
Aineistoksi kertyi 3 800 suosituspaikkaa, 1 807 eri tuotetta ja 7 534 sitaattia 2 055 eri verkkotunnukseen. Jokainen verkkotunnus tarkistettiin Trancon päivälistalta ja Wayback Machinesta.
Menetelmä on toistettavissa, koska kaikki kehotteet ja mallit on nimetty. Kyselyt tehtiin yhdellä kierroksella, eikä malleille annettu vihjeitä siitä, millaisia lähteitä tutkijat odottivat näkevänsä.
Kategoriat kirjoitettiin ennen kuin yhtään tulosta oli nähty, eikä niitä muutettu jälkikäteen. Tutkijat hakivat lisäksi kaikki 1 502 mallien antamaa toimittajan kotisivua tarkistaakseen, ovatko ne yhä olemassa.
Lähteet tulevat verkon laitamilta
Molemmat mallit antoivat käytännössä saman kuvan. Kummankin 3 767 sitaatin joukossa noin 23,4 prosenttia osui Tranco-listan miljoonan ulkopuolelle ja noin 59,8 prosenttia sijaa 100 000 heikommalle sivustolle.
Tranco-lista yhdistää useita liikennemittauksia yhdeksi sijoitukseksi ja on siksi vakaampi kuin yksittäinen kävijämittari. Sijoitus miljoonan ulkopuolella tarkoittaa käytännössä sivustoa, jolla ei ole mainittavaa ihmisyleisöä.
Kyse ei ole kahdesta riippumattomasta mittauksesta vaan samasta Perplexityn hakupinosta otetusta kahdesta näytteestä. Tulos kertoo siis yhden järjestelmän noutokäyttäytymisestä, ei koko alasta.
Kärkijoukon ulkopuolelta löytyi myös toistuvia pienempiä lähteitä. wifitalents.com sai 71 sitaattia 27 kategoriassa, worldmetrics.org 60 sitaattia 22 kategoriassa ja gitnux.org 50 sitaattia 23 kategoriassa.
Yhdessä nämä kolme tuottivat 181 sitaattia eli 2,4 prosenttia kaikista. Ne esiintyivät 41 kategoriassa 380:stä. Kolmanneksi siteeratuimmaksi lähteeksi nousi yksittäisen ohjelmistotoimittajan oma markkinointiblogi.
215 128 sivua koneita varten
Selvityksen kiinnostavin havainto koskee kolmea sivustoa, jotka vaikuttavat olevan saman tahon hallinnassa. Kaksi niistä on antanut etusivunsa HTML-otsikoksi Facts & Grounding Page.
Grounding tarkoittaa juuri sitä noutovaihetta, jonka kielimalli tekee vastatessaan. Sivustot on siis nimetty sen mukaan, kenelle ne on tehty. Yksikään kolmesta verkkotunnuksesta ei ollut olemassa ennen joulukuuta 2023.
Sivustojen sivukartat listaavat 103 578, 107 083 ja 105 541 osoitetta. Näistä 70 731, 71 684 ja 72 713 on parhaita ohjelmistoja esittelevää opassivua. Yhteensä kolme brändiä on julkaissut 215 128 konetuotettua ostajanopasta.
Blogikirjoituksia kullakin sivustolla on kuusi. Ohjelmistokategorioita ei maailmassa ole 215 128 kappaletta. Mittakaava on koko pointti: sivustot on rakennettu kattamaan hakuavaruus, ei palvelemaan lukijaa.
Sivustot eivät ole piilossa. Ne ovat julkisia, indeksoituja ja rakenteeltaan siistejä — juuri sellaisia kuin noutovaihe suosii. Nimenomaan siisteys tekee niistä houkuttelevia lähteitä kielimallille, joka ei arvioi sivuston taustaa.
Mitä tulos ei kerro
Trellner rajaa väitteensä tarkasti. Mittaus koskee vain Perplexityä. ChatGPT:tä, Geminiä, Copilotia tai Googlen AI-tilaa ei mitattu, eikä niiden noutosekoituksesta voi päätellä mitään tämän perusteella.
Google jätettiin tarkoituksella pois. Gemini-mallin ajaminen OpenRouterin kautta ohjaisi kyselyn OpenRouterin omalle hakuliitännäiselle, jolloin sitaatit kuvaisivat sitä liitännäistä eivätkä Googlen omaa noutoa.
Selvitys ei myöskään väitä, että sivustojen tekijät olisivat toimineet laittomasti. Kyse on siitä, että hakuavaruuden kattaminen konetuotetulla sisällöllä on halpaa ja näyttää toimivan.
Tutkijat julkaisivat koko aineiston: jokaisen sitaatin, suosituksen, Tranco- ja Wayback-haun sekä toimittajien kotisivujen tarkistukset. Mukana ovat myös skriptit, joilla jokainen luku tuotettiin.
Aineisto julkaistiin CC BY 4.0 -lisenssillä. Trellner kertoo, ettei se ota vastaan maksua käsittelemiltään yrityksiltä. Avoin aineisto tekee tuloksesta toistettavan, mikä on tässä aihepiirissä harvinaista.
Yhteenveto
Selvitys ei väitä, että Perplexityn suositukset olisivat vääriä. Se osoittaa, että vastausten alla oleva lähdepohja on hauraampi kuin käyttäjä olettaisi ja että sitä on mahdollista rakentaa varta vasten.
Hakukoneoptimointi on siirtynyt vaiheeseen, jossa kohdeyleisö on kielimalli eikä ihminen. Ostopäätöstä tekevän kannattaa katsoa, mistä tekoälyn suositus on peräisin.