Kaj AI pajki dejansko počnejo na spletni strani

Kdo je dejansko prišel

Ena vrstica dnevnika je en zahtevek. V spodnji tabeli se šteje eno ujemanje na vrstico, kar je pomembnejše, kot se sliši: User-Agent pajka običajno vsebuje njegovo ime dvakrat, enkrat kot ime in enkrat znotraj kontaktnega URL. Štetje pojavitev namesto vrstic zato vsako številko napihne za približno dvakrat. Napaka je lahka in sami smo jo naredili v prvem poskusu.

Prva ugotovitev: llms.txt ni bil zahtevan niti enkrat

Ne redko. Nič od 1425 zahtevkov v petnajstih dneh na strani, kjer datoteka obstaja, je veljavna, nanjo vodi povezava in je objavljena. To se ujema z ugotovitvijo velike raziskave na približno 300.000 domenah: merljive povezave med obstojem llms.txt in pogostostjo citiranja v AI ni. Naš dnevnik tega ne dokazuje, ena stran ne more dokazati ničesar, je pa to točka s terena in ne iz specifikacije, in kaže v isto smer.

To ni razlog za brisanje datoteke. Nič ne stane, človek jo lahko prebere, in del agentov jo morda prebere, kadar se odloči pogledati. Je pa razlog, da je ne prodajate in ne kupujete kot tisto, zaradi česar vas bodo začeli citirati.

Druga ugotovitev: pajek, ki hrani ChatGPT Search, je v očitni manjšini

Če odštejemo Meto, katere pajek hrani Meto in nobenega asistenta, ki ga ljudje dejansko sprašujejo, ostane 904 zahtevkov. Od teh jih na OAI-SearchBot odpade 52, torej 5,8 odstotka. Ostalo sta ClaudeBot in GPTBot, pri čemer je GPTBot pri OpenAI zadolžen za učenje in ne za iskanje. OpenAI ju dokumentira kot ločena agenta, ki se v robots.txt tudi upravljata ločeno.

Od tod pogosta in draga napaka: blokirati GPTBot, da bi se odpovedali učenju, se zdi kot blokiranje ChatGPT, vendar to ni pajek, ki odloča, ali vas ChatGPT Search lahko citira. To sta dvoje različnih vrat, in večina strani zapre oboja, ko namerava zapreti ena.

Tretja ugotovitev: pajki veliko bolj izvidujejo kot berejo

Od 904 zahtevkov asistentskih pajkov jih je 305, torej 34 odstotkov, šlo le v dve datoteki: robots.txt in sitemap.xml. Najbolj zahtevana vsebinska stran, domača, je bila vzeta 17-krat v petnajstih dneh. Vsaka druga po tri do štiri. Obhodijo celotno stran, in obhodijo jo plitvo.

To spremeni predmet optimizacije. Če tretjina pozornosti pajka gre v robots.txt in zemljevid strani, potem ti dve datoteki nista higiena, ampak vmesnik. Zemljevid, v katerem strani ni, ali mehka napaka 404, ki vrne 200 na vsak napačen naslov, zapravita prav tisti del proračuna, ki ga pajek dejansko porabi.

Četrta ugotovitev: spustiti pajka ne pomeni priklicati ga

PerplexityBot, Google-Extended, CCBot, Applebot-Extended in Bingbot niso prišli niti enkrat, čeprav jih robots.txt izrecno spušča. Dostop je nujen pogoj, ne pa zadosten. Pajek mora še izvedeti, da stran obstaja, kar se zgodi prek zemljevidov strani, prek indeksov, kot je Bingov, po protokolu IndexNow, in prek omembe tam, kamor že hodi.

Zakaj je to drugo delo in ne SEO

Prekrivanje med uvrstitvijo v Googlu in citiranjem pri asistentu je precej tanjše, kot se zdi. Objavljene analize navajajo 83 odstotkov citatov v AI Overviews s strani zunaj prve organske deseterice, 28,3 odstotka strani, ki jih ChatGPT najpogosteje citira, pa v Googlu za isto poizvedbo sploh ni videti. Manj kot en vir od desetih, ki jih citirajo ChatGPT, Gemini in Copilot, stoji v Googlovi prvi deseterici za isto poizvedbo.

V eno smer se to bere klavrno: dobra uvrstitev v Googlu se tja ne prenese. V drugo smer je to celotno okno priložnosti, saj pomeni, da vas asistent lahko citira, preden se sploh uvrstite. Delo, podprto s Princetona, ocenjuje prirast metod GEO do 40 odstotkov, prijem z najbolj neposredno izmerjenim učinkom pa so povezave na vire znotraj lastnih trditev, do 115 odstotkov za strani na petem mestu rezultatov.

Kaj je tu sploh merljivo in kako

Neprijetnost tega področja je, da najbolj dragocena vidnost sploh ne prinese obiska. Asistent odgovor povzame s svojimi besedami, človek ga prebere in pride čez teden dni, ko vaše ime vtipka neposredno. Analitika bo to zabeležila kot neposredni obisk. Ena številka zato nikoli ne zadošča, meriti je treba na tri neodvisne načine.

• Dnevniki strežnika. Kateri AI pajki pridejo, kako pogosto in katere strani vzamejo. To je edini povsem objektiven signal, ne potrebuje orodij, in iz njega so vzete vse številke tega članka. Gledati je treba delež vsebinskih strani in delež iskalnega pajka, ne skupnega števila.
• Kontrolni pozivi. Fiksen seznam vprašanj, zastavljenih v čisti seji več asistentom, po fiksnem tedenskem urniku, z zapisom v dnevnik. Zapisujte ne le, ali so vas imenovali, ampak tudi koga so imenovali namesto vas: tega seznama konkurentov ni mogoče dobiti nikjer drugje.
• Obrazec. Eno polje «kje ste izvedeli zame» z izrecno možnostjo za AI asistenta, poleg tehničnega napotitelja. Ta dva se razideta prav v zanimivem primeru, in prav razhajanje je meritev.

Česa v tem članku namenoma ni: rezultatov. To so izhodiščne številke, vzete preden so spremembe, s katerimi jih bomo primerjali, sploh utegnile učinkovati. Objaviti učinek, ki še ni izmerjen, bi bilo natanko tista nepoštenost, proti kateri je to besedilo napisano. Ponovna meritev čez mesec dni, na isti strani, po isti metodi.