mainostoimisto.ai
Oulu · 06:00:00

Tekninen SEOKirjoitti kone · faktat tarkisti kone · vastuu: Ilkka Immonen

Näkevätkö tekoälybotit JavaScriptillä ladatun sisällön?

Vastaus lyhyestiEivät yleensä. Vercelin ja MERJ:n mittauksen mukaan OpenAI:n, Anthropicin ja Perplexityn botit eivät suorita JavaScriptiä, joten selaimessa ladattu sisältö jää niiltä näkemättä. Google renderöi JavaScriptin, mutta erillisessä jonossa. Turvallisinta on, että tärkein teksti on jo palvelimen lähettämässä HTML:ssä. WordPress ja Astro tekevät sen oletuksena, pelkkä React-SPA ei.

Lyhyt vastaus: todennäköisesti eivät. Ainoa löytämäni suora mittaus on Vercelin ja MERJ:n, ja sen mukaan ChatGPT:n, Clauden ja Perplexityn botit lukevat vain sen HTML:n, jonka palvelin lähettää. Jos sivun teksti ilmestyy vasta, kun selain on ajanut JavaScriptin, nämä botit eivät sitä näe. Google näkee, mutta viiveellä.

Tämän tekstin kirjoitti tekoäly väitepankin varassa, ja skripti tarkisti, että jokainen luku löytyy avatuista lähteistä.

Google renderöi JavaScriptin, mutta erillisessä jonossa

Googlen JavaScript SEO -ohjeen mukaan Google käsittelee JavaScript-sivut kolmessa vaiheessa: haku (crawling), renderöinti ja indeksointi. Googlebot laittaa renderöintijonoon kaikki sivut, jotka palauttavat HTTP-tilakoodin 200. Sivu voi olla jonossa muutaman sekunnin, mutta Googlen sanoin se voi kestää pidempäänkin. Kun resursseja vapautuu, headless Chromium renderöi sivun ja ajaa JavaScriptin, ja Google käyttää renderöityä HTML:ää indeksointiin. Googlelle JavaScriptillä rakennettu sivu ei siis ole este, mutta selaimessa syntyvä teksti pääsee indeksiin vasta jonon jälkeen.

Samassa ohjeessa on lause, joka on tekoälyhaun kannalta tärkein: palvelinpuolen renderöinti tai esirenderöinti on edelleen hyvä ajatus, koska se tekee sivusta nopeamman käyttäjille ja boteille, eivätkä kaikki botit osaa ajaa JavaScriptiä.

Vanhaan kiertotiehen Google suhtautuu nyt kielteisesti. Dynamic rendering -ohjeessa dynaaminen renderöinti tarkoittaa, että palvelin tunnistaa botin, joka ei tue JavaScriptiä, ja antaa sille valmiiksi renderöidyn version. Google sanoo nyt, että se on kiertotie eikä suositeltu ratkaisu, koska se tuo lisää monimutkaisuutta. Tilalle Google suosittelee palvelinpuolen renderöintiä, staattista renderöintiä tai hydraatiota.

Vercelin ja MERJ:n mittauksessa tekoälybotit eivät suorittaneet JavaScriptiä

Vercel julkaisi 17. joulukuuta 2024 artikkelin The rise of the AI crawler, jonka kirjoittajissa on MERJ:n Managing Director Ryan Siddle. Aineisto tuli nextjs.org-sivuston ja Vercelin verkon seurannasta muutaman kuukauden ajalta.

Tulos oli yksiselitteinen: yksikään suurista tekoälyboteista ei renderöinyt JavaScriptiä. Listalla olivat OpenAI:n OAI-SearchBot, ChatGPT-User ja GPTBot, Anthropicin ClaudeBot, Metan Meta-ExternalAgent, ByteDancen Bytespider ja PerplexityBot. ChatGPT:n ja Clauden botit kyllä hakivat JavaScript-tiedostoja (ChatGPT 11,50 % ja Claude 23,84 % pyynnöistä), mutta eivät suorittaneet niitä. Selaimessa renderöity sisältö jäi niiltä lukematta.

Poikkeuksia oli kaksi. Googlen Gemini käyttää Googlebotin infrastruktuuria ja renderöi siksi JavaScriptin, ja AppleBot renderöi sen selainpohjaisella botilla. Vercelin oma suositus oli suora: kriittinen sisältö palvelimella renderöitynä, selainpuolen renderöinti vain lisäominaisuuksiin.

Käytännössä tämä tarkoittaa, että sama selaimessa renderöity sivu voi näkyä Googlelle ja Geminille mutta jäädä ChatGPT:ltä, Claudelta ja Perplexityltä tyhjäksi. Tekoälyhaun näkyvyys riippuu siis siitä, kenen botti sivulla käy, ja vain palvelimen HTML toimi kaikille mitatuille boteille.

Kaksi varausta. Mittaus on vuoden 2024 lopulta, eikä bottilistalla ole Claude-SearchBotia ja Claude-Useria, jotka Anthropicin ohjesivu nyt mainitsee. Ja kyse on yhden yrityksen omasta datasta, ei vertaisarvioidusta tutkimuksesta.

Bottien omat dokumentit eivät kerro JavaScriptistä mitään

Kävin läpi kolmen palvelun bottisivut. OpenAI kertoo, että OAI-SearchBot tuo sivustoja ChatGPT:n hakutuloksiin, GPTBot kerää koulutusdataa ja ChatGPT-User ei kulje verkossa automaattisesti. Anthropic kuvaa ClaudeBotin, Claude-Userin ja Claude-SearchBotin samaan tapaan. Perplexity kertoo, että PerplexityBot tuo sivuja hakutuloksiin ja Perplexity-User käy sivulla käyttäjän kysymyksen takia.

Yksikään näistä sivuista ei sano, renderöikö botti JavaScriptiä. En löytänyt OpenAI:lta, Anthropicilta tai Perplexityltä virallista lähdettä kumpaankaan suuntaan. Siksi järkevä oletus on Vercelin mittauksen tulos. Mitkä botit sivullasi oikeasti käyvät, selviää lokeista; siitä kerrotaan artikkelissa GPTBot, ClaudeBot ja PerplexityBot lokeissa.

WordPress ja Astro lähettävät valmiin HTML:n, pelkkä React-SPA ei

WordPress muodostaa sivun palvelimella teeman template-tiedostoista. WordPressin kehittäjäohjeen mukaan kyselymerkkijono ratkaisee, mitä templatea käytetään, ja templatet tuottavat sivuston sivut. Teksti on siis yleensä jo palvelimen vastauksessa.

Elementor toimii samoin. Elementorin kehittäjädokumentaation mukaan widgetin render() on PHP-template, joka tuottaa julkisen sivun sisällön, ja JavaScript-template content_template() tuottaa vain editorin esikatselun. Lisäosa voi silti ladata osan sisällöstä selaimessa, joten tarkista oma sivusi.

React on eri asia. Reactin oman ohjeen mukaan yhden sivun sovellus (SPA) lataa yhden HTML-sivun ja päivittää sitä dynaamisesti, ja se on useimpien build-työkalujen oletusarkkitehtuuri. Ohjeen mukaan SPA on helppo aloittaa, mutta sen ensimmäinen lataus voi olla hitaampi. Ohje neuvoo toteuttamaan sen rinnalle palvelinpuolen renderöinnin (SSR), staattisen sivugeneroinnin (SSG) tai React Server Componentsit. SSG tuottaa staattiset HTML-tiedostot buildissa, ja juuri nämä tavat vievät tekstin siihen HTML:ään, jonka tekoälybotti lukee.

Astron dokumentaation mukaan koko Astro-sivusto esirenderöidään oletuksena buildissa, ja selaimelle lähetetään staattisia HTML-sivuja.

Tämän sivuston artikkelit ovat HTML:ssä jo buildissa

mainostoimisto.ai on Astro-sivusto. Sen astro.config.mjs-tiedostossa ei ole output- eikä adapter-asetusta, joten käytössä on Astron oletus eli esirenderöinti. Artikkelisivut luodaan tiedostossa src/pages/artikkelit/[slug].astro getStaticPaths-funktiolla, ja artikkelin teksti renderöidään sivupohjaan buildin aikana. Kun botti hakee artikkelin, teksti on jo palvelimen lähettämässä tiedostossa.

Staattisen sivuston ja WordPressin eroista hakukoneelle on oma artikkeli: staattinen sivusto vai WordPress.

Lähdekoodi ja curl näyttävät sen, minkä tekoälybotti näkee

Avaa sivu selaimessa ja valitse selaimen valikosta “Näytä sivun lähdekoodi”. Tämä näyttää palvelimen alkuperäisen vastauksen, ei selaimen renderöimää versiota. Etsi sieltä hakutoiminnolla jokin virke sivun leipätekstistä. Jos se löytyy, tekoälybotti näkee sen. Jos lähdekoodissa on lähinnä tyhjä div ja joukko script-tageja, sisältö syntyy selaimessa.

Komentorivillä sama onnistuu curlilla, joka ei aja JavaScriptiä: curl -s https://oma-sivusi.fi/palvelut/ | grep "jokin virke sivulta". Tyhjä tulos tarkoittaa, ettei virke ole HTML:ssä. Toista testi niille sivuille, joilla on hinnat, palvelukuvaukset ja yhteystiedot, ja myös välilehtien, haitarien ja karusellien sisällölle.

Googlen näkymä tarkistetaan erikseen: ohjeen mukaan Search Consolen URL-tarkistustyökalu tai Rich Results Test näyttää renderöidyn HTML:n. Jos teksti näkyy siellä mutta ei lähdekoodissa, Google näkee sen ja tekoälybotit todennäköisesti eivät.

Korjaus riippuu alustasta: Reactissa SSR tai SSG, WordPressissä ja Astrossa sen selvittäminen, mikä lisäosa tai komponentti lataa sisällön myöhemmin. Muut tekniset asiat ovat pilarissa tekninen SEO tekoälyaikana.

Kysymyksiä, joita tästä haetaan

Renderöikö GPTBot JavaScriptiä?

Vercelin ja MERJ:n joulukuussa 2024 julkaiseman mittauksen mukaan ei. GPTBot, OAI-SearchBot ja ChatGPT-User hakivat JavaScript-tiedostoja mutta eivät suorittaneet niitä. OpenAI:n oma bottidokumentaatio ei kerro asiasta kumpaankaan suuntaan.

Kannattaako SPA-sivulle tehdä dynaaminen renderöinti tekoälybotteja varten?

Google kutsuu dynaamista renderöintiä kiertotieksi, joka ei ole suositeltu ratkaisu, ja suosittelee sen sijaan palvelinpuolen renderöintiä, staattista renderöintiä tai hydraatiota. Sama ratkaisu palvelee myös tekoälybotteja.

Lähteet

  1. Google Search Central: Understand the JavaScript SEO basicsKolme vaihetta, renderöintijono, palvelinpuolen renderöinti suositeltavaa
  2. Google Search Central: Dynamic rendering as a workaroundDynaaminen renderöinti ei ole suositeltu ratkaisu
  3. Vercel / MERJ: The rise of the AI crawler (17.12.2024)Suuret tekoälybotit eivät renderöi JavaScriptiä; Gemini ja AppleBot renderöivät
  4. OpenAI: Overview of OpenAI CrawlersBottien tehtävät; JavaScriptistä ei mainintaa
  5. Anthropic: Does Anthropic crawl data from the webBottien tehtävät; JavaScriptistä ei mainintaa
  6. Perplexity Docs: Perplexity CrawlersBottien tehtävät; JavaScriptistä ei mainintaa
  7. WordPress Developer Resources: Template HierarchySivut muodostetaan teeman template-tiedostoista
  8. Elementor Developers: Widget Renderingrender() tuottaa julkisen sivun PHP:llä
  9. react.dev: Build a React app from ScratchSPA oletusarkkitehtuurina, SSR ja SSG vaihtoehtoina
  10. Astro Docs: On-demand renderingOletuksena esirenderöity staattinen HTML
  11. mainostoimisto.ai: astro.config.mjsEi output- eikä adapter-asetusta, eli Astron oletus
  12. mainostoimisto.ai: src/pages/artikkelit/[slug].astroArtikkelisivut luodaan getStaticPaths-funktiolla buildissa

Löysitkö virheen?

Tämän tekstin kirjoitti Claude ja toinen kone tarkisti faktat. Ihminen ei ole lukenut jokaista tekstiä, joten sinun huomiosi on tässä oikeasti tarpeen. Jos jokin on väärin, kerro: ilmoitus tulee Ilkalle, hän korjaa, ja korjaus merkitään tähän tekstiin näkyviin.

Sama kone, sinun alasi.

Täällä kone kirjoittaa hakukoneoptimoinnista, koska se on tämän laboratorion aihe. Sinun sivustollasi se kirjoittaisi siitä, mitä asiakkaasi kysyvät: uuden pelaajan ilmoittautumisesta, lämpöpumpun huollosta, toiminimen muuttamisesta osakeyhtiöksi. Aiheet, tahti ja se, julkaiseeko kone itse vai vasta kun olet lukenut, sovitaan sinun bisneksesi mukaan. Ja jos haluat ensin nähdä oman sivustosi kolmena eri suuntana, sekin tehdään ennen kuin mitään rakennetaan.

Hinnat ja työnäytteet ovat cosmicthing.fi:ssä.

Kerro, mitä teetKuka tämän takana on