AI agenti nailaze na zatvorena vrata. Trebate li ih blokirati i vi?

Velike AI kompanije ove jeseni prodaju istu ideju: AI agenti koji umjesto vas rezerviraju stol, kupuju tenisice, čiste inbox i traže letove. Meta ima Muse, OpenAI Dots, xAI Grok, a tu su i manji igrači poput Instincta. Na demonstracijama to radi glatko.

U stvarnosti agenti sve češće udaraju u zatvorena vrata. The Verge je 17. listopada 2026. skupio slučajeve koji se gomilaju posljednjih tjedana: Amazon je izbacio Metin Muse, Yelp pušta samo agente koji plaćaju licencu, Delta ne dopušta agentima rezervaciju letova, a JPMorgan Chase i Charles Schwab drže ih podalje od korisničkih računa.

Većina nas ne vodi Amazon ni banku. Ali ista priča ima i manju, praktičnu verziju koja se tiče gotovo svakog sajta: blokirate li AI agente i vi, možda i bez da to znate, i trebate li ih uopće blokirati?

Tko blokira AI agente i zašto

Prvo treba razlikovati o čemu pričamo. AI agent nije crawler koji skuplja tekst za treniranje modela. Agent otvara stranicu u stvarnom vremenu, jer ga je korisnik poslao nešto napraviti: usporediti cijene, popuniti obrazac, staviti proizvod u košaricu, prijaviti se u račun. Najčešće koristi pravi preglednik, u oblaku ili na korisnikovu računalu.

Upravo zato ga je teže prepoznati i teže je odlučiti što s njim. Evo što je zasad poznato o blokadama:

Amazon protiv Perplexityja: pravno pitanje još nije riješeno

Amazon ovaj sukob vodi duže od ostalih. U studenom 2025. tužio je Perplexity zbog agenta koji je kupovao na Amazonu kroz preglednik Comet. Argument je bio isti kao danas: tko kupuje u ime korisnika, treba raditi otvoreno i poštovati odluku trgovca želi li sudjelovati.

Perplexity je odgovorio da Amazon zapravo štiti prihod od oglasa, jer agent ne gleda reklame, i da agent nije ništa drugo nego produžena ruka korisnika. Prvostupanjski sud naredio je Perplexityju da prestane, ali je žalbeni sud u kolovozu 2026. ukinuo tu zabranu. Amazon je u međuvremenu podnio izmijenjenu tužbu. Pravnog odgovora na pitanje „smije li trgovac zabraniti agenta koji radi za vašeg kupca” zasad nema.

Meta bira partnerstva, Shopify otvara katalog

Meta s Amazonom ne ratuje izravno. Umjesto toga sklapa partnerstva s trgovcima poput Walmarta, Gapa, Sephore i Best Buyja i poručuje ostalima: „Odbiti osobnog agenta znači odbiti kupca iza njega.” Shopify je 13. listopada otišao korak dalje i preko svoje aplikacije Shop otvorio katalog s više od milijardu proizvoda svim agentima koje kupac poveže sa svojim računom, uz obavezno odobrenje svake kupnje.

Web se, dakle, ne zatvara jednako. Dijeli se na servise koji agente puštaju pod svojim uvjetima, kroz partnerstvo, API ili protokol, i one koji ih ne žele uopće.

Tri razloga za blokadu, i samo jedan je očit

Kad se sve blokade strpaju u isti koš, ispada da se „veliki boje AI-ja”. Stvarnost je zanimljivija. Iza blokada stoje tri vrlo različita razloga.

1. Poslovni model. Agent ne vidi oglase, ne klikne na preporučeni proizvod i ne ostavlja podatke za remarketing. Cloudflare to u svojoj objavi kaže otvoreno: agenti dohvaćaju stranicu, a nikoga nema da vidi oglase. Yelp je iz istog razloga odlučio da agenti mogu proći samo ako plate.
2. Sigurnost i odgovornost. Agent koji se prijavljuje u bankovni račun ili račun trgovca radi s korisnikovim podacima za prijavu. Ako nešto pođe po zlu, banka teško može dokazati tko je napravio transakciju. Prema Amazonovoj verziji, Muse se nije identificirao, a Meta tvrdi da agent lozinke ne vidi. Tu nije riječ o tehnologiji, nego o tome tko snosi rizik.
3. Slučajne blokade. Anti-bot sustavi grade se godinama protiv scrapera, botova za karte i napada na login. Agent koji brzo klikće, dolazi iz podatkovnog centra i nema povijest kolačića izgleda točno kao ono što ti sustavi trebaju zaustaviti. Chris Canal iz tvrtke EquiStamp za The Verge kaže da ti agenti aktiviraju iste zaštite koje su postavljene protiv prevaranata i hakera.

Treći razlog je najvažniji za manje sajtove. Amazon zna što radi kad blokira Muse. Većina webmastera koji danas blokiraju agente vjerojatno to ne zna.

Pritisak na anti-bot zaštitu pritom ne slabi. DataDome, tvrtka koja prodaje zaštitu od botova, izmjerio je da je bot promet u godini do lipnja 2026. porastao 124%. To je podatak prodavača zaštite pa ga treba uzeti s rezervom, ali smjer odgovara onome što vidimo u logovima: automatiziranih zahtjeva je sve više, a sve ih je teže razlikovati od ljudi.

AI agenti nisu crawleri: zašto robots.txt ovdje ne pomaže

Webmasteri su u posljednje dvije godine naučili razlikovati AI crawlere za treniranje (GPTBot, ClaudeBot, Google-Extended) od crawlera za AI pretragu (OAI-SearchBot, Claude-SearchBot). Za njih robots.txt radi, barem kod operatera koji ga poštuju.

AI agenti su treća kategorija. Kad korisnik pita ChatGPT nešto o vašoj stranici ili pošalje agenta da nešto napravi, zahtjev dolazi pod drugim imenom i po drugim pravilima. Prema službenoj dokumentaciji operatera to izgleda ovako:

Dvije stvari iz ove tablice vrijedi zapamtiti. Prvo, user-agent se može lažirati, pa pravu provjeru radi tek usporedba s objavljenim IP rasponima ili kriptografski potpis. Drugo, Cloudflare je u rujnu i sam napisao da za agente ne postoji ustaljena direktiva kojom bi sajt izrazio „ne želim te ovdje”, pa za njih nije ponudio ni opciju u robots.txt. Za agenta je danas jedini stvarni alat blokada na razini mreže ili poslužitelja.

Ako ste na Cloudflareu, možda već blokirate agente

Ovo je dio vijesti koji se izravno tiče hrvatskih sajtova, jer velik dio njih stoji iza Cloudflarea, često na besplatnom paketu.

Cloudflare je 15. rujna 2026. promijenio način na koji upravlja AI botovima. Postavke su sada podijeljene na tri namjene, Search, Training i Agent, a svaka može biti Allow, Block ili Block on pages with ads. Za Training postoji i nova opcija Disallow AI Training. Promjene vrijede za sve pakete, uključujući Free. Tri posljedice vrijedi provjeriti:

• Stara opcija „Block AI bots” je migrirana. Ako ste je imali na „Block” ili „Block on pages with ads”, nove postavke su Search: Allow, Training: Disallow AI Training i Agent: Block on pages with ads. Drugim riječima, na svakoj stranici na kojoj Cloudflare prepozna oglas, agenti su blokirani. Za portal s AdSenseom to su gotovo sve stranice.
• Nove domene dobivaju gotov prijedlog. Ako pri dodavanju domene označite da zarađujete od oglasa, Cloudflare predlaže Agent: Block on pages with ads. Bez oglasa, Agent je na Allow.
• „Block” za Training više ne znači isto. Prije rujna Block se nije odnosio na mixed-use crawlere poput Googlebota, Bingbota i Applebota, jer oni rade i pretragu i trening. Sada se odnosi. Training → Block na novoj domeni zaustavlja i Googlebot, a s njim i klasičnu pretragu. Ako želite zabraniti trening i ostati u Googleu, izaberite Disallow AI Training.

Treća točka je ispravak i za nas. U Cloudflare vodiču iz kolovoza preporučili smo Search → Allow, Agent → Allow i Training → Block. To je tada bilo točno. Postojeće postavke Cloudflare je sam prebacio na Disallow AI Training, pa ako ste vodič već slijedili, ne trebate ništa mijenjati. Ali ako danas postavljate novu domenu, za Training izaberite Disallow AI Training, ne Block.

TechCrunch prenosi da dio korisnika upravo rujanske promjene smatra razlogom zašto Muse ne prolazi na nekim sajtovima. Cloudflare to nije potvrdio i kaže da nema podataka koje bi podijelio. To je zasad korelacija u vremenu, ne dokazani uzrok, ali mehanizam postoji i opisan je u Cloudflareovoj dokumentaciji.

Što je potvrđeno, što je moguće, a što ne znamo

U ovoj priči lako se izmiješaju službene izjave, pritužbe s X-a i nagađanja s Reddita. Zato odvojeno:

Trebate li blokirati AI agente? Ovisi o tome što vaš sajt radi

Univerzalnog odgovora nema, i to je možda najvažnija poruka cijele priče. Amazon, Yelp i banka imaju različite razloge, a ti razlozi za vaš sajt mogu, ali i ne moraju vrijediti. Ovo je naše čitanje po vrstama sajtova.

Blog, portal ili sajt s oglasima

Cloudflareova logika je jasna: agent ne vidi oglas, pa ne donosi prihod. Ali za sadržajni sajt agent je i nešto drugo. Kad korisnik pita ChatGPT ili Claude o temi koju pokrivate, a asistent u tom trenutku otvori vaš članak, to je zahtjev agenta. Ako ga blokirate, asistent će citirati nekog drugog.

U članku Google vraća linkove u AI odgovore pisali smo da je biti izvor koji AI citira postao jedan od rijetkih novih kanala vidljivosti. Za većinu hrvatskih blogova i portala zato bismo ostavili Agent: Allow i Training: Disallow AI Training. Ako agenti postanu stvaran teret za server, rate limiting je bolji alat od potpune blokade.

Webshop

Agent koji uspoređuje cijene ili stavlja proizvod u košaricu radi za nekoga tko želi kupiti. Mali webshop nema Amazonov oglasni posao ni razloga braniti „vrijeme provedeno na stranici”. Jedan vlasnik Shopify trgovine na Slashdotu je to sažeo kratko: ako bot želi kupovati, neka dovede i prijatelje. Drugi je upozorio na stvarniji rizik: kupnje koje je obavio agent mogu donijeti više povrata i loših recenzija od kupaca koji nisu točno znali što su kupili.

Praktično: ne blokirajte pregledavanje i košaricu. Login, checkout i obrasce zaštitite rate limitingom i provjerom samo na mjestima gdje se zaista događa zloupotreba. Walmartov primjer pokazuje cijenu prestroge provjere: blokira se agent, a onda i čovjek koji se ne može prijaviti.

Rezervacije, termini i ograničene zalihe

Ovdje su agenti stvaran problem. BBC to zove problemom Taylor Swift: kad svatko ima vlastitog bota za karte, prvi stižu oni koji imaju agenta. Ista logika vrijedi za termine kod frizera, stolove u popularnom restoranu ili ograničenu seriju proizvoda. Neke platforme za rezervacije u SAD-u već su banirale korisnike zbog zloupotrebe agenata.

Rješenje ovdje nije prepoznati agenta, nego ograničiti ono što se gomila: jedna rezervacija po računu ili broju mobitela, potvrda e-mailom, depozit za termin. Takva pravila rade jednako protiv agenta i protiv čovjeka koji pokušava rezervirati pet termina „za svaki slučaj”.

Korisnički računi, forumi i SaaS

Čitanje javnih stranica je jedno, a radnje unutar računa nešto sasvim drugo. Za forum, SaaS ili servis s osobnim podacima razumno je pustiti agente da čitaju javni sadržaj, a registraciju, objavljivanje i promjene u računu i dalje štititi kao i dosad. Ako u uvjetima korištenja ne piše ništa o automatiziranom pristupu, sada je dobar trenutak da se to doda. United i Amazon blokade temelje upravo na uvjetima korištenja.

Kako provjeriti tko vam dolazi i što blokirate

Prije bilo kakve odluke vrijedi pogledati stvarno stanje. Za to ne treba više od pola sata.

1. Otvorite Cloudflare postavke za AI botove na razini domene (Security → Settings) i provjerite što piše za Search, Training i Agent. Ako je Agent na „Block on pages with ads”, a niste to sami izabrali, to je posljedica migracije.
2. Pogledajte Security Events za zadnjih 7 dana i filtrirajte po user-agentu ili kategoriji verificiranih botova. Tražite ChatGPT-User, Claude-User, Perplexity-User i Google-Agent.
3. Provjerite logove na serveru, posebno ako niste na Cloudflareu. Naredba ispod broji zahtjeve poznatih agenata po HTTP statusu. Puno odgovora 403 ili 429 znači da ih nešto blokira, bilo WAF, sigurnosni plugin ili hosting.
4. Testirajte ručno. Zamolite ChatGPT, Claude ili Perplexity da otvore i sažmu jedan vaš konkretan URL. Ako odgovore da stranicu ne mogu dohvatiti, imate odgovor brže nego iz bilo kojeg izvještaja.
5. Ne vjerujte samo user-agentu. Prije nego što nekom botu date iznimku u WAF-u, usporedite IP adresu s rasponima koje operater objavljuje. Google, OpenAI i Perplexity ih objavljuju u JSON datotekama.

grep -E "Google-Agent|ChatGPT-User|Claude-User|Perplexity-User" access.log \
  | awk '{print $9}' | sort | uniq -c | sort -rn

Naredba pretpostavlja standardni „combined” format loga, u kojem je HTTP status deveto polje. Na cPanel hostingu logovi su obično dostupni kroz Raw Access u sučelju, a na VPS-u u /var/log/nginx/ ili /var/log/apache2/.

Ne zaboravite ni WordPress. Sigurnosni pluginovi s rate limitingom ili blokadom „lažnih crawlera” mogu jednako tiho blokirati agente kao i Cloudflare. Ako 403 odgovori dolaze sa samog servera, a ne s Cloudflarea, provjerite i postavke tih pluginova.

Kamo ovo vodi: potpisani agenti umjesto igre mačke i miša

Blokade po user-agentu i ponašanju dugoročno ne rade. Agenti koji upravljaju korisnikovim preglednikom već danas izgledaju kao ljudi, a komentari ispod vijesti puni su savjeta kako agenta „usporiti” da prođe provjeru. Industrija zato traži način da se dobar agent sam predstavi i dokaže tko je.

• Web Bot Auth je metoda u kojoj agent potpisuje HTTP zahtjeve kriptografskim ključem (HTTP Message Signatures, RFC 9421), a sajt ili CDN provjerava potpis. Cloudflare od prošle godine vodi kategoriju „signed agents”, koja je od 1. srpnja 2026. dio programa verificiranih botova. Google eksperimentira s istim protokolom za Google-Agent.
• Personal Agent Protocol Meta i Sierra najavili su 6. listopada, uz partnere poput Walmarta, Stripea i Shopifyja. Agent bi se kod tvrtke prijavljivao preko OAutha, a korisnik bi birao daje li mu samo čitanje ili i pravo izmjena. Prva verzija specifikacije najavljena je za kraj listopada. OpenAI i Anthropic nisu na popisu partnera.
• IETF radna grupa aipref radi na standardu kojim bi sajt mogao izraziti preference za AI korištenje sadržaja. Cloudflare kaže da će direktivu za agente dodati kad standard sazrije.

Ništa od toga nije gotovo, a protokola je već previše za jedno tržište: Google, OpenAI, Visa i Meta imaju svaki svoj. Za mali sajt realna strategija u idućih godinu dana nije implementacija protokola, nego da ne blokira slučajno i da zna što propušta.

Zaključak: odluka koju treba donijeti svjesno

Priča o „webu koji zatvara vrata agentima” zvuči kao sukob velikih: Amazon protiv Mete, banke protiv startupa. Ali ispod nje stoji pitanje koje se tiče svakog sajta. AI agent je novi tip posjetitelja. Ne gleda oglase i ne ostaje dugo, ali dolazi s konkretnom namjerom i šalje ga stvarni korisnik.

Velike tvrtke blokiraju jer imaju što braniti: oglasni prihod, podatke, odgovornost za novac. Većina hrvatskih sajtova te razloge nema u istoj mjeri. Za njih je veći rizik suprotan: da ih slučajno blokira postavka koju je netko uključio jer je zvučala sigurno, a onda ih AI asistent jednostavno ne može pročitati ni citirati.

Ne trebate imati gotovu strategiju za agente. Trebate znati što vam piše u Cloudflareu, što piše u logovima i zašto.

Što vam Cloudflare prikazuje za Agent nakon rujanske migracije? Vidite li u logovima ChatGPT-User ili Google-Agent i dobivaju li 200 ili 403? Podijelite postavke i iskustva u forumskoj temi Cloudflare vodič: besplatni alati za brži i sigurniji web.

Česta pitanja

Koja je razlika između AI agenta i AI crawlera?

Crawler automatski i sustavno prolazi webom i skuplja sadržaj za treniranje modela ili za indeks pretrage. Agent otvara konkretnu stranicu u trenutku kad ga korisnik pošalje nešto napraviti ili provjeriti. Crawlere kontrolirate kroz robots.txt, a agente uglavnom samo blokadama na razini mreže ili servera.

Mogu li AI agente blokirati kroz robots.txt?

Djelomično. Anthropic navodi da Claude-User poštuje robots.txt. Google, OpenAI i Perplexity u dokumentaciji pišu da njihovi fetcheri koje pokreće korisnik robots.txt općenito ignoriraju ili da se pravila na njih možda ne primjenjuju. Agenti koji upravljaju preglednikom robots.txt najčešće uopće ne čitaju.

Hoće li blokiranje agenata utjecati na Google pretragu?

Blokiranje Google-Agenta ne bi trebalo utjecati na Googlebot i klasičnu pretragu jer je riječ o odvojenim user-agentima. Ali pazite na Cloudflare: od 15. rujna postavka Training → Block blokira i Googlebot. Za zabranu treniranja bez gubitka pretrage koristite Disallow AI Training.

Zašto agenti ne prolaze ni na sajtovima koji ih žele?

Zbog anti-bot zaštite. Agent često dolazi iz podatkovnog centra, ponaša se brže od čovjeka i nema povijest u pregledniku, pa ga sustavi za zaštitu od botova tretiraju kao napadača. Zillow je to potvrdio za svoj sajt, a Walmart kaže da blokade koje korisnici prijavljuju nisu namjerne.

Što je Web Bot Auth?

Metoda kojom bot ili agent kriptografski potpisuje svoje HTTP zahtjeve, pa sajt može provjeriti da zahtjev stvarno dolazi od operatera kojim se predstavlja. Cloudflare je koristi za verificirane botove i potpisane agente, a Google s njom eksperimentira za Google-Agent. Za razliku od user-agenta, potpis se ne može jednostavno lažirati.

Izvori

• The Verge: Websites are closing their doors to AI agents (17. 10. 2026.)
• TechCrunch: The next hurdle for AI agents: getting websites to let them in (6. 10. 2026.)
• The Verge: Amazon blocks Meta’s Muse AI agent (21. 9. 2026.)
• Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training (15. 9. 2026.)
• Cloudflare Docs: Verified bots i signed agents
• Google: User-Triggered Fetchers
• OpenAI: Overview of OpenAI Crawlers
• Perplexity: Perplexity Crawlers
• Anthropic: Does Anthropic crawl data from the web?
• The Verge: Shopify opens its catalog up to more AI agents (13. 10. 2026.)
• Implicator: Meta and Sierra Draft Open Standard for How AI Agents Sign In to Businesses (6. 10. 2026.)
• BBC Future: Meta’s new AI Muse is about to make the internet more annoying (1. 10. 2026.)