El\u0151sz\u00f6r is n\u00e9zz\u00fck meg, hogy pontosan mi is az a bot, hogy v\u00e9dekezni tudj ellene \u00e9s megakad\u00e1lyozd, hogy felt\u00e9rk\u00e9pezze az oldalad. A bot a „robot” sz\u00f3 r\u00f6vid\u00edt\u00e9se, egy olyan szoftver, melyet egy meghat\u00e1rozott, ism\u00e9tl\u0151d\u0151 feladat elv\u00e9gz\u00e9s\u00e9re programoztak.<\/p>\n\n\n\n
![\"\"](\"http:\/\/blog.webshark.hu\/wp-content\/uploads\/2022\/08\/robotok-weboldalon.png\")
<\/a><\/figure><\/div>\n\n\n\nA robotoknak k\u00e9t t\u00edpusa van a neten: j\u00f3indulat\u00fa \u00e9s rosszindulat\u00fa botok. Nem minden robot rossz, vagyis nem kell \u00e1d\u00e1z k\u00fczdelmet folytatva, t\u00e1vol tartani mindegyiket a weboldaladt\u00f3l. A Google is botokat haszn\u00e1l a weboldalak felt\u00e9rk\u00e9pez\u00e9s\u00e9re, \u00edgy ha blokkolod, akkor nem fog megjelenni a weboldalad a keres\u0151ben. Emellett nagyon sok m\u00e1s robot j\u00e1rja a webet, melyek megk\u00f6nny\u00edtik emberek munk\u00e1j\u00e1t azzal, hogy az ism\u00e9tl\u0151d\u0151 feladatokat f\u00e1radhatatlanul elv\u00e9gzik helyett\u00fck. Ezek a botok hasznos adatokat szednek \u00f6ssze, melyek alapj\u00e1n automatiz\u00e1lhat\u00f3k \u00e9s elv\u00e9gezhet\u0151k feladatok.<\/p>\n\n\n\n
A j\u00f3 botok a h\u00e1tt\u00e9rben futnak, nem t\u00e1madnak meg felhaszn\u00e1l\u00f3kat vagy a weboldalt. A rossz botok ezzel szemben fenyegethetik a weboldal biztons\u00e1g\u00e1t, a nagyobb botnetek pedig DDOS t\u00e1mad\u00e1st is ind\u00edthatnak. A rossz robotok seg\u00edtenek szem\u00e9lyes adatok ellop\u00e1s\u00e1ban, k\u00e1ros linkeket helyeznek el a weboldaladon, spammelik az \u0171rlapjaidat, esetleg le\u00e1ll\u00edtj\u00e1k az oldalt.<\/p>\n\n\n\n
De ha nem is t\u00e1madnak meg, milyen probl\u00e9m\u00e1kat okozhatnak ezek a botok?<\/p>\n\n\n\n
- Bizonytalann\u00e1 teszik az adatokat<\/li>
- Nem tudod, honnan \u00e9rkezik a forgalom<\/li>
- A jelent\u00e9sek megalapozatlann\u00e1 v\u00e1lnak<\/li>
- Terhelik a szervert, foglalj\u00e1k a s\u00e1vsz\u00e9less\u00e9get<\/li><\/ul>\n\n\n\n
A gond csak az, hogy nem olyan k\u00f6nny\u0171 minden robotot felfedezni, amely felt\u00e9rk\u00e9pezheti a weboldaladat. Ehhez m\u00e9lyre kell \u00e1sni, \u00e9s ki kell sz\u0171rni a rosszindulat\u00fa p\u00e9ld\u00e1nyokat. (Ha csak az analitik\u00e1t akarod megtiszt\u00edtani a botokt\u00f3l, akkor a Google Analyticsr\u0151l sz\u00f3l\u00f3 anyagunkban err\u0151l ejtett\u00fcnk n\u00e9h\u00e1ny sz\u00f3t<\/a>.)<\/p>\n\n\n\n
A robotok alapvet\u0151en k\u00e9tf\u00e9le \u00faton blokkolhat\u00f3k. Az egyik a robots.txt, mely egy olyan f\u00e1jl, ami a szervered gy\u00f6k\u00e9rk\u00f6nyvt\u00e1r\u00e1ban tal\u00e1lhat\u00f3 (m\u00e1r ha be van \u00e1ll\u00edtva), \u00e9s amelynek seg\u00edts\u00e9g\u00e9vel letilthat\u00f3 sokf\u00e9le bot az oldalr\u00f3l. Teh\u00e1t, ha p\u00e9ld\u00e1ul azt akarod, hogy a Google t\u00e1vol maradjon a weboldaladt\u00f3l, akkor a robots.txt-ben ezt a k\u00e9t sort helyezed el:<\/p>\n\n\n\n
User-agent: Googlebot
Disallow: \/<\/p>\n\n\n\nEbben az esetben a Google nem fogja indexelni a weboldalad. Ez akkor lehet indokolt, ha egy adott oldal mondjuk k\u00e9tszer van jelen a weben \u00e9s nem akarsz a duplik\u00e1lt tartalom hib\u00e1j\u00e1ba esni. Term\u00e9szetesen nem csak a Googlebotot tilthatod ki, hanem b\u00e1rmely m\u00e1s botot is, melynek ismered a nev\u00e9t. Ez nem mindig egyszer\u0171, lehet, hogy sokat kell keresg\u00e9lni ut\u00e1na.<\/p>\n\n\n\n
Ha viszont minden botot ki akarsz tiltani a webhelyedr\u0151l, akkor \u00edgy fog kin\u00e9zni a k\u00e9t sor:<\/p>\n\n\n\n
User-agent: *
Disallow: \/<\/p>\n\n\n\nEz haszn\u00e1lhat\u00f3 p\u00e9ld\u00e1ul abban az esetben, ha m\u00e9g nem akarod nyilv\u00e1noss\u00e1gra hozni a weboldalad. Gyakoribb, hogy csak egy bizonyos mapp\u00e1t akar a weboldaltulajdonos el\u00e9rhetetlenn\u00e9 tenni, akkor meg kell adnia a mappa nev\u00e9t a \/…\/ jelek k\u00f6z\u00f6tt.<\/p>\n\n\n\n
Nagyj\u00e1b\u00f3l ennyi lenne, amit a botokr\u00f3l els\u0151 k\u00f6rben tudni \u00e9rdemes, az nyilv\u00e1n l\u00e1tszik, hogy a rossz botok kisz\u0171r\u00e9se nem megy k\u00f6nnyen, illetve nem egy automatikus folyamat. Pr\u00f3b\u00e1lkozni mindenesetre lehet \u00e9s tal\u00e1n \u00e9rdemes is.<\/p>\n\r\n