Tiedote Foorumin toimintaongelmat

  • Viestiketjun aloittaja Viestiketjun aloittaja borg
  • Aloituspäivämäärä Aloituspäivämäärä
Tilannepäivitys:

Keskiviikon jälkeen bottisuojausta on testattu. Matt analysoi lokitiedoista millaisena botit esittäytyvät ja mihin niiden kiinnostus foorumilla kohdistuu. Siis, miten ne kuormittavat palvelinta ja miten ne voidaan torjua.

Eilen oli kaksi lyhytaikaista kuormitushuippua, joissa liikenteen määrä kasvoi hyvin paljon tavanomaista korkeammalle.

19-11-2026-peaks.webp


Foorumiohjelmistolle tämä näkyi niin, että puolen tunnin tarkastelujaksolla XenForo tulkitsi kuormituksen vastaavan yli 13000 käyttäjän selailua.

13683-b-users.webp


Nyt näiden tulosten perusteella on rakennettu suojaus, jonka pitäisi pudottaa bottikuormaa merkittävästi. Se ei ole täydellinen, eikä sen tarvitse ollakaan. Riittää, kun se estää palvelimen tukehtumisen ylisuureen kävijämäärään.

Tarpeen tullen suodatusta voi tiukentaa tai muuttaa sen mukaan, millaista taktiikkaa botit käyttävät. Automatisoitu tiedonkeruu on riesana kaikkialla. Sitä pyritään estämään eri tavoin ja vastaavasti botit pyrkivät muuttamaan toimintaansa kiertääkseen näitä estoja.
 
Kun en asiasta ymmärrä, niin miksi nuo botit pitää ylipäätään edes päästää foorumille. Eikö ne voisi yksinkertaisesti estää kaikki?
 
Kun en asiasta ymmärrä, niin miksi nuo botit pitää ylipäätään edes päästää foorumille. Eikö ne voisi yksinkertaisesti estää kaikki?
Sitten ei kukaan pääsisi foorumille.

”Hyväkäytöksiset” botit kertovat olevansa esim. Googlen asialla. Niitä ei kannata estää, koska sitten Konekansa käytännössä katoaisi netistä.

Kuitenkin yhä suurempi osa pyrkii näyttäytymään kuin Oskari Janatuinen tietokoneensa ääressä etsisi tietoa Nuffieldin paukkulaakereista. Nettikäytöksen jokin piirre saattaa kuitenkin kertoa, ettei tämä ehkä olekaan tavan netinkäyttäjä - vai onko sittenkin?? Siksi torjuntakoneisto saattaa esittää kysymyksen Oletko ihminen? Se voi vaatia rastia ruutuun, tms.

Ei siis ole tapaa, jolla botit voisi kokonaan estää. Mutta bottijoukkoja voi koettaa hallita.
 
Nuo botit ja varsinkin AI data crawlerit on kyllä yksiä perkeleitä. Bytedancen Bytespider, Metan meta-externalagent, Anthropicin ClaudeBot, OpenAI:n GPTBot sekä Amazonbot on härskeimmästä päästä ja on siellä muitakin mulkeroita. Ne ei välitä mitään robots.txt kielloista tai kuormasta mitä ne voi aiheuttaa servulle, ne vetää vaan hirveällä botti massalla päälle. Ihan helvetinmoisen kuorman aiheuttavat kyllä servulle.. siinä on yks pikku palvelin ihmeissään niiden kans.

Tällä hetkellä omalla servulla estossa noin 50 ai bottien useragents tunnisteita. Semmonen setti conffattuna, että listalla olevan AI botin UA:n nähtyään, apassi katkaisee pyynnön heti HTTP-otsikoiden lukemisen jälkeen, ennen kuin ne pääsee koskee indexi sivuun edes, käynnistää PHP-tulkkia tai tekee yhtäkään tietokantakyselyä.. sillai ne ei aiheuta kuormaa juurikaan. Botit saa vain 403 Forbidden.

Niiden uusi niksi kiertää estoja näyttäis olevan naamioida se useragentti tavalliseksi chrome/firefox selaimeksi, tai ainaki niin epäilen, koska silloin tällöin skripti nimittäin nappaa sqlite kannasta aiemmin blokattujen bottien ip osoitteita, jotka näyttää uudeksi UA:ksi vaikka Chrome 130 / Windows 10 vaikka se aiemmin on ollut esim GPTBot, ne tulevat isoissa ryppäissä ja sitten ne on aina niistä samoista aliverkoista, tämmöset se merkkaa epäilyttäviksi ja tallentaa niistä tiedot tiedostoon.
Näistä tiedoista parsittua avain-arvo taulukkoa vois periaatteessa käyttää apassissa suoraan päivittyvänä ip estolistana tämmösille tapauksille.. mut tää on vielä vähä work in progress tällä hetkellä, eikä tälle ole ainakaan vielä tarvetta.

Pahimpina päivinä saattaa 300k torjuntaa tulla lokeihin, vähimmilläänki ~100k pyyntöä per vrk.
Tuntuvat olevan oppivaa sorttia, kun luovuttavat jonkin ajan kuluttua, mut samalla myös huono muistisia kun tulevat takaisin ja sama seinä taas odottaa vastassa.

Ja siis en blokkaa hakukoneiden indexoijia, vaan ainoastaan ne ai datankeruu botit ja niiden tekemät live haut myös.
 
esim. tyäpöytä-kemini ei tuossa jokune pv sitten päässyt vajaan viikon(?) vanhaan postaukseen kiinni suoralla
linkillä, jonka annoin, eikä edes tarjonnut vaihtoehtoa jonkun oman(googlen) välimuistinsa kiertämiseen.

"agentti-tasolla" käytettäessä asia toki kemininkin kanssa täysin eri.

se googlen välimuisti oli jo samalla sivulla, mutta postaukset päättyivät jo muutamaa aiemmin.
 
Puhelin on kerran tarkastanut. Anroid ja crome.
Sampan tablet ja crome ei kertaakaan.
Molemmat aina kirjautuneena.
 
Firefox Linuxissa on ollut monien bottien ilmoittama tieto. Silloin se on suodatuksenkin asetuksissa. Johtunee siitä.
 

Luo tili tai kirjaudu sisään kommentoidaksesi

Sinun täytyy olla jäsen voidaksesi jättää kommentin.

Luo käyttäjätili

Liity Konekansalaiseksi. Se on helppoa ja ilmaista! Rekisteröityneenä et näe mainoksia, voit käyttää hakua, näet alueita, joita nyt ovat piilossa...jne.

Kirjaudu sisään

Oletko jo Konekansan jäsen? Kirjaudu sisään tästä.

Takaisin
Ylös