next »

[Saltwater]

Acu vreo saptamana vizitam aceasta pagina: http://home.hiwaay.net/~sattrack/antispam/antispam.html ... Chiar daca aceste cuvinte spun putin, trebuie sa mentionez ca mi-a placut ideea la nebunie ... ii dai unui email harvester sa manance cateva mii de adrese false, dupa care il trimiti la aceeasi pagina ... creand o bucla care va crea cosmaruri unui spamer datorita faptului ca database-ul lui o sa se umple de mizerii ... ochi pentru ochi rostit in mod diferit. In fine, nu am deschis gura ca sa fac teorie.

Am inceput-o la modul dur cu spam-ul acu vreo 2 ani cand am fost pentru prima data Web master ... deci ura care le-o port spammerilor este oarecum evidenta. Acu ce am facut eu si cu ce se mananca acest DynASR? Am scris un generator de mizerii (adrese fake de email generate dupa un algoritm imprevizibil) pentru bazele de date ale spammerilor, dar un generator care schimba lista de adrese dupa un timp determinat (creeaza un cache file care il incarca de pe disk - in termeni putin mai stiintifici). Daca vrei sa le faci zile grele spammerilor ... si ai un site/blog/whatever exista doua solutii:

1 fie un link catre http://saltwaterc.net/sw-dynasr/index.php (pentru maniacii care au idei SEO - nu, nu ma ajuta la PageRank-ul domeniului meu) - pagina care serveste atat ca online demo, cat si pe post de instalare proprie a aplicatiei; 2 fie vizita pe pagina oficiala a proiectului: http://saltwaterc.net/dynasr - download la aplicatie, si setarea unei pagini DynASR pe propriul host, si link catre aceasta pagina in zonele frecventate de spam bots (pagini de comentarii, etc). Prezinta optiuni de configurare: numar de adrese generate, cache refresh time, locatie custom pentru cache, extra continut in XHTML/CSS pur - aflat in fisier separat. Recomand editarea textului livrat standard. Optiunile de configurare ... va privesc. De doua din ele este strans legata performanta codului rulat. Documentatia detaliata se gaseste in arhiva de distributie, precum si comentarii suficiente ale codului pentru a fi destul de explicit pentru cei care vor sa vada despre ce este vorba.

Licentiere: GNU GPL v2.0 aka e free software. Sugestiile de imbunatatire/bug fixurile sunt bine venite. Pagina proiectului prin intermediul form-ului de comment permite contactarea mea in ceea ce priveste DynASR. Evident ... trebuie sa treceti de anti-spam bot

PS: e revolutie ... nu ma las pana nu le fac zile negre prin toate metodele posibile ... orice persoana care doreste a se alatura acestor miscari ... este bine venita.

[gheorghe]

Interesant. Hacaru de hydrarulz are si el un crawler de-asta facut in house. El spunea ca are si protectie impotriva loopurilor. Nu stiu cum e implementat, cand se intoarce o sa-i zic sa bage un ochi.

[Saltwater]

Oricum ... chiar si cu protectie anti-loop, daca pune botul, se alege cu 1000 de adrese junk, iar daca nu, dupa 20j de secunde mai ia inca 1000 - setari default. Cu un lighttpd+PHP-FastCGI (PHP v5.2.4) pe un Turion X2 TL-50 (load pe un core) am obtinut 10000 de adrese in ~12 secunde. Ar merge pentru cei care au un VPS/Retailer Host ... eu am pe host o conditie de load in ToS, deci nu pot baga setari agresive by default.

PS: tocmai mi-a venit o idee anti-anti-loop (generarea dinamica de clone de index spre care scriptul sa tot redirectioneze la infinit prin linkul de la sfarsitul listei).

[oblio]

Saltwater, ma gandesc chiar ca poti sa pui la stiri, sa apara pe prima pagina, in RSS-urile preluate, etc

[rs]

Votez pentru ce a zis oblio. Deci la stiri pe prima pagina si as pune un anunt si pe rosdev (http://groups.google.com/group/rosdev) de unde va fi preluat o serie de alte situri. Nu vad nimic rau in a-ti creste googlerankul.

PS: am uitat sa spun ca sapa.ro preia stirile lui oblio

[Saltwater]

OK, multam de idee. O sa 'compun o stire', dar cel mai probabil la anu pentru ca acum sunt swamped. De PR ziceam pentru cei care ar avea dubii sa faca link catre instalarea mea de DynASR, in locul crearii propriei instalari. E pagina care nu pointeaza catre nimic inafara de sine si de pagina proiectului care m-a inspirat. Cat de curand o sa scriu si un modul care sa pacaleasca botii cu protectie anti-loop. Astept niste randuri de la Hydra si harvesterul lui. Sunt curios cum o sa parseze o asemenea pagina.

[gheorghe]

Am vorbit azi cu hydra, crawlerul lui foloseste baza de data mysql si salveaza toate paginile in care a fost acolo si zicea ca mai are si o chestie care compara continutul paginii cu cea dinainte. In principiu daca ai putea sa faci linkul catre sine sa fie altfel de fiecare data ar fi cam nasol daca nu imposibil de contracarat.

Oricum, orice crawler serios de mailuri are mecanism anti-loop, altfel n-ar putea scana nici 2 situri pentru ca majoritatea siturilor au cel putin un link catre ele insasi, adica home page sau ceva de genu.

[Saltwater]

Am de gand sa implementez o chestie astefel incat de la pagina de baza, sa sara in /content/abcd-efgh-blah-what.php care sa fie o pagina creata fie ad-hoc care cloneaza functionalitatea index.php si care sa fie curatata dupa un anume interval orar (codand in structura URL-ului data crearii), fie sa implementez o chestie pe baza de mod_rewrite, o functie de URL-rewrite, si o chestie care sa imi tina evidenta URL-urilor fake - ambele ducand la aceeasi functionalitate: continut creat dinamic, continut cat mai variat, si deasemenea un lant infinit de astfel de trimiteri. Din pacate a doua merge doar pe Apache & serverele dupa chipul si asemanarea lui. Cum sunt comod din fire, cred ca o sa aleg prima varianta, dupa care o sa il rog pe maestrul Hydra sa isi spuna iar parerea.

PS: cam cat timp ii ia parsarea unei pagini unui bot de asta?

Later Edit: in lipsa de timp, am pus totusi o v0.11 sus pe host.

v0.1   * Initial release
v0.11   * Faster cache builder due fewer calls to fewer functions, and more simple code. md5 is now used as the default hash function on all operations. The new code provides around 2.8x faster email list build
      * Modified default text page as in: removed the link (but preserved the URL) to the original implementation of ASR
      * New default values for the environment file: 1000 email addresses and 5 seconds refresh time due to faster cache building

Upcoming features for v0.2:
- creating a infinite fake loop which fools the harvester in order to load even more junkie stuff into his database
- dynamic junk content for the fake loop pages in order to make the comparatives even harder
- garbage collector for the old fake loop pages
- 2 stages cache building between consecutive fake loops in order to provide enough time for the other cache to be refreshed

[hydrarulz]

si eu ti-as recomanda tot un mod-rewrite.
oricum mai stiu crawlere care trag de pe fiecare domeniu numai un anumit numar de linkuri.
din pacate nu am folosit absolut niciodata mod_rewrite. sper sa-ti iasa.