ferma de linkuri
Trimis la: 2007-05-07 20:34:18 (categ.:intimplatoare)
ferma de linkuri din blogosfera .ro!blog!blog romania!bloguri din romania!dupa ce am inceput proiectul cu articolele din ziare (vezi AICI) m-am plictisit la al treilea ziar! totusi ,daca voi vedea ca este folositor si pentru altii-nu numai pentru mine-voi adauga si alte publicatii! si pentru ca tot aveam portiuni de cod care puteau fi reutilizate am vrut sa "scanez" toate adresele url inscrise in trafic.ro la sectiunea bloguri pentru a determina cite linkuri pleaca de la o pagina spre alte pagini din aceeasi categorie si cite linkuri duc la o anumita pagina de la toate paginile inscrise in categorie. De asemenea vroiam sa fac si alte analize cum ar fi de exemplu cel mai folosit cuvint intr-o pagina anume ,dar m-am plicti si am renuntat! 
initial am vrut sa scanez pentru fiecare adresa url toate paginile disponibile la acea adresa.Apoi,cind am vazut ca scriptul trebuie sa ruleze vreo 2-3 zile non-stop am lasat-o balta si am incercat cu "wget"-gindindu-ma sa fac copii ale siturilor pe sistemul local si sa le prelucrez ulterior pe indelete! Dar wget are dezavantajul ca face un trafic nepermis de mare la descarcarea unui intreg site! cind am vazut ca am deja 168 mega numai la un site si ca procesul continua am renuntat la ideea asta!
Asa ca am facut astfel:
siturile analizate sint numai cele inscrise in trafic.ro la data de 27.apr.2007
S-a luat in considerare NUMAI PRIMA PAGINA-pagina principala a domeniului .
Serverele care s-au intimplat sa fie down la momentul scanarii nu s-au luat in considerare(au fost vreo 4-5,dar in lista de mai jos cred ca numai serverul de la www.piticu.ro a fost down-de aia apare cu 0 linkuri out).
Linkuri OUT sint linkurile care duc de la pagina analizata catre alte pagini inscrise in trafic.ro la bloguri
Linkuri IN sint linkurile care vin catre pagina analizata de la alte pagini inscrise in trafic.ro la bloguri.
Lista cu linkurile out si linkurile in nu o scriu pentru ca s-ar lungi prea mult tabelul.
Numarul de adrese url analizate a fost de 860,iar scanarea numai a primei pagini de la fiecare adresa a luat vreo 3 ore non-stop.
In tabelul de mai jos lista se opreste la numar linkuri in mai mic decit 5 ,altfel tabelul ar fi prea mare.
Dupa o prima experienta cu "spideri" pot spune ca analizarea si scanarea paginilor web este un proces care consuma extraordinar de multa putere de calcul iar traficul pe retea este pe masura,este imens!
Acum,nu ma mai mira faptul ca google a cumparat de curind in virginia zeci de hectare de teren destinate exclusiv serverelor de mare capacitate!Si nici nu ma mir de faptul ca au negociat alimentarea cu energie electrica si alte utilitati direct cu guvernatorul statului respectiv(consumul estimat pentru un complex de servere gen google farm server este de circa 35-40 Mwh)!
observatie:daca nu sint afisate cifrele in tabel dati un refresh la pagina! este din cauza unui bug al unor browsere!
(later edit: am observat un alt proiect foarte interesant AICI . este vorba de analiza paginilor inscrise in trafic.ro, categoria bloguri, din punct de vedere politic respectiv "pro" sau "contra" basescu! este foarte interesant si va invit cu caldura sa vizitati acest proiect!)
Update:AICI(click to go) gasiti o lista actualizata pentru ianuarie 2008 a situatiei linkurilor precum si a randamentului lor(criteriu arbitrar)! ;)
photo slide from flickr!
Since 9D
castiga premii intr-un mod placut!
initial am vrut sa scanez pentru fiecare adresa url toate paginile disponibile la acea adresa.Apoi,cind am vazut ca scriptul trebuie sa ruleze vreo 2-3 zile non-stop am lasat-o balta si am incercat cu "wget"-gindindu-ma sa fac copii ale siturilor pe sistemul local si sa le prelucrez ulterior pe indelete! Dar wget are dezavantajul ca face un trafic nepermis de mare la descarcarea unui intreg site! cind am vazut ca am deja 168 mega numai la un site si ca procesul continua am renuntat la ideea asta!
Asa ca am facut astfel:
siturile analizate sint numai cele inscrise in trafic.ro la data de 27.apr.2007
S-a luat in considerare NUMAI PRIMA PAGINA-pagina principala a domeniului .
Serverele care s-au intimplat sa fie down la momentul scanarii nu s-au luat in considerare(au fost vreo 4-5,dar in lista de mai jos cred ca numai serverul de la www.piticu.ro a fost down-de aia apare cu 0 linkuri out).
Linkuri OUT sint linkurile care duc de la pagina analizata catre alte pagini inscrise in trafic.ro la bloguri
Linkuri IN sint linkurile care vin catre pagina analizata de la alte pagini inscrise in trafic.ro la bloguri.
Lista cu linkurile out si linkurile in nu o scriu pentru ca s-ar lungi prea mult tabelul.
Numarul de adrese url analizate a fost de 860,iar scanarea numai a primei pagini de la fiecare adresa a luat vreo 3 ore non-stop.
In tabelul de mai jos lista se opreste la numar linkuri in mai mic decit 5 ,altfel tabelul ar fi prea mare.
Dupa o prima experienta cu "spideri" pot spune ca analizarea si scanarea paginilor web este un proces care consuma extraordinar de multa putere de calcul iar traficul pe retea este pe masura,este imens!
Acum,nu ma mai mira faptul ca google a cumparat de curind in virginia zeci de hectare de teren destinate exclusiv serverelor de mare capacitate!Si nici nu ma mir de faptul ca au negociat alimentarea cu energie electrica si alte utilitati direct cu guvernatorul statului respectiv(consumul estimat pentru un complex de servere gen google farm server este de circa 35-40 Mwh)!
observatie:daca nu sint afisate cifrele in tabel dati un refresh la pagina! este din cauza unui bug al unor browsere!
(later edit: am observat un alt proiect foarte interesant AICI . este vorba de analiza paginilor inscrise in trafic.ro, categoria bloguri, din punct de vedere politic respectiv "pro" sau "contra" basescu! este foarte interesant si va invit cu caldura sa vizitati acest proiect!)
Update:AICI(click to go) gasiti o lista actualizata pentru ianuarie 2008 a situatiei linkurilor precum si a randamentului lor(criteriu arbitrar)! ;)
photo slide from flickr!
Since 9D
castiga premii intr-un mod placut!
alte mesaje din aceasta categorie precum si din altele puteti citi AICI
WEB 2.0 M u s i c R e v o l u t i o n !
oamenii se impart in doua:cei care folosesc internet explorer si ceilalti!Ceilalti sint mai ...egali! Folosesti inca internet explorer?
asculta muzica ta! Digitally Imported Radio !
