giovedì 26 luglio 2007

NEWS Version 2.0


Sto testando la nuova versione 2.01 del programma Webscanner.
Ho completamente riscritto la parte di programma che esegue la ricerca dei siti e restituisce la lista del reverse ip.
Adesso in automatico viene riconosciuto il numero di pagine restituite dal motore di ricerca web per IP e non come succedeva nella versione v1 dove il numero di pagine ricevute era fisso (2 di default)
Con questa modifica sono dimmezzati i tempi di scansione del range ip e se le pagine sono piu di una vengono tutte lette ed elaborate garantendo che tutte le url per quell IP sono passate a WGET.

Una seconda importante modifica e' sulla generazione dei report ; ora il report visulaizza i nomi dei siti raggruppati per ip. (utile per poter verificare la distribuzione di pagine con iframes e script in un range) e , anche come conseguenza della modifica del motore di ricerca , le url compaiono una sola volta senza duplicati.Inoltre se durante la scansione WGET incontra un timeout questo viene riportato a fianco della URL
Questo e' un esempio di un report di un range di siti che contengono codice script uguale alla stringa di testo visualizzata nell intestazione del report:


EDGAR

6 commenti:

maverick ha detto...

edgar una cosa importate.
devi lasciare la possibilita' che il tool come nella versione fatta con fox pren seoda in input una lista di domini in formato txt perche' per esempio la lista ottenuta da live.com e quella di seeweb possono non essere
uguali. Ad esempio sull'ip 194.242.61.210 mi ha dato 274 risultati mentre live 102
poi si puo' creare una lista anche manualmente con piu' domini presi da vari servizi di reverse IP
come quella di domaintools se uno ha l'account a pagamento

Edgar Bangkok ha detto...

Si , comunque co la nuova versione le cos dovrebbero migliorare da parte della ricerca in quanto adesso usa un sitema diverso di cattura delle pagine di live scarica solo quelle che servono e non un numero fisso Adesso provo con l ip che hai detto e vediamo quanti siti mi visualizza.

Edgar Bangkok ha detto...

Ho fatto la scansione 194.242.61.210 e i risultati sono ottimi.
Il sito SEOLOGS da 281 url trovate , il programma webscanner ne da 283 adirittura 3 in piu'; dato che comunque ci sara' sicuramente qualche errore durante la decodifica del motore di ricerca mi pare un ottimo risultato.La stessa scansione con la versione che stai provando te ( con l opzione ip source a 2) mi ha dato solo una settatntina di url quindi molto al di sotto del numero reale.
Sicuramente aggiungero' nella versione finale sia la ricerca per IP puro senza passare da web sia la possiblita di passare un file di testo con l elenco dei siti da scansionare.
Edgar
(ti invio la nuova versione modificata anche sui report)

maverick ha detto...

Grazie ottimo lavoro. Dopo possiamo pubblicare una lista di domini infetti. I

maverick ha detto...

provato il tool ed è decisamente molto migliorato. 2 cose.
La prima è che crerei delle cartelle e sottocartelle per contenere i risultati: la lista completa, la lista filtrata e le pagine index.

Poi volevo segnalarti quest'altro servizio di reverse ip

http://whois.webhosting.info

Edgar Bangkok ha detto...

Penso si potrebbe chiamare il folder con lo stesso nome del file di log cosi' non si mescolano i dati, di uteriori espansioni se ne possono fare molte ... penso ad esempio che si potrebbe creare un grafico con il il diagramma degli indirizzi colpiti e il numero di siti infetti per vedere se la distribuzione e' casuale o no, oppure usare il log che WGET crea ogni volta che visita un sito per estrarre altri dati utili , ecc...
E' da sperare solo che ms live mantega l opzione di ricerca per IP se no.... la cosa diventa complessa ,non so se altri motori di ricera permettono questa ricerca per ip, bisognerebbe vedere in rete se ne esistono...
Edgar