Un nuovo tool di ricerca derivato da Webscanner.

In questi giorni sto testando un mio nuovo tool che riprendendo il funzionamento del precedente tool Webscanner si differenzia da questo per una importante modifica al codice.

In questo caso infatti, il tool, utilizza una lista di urls di siti generata attraverso l'uso di un motore di ricerca.
Ricordo che in Webscanner la lista era ottenuta in automatico o da un reverse ip, attuato dal tool, oppure da un copia e incolla delle urls catturate manualmente da una pagina internet sotto forma di file txt

Adesso abbiamo invece l'uso di un motore di ricerca dal quale il tool estrae la lista di links per poi successivamente scaricarne le relative pagine e sottoporle ad analisi ricercando al loro interno le stringhe di filtro.

Questa l'interfaccia del tool

dove sono disponibili le opzioni di ricerca, l'input della stringa di testo da ricercare nel sito , i limiti numerici dei risultati da esaminare e tutti gli altri parametri utili ad una ricerca mirata.

Come motore di download delle pagine questa volta viene utilizzato Curl al posto di Wget in quanto Curl dispone di alcune opzioni che ne facilitano l'uso in questo specifico caso.

Vediamo alcuni esempi pratici di utilizzo
Supponiamo di voler esaminare se esistono siti di Comuni italiani che presentano problemi di hacking
Una prima soluzione potrebbe essere quella di utilizzare, come vediamo nello screenshot, gli operatori inurl (con .it e .comune) e la stringa di ricerca “hacked by”.
Il primo passaggio acquisisce dal motore di ricerca tutte le urls filtrate da “hacked by” e che hanno ".it" e ".comune" nella url
Questo il report generato dal tool
Nel secondo passaggio filtrando i risultati per la parola chiave "hack" il tool genera un elenco ripulito da eventuali pagine che il motore di ricerca ha indicizzato ma che , ad esempio, sono gia' state bonificate

Un altro esempio
Volendo cercare invece pagine che presentano problemi di hacking ma NON sono state indicizzate dal motore di ricerca possiamo invece omettere la stringa di ricerca “hacked by” ma utilizzare il tool solo con gli operatori avanzati inurl con le stringhe ".it" e ".comune"

A questo punto il tool estrarra' una lunga lista di siti di Comuni italiani in rete (ma a seconda delle stringhe usate potrebbe essere una lista di links a banche, aziende, forum, guestbooks ecc......sia di siti italiani che stranieri, liste di pagine di blogs ecc...) sulla quale andremo in automatico a cercare nel codice la stringa “hack” o altre stringhe sinonimo di hacking o problemi anche di malware sotto forma di script.(penso ad esempio a sequenze di caratteri particolari come script offuscati ecc....)
E' evidente che ora il motore di ricerca serve solo, in questo caso, per creare liste con specifiche tipologie di sito su cui in seguito applicare il filtro del tool.

Un ultimo esempio di utilizzo, visto che il tool comunque scarica il codice della pagina che scansiona,potrebbe essere, come gia' fatto per Webscanner, di utilizzare in contemporanea un antivirus che in background filtri le pagine internet ricevute e ne evidenzi eventuali codici pericolosi presenti indipendentemente dalla stringa di filtro impostata sul tool.

Come si vede, uno dei grandi vantaggi dell'uso del tool e' quello di rendere automatica una operazione che se eseguita manualmente richiederebbe ore ed inoltre di generare reports che facilitano le ulteriori ricerche di siti con problemi.

Anche questa volta, il tool e' stato scritto utilizzando il software freeware Autoit che pur essendo definito dai creatori come “...a freeware BASIC-like scripting language designed for automating the Windows GUI and general scripting ...” ha un insieme tale di istruzioni e funzioni che non lo fanno sfigurare di fronte a linguaggi di scripting e di programmazione ben piu' conosciuti ed importanti e, tra l'altro, genera file eseguibili di dimensioni veramente ridotte che, nota importante, non necessitano di dll, runtime o altri files di supporto per funzionare.

Edgar