Python intérprete
Mostrar más instrucciones
1
Definir dos expresiones regulares para hacer coincidir las direcciones de correo electrónico e hipervínculos en el código de la página Web:
importación urllibimport threadingimport re
r = re.compile ( ' ( ? < href = \\ = \\ " mailto :) . * ? @ . * ? . [ \\ w ] {0,3 } ( ? = \\ ") ') # Mailsr1 = re.compile ( ' ( ? < href = \\ = \\ ") . * ? ( ? = \\ ") ') # Links
2
Definir un constructor de la clase que tiene una página web URL como argumento. El constructor tomará la URL como punto de partida , a continuación, comenzar la clase "Spider ", como un hilo separado :
clase
Spider ( threading.Thread ) : def __ init__ (self, dirección): self.url = addressthreading.Thread.__init__ (auto )
3
Definir el método "run" , que se ejecuta cada vez que se inicia un nuevo hilo de tipo " araña " . Este método procesa la página web con " urllib.urlopen " , tira de correos electrónicos de un código mediante el uso de la "r " de expresiones regulares y los almacena en un archivo de registro . A continuación, toma los hipervínculos y las descargas de la información de esa URL , comenzando un nuevo thread para procesar la página Web:
def run ( self):
fuente
= urllib.urlopen ( self.url . ) read ( ) = mails (fuente ) mails r.findall = list ( set ( mails ) ) log = open (' log.txt ', ' a') for i in mails: si re.match ( "^ [ ,"! _.0 - 9a - z ] + @ ( . [ 0 - 9a - z] [ 0 - 9a - z ] + ) + [ az ] { 2,4 } $ ", i) = None: si ( i + '\\ n' ) no ( abiertas ( ' log.txt ', ' r') readlines (). ): print ' Guardado :', ilog.write ( i + '\\ n' ) cuenta + = 1log.close () urls = r1.findall (fuente ) de uRL en uRL : . Crawl ( url ) start ()
4
Ejecutar la clase araña llamando a un nuevo hilo de tipo " araña " y el suministro de con una URL :
Spider ( " www.google.com " ) start ()
.