L'écriture d'un web de robot en delphi

L'ecriture d'un web de robot en delphi

L'ecriture d'un web de robot en delphi : Plusieurs milliers de conseils pour vous faciliter la vie.

Dans cet article, David Bolton montre comment creer un Web simple robot qui n'en parallele de multiples recherches sur un moteur de recherche et de visites chaque site Web dans les resultats et les telechargements de la page.
Dans cet article, David Bolton montre comment creer un Web simple robot qui effectue en parallele de multiples recherches sur un moteur de recherche, puis visite de chaque site Web dans les resultats et les telechargements de la page. Il utilise les Composants ActiveX fournis par Internet Explorer 4 ou 5.
mise en garde - le code ecrit a l'origine serait de travailler avec Altavista, mais ce qui a change, probablement une douzaine de fois de sorte que son plus susceptibles de travailler en tant que votre chance de bicyling du mont Everest! Copernic (www.copernic.com) est un jeu genial (et gratuite), moteur de recherche moteur de recherche et qu'ils emettent des mises a niveau pour des moteurs specifiques sur une base reguliere. Si vous voulez ecrire, jouer avec Copernic. Je l'ai taux de 11 sur 10. (Non je n'ai pas de finanicial ou autrement connexion - je suis un client tres satisfait).
Bien que cela sonne exotique, un bot (aussi connu comme une araignee, un agent intelligent, Web robot, robot, robot, etc) est tout simplement un programme qui visite un certain nombre de sites Web. Le plus connu des bots sont, bien sûr, les robots utilises par les moteurs de recherche differents pour le catalogue de nouveaux contenus. Jetez un oeil sur le Web et vous trouverez beaucoup de references et de details. Il y a meme un livre sur le sujet, publie par Microsoft Press: la Programmation de Robots, des Araignees et des Agents Intelligents dans Visual C , par David Pallmann (ISBN 0-7356-0565-3). Il vaut la peine si vous etes interesse par l'ecriture de bots et vous n'avez pas l'esprit de patauger dans du code C.
Lorsque vous creez un bot, vous devez etre conscient que le materiel de votre bot rassemble a partir de sites qu'il visite peut-etre bien protege-alors, soyez prudent lorsque vous l'utilisez. Une autre chose a garder a l'esprit est la suivante: Si votre bot visites d'un site Web a plusieurs reprises, il pourrait bouleverser le site Web des proprietaires, en particulier s'ils sont porteurs de la publicite payee. Pour une reaction similaire, il suffit de mentionner les Enregistreurs Video qui, automatiquement, passez des annonces ou de Tivo a la publicite des gens. Bien sûr, si votre bot ne le marteau d'un site Web particulier et se fait remarquer, vous pourriez trouver que votre adresse IP n'est plus autorise a acceder a ce site (Le redoutable 403!). Dans ce cas, une numerotation compte de l'endroit ou le fournisseur vous donne une adresse IP dynamique est probablement une bien meilleure idee. Je vais discuter de l'Exclusion des robots Standard, plus tard, dans le respect de cette.
le probleme majeur avec Le roulement de votre propre bot n'est pas de l'ecriture du code, c'est la rapidite de votre connexion Internet est. Pour le serieux de l'analyse, vous avez besoin d'un lien permanent, pas de numerotation!
Programmable de navigation
Microsoft a rendu la vie beaucoup plus facile pour le bot de createurs (et les createurs de virus, cheval de troie des auteurs!) par leur pratique habituelle, y compris un couple de ActiveX de navigation des objets dans Internet Explorer (IE) depuis la version 4. En fait, ce reutilisable 'moteur' de l'approche est d'etre admire, si seulement il n'etait pas abuse tellement! Si vous les utilisez, ils prennent soin de 99% des choses difficiles tels que acces Internet, pare-feu, et a l'aide de HTTP pour telecharger les pages HTML. IE a beaucoup de fonctionnalites integrees, et pour beaucoup il est accessible. IE 3 a certains objets, mais je ne suis pas sûr de savoir si elles sont utilisables de la meme maniere.
Si vous etes un ardent IE hater, prenez a coeur! Vous n'avez pas a trahir ses principes ou ignorer cet article. Lorsque vous utilisez IE, les objets, vous n'avez jamais reellement voir IE-c'est entierement integre a Windows.
WebBrowser est le nom de l'objet ActiveX a partir d'IE. Avec Delphi 3, si vous avez internet explorer installee sur votre PC, vous devez creer la bibliotheque de type unit-aller a l'Importation des Controles ActiveX dans Delphi, selectionnez Microsoft Internet Controls, et cliquez sur installer. Vous devriez maintenant voir TWebBrowser_V1, TWebBrowser, et TShellFolderViewOC sur l'onglet ActiveX sur la palette de composants. Nous allons utiliser TWebBrowser. Delphi 4 presente un probleme en raison de changements dans le traitement des ActiveX entre Delphes versions 3 et 4. Un programme qui fonctionnait bien sous Delphi 3 genere un EOLESysError sous Delphi 4: 'CoInitialize pas Appele.' La bibliotheque de type Pascal source pour le controle est maintenant deux fois la taille de Delphi 5 qu'il etait en Delphi 3. Si vous avez Delphi 4, je vous suggere soit de mise a niveau de Delphi 5 ou de trouver quelqu'un qui l'a et voir si le Delphi 5 shdocvw.pas fonctionne pour vous. Tous les IE fonctionnalites de l'objet est contenu dans le shdocvw.dll.
Si vous avez Delphi 5 ou 6, vous n'avez pas besoin de le faire. TWebBrowser a remplace l'ancienne THTML composant et est la derniere composante sur l'Onglet Internet. Vous obtenez egalement une demonstration de l'utilisation de ce dans le dossier Demos/Coolstuff, et le fichier d'Aide a certains trucs sur TWebBrowser, mais curieusement, Borland n'a pas ajoute la TWebBrowser_V1 composant, meme si c'est dans le fichier source. Si vous voulez en savoir plus sur l'utilisation de TWebBrowser ou TWebBrowser_V1, aller a www.microsoft.com et faire une recherche, ou d'obtenir de Delphi 5 pour le fichier d'Aide!
TWebBrowser qui est un tres facile composant de travailler avec. Environ la moitie des proprietes peuvent etre ignores car ils sont pour le visible IE interface de controle de l'ecran en regard de l'IE-comme les barres d'outils ou de les afficher en plein ecran. La propriete Visible determine si nous pouvons voir que la fenetre du navigateur ou pas. Dans l'application finale, l'utilisateur ne sera jamais la voir, mais elle peut etre utile pour le debogage.
la façon La plus simple de l'utilisation de WebBrowser est par l'appel de la Navigation(URL) de la methode, puis la manipulation de la OnNavigateComplete2 de l'evenement et a l'aide de la propriete de Document pour acceder a la page telecharge. Bien qu'il existe deux autres evenements-OnDocumentComplete et OnDownloadComplete-qui devrait l'aider a determiner si une page Web a ete telecharge avec succes, je l'ai trouve plus facile de traiter de tout, de la OnNavigateComplete2. Cela declenche uniquement lorsque le navigateur a deplace avec succes a l'URL specifiee cependant, il est confondu par plusieurs images, de sorte que certaines des precautions supplementaires doivent etre prises, comme vous allez le voir.
WebBrowser vous offre plusieurs proprietes qui simplifient la tache d'extraction des donnees. Ces proprietes comprennent des Liens, des ancres, des applets, des formes, des images, feuilles de style, et un peu plus. Le seul probleme, en particulier lorsque les cadres sont utilisees, est de trier l'ivraie du ble-qui les liens sont valides, et qui pourraient etre des publicites ou d'autres services? Dans ce cas, la seule façon de le faire est de scanner le code HTML et d'en extraire les informations pertinentes. Chaque page est telecharge, il peut etre accessible directement.
Images

Comme vous le savez peut-etre, de nombreux moteurs de recherche n'indexe pas les cadres. Un document HTML peut etre constitue d'une ou plusieurs images. L'image qui detient les choses que vous voulez? Il est generalement le premier (et souvent la seule) de la page. Le seul moyen fiable est de marcher a travers chaque page a la recherche pour le texte et la recherche ce pour les chaînes de caracteres qui permettent d'identifier les resultats. Un plus grand probleme est le multiple de declenchement des differents DocumentComplete, DownloadComplete, et NavigationComplete evenements. Beaucoup de debogage, la malediction, et l'epilation s'est produite avant que je ne realise ce qui se passait. Ignorer DownloadComplete. Au lieu de cela, utiliser DocumentComplete ou NavigationComplete. J'ai fait quelques experiences plus et a constate que le meilleur moyen est d'utiliser une seule et verifier si un document etait pret VarIsEmpty(fwebbrowser.document). Puis obtenir l'image a partir de l'explorateur de Document := fWebBrowser.Document, le nombre de cadres, et de l'index a travers eux. 0 utilise le script.dessus, tandis que d'autres cadres de l'utilisation des cadres.Item(index). Remarque le type de Base tableau d'indexation. A partir de l'image, verifier le document.corps, et d'en extraire le texte a partir de ce. Sachez que le CreateTextRange provoquera une exception si il n'y a pas de texte, comme dans une banniere de l'objet d'ou l'essai, a l'exception de l'attraper. A ce stade, nous avons le code HTML complete, et tout ce que nous faisons suivante est d'obtenir les resultats et les liens de navigation.
la numerisation HTML
Quand j'ai ete le tester cela, j'ai utilise les Options de word sur AltaVista. La page qui a ete retourne contenues 85 des liens en fonction de la WebBrowser liens (document.liens.Les elements(Index) de la propriete est utilisee). De ces, a seulement 10 sont des resultats et un certain nombre sont des annonces, des bannieres, et des trucs comme ça, ainsi que les liens de Navigation. La mise en page est differente pour chacun des resultats du moteur de recherche, et une analyse HTML de l'objet ferait une bonne idee pour un futur article. J'ai coince avec AltaVista, comme d'autres moteurs de recherche de jeter les choses a leur façon. Pour avoir un code court, j'ai utilise deux chaînes de texte-'AltaVista trouve' et 'les Pages de resultats'-pour marquer le debut et la fin de la suite de sauts. Toutes les Url (cherchez 'href=') qui se produisent entre ces deux chaînes et ne contiennent pas le texte defini dans l'ignorer texte (comme 'sauter.altavista') sont utilises.
la structure du Programme
Tout les centres sur trois composantes: TSearchEngine, TFetchResult, et TResultHandler. Une liste de TSearchEngines est construit au debut du programme a chaque objet la tenue de details necessaires a l'utilisation de ce moteur et une instance de l'objet WebBrowser. La chaîne de recherche est passe a cette liste, et chaque element commence alors une requete avec son propre moteur. Resultat des liens sont renvoyes a une liste centrale, tout en etant prudent de serialiser l'acces a cette liste par le biais d'un simple garde variable (fbusy) pour empecher les deux liste des ajouts de se produire en meme temps. Si il y avait une seule operation se fait, ce pourrait etre evite, mais j'ai une liste de recherche ainsi et cela prend du temps, de sorte que la garde de la variable doit etre utilise.
Pour un type de moteur de recherche comme AltaVista, la requete est traitee par un cgi-bin script appele requete avec des parametres differents ajoute quelque chose comme ça pour la chaîne de recherche 'recherche de texte' (guillemets compris): pg=q & kl=fr & q='recherche de texte' & la stq=20, je comprends que pg = q (c'est une requete), kl = fr (en Langue anglaise), et de la stq=20 (resultats debut du 20eme resultat).
La classe TSearchEngine a des methodes PostQuestion, ExtractResultLinks, et NavigateNextResultPage et definit le WebBrowser des gestionnaires d'evenements pour agir en consequence. La plupart de la demande de son temps a ne rien faire de plus que d'attendre que le WebBrowser des evenements pour declencher. J'ai inclus un etat simple mecanisme de sorte que les utilisateurs de cette classe peut determiner ce qui se passe, et il est capable de garder une trace de ce qu'il est cense faire.
Pour chaque lien resultats trouves, un TFetchResult composant est cree et ajoute a une liste d'extractions. Chaque instance de cette classe dispose de son propre composant WebBrowser et code de gestionnaire d'evenements. J'ai utilise une liste de simplifier le suivi de toutes les extractions. Je utiliser un delai d'attente (par defaut 240 secondes), et toutes les 30 secondes, la totalite de la liste de l'extrait est analyse et verifie pour les delais d'attente. Un temps est plus leger sur les ressources de Windows que d'une minuterie pour chaque objet. Comme il est egalement difficile de determiner exactement quand une page a ete entierement telecharge, ce delai fournit un plus propre façon de faire.
Si une extraction reussit, le contenu HTML du document sont enregistrees dans un dossier des resultats. Je n'ai pas inclus les graphiques afin de conserver le code plus court. Le nom est derive du nom du cadre apres la suppression inacceptable caracteres.
Parallelisme
Dans un sens, c'est une application multithread avec un bon degre de parallelisme, bien qu'il n'existe pas de threads utilises de maniere explicite. Chacun des WebBrowser composants est utilise de maniere independante, un dans chaque TSearchEngine et un dans chaque TFetchResult. Il semble y avoir pas de limite superieure pour le nombre de recherches paralleles, bien que la vitesse globale est evidemment sujette a la bande passante de la liaison Internet.
Si vous ecriviez un produit de vente au detail, vous auriez probablement creer un fichier de configuration avec une certaine façon de definir le format de la requete pour chaque moteur, il peut gerer ainsi que l'extraction de la suite des liens. Chaque moteur de recherche produit des resultats dans differents formats et pourrait bien changer le format de chaque fois que qu'ils aiment.
Il y a aussi la forte probabilite que deux ou plus de recherches donnera la meme URL. Je me deplace que par la recherche de la liste des extractions. Je suggere une autre liste, car cela ne tient courant extrait. Avant d'aller chercher les resultats a partir d'une URL particuliere, une recherche rapide est fait de cette liste pour vous assurer que l'URL n'a pas deja ete recuperees. Si ce n'est pas le cas, l'URL est ajoutee a la liste et de le recuperer le produit.
Comme toujours avec les moteurs de recherche, vous devez choisir le texte a rechercher avec soin pour eviter les multi-millions de resultats. Une valeur limite codee en dur comme 100 est defini pour chaque TSearchEngine.
Un dernier point: Etre prudent avec l'utilisation de l'Application.ProcessMessages lorsque vous utilisez le Navigateur internet. J'ai evite, sauf lorsque les extractions sont ajoutes, ce qui les attend si le resultProcessor est occupe. Je ne sais pas si c'est la façon dont les evenements sont envoyes, mais j'ai trouve que la fixation d'une etiquette et de l'application appelante.ProcessMessages pourrait forcer le meme evenement a se produire a nouveau. C'est encore plus dans le debogueur, mais si vous obtenez un comportement etrange, de les commenter.
Avertissement
je pense que ce code est un peu rude, mais il fonctionne tres bien. Probablement la moins satisfaisante methodes de detection de l'image qui a du texte. Je l'ai trouve dur a travailler, d'autres que par l'aide de l'interception d'exception, donc, si vous executez dans le debogueur, s'attendre a un peu pris au piege des exceptions. Il n'est egalement pas tres poli de l'application-il pourrait y avoir une meilleure interface utilisateur, par exemple. Mais ça fait ce que je desirais-il effectue plusieurs recherches paralleles et les telechargements en meme temps.
Robots de ne pas les bienvenus
standard a emerge appele l'Exclusion des robots Standard, les sites Web qui devraient l'utiliser pour specifier les arbres qui ne devrait pas etre indexe par les araignees parce que les pages changent frequemment ou qui contiennent des fichiers executables ou non des fichiers de texte.
j'ai lu que les dernieres estimations suggerent qu'il existe plus de 800 millions de pages Web dans l'existence, et que la plupart des moteurs de recherche indexent le moins de la moitie de la totalite d'entre eux. Les plus grands moteurs de recherche seulement des indices de 150 a 200 millions de pages. Donc tout ce qui limite le 'bruit' est la bienvenue, et une façon de le faire est par le biais de cette norme. Il suffit de placer un robots.txt fichier texte a la racine-par exemple, www.altavista.com/robots.txt-like suivantes:

User-agent: *
Disallow: /cgi-bin

celle-ci stipule que tous les robots Web ne doit pas regarder dans /cgi-bin. Bien sûr, vos robots n'ont pas a tenir compte de ce-qu'il est destine principalement pour les araignees, mais c'est de mauvaises manieres de l'ignorer, et il est logique d'aller avec elle, sauf si vous avez vraiment besoin de voir ce qui est la.
Comment, vous demandez peut-etre, faire le site Web de gens savent quand un robot a visite? Tout simplement-c'est la Veritable nom dans l'en-tete envoyee au serveur Web. C'est le plus souvent de Mozilla, mais il pourrait etre Scooter (AltaVista araignee) ou autres. Mozilla (pour 'Mosaïque Killer') etait le nom de Netscape et IE a adopte egalement. Il pourrait etre possible de modifier cela dans le cinquieme parametre de la TWebBrowser methode de navigation, qui contient des en-tetes supplementaires. Ou vous pouvez ecrire votre propre interface HTTP au lieu d'utiliser IE, puis specifiez un nom. Etant donne que ce que nous faisons peut-etre pas tres populaire aupres des moteurs de recherche, il est probablement preferable de le faire derriere l'anonymat d'un navigateur de Mozilla! En outre, vous voudrez peut-etre ajouter un delai de 10 secondes entre le saut de pages. De cette façon, il aura au moins regarder comme si c'est un operateur humain et non pas un programme.