网络爬虫的设计与实现 毕业论文

最新问答

• 我叫德卢衣

  去百度文库，查看完整内容>

  内容来自用户:sheng19880823

  网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。
  本文通过JA实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的存储；网页信息解析等。
  通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入库。
  【关键字】网络爬虫；JA；广度优先；多线程。
  SPIDERis a program which can auto collect informationsfrominternet.SPIDER can collect data for search engines,also can be a Directional information collector, collectsspecificallyinformations from some web sites, such as HR informations, house rent informations.
  In this paper, use JA implements a breadth-first algorithmmulti-threadSPDIER.This paperexpatiates some major problems of SPIDER: why to use breadth-first crawling strategy, and how to implement breadth-first crawling; why to use multi-threading, and how to implement multi-thread; datastructure;HTML code parse.etc.This SPIDER can collect URLs from one web site, and store URLs into database.
  【KEY
  浏览 304赞 141时间 2022-07-26