搜索引擎蜘蛛程序问题

我在研究蜘蛛程序，遇到个疑问。
蜘蛛爬行网页时，是将爬行的网页作为镜像保存下来，再做分析
还是边爬行边分析页面，保存为指定格式的文件（如：TXT格式的）？？

请教高手，谢谢

肯定是先爬下来再解析，否则你的爬行速度还不是龟速阿。

提问者对于答案的评价：
谢谢了

待解决问题数: 365
已解决问题数: 1465
已关闭问题数: 3430

企业应用 Struts Hibernate Spring Tomcat OO J2ME Webwork SOA 设计模式 JBoss DAO iBATIS 领域模型

rails ruby rake YAML DSL RJS

EXT JavaScript AJAX DWR JQuery Flex GWT dojo prototype UI YUI CSS Buffalo

C# .net

Database 数据结构和算法 Linux PHP python C++ C Erlang D语言 FP

Java 其他综合 AJAX Ruby Agile

项目管理配置管理敏捷开发软件测试 UML CMM XP UseCase TDD

互联网咨询电信电子政务金融嵌入式医卫教育物流

IBM Oracle

职场话题求职经验招聘职位面试秘籍企业点评

工作 IT八卦公告读书生活情感游戏新闻笑话体育旅游理财申诉活动

lggege 架构师 ( 100 - 1291 )
ham 架构师 ( 100 - 1248 )
qichunren 资深程序员 ( 71 - 980 )
小疯子资深程序员 ( 69 - 852 )
congjl2002 资深程序员 ( 61 - 911 )
aidiyuxin 资深程序员 ( 48 - 684 )
zhai puhong 资深程序员 ( 43 - 680 )
llade 资深程序员 ( 42 - 746 )
wangxin0072000 高级程序员 ( 32 - 451 )
hjgundam 高级程序员 ( 30 - 442 )