问：基于c#的网络爬虫的论文~~~~跪求！
- 答：基于c#的网络爬虫的论文
这样你才理解,分析
这样我才能力的
问：爬虫到底是什么？爬虫是否违法？简谈爬虫概念
- 答：在我没接触这一行时这个问题困扰了我很长时间，让我十分的不理解到底什么是爬虫，它难道是一种实体工具？，直到我学习python 深入分析了解以后才揭开了它神秘的面纱。
爬虫是什么呢？爬虫有简单的爬虫和复杂的爬虫。实际上简单的爬虫是一种 脚本 ，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
脚本就是粗糙的，但往往非常实用的小程序（一般来说不会超过几千行，有时候也就几百几十行的代码构成）。举个简单的例子，你现在要从一个学生租房的网站上读取关于出租的学生公寓的信息。你一条一条去抄写肯定是不现实的。所以就要用爬虫。可以把一个信息类网站上几千条信息一次全部扒下来。百度，谷歌这类的搜索引擎你也可以认为是一种爬虫，只不过这类的技术十分的复杂，不是简单的脚本。
搜索引擎是如何工作的？其实就是通过网络爬虫技术，将互联网中数以百亿计的网页信息保存到本地，形成一个镜像文件，为整个搜索引擎提供数据支撑。
这样的技术首先就会涉及到一个十分重要并且人人关注的问题——是否违法？
仔细探究后总结出了如下观点：
1.遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬，
2.限制你的爬虫行为，禁止近乎 DDOS 的请求频率，一旦造成服务器瘫痪，约等于网络攻击；
3.对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker 行为；
4.审视清楚自己爬的内容，绝不能触碰法律的红线。
至此你应该明白，爬虫本身并不违法，而是要看你使用的方式和目的，还要看其商业用途。
问：蜘蛛爬虫的原理和作用
- 答：网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
这个条目所描述的内容英文名叫做Web Crawler，这是有正规定义的，参见维基百科。业界内也很少叫蜘蛛的，一般都叫做网络爬虫，Spider只是个别爬虫的名称。建议将词条名称改为网络爬虫。
网络蜘蛛是通过网页的链接地址来寻找网页
网络蜘蛛
，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
----这样看来，网络蜘蛛就是一个爬行程序，一个抓取网页的程序。
