获取挂号网的所有的医生
1,先获取所有医生的链接地址
2,再点击开所有医生的详情界面,利用正则表达式获取医生的地址信息,详情信息
3,一定要休眠2S 不然的话,挂号网服务器,会认为是爬虫,会强制503 拒绝访问。
4,需要自行修改,存储信息的地址。
haodf_all_doctor
1,先在首页获取所有的科室
2,从所有的科室进去,获取所有的医生(这些医生大部分都是重复的)
3,使用 shell 命令 cat xxx.txt|sort|unqiu > xxx.txt 排序过滤出 非重复的内容
4,每个URL 对应一个医生
5,拿着URL 再去获取医生
6,不要使用多线程,或者多进程去同时并发请求多个医生信息,这样,好大夫就不会锁死你的IP
获取淘宝某个宝贝下的所有详情的图片 1,先在 JS 中找到对应请求 图片地址连接的AJAX 请求 2,利用正则表达式分离开 3,通过文件的读取去写到硬盘中 注:淘宝这个没有经历过大的数据抓取的测试,可能问题比较多,有问题留言吧QQ:973683374