8000 GitHub - liqingju123/login · GitHub
[go: up one dir, main page]

Skip to content
liqingju123Public

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

1 watching

Forks

Repository files navigation

login

获取挂号网的所有的医生

1,先获取所有医生的链接地址

2,再点击开所有医生的详情界面,利用正则表达式获取医生的地址信息,详情信息

3,一定要休眠2S 不然的话,挂号网服务器,会认为是爬虫,会强制503 拒绝访问。

4,需要自行修改,存储信息的地址。

haodf_all_doctor

1,先在首页获取所有的科室

2,从所有的科室进去,获取所有的医生(这些医生大部分都是重复的)

3,使用 shell 命令 cat xxx.txt|sort|unqiu > xxx.txt 排序过滤出 非重复的内容

4,每个URL 对应一个医生

5,拿着URL 再去获取医生

6,不要使用多线程,或者多进程去同时并发请求多个医生信息,这样,好大夫就不会锁死你的IP

获取淘宝某个宝贝下的所有详情的图片 1,先在 JS 中找到对应请求 图片地址连接的AJAX 请求 2,利用正则表达式分离开 3,通过文件的读取去写到硬盘中 注:淘宝这个没有经历过大的数据抓取的测试,可能问题比较多,有问题留言吧QQ:973683374

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages

0