Coursera_courses_scraper:Scraper 使用 Selenium 模拟浏览器并抓取异步网站

Coursera 课程爬虫 此抓取工具使用 selenium 来模仿浏览器并抓取 Coursera 上列出的所有英语语言课程。 抓取的课程数据使用 Beautiful Soup 进行解析，并将每个课程保存到 Postgres 数据库中。 技术栈 Python、BeautifulSoup、Selenium、SQLAlchemy、PostgreSQL、Unittest 显着特点 使用正则表达式从 html 标签中提取复杂的日期字符串。 使用 unittest 测试框架执行以下测试： "test_scrape_data_from_coursera" -- 验证一个虚拟 html 文件的内容是否被 Beautiful Soup 正确捕获。 "test_create_text_file_returns_correct_result" -- 在写入文件之前验证抓取的数据格式是否正确。