首页
论坛
课程
招聘

Python程序员

福州 - Python程序员
12-20k 3-5年 / 本科
发布于 2022-04-14 11:52
职位描述
1、针对不同反爬虫网站,做出具体Scrapy等框架部署,包括不限于:构造User-Agent,代理ip池,设置并发数量等绕过策略;
2、编写监控程序进行爬虫监控,并根据日志定向输出日志文件;
3、对不同国家语言以及不同编码进行正确数据识别、数据爬取;
4、对大数据爬取,以及存储有相关经验,能对分布式状态下的千万级数据进行稳定的存储以及删改查询;
5、有相关类的大型爬虫项目开发经验的优先。
任职要求
1、全日制本科学历,计算机软件工程等相关专业;
2、熟练掌握python,有多人协作开发经验,有好的沟通和理解需求的能力,能对安排的任务准确无误的完成;
3、熟悉掌握爬虫框架Scrapy、Scrapy-redis爬虫流程,熟悉构建分布式爬虫;
4、熟悉大数据量、分布式的数据库的操作;
5、熟悉网站常见的反爬策略,能根据相关反爬策略获取数据。
Python程序员
12-20k