首页
论坛
课程
招聘

爬虫工程师(北京)

北京 - 北京市朝阳区东郎电影产业园 A102
20-30k 3年及以下 / 大专
发布于 2021-09-03 14:25
职责描述:
1.负责开发和维护分布式爬虫项目并持续优化;
2.负责开发分布式爬虫框架,管理分布式爬虫服务器,开发任务调度引擎;
3.参与代码检查、编写文档,新技术的预研和使用
任职资格:
1、具备2年以上Python爬虫开发经验
2、掌握分布式框架,能使用Scrapy、kafka等技术实现高并发稳定抓取;熟练掌握数据库技术;
3、有过高并发IP池调度、cookie池调度设计经验;有实际海量数据采集、清洗、存储项目经验,优先考虑;
4、有过数据质量管理、数据监控开发、设计使用经验、有对数据质量负责意识
北京
https://www.endata.com.cn/
公司简介
艺恩致力于通过大数据、AI技术连接内容与消费者数据,以驱动客户业务增长。
公司成立以来依托数据智能产品提供多场景解决方案,服务于内容及消费行业上千家客户,获得业界广泛认可;荣获“国家高新技术企业”“中关村高新技术企业”“中国大数据创新企业”及“中国大数据最佳行业实践案例”等称号,共持有独立研发的产品软件著作权与发明专利30多项。
爬虫工程师(北京)
20-30k