首页
论坛
课程
招聘

爬虫架构师

北京 - 北京市朝阳区东郎电影产业园 A102
20-30k 3-5年 / 大专
发布于 2021-09-03 14:24
岗位描述:
1、爬虫系统的架构设计与开发;提升多平台信息的抓取效率;
2、设计爬虫策略,android逆向及风控对抗,提升网页抓取的质量;
3、能独立解决实际开发过程碰到的各类难题;
岗位要求:
1、熟悉linux平台开发,5年以上Java、python开发经验;
2、有实际爬虫开发、内容提取工作经验1年以上;
3、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
4、熟练Mysql,redis,mongdb等数据库,有过数据库调优和海量数据存储经验优先;
5、有分布式抓取经验,有hadoop、spark等大数据项目经验优先;
北京
https://www.endata.com.cn/
公司简介
艺恩致力于通过大数据、AI技术连接内容与消费者数据,以驱动客户业务增长。
公司成立以来依托数据智能产品提供多场景解决方案,服务于内容及消费行业上千家客户,获得业界广泛认可;荣获“国家高新技术企业”“中关村高新技术企业”“中国大数据创新企业”及“中国大数据最佳行业实践案例”等称号,共持有独立研发的产品软件著作权与发明专利30多项。
爬虫架构师
20-30k