首页
论坛
课程
招聘

高级Python爬虫工程师

深圳 - 广东省深圳市南山科技园南科苑南路3099号中国储能大厦47楼
20-30k 3-5年 / 学历不限
发布于 2020-09-07 15:48
【职位诱惑】:
大数据人工智能;清华系大牛;技术氛围浓

【职位描述】:
▪ 负责分布式爬虫核心系统的架构设计与实现,满足每天亿级数据快速、稳定、精准的爬取;

▪ 深刻理解爬虫数据的价值,竭尽全力追求数据的完整性、及时性;

▪ 负责攻克各类反爬措施,包括验证码破解、JS/APP 加密参数破解、账号限制、设备环境检测、人机识别等等;

▪ 参与手机群控系统的规划、设计及开发;

【任职要求】:

▪ 喜欢钻研技术,喜欢阅读优秀开源项目源码,热衷于解决各类技术问题;

▪ 精通 Python,熟练使用 Requests、Scrapy 进行爬虫开发,抓取过一个以上亿级数据的站点;

▪ 具有使用 Flask、Tornado、Django 等 Web 框架(包括其它语言)进行前后端开发的经验,深刻理解前后端的交互方式;

▪ 熟悉前端技术,包括 JavaScript、HTML5、CSS 等等;熟悉前端浏览器 JS 环境,熟悉页面加载过程;

▪ 熟练调用模拟浏览器进行数据抓取,包括 Selenium、Puppeteer、Splash 等;

▪ 熟练使用各类抓包工具,如 Charles、Fiddler、Wireshark、Mitmproxy 等等;

▪ 熟练应对 IP 封禁、参数加密、验证码、字体反爬、人机检测、账号封禁等反爬措施;

▪ 熟练掌握 Linux 平台开发,能独立安装、配置、搭建开发环境,能完成爬虫程序的部署(Docker, K8S);

▪ 掌握至少一种分布式大规模数据存储系统,如 Tidb、Hbase、Cassandra、Mongodb、Hive 等;

▪ 了解 APP 抓取方案,了解 Appnium,了解 Android 逆向手段(Xposed、Frida、JEB),了解手机群控系统 。有实际的 APP 抓取经验、Android 逆向经验更优。
深圳
https://www.yimian.com.cn/
公司简介
关于一面数据

作为艾盛集团的一员,一面数据(Yimian by Ascential)通过整合人工智能、数据分析以及数据洞察,赋能企业在数字经济时代发现增长机会,全面拥抱数字化营销,以数据驱动决策。我们跨渠道采集数据,提供多元解决方案,服务消费者洞察、产品设计、市场营销及销售等核心业务。

一面数据在中国及亚太深入耕耘数字商业,联合姐妹公司 Edge by Ascential 在欧美及亚太的电商能力,提供一套全面解决方案,涵盖市场份额、定价促销、消费者情感、社交聆听和广告投放等领域的数据洞察与分析,帮全球知名品牌在数字商业中取胜。
高级Python爬虫工程师
20-30k