首页
论坛
课程
招聘

高级Python爬虫工程师

深圳 - 广东省深圳市南山科技园南科苑南路3099号中国储能大厦47楼
20-30k 3-5年 / 学历不限
发布于 2020-11-19 15:35
【职位诱惑】:
大数据人工智能;清华系大牛;技术氛围浓
【职位描述】:
▪ 负责分布式爬虫核心系统的架构设计与实现,满足每天亿级数据快速、稳定、精准的爬取;
▪ 深刻理解爬虫数据的价值,竭尽全力追求数据的完整性、及时性;
▪ 负责攻克各类反爬措施,包括验证码破解、JS/APP 加密参数破解、账号限制、设备环境检测、人机识别等等;
▪ 参与手机群控系统的规划、设计及开发;
【我们需要你】:
▪ 喜欢钻研技术,喜欢阅读优秀开源项目源码,热衷于解决各类技术问题;
▪ 精通 Python,熟练使用 Requests、Scrapy 进行爬虫开发,抓取过一个以上亿级数据的站点;
▪ 具有使用 Flask、Tornado、Django 等 Web 框架(包括其它语言)进行前后端开发的经验,深刻理解前后端的交互方式;
▪ 熟悉前端技术,包括 JavaScript、HTML5、CSS 等等;熟悉前端浏览器 JS 环境,熟悉页面加载过程;
▪ 熟练调用模拟浏览器进行数据抓取,包括 Selenium、Puppeteer、Splash 等;
▪ 熟练使用各类抓包工具,如 Charles、Fiddler、Wireshark、Mitmproxy 等等;
▪ 熟练应对 IP 封禁、参数加密、验证码、字体反爬、人机检测、账号封禁等反爬措施;
▪ 熟练掌握 Linux 平台开发,能独立安装、配置、搭建开发环境,能完成爬虫程序的部署(Docker, K8S);
▪ 掌握至少一种分布式大规模数据存储系统,如 Tidb、Hbase、Cassandra、Mongodb、Hive 等;
▪ 了解 APP 抓取方案,了解 Appnium,了解 Android 逆向手段(Xposed、Frida、JEB),了解手机群控系统 。有实际的 APP 抓取经验、Android 逆向经验更优。
【公司福利】:
▪ 有竞争力的薪酬:工资、一年一次调薪机会、五险一金、商业保险、季度奖金包、年终奖、节假日福利、生日礼物等。既有情怀,又有钱途;
▪ 合理的工作时间:我们有弹性工作时间制度,并追求使用技术去高效解决问题,不提倡加班;
▪ 团队活动:YiMBA系列课程、每周的篮球和羽毛球运动,每周分享会,每月聚餐、生日会等。我们是一个有凝聚力的团队;
▪ 年度体检:豪华体检,健康强壮的身体是工作的基础;
▪ 零食饮料:不间断的供应丰富优质的零食饮料;
▪ 年度旅游:前脚去巴厘岛后脚去日本韩国,随着团队的壮大,以后能去的地方更丰富多彩;
▪ 舒适的工作环境:我们有一个漂亮的办公室,开放式的设计和十分开阔壮观的窗景
就等一个靠谱的你啦~ JOIN US!!!づ ̄ 3 ̄)づ
深圳
https://www.yimian.com.cn/
公司简介
关于一面数据

作为艾盛集团的一员,一面数据(Yimian by Ascential)通过整合人工智能、数据分析以及数据洞察,赋能企业在数字经济时代发现增长机会,全面拥抱数字化营销,以数据驱动决策。我们跨渠道采集数据,提供多元解决方案,服务消费者洞察、产品设计、市场营销及销售等核心业务。

一面数据在中国及亚太深入耕耘数字商业,联合姐妹公司 Edge by Ascential 在欧美及亚太的电商能力,提供一套全面解决方案,涵盖市场份额、定价促销、消费者情感、社交聆听和广告投放等领域的数据洞察与分析,帮全球知名品牌在数字商业中取胜。
高级Python爬虫工程师
20-30k