岗位职责：
1.负责抓取电商或者短视频方向的网站数据，分析链接，转码等；
2.负责维护抓取程序的监控和报警，并且快速修复问题；
3.负责和业务沟通抓取需求，满足业务的发展需求。
4.负责和业务的服务器端开发配合，设计比较灵活的爬取架构，满足业务的爬取需求；
任职要求：
1.本科或以上，计算机软件或相关专业毕业；
2.扎实的编程能力，熟悉算法和数据结构，熟悉计算机的基础理论；
3.有强烈上进心，自我驱动，学习适应能力强，乐观自信，能挑战自我不断追求卓越；
4.工作细致、责任心强，具备较强的学习能力及理解能力，有良好的沟通能力和团队协作能力；
5.熟练使用python/go、redis、mongodb、hbase等互联网常用技术；
6.熟练掌握数据库操作和使用的基本技能，熟悉MySQL数据库，有SQL查询调优，索引优化经验，良好的分析能力；
7.熟悉消息队列的原理，对常用的消息队列比如ActiveMQ、kafka、RabbitMQ有一定的使用经验；
8.理解http，熟悉html, DOM, xpath, scrapy优先；
9.有爬虫、模拟器、反爬虫、app逆向、Selenium、信息抽取、文本分类、数据处理、机器学习等相关经验者优先。