岗位职责：
1、负责分布自动采集和数据采集系统的架构设计和开发；
2、熟悉各类反反自动采集策略，负责反反自动采集技术难点攻坚，并有丰富的反反自动采集实战经验；
3、深刻理解自动采集系统架构，能对系统架构提出自己的见解和优化方案，提升数据抓取的效率，保证数据的质量和及时更新；
4、建立自动采集监测体系，及时分析及解决自动采集脚本在运行过程中出现的问题。
任职要求：
1、大专及以上学历，计算机相关专业，2年以上相关经验；
2、具有代码逆向（如js逆向等），通过模型（重点是机器学习算法）破解验证码经验者优先考虑；
3、熟练掌握 Python/Java/JavaScript/C++ 等任意语言，良好的代码能力，扎实的数据结构和算法功底，有快速迭代、逐步优化的工程项目经验；
4、精通自动采集和反自动采集技术，精通http底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等，从结构化的和非结构化的数据中获取信息；
5、熟悉常见的反爬机制及对应的应对措施；
6、对主流自动采集架构有深入研究，具有成熟的自动采集工具开发经验、及Linux 、Windows云服务器的运维经验；