岗位职责
1、负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化；
2、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；
3、解决技术疑难问题，包括网络问题、app分析等;
任职要求
1、大专及以上学历，计算机软件或相关专业，1年及以上python开发经验，相关专业应届毕业生也可；
2、掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式；
3、掌握HTML，JS，及熟悉JS反扒破解；熟悉常见的反爬虫技术如文本混淆反爬虫、验证码等；
4、熟悉scrapy爬虫框架，有scrapy-redis分布式爬虫经验;
5、熟练掌握正则表达式、XPath等信息抽取技术。
6、有app逆向经验更佳；
7、具备良好的沟通能力和团队协作能力。