爬虫架构师职位要求1.全日制本科及以上，5年以上python/java开发经验，3年以上数据抓取工作经验；2.精通使用分布式基本知识，设计与开发爬虫系统架构；3.精通使用爬虫相关技术，如：python， scrapy， selenium， xpath， 正则表达式 但不限于以上技术等，有app研发背景或app爬虫开发经验佳，有逆向经验尤佳；4.精通高并发、高性能的分布式系统的设计及应用，熟悉常用数据存储，各种数据处理技术优先； 5.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题，构建完善的网络信息收集平台；6.熟悉Linux常用命令，独立完成日常部署更新等；7.具备较强的团队协作精神，工作责任心强，良好的沟通、理解、执行能力。
爬虫架构师岗位职责1.参与消费大数据的建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析； 2.对爬虫系统的架构设计与开发； 3.深刻理解爬虫系统架构，能对系统架构提出自己的见解和优化方案；4.实现数据提取、清洗、结构化、入库、统计分析等需求； 5.建立爬虫监测体系，及时分析及解决爬虫在运行过程中出现的缺陷；6.研究优化算法，提升爬虫系统的稳定性、可扩展性； 7.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 8.能独立解决实际开发过程碰到的各类问题。 --The End--