1、負責網絡爬蟲系統的設計與開發(結構化抽取,分布式,調度策略);
2、研究爬蟲策略和防屏蔽規則,解決封鎖、驗證碼、加密,等問題,優化爬蟲效率和質量;
3、對抓取后的數據進行清洗、存儲,并持續優化平臺,提升爬蟲穩定性及可擴展性。
4、向部長匯報。
1.至少1年爬蟲項目開發經驗;至少熟練掌握主流爬蟲框架中的一種
2.精通Python語言,熟練運用多進程、多線程開發;
3.熟悉爬蟲原理,熟練掌握正則表達式、XPath、CSS等網頁信息抽取技術以及提取多層Json結構數據;
4.熟悉常見反爬機制,IP池、cookie、js加密等;對破解驗證碼有豐富經驗,獨立解決js反爬和模擬登陸問題5.熟練使用Scrapy、Requests、Selenium、PhantomJS等框架;熟練使用抓包工具;
上一篇:沒有了!
下一篇:土建工長
24小時免費咨詢
請輸入您的聯系電話,座機請加區號