（1）由于我这个爬虫的抓取有分页，而且它的分页通过js跳转的，抽取出来感觉有点麻烦，我想直接得到所有的信息，发现可以通过输入url地址请求得到所有的信息（这是网站的一个小问题，它没有设置每页数据记录条数的范围），但是需要登录才可以进行url地址的访问，就要使用cookie模拟登录。
（2）下面分析有关登录信息的cookie，我使用的是chrome，点击如图位置，会看到此网站的cookie，（如果已经访问了一段时间了，可以清除所有cookie然后重新登录再访问，否则可能会有很多的cookie，分析起来不方便），由于只有5个cookie，直接加上就可以访问了
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
本次更新增加了Downloader模块的一些功能。提现兑现游戏打鱼
#609修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。
#631HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。
#571Page对象增加bytes属性，用于获取二进制数据。下载纯二进制页面时，请设置request.setBinarayContent(true)，这样对于二进制内容不会尝试转换为String，减小开销。
#629在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。
#610自动识别编码时，可以识别Content-Type中charset为大写的情况。
#627支持为Request单独设置页面编码，兼容同一站点多种编码方式的情况。
#613Page对象增加charset属性，其值为request/site中设置的charset，或者为自动检测的charset(未定义时)。
#606升级jsonpath到2.4.0
#608升级jsoup到1.10.3
WebMagic是java上面经常的需要的一款爬虫类型的工具了，现在就可以试试最新的0.7.3版本，功能以及使用上面都是完全的免费的，欢迎大家试试！
展开内容
8.5/64.5M
内蒙古和校园家长版是一款专为家长准备的家校沟通工具，能为家长提供学生的教育、学习、学校生活等各方面的信息，为学生提供综合的沟通管理，有需要的话就来下载吧！内蒙古...
10.0/805.2M
宝石镶块(JewellyBlocks)是一款宝石消除类型的游戏，同时也是需要自己有技术以及能力去挑战的，游戏有多种玩法模式，可以根据每一个人的兴趣来选择！游戏特...
9.6/1,395.9M
我们下载电影的时候一般都不能播放，而有些播放器占用内存特别大，导致播放不流畅，这里分享一款影音先锋播放器，采用了P2P高清点播，可以播放正在下载的电影，边播放边...
9.7/1,339.2M
展讯通为用户们提供更加具有方便的视频会议平台，多方高清视频、学习、工作均可应用，展讯通可支持共享在线授课、互动课堂、白板内容标记，快速启动会议，加入会议，随时随...
9.9/217.2M
喜悦读免费小说是一款非常好用的手机阅读软件，海量正版小说在线免费阅读，智能模式保护用户的眼睛，实时更新热门小说最新章节，1让用户看个过瘾，快来下载体验吧！软件介...
8.3/1,109.9M
植物大战僵尸融合版修改器2.8.2修改器更新！这个修改器专为植物大战僵尸融合版的电脑玩家设计，注意，手机玩家不可用。用这个修改器你可以快速的通过一些比较难的关卡...
8.4/630.0M
儿童数学思维特训，数学营救—是一个非常有趣的游戏，也是一种很好的锻炼一级测试你的四舍五入和估算能力的方式，在游戏的同时，你还能享受其中的乐趣。这个游戏也能帮助您...
8.8/1,326.1M
双心多重剪切板是一个windows下增强版的剪切板软件，能让你把多次复制到剪切板的内容合并后正反向粘贴，粘贴时可以加入回车或者TAB键作为间隔。 目前只能...
9.1/498.9M
2020年商务男装商场入驻介绍ppt是一款介绍男装进入商场的PPT介绍，高端大气的产品设计，ppt模板背景是黑色，可以进行主题的填充，介绍简单明了。商务休闲男装...
7.8/966.6M
小镇暗斗8.0.0正式版本已经发布了，这款地图，玩法丰富，最新版本修复了技能、召唤、魔耗等数据，并且新加了30多个世界boss！小镇暗斗8.0.0正式版地图名称...
9.4/840.7M
巧匠课堂app是一款非常好用的教育学习软件，通过巧匠课堂app你可以随时的了解众多培训相关知识，可以学习相关字体，手动修图等各种专业性技巧！巧匠课堂app介绍巧...
9.4/66.8M
美妆心得电脑版是一款化妆点评软件，网友们可以在这里分享自己的美妆心得，打造最漂亮的自己！美妆心得安卓版官方介绍化妆品类应用NO.1，100万姐妹的忠实选择，时尚...
7.6/236.9M
卡西欧fx-82ES科学计算器不仅能够按照自然书写格式进行输入和显示，还具备表格、进行函数运算、计算函数在某一点的导数、进行概率与统计的相应运算等多种功能。那么...
9.2/1,598.6M
Dreamweaver2020中文特别版是一款由睿派克论坛修改的精简版本，该版本删除了一些不需要的内容，保留了最有用的功能，安装很方便，一键快速安装，让你可以快...
8.3/345.3M
该软件内置了丰富的成都超人经典语音包，且全部内置，无需流量下载。用户在开麦时，点击想要播放的语音即可使用。此外，软件还支持变声功能，拥有搞笑、幽默、萌系等多种类...
9.9/1,453.2M
很多视频网站上都有大量的FLV视频资源，但是由于网络带宽的限制，往往观看的时候很不流畅，观看过程中经常出现停顿。而且这些网站都不提供下载地址，用户无法收藏这些F...
10.0/1,490.7M
友情毁灭器(StickFight:TheGame)是一款非常魔性的格斗小游戏。玩家在游戏中将和其他人进行战斗，操作感很强，很有意思。这里为大家带...
8.4/1,800.2M
exagear数据包obb是一款游戏模拟器软件，专门为广大游戏爱好者打造的端游模拟器，在手机上也能玩绝大多数的电脑游戏啦，运行稳定流畅，感兴趣的小伙伴快来东坡下...
9.2/1,458.6M
小龙虾我们走表情包是最近在微信朋友圈火爆传开的一款表情包，这个是皮皮虾我们走衍生出来的梗，但是随着吃小龙虾的季节到了，新的小龙虾我们走表情就出来了，快来下载吧！...
8.7/1,371.3M
哔哩哔哩，也被称为Bilibili或简称为B站，是一款非常受欢迎的视频播放、直播和漫画平台。以下是哔哩哔哩App的详细介绍：视频内容：哔哩哔哩拥有极其丰富和多样...
9.4/204.4M
现在是全面自媒体时代，很多朋友也从事着，有专自媒体助手就是一款好用的自媒体助手软件，支持微信公众号，头条号，百家号，企鹅号，大鱼号等平台，多平台一键同步发布内容...
8.4/57.9M
矩码电子邮件地址批量提取工具是一款绿色好用的由矩码软件工作室制作的电子邮箱地址采集软件。软件功能强大，可以批量提取文本中的电子邮箱地址，供第三方邮件群发软件使用...
9.8/1,529.6M
现在全球最火的游戏当属PokemonGo了，全世界的人民都加入了抓小精灵的大潮中，虽然这款游戏不能国服上线，但是小编为你带来了玩什么守望先锋快来抓精灵啊表情包，...
8.7/1,648.1M
NAS迷app是一款非常优质的兴趣社区，用户下载这款软件就能够在上面了解到非常使用的社区资讯，app上涵盖的内容非常丰富，用户可以根据自己的需求进行选择阅读，非...
9.9/972.1M
BlueReflection幻舞的少女之剑是一款美少女RPG游戏，想要快速的进行游戏吗？小编带来的就是BLUEREFLECTION七项修改器，多功能修改游戏参数...
