请选择 进入手机版 | 继续访问电脑版

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 876|回复: 43

大数据爬虫实战

[复制链接]
  • TA的每日心情

    2019-7-23 14:11
  • 签到天数: 18 天

    [LV.4]偶尔看看III

    355

    主题

    395

    帖子

    8079

    积分

    超级版主

    Rank: 8Rank: 8

    积分
    8079

    活跃会员热心会员推广达人突出贡献

     楼主| 发表于 2018-12-10 19:54:48 | 显示全部楼层 |阅读模式

    更多资源请加QQ群:543549479




    本项目采用Java语言实现,绝对基于真实的爬虫项目进行改进和优化,希望进一步提升大家的大数据项目经验。本项目基本涵盖了爬虫项目的整个流程,包括数据爬虫、全文检索、数据可视化、爬虫项目监控、爬虫项目维护等等。解决了爬虫项目中遇到的棘手问题,包括破解网站反爬策略、网站模板定期变更、网站频繁访问IP被封等等问题。

    课程特色:

    1、基于绝对真实的爬虫项目进行优化和拆解,大幅提升Hadoop综合项目经验,年后跳槽面试绝对不心虚。
    2、涵盖爬虫项目完整流程,包括数据爬虫、全文检索、数据可视化、爬虫项目监控、爬虫项目维护等等。
    3、手把手教你破解爬虫项目中遇到的棘手难题,包括破解网站反爬策略、网站模板定期变更、网站频繁访问IP被封等等。
    4、每一行代码都可以100% Get到,绝不走马观花,30天搞定大数据爬虫项目,妥妥的!!

    项目涉及技术
    Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail

    基础要求
    本课程面向有Java基础,有Hadoop大数据平台基础,希望进一步学习大数据爬虫项目的朋友;

    课程大纲

    一、项目背景
    1、了解传统广电收视率项目背景
    2、用户数据有哪些价值点
    3、哪些机构掌握这些数据
    4、爬虫目标:互联网各大视频网站

    二、项目总体需求% V; z) G* g2 j) U; J2 ?/ W+ U
    1、多维度统计:总播放指数、每日播放增量、评论数、收藏数、赞、踩
    2、数据可视化:节目收视排行榜、多维度指标趋势图

    三、难点分析-
    1、网站采取反爬策略
    2、网站模板定期变动
    3、网站URL抓取失败
    4、网站频繁抓取IP被封

    四、系统架构设计
    1、总体架构解析
    2、数据流向
    3、功能模块划分
    4、各个模块详细解读

    五、技术选型
    1、数据采集层
    2、数据存储层
    3、数据处理层
    4、数据展示层

    六、部署方案
    1、爬虫项目:分布式集群
    2、爬虫定时项目:一台服务器
    3、爬虫项目监控:一台服务器
    4、爬虫可视化:多台服务器
    5、Hbase数据库:分布式集群
    6、Redis数据库:分布式集群
    7、Solr 全文检索:分布式集群
    8、Zookeeper 监控:分布式集群
    9、Solr 建立索引:一台服务器
    10、邮件提醒:一台服务器

    七、爬虫代码详尽实现
    1、下载、解析视频网站详情页面url,提取关键字段数据
    2、抽取视频网站解析规则模板,优化解析代码
    3、打通数据爬虫的下载、解析、存储流程
    4、采用Hbase存储爬虫数据,详解Hbase宽表和窄表设计以及爬虫项目表的详细设计,包含rowKey设计、列簇设计、历史版本
    5、解析视频网站所有分页url并优化解析实现类
    6、使用Queue队列存储视频网站所有url,实现视频网站url循环抓取
    7、采用高、低优先级队列循环抓取视频网站url
    8、采用Redis数据库实现url抓取优先级,并支持分布式爬虫
    9、采用多线程爬虫,加快爬虫效率
    10、定时启动爬虫项目
    11、完善爬虫项目、补充抓取关键字段数据

    八、全文检索
    1、Lucene、Solr、ElasticSearch简介
    2、全文检索过程:索引创建和搜索索引
    3、解决全文检索的核心问题
    4、Solr+Hbase组合提升检索效率
    5、Solr 配置详解
    6、Solr 安装部署
    7、Solr 建立索引
    8、Solr 检索视频网站数据

    九、数据可视化
    1、采用SpringMVC框架编写爬虫Web项目 ;
    2、编写Hbase工具类查询Hbase数据
    3、编写Solr工具类检索爬虫数据
    4、采用Freemarker或者jsp展示页面
    5、采用Highcharts插件展示收视指数曲线图
    6、打通爬虫整个项目流程,实时查看收视排行榜以及收视指数曲线图

    十、项目优化一
    1、设置合理的抓取时间间隔,模拟正常用户访问,降低IP被封概率
    2、采用Redis 动态IP库,随机获取IP,随机抓取不同网站数据,降低同一IP对统一网站的访问频率
    3、实现分布式爬虫,提高爬虫效率

    十一、项目优化二
    1、Ganglia、Zookeeper简介
    2、详解Zookeeper特性监控爬虫项目
    3、完善爬虫项目注册Zookeeper集群
    4、编写Watcher监视器监控爬虫项目生命周期
    5、集群监控的整体联调

    十二、项目优化三
    1、监控器监控爬虫项目异常,异常数据插入数据库
    2、编写邮件Mail项目扫描爬虫项目异常信息,通知运维人员
    3、编写定时器定时执行Mail项目

    游客,如果您要查看本帖隐藏内容请回复


  • TA的每日心情
    奋斗
    2019-3-16 21:15
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    0

    主题

    67

    帖子

    359

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    359
    发表于 2018-12-10 19:55:53 | 显示全部楼层
    11111111111111111111111111111111111111
  • TA的每日心情
    开心
    2019-6-9 17:43
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    68

    帖子

    336

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    336
    发表于 2018-12-10 19:56:00 | 显示全部楼层
    22222222222222222222222222222222哈哈

    该用户从未签到

    0

    主题

    5

    帖子

    42

    积分

    普通会员

    Rank: 1

    积分
    42
    发表于 2018-12-10 20:01:28 | 显示全部楼层
    11111111111111111111111
  • TA的每日心情
    慵懒
    2019-7-13 19:32
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    0

    主题

    35

    帖子

    332

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    332
    发表于 2018-12-10 20:54:25 | 显示全部楼层
    i want a go
    回复

    使用道具 举报

  • TA的每日心情

    2019-8-8 16:08
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    0

    主题

    62

    帖子

    738

    积分

    高级会员

    Rank: 4

    积分
    738
    发表于 2018-12-10 21:09:16 | 显示全部楼层
    666666666666
  • TA的每日心情
    奋斗
    2019-8-4 11:35
  • 签到天数: 35 天

    [LV.5]常住居民I

    4

    主题

    231

    帖子

    2194

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    2194
    发表于 2018-12-10 23:27:44 | 显示全部楼层
    11111111111111111

    该用户从未签到

    0

    主题

    143

    帖子

    502

    积分

    高级会员

    Rank: 4

    积分
    502
    发表于 2018-12-11 00:35:31 | 显示全部楼层
    大数据爬虫实战
  • TA的每日心情
    开心
    2019-7-29 20:47
  • 签到天数: 57 天

    [LV.5]常住居民I

    0

    主题

    395

    帖子

    3434

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    3434
    发表于 2018-12-11 08:50:23 | 显示全部楼层
    啊啊啊啊啊啊啊啊啊啊啊啊
  • TA的每日心情

    昨天 15:33
  • 签到天数: 146 天

    [LV.7]常住居民III

    5

    主题

    345

    帖子

    6181

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    6181
    发表于 2018-12-11 09:37:14 | 显示全部楼层
    66666666666

    QQ|技术教程|IT资源网|编程资源|技术资源

    GMT+8, 2019-8-18 19:58 , Processed in 0.146397 second(s), 48 queries .

    Powered by IT资源网

    © 2016-2019 Comsenz Inc.

    快速回复 返回顶部 返回列表