在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。
爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。
1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)
大数据爬虫安装教程大数据爬虫安装教程
2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)
大数据爬虫安装教程hbase.zookeeper.quorum所填地址应在dkm监控平台查看：
大数据爬虫安装教程redis相关配置看如下界面：
大数据爬虫安装教程3、把已修改的crawler\dkcrw\下的jdbc.properties配置文件替换到\crawler\dkcrw-tomcat-7.0.56\webapps\root\web-inf\classes下(这下面有一个没有改好的直接替换)
大数据爬虫安装教程
修改好后把修改好的爬虫文件打压成压缩文件
4、上传平台主节点并解压(这里就不介绍怎么上传了的了,本次例子是上传到root目录下,安装包上传到任何目录下都可以推选root目录)
大数据爬虫安装教程unzip 解压命令,解压唱功后会多了一个 cuawler 的文件夹
大数据爬虫安装教程使用cd crawler 命令进入 crawler 文件夹下
大数据爬虫安装教程使用mysql -uroot -p123456 dkcrw.log 2>&1 &
从节点运行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &
注意：可以先使用前台启动爬虫，确定爬虫没错误。
前台启动命令java -jar dkcrw.jar master/slave