当前位置: 首页 > news >正文

有趣的网站小游戏西宁网站seo

有趣的网站小游戏,西宁网站seo,flash做网站的流程,全国工商网注册查询网1.Maxwell的配置 其实就是配置两端的配置信息,都要能连接上,然后才能去传输数据 config.properties #Maxwell数据发送目的地,可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis producerkafka # 目标Kafka集群地址 kafka.bootstrap.servershadoop102…

1.Maxwell的配置
其实就是配置两端的配置信息,都要能连接上,然后才能去传输数据
config.properties

#Maxwell数据发送目的地,可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
# 目标Kafka集群地址
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#目标Kafka topic,可静态配置,例如:maxwell,也可动态配置,例如:%{database}_%{table}
kafka_topic=topic_db# MySQL相关配置
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true# 过滤gmall中的z_log表数据,该表是日志数据的备份,无须采集
filter=exclude:gmall.z_log
# 指定数据按照主键分组进入Kafka不同分区,避免数据倾斜
producer_partition_by=primary_key

2.群起脚本

#!/bin/bashMAXWELL_HOME=/opt/module/maxwell-1.29.2status_maxwell(){result=`ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | wc -l`return $result
}start_maxwell(){status_maxwellif [[ $? -lt 1 ]]; thenecho "启动Maxwell"$MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemonelseecho "Maxwell正在运行"fi
}stop_maxwell(){status_maxwellif [[ $? -gt 0 ]]; thenecho "停止Maxwell"ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | awk '{print $2}' | xargs kill -9elseecho "Maxwell未在运行"fi
}case $1 instart )start_maxwell;;stop )stop_maxwell;;restart )stop_maxwellstart_maxwell;;
esac
  1. Kafka消费者开始等待消费
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_db

在这里插入图片描述
4.全量同步

/opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/module/maxwell/config.properties

在这里插入图片描述
每条数据都有时间戳,这个时间戳是同步的时间

5.为什么Kafka后面需要拦截器?
零点漂移,当为一天末点时,时间戳还是末点,但是到第二个Flume时,时间戳更新,这时候直接到第二天,导致数据与时间不一致.
在这里插入图片描述

http://www.yidumall.com/news/75932.html

相关文章:

  • 广州网站制作知名 乐云践新管理培训
  • 公司名字寓意好的字百度权重优化软件
  • wordpress主题重命名搜索引擎优化包括哪些
  • 建站工具官网沈阳seo按天计费
  • wordpress支持大文件上传seo挂机赚钱
  • wordpress页面文本编辑器seo搜索优化技术
  • 城市网站联盟百度如何免费打广告
  • 安徽旅游集团网站建设网络推广推广外包服务
  • 网站备案收费幕布浏览广告赚钱的平台
  • p2p网上贷款网站建设方案二十条优化措施原文
  • 微信开发小程序公司网站优化外包推荐
  • 深圳网站建设总部软文发布推广平台
  • wordpress做社交网站吗seo优化轻松seo优化排名
  • 猪八戒做网站要多少钱腾讯域名
  • 网站开发类专业服务文案seo的作用主要有
  • 用来做调查问卷的网站网络营销手段
  • 泉州做网站建设seo专员是干嘛的
  • 网站二级目录做优化百度seo优化系统
  • 网站一般都是用什么软件做的seo推广专员工作好做吗
  • 牡丹江建设局网站百度搜索推广收费标准
  • 手机免费制作自己的网站优化技术
  • 电子商务网站建设核心互联网推广的方式
  • 深圳品牌网站建设公司哪家好班级优化大师怎么用
  • 我做网站如何分流客户网站策划是什么
  • 做网站的控件重庆seo入门教程
  • 阳江有哪些建站公司教育培训机构排名
  • 广州英文建站公司爱站网排名
  • 做双语网站用什么cms系统好seo标题优化的方法
  • 深圳罗湖做网站公司哪家好百度可以发布广告吗
  • 可以做ppt的网站有哪些内容seo入口