当前位置: 首页 > news >正文

江阴网站开发招聘seo专业培训

江阴网站开发招聘,seo专业培训,稿定设计在线ps,wordpress 怎么添加即时联系窗口DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 https://github.com/alibaba/DataX Features DataX本身作为数据同…

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

https://github.com/alibaba/DataX

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

System Requirements

  • Linux
  • JDK(1.8以上,推荐1.8)
  • Python(2或3都可以)
  • Apache Maven 3.x (Compile DataX)

Quick Start

  • 工具部署

    • 方法一、直接下载DataX工具包:DataX下载地址

      下载后解压至本地某个目录,进入bin目录,即可运行同步作业:

      $ cd  {YOUR_DATAX_HOME}/bin
      $ python datax.py {YOUR_JOB.json}

      自检脚本:    python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

    • 方法二、下载DataX源码,自己编译:DataX源码

      (1)、下载DataX源码:

      $ git clone git@github.com:alibaba/DataX.git

      (2)、通过maven打包:

      $ cd  {DataX_source_code_home}
      $ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

      打包成功,日志显示如下:

      [INFO] BUILD SUCCESS
      [INFO] -----------------------------------------------------------------
      [INFO] Total time: 08:12 min
      [INFO] Finished at: 2015-12-13T16:26:48+08:00
      [INFO] Final Memory: 133M/960M
      [INFO] -----------------------------------------------------------------
      

      打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,结构如下:

      $ cd  {DataX_source_code_home}
      $ ls ./target/datax/datax/
      bin		conf		job		lib		log		log_perf	plugin		script		tmp
  • 配置示例:从stream读取数据并打印到控制台

    • 第一步、创建作业的配置文件(json格式)

      可以通过命令查看配置模板: python datax.py -r {YOUR_READER} -w {YOUR_WRITER}

      $ cd  {YOUR_DATAX_HOME}/bin
      $  python datax.py -r streamreader -w streamwriter
      DataX (UNKNOWN_DATAX_VERSION), From Alibaba !
      Copyright (C) 2010-2015, Alibaba Group. All Rights Reserved.
      Please refer to the streamreader document:https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md Please refer to the streamwriter document:https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md Please save the following configuration as a json file and  usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json 
      to run the job.{"job": {"content": [{"reader": {"name": "streamreader", "parameter": {"column": [], "sliceRecordCount": ""}}, "writer": {"name": "streamwriter", "parameter": {"encoding": "", "print": true}}}], "setting": {"speed": {"channel": ""}}}
      }

      根据模板配置json如下:

      #stream2stream.json
      {"job": {"content": [{"reader": {"name": "streamreader","parameter": {"sliceRecordCount": 10,"column": [{"type": "long","value": "10"},{"type": "string","value": "hello,你好,世界-DataX"}]}},"writer": {"name": "streamwriter","parameter": {"encoding": "UTF-8","print": true}}}],"setting": {"speed": {"channel": 5}}}
      }
    • 第二步:启动DataX

      $ cd {YOUR_DATAX_DIR_BIN}
      $ python datax.py ./stream2stream.json 

      同步结束,显示日志如下:

      ...
      2015-12-17 11:20:25.263 [job-0] INFO  JobContainer - 
      任务启动时刻                    : 2015-12-17 11:20:15
      任务结束时刻                    : 2015-12-17 11:20:25
      任务总计耗时                    :                 10s
      任务平均流量                    :              205B/s
      记录写入速度                    :              5rec/s
      读出记录总数                    :                  50
      读写失败总数                    :                   0
http://www.yidumall.com/news/33384.html

相关文章:

  • 郑州网站建设包括哪些长沙企业seo服务
  • wordpress widget修改枣庄网络推广seo
  • 广州做公司网站网站运营推广选择乐云seo
  • 建立一个网站用英语怎么说快速排名新
  • b2b平台的发展前景seo搜索引擎优化人员
  • 专业网站建设公司首选公司四川seo推广方案
  • 网站建设推广代运营网络优化工程师工资
  • 自己做网站买东西淘宝竞价排名
  • 什么是网站风格免费html网站模板
  • 专业设计网站排名seo策略什么意思
  • 创业 做网站b站免费建网站
  • 备案 网站名称怎么写优化大师兑换码
  • 施工企业有哪些长沙靠谱seo优化费用
  • 潍坊做网站哪个公司好seo自动优化工具
  • 网站制作前期所需要准备购物网站页面设计
  • 怎么做网络游戏推广网站seo排名免费咨询
  • 做公众号网站软文案例大全
  • 如何用dw做网站底页徐州seo
  • 宁波企业自助建站上海网站建设开发公司
  • phpcms 调用网站名称网络优化工程师主要负责什么工作
  • 百度地图官网2022最新版下载唐山seo优化
  • 全国哪个餐饮品牌的网站做的好百度关键词搜索排名查询
  • 心理网站 模版手机百度app最新版下载
  • 做装饰画的行业网站福州seo结算
  • 泉州做鞋子批发的网站郑州百度推广公司电话
  • 做哪类英文网站赚钱产品软文范例800字
  • 国外对旅游网站建设的现状培训网站
  • 快站模板百度站长工具验证
  • 怎么给自己的公司做网站谷歌广告开户
  • 制作一个网站的费用是多少钱徐州seo管理