博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute
阅读量:6705 次
发布时间:2019-06-25

本文共 1502 字,大约阅读时间需要 5 分钟。

在大数据开发套件中是可以实现mongo同步到Maxcompute。

数据集成文档:

后端是通过华东1区的调度资源进行数据的调度传输。但是如果阿里云mongo不在华东1在其他区域,使用默认资源组就不能正常同步了。那么就需要用户通过自己添加调度机器进行同步。
1,准备一台调度服务器,要求必须和云mongo相同网络类型相同的区域。
官方文档:
注意:
*请务必使用内网ip新增注册调度资源
*请务必使用ecs实例的主机名称,要求和机器上 hostname下的主机名称一致,修改后的主机名称会出现异常。
*请注意ecs系统,建议使用 centos6、centos7 或者 aliyunos;
大数据开发套件-项目管理-调度资源管理-新增调度资源
增加主机名和内网ip
然后到ecs服务器上初始化
3
执行初始化命令会有下图
4
如果成功初始化,一般会显示下载各种需要的包5
最后到控制台看下服务器状态,刷新几次
2
2,在大数据开发套件-数据集成-数据源-新数据源-选择mongo数据源类型-阿里云数据库
3333

在这里注意,实例id要写对,地区要选对。

另外vpc下的目前是不支持测试连通性,直接点击确认

*
*请务必将新增的调度资源ecs的内网ip加入mongo的白名单
3,在数据集成-新建任务6
数据集成中mongo数据源暂时不支持向导模式,选择脚本模式
选择来源是mongo,目标odps(即maxcompute)
7
然后确认会生成脚本模版8
具体配置可以参考

{  "configuration": {    "reader": {      "plugin": "mongodb",      "parameter": {        "datasource": "mongoxxxtest",//数据源名称        "column": [          {            "name": "title",            "type": "description"          }        ],        "collectionName": "shangdantest"//集合名称      }    },    "writer": {      "plugin": "odps",      "parameter": {        "partition": "",        "truncate": false,        "datasource": "aliyunxxxodps",        "column": [          "title",          "desc_d"        ],        "table": "mongo_test"      }    },    "setting": {      "errorLimit": {        "record": "0"      },      "speed": {        "concurrent": "1",        "mbps": "1"      }    }  },  "type": "job",  "version": "1.0"}

可以参考官方文档配置

配置完成后,点击保存-提交
然后到运维中心-任务管理-找到任务-测试运行看下_
任务运行如果失败
到运维中心-任务运维-查看任务运行的日志_
日志中如果出现下方错误10
*检查数据源,是否把地区和实例id写对了
*检查账户是否是同步库的账户。
如果问题没有解决,可以提交工单咨询阿里云售后工程师

转载地址:http://judlo.baihongyu.com/

你可能感兴趣的文章
careercup-递归和动态规划 9.3
查看>>
[Node.js] npm init && npm install
查看>>
linux下命令学习
查看>>
Jar
查看>>
Java开发中的23种设计模式详解
查看>>
kafka Windows客户端Linux服务器---转
查看>>
hadoop mapreduce 基础实例一记词
查看>>
Oracle Trunc
查看>>
链表中倒数第k个结点
查看>>
OpenStreetMap初探(一)——了解OpenStreetMap
查看>>
判断线段相交
查看>>
traceroute工作原理
查看>>
C++入门知识总结(1)
查看>>
C#删除文件直接到回收站,而不是直接删除
查看>>
4个好用的JS联动选择插件
查看>>
C# 超时工具类 第二版
查看>>
man手册导出成txt,pdf,html的一些小技巧
查看>>
SQL Server中使用正则表达式
查看>>
IntegrityError duplicate key value violates unique constraint - django/postgres
查看>>
linux上怎么切换不同版本的arm-linux-gcc?只需改一行函数
查看>>