本文共 1502 字,大约阅读时间需要 5 分钟。
在大数据开发套件中是可以实现mongo同步到Maxcompute。
数据集成文档:
后端是通过华东1区的调度资源进行数据的调度传输。但是如果阿里云mongo不在华东1在其他区域,使用默认资源组就不能正常同步了。那么就需要用户通过自己添加调度机器进行同步。1,准备一台调度服务器,要求必须和云mongo相同网络类型相同的区域。官方文档:注意:*请务必使用内网ip新增注册调度资源*请务必使用ecs实例的主机名称,要求和机器上 hostname下的主机名称一致,修改后的主机名称会出现异常。*请注意ecs系统,建议使用 centos6、centos7 或者 aliyunos;大数据开发套件-项目管理-调度资源管理-新增调度资源增加主机名和内网ip然后到ecs服务器上初始化执行初始化命令会有下图如果成功初始化,一般会显示下载各种需要的包最后到控制台看下服务器状态,刷新几次2,在大数据开发套件-数据集成-数据源-新数据源-选择mongo数据源类型-阿里云数据库在这里注意,实例id要写对,地区要选对。
另外vpc下的目前是不支持测试连通性,直接点击确认
**请务必将新增的调度资源ecs的内网ip加入mongo的白名单3,在数据集成-新建任务数据集成中mongo数据源暂时不支持向导模式,选择脚本模式选择来源是mongo,目标odps(即maxcompute)然后确认会生成脚本模版具体配置可以参考{ "configuration": { "reader": { "plugin": "mongodb", "parameter": { "datasource": "mongoxxxtest",//数据源名称 "column": [ { "name": "title", "type": "description" } ], "collectionName": "shangdantest"//集合名称 } }, "writer": { "plugin": "odps", "parameter": { "partition": "", "truncate": false, "datasource": "aliyunxxxodps", "column": [ "title", "desc_d" ], "table": "mongo_test" } }, "setting": { "errorLimit": { "record": "0" }, "speed": { "concurrent": "1", "mbps": "1" } } }, "type": "job", "version": "1.0"}
可以参考官方文档配置
配置完成后,点击保存-提交然后到运维中心-任务管理-找到任务-测试运行看下任务运行如果失败到运维中心-任务运维-查看任务运行的日志日志中如果出现下方错误*检查数据源,是否把地区和实例id写对了*检查账户是否是同步库的账户。如果问题没有解决,可以提交工单咨询阿里云售后工程师转载地址:http://judlo.baihongyu.com/