EMR Druid 使用S3协议使用COS
 自在人生  分类:IT技术  人气:123  回帖:0  发布于1年前 收藏

注,该方法只支持cos普通桶,且访问权限为 私有读写。

添加S3的支持

 common.runtime.properties中的 druid.extensions.loadList 中添加 "druid-s3-extensions" 。最终如下

druid.extensions.loadList=["druid-s3-extensions","druid-hdfs-storage","mysql-metadata-storage","druid-kafka-indexing-service","druid-datasketches","druid-kerberos","druid-histogram","druid-lookups-cached-global"]

添加S3的配置

修改 common.runtime.properties 中的 druid.storage.type、druid.indexer.logs.type 为s3,新增druid.s3.accessKey、druid.s3.secretKey、druid.s3.endpoint.signingRegion、druid.s3.endpoint.url、druid.storage.baseKey、druid.storage.bucket 、druid.indexer.logs.s3Bucket、druid.indexer.logs.s3Prefix配置项

配置项

解释

druid.storage.type

druid的深度存储的类型

druid.s3.accessKey

对应的是cos的secretId

druid.s3.secretKey

对应的是cos的SecretKey

druid.s3.endpoint.signingRegion

对应的是cos桶所在地域,例如ap-guangzhou,ap-beijing

druid.s3.endpoint.url

对应的是cos服务地址,形式为:cos.<Region>.myqcloud.com

druid.storage.bucket

深度存储桶的名称,对应的是cos桶的名称,格式为<BucketName-APPID>

druid.storage.baseKey

深度存储桶中的路径,对应的是cos桶中的存储路径

druid.indexer.logs.type

druid的索引日志文件存储类型

druid.indexer.logs.s3Bucket

druid的索引日志文件使用的存储桶的名称,对应的是cos桶的名称,格式为<BucketName-APPID>

druid.indexer.logs.s3Prefix

druid的索引日志文件存储桶中的路径,对应的是cos桶中的存储路径

例如添加广州的一个cos桶,配置如下:

druid.storage.type=s3
druid.s3.accessKey=xxxxxxxxx
druid.s3.secretKey=yyyyyyyyyyy
druid.storage.baseKey=druid/segments3
druid.storage.bucket=wangxp-12xxxxx
druid.s3.endpoint.signingRegion=ap-guangzhou
druid.s3.endpoint.url=cos.ap-guangzhou.myqcloud.com

druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=wangxp-12xxxxx
druid.indexer.logs.s3Prefix=druid/indexing-logs

重启druid的所有服务

在控制台重启各个druid的服务

验证

在druid的web页面中 Load data 中选择 Local disk

然后在Base director中输入 /usr/local/service/druid/quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz ,File filter中选择*.json.gz ,点击 Apply,然后点击下一步

之后一直点击下一步,到有 Primary partitioning (by time)这个页面上Segment granularity上选择hour

然后继续点击下一步,最后点击提交按钮

提交后调整到task页面,可以看到刚才提交的任务

待任务成功后,可以在segments 页面看到对应的 segment,点击查看原数据信息,此时可以看到配置都是s3的。

最后在cos上也可以看到生成的目录

参考:

https://cloud.tencent.com/document/product/436/41284

https://druid.apache.org/docs/latest/development/extensions-core/s3.html

 标签: 暂无标签

讨论这个帖子(0)垃圾回帖将一律封号处理……