注,该方法只支持cos普通桶,且访问权限为 私有读写。
在 common.runtime.properties中的 druid.extensions.loadList 中添加 "druid-s3-extensions" 。最终如下
druid.extensions.loadList=["druid-s3-extensions","druid-hdfs-storage","mysql-metadata-storage","druid-kafka-indexing-service","druid-datasketches","druid-kerberos","druid-histogram","druid-lookups-cached-global"]
修改 common.runtime.properties 中的 druid.storage.type、druid.indexer.logs.type 为s3,新增druid.s3.accessKey、druid.s3.secretKey、druid.s3.endpoint.signingRegion、druid.s3.endpoint.url、druid.storage.baseKey、druid.storage.bucket 、druid.indexer.logs.s3Bucket、druid.indexer.logs.s3Prefix配置项
配置项 | 解释 |
---|---|
druid.storage.type | druid的深度存储的类型 |
druid.s3.accessKey | 对应的是cos的secretId |
druid.s3.secretKey | 对应的是cos的SecretKey |
druid.s3.endpoint.signingRegion | 对应的是cos桶所在地域,例如ap-guangzhou,ap-beijing |
druid.s3.endpoint.url | 对应的是cos服务地址,形式为:cos.<Region>.myqcloud.com |
druid.storage.bucket | 深度存储桶的名称,对应的是cos桶的名称,格式为<BucketName-APPID> |
druid.storage.baseKey | 深度存储桶中的路径,对应的是cos桶中的存储路径 |
druid.indexer.logs.type | druid的索引日志文件存储类型 |
druid.indexer.logs.s3Bucket | druid的索引日志文件使用的存储桶的名称,对应的是cos桶的名称,格式为<BucketName-APPID> |
druid.indexer.logs.s3Prefix | druid的索引日志文件存储桶中的路径,对应的是cos桶中的存储路径 |
例如添加广州的一个cos桶,配置如下:
druid.storage.type=s3
druid.s3.accessKey=xxxxxxxxx
druid.s3.secretKey=yyyyyyyyyyy
druid.storage.baseKey=druid/segments3
druid.storage.bucket=wangxp-12xxxxx
druid.s3.endpoint.signingRegion=ap-guangzhou
druid.s3.endpoint.url=cos.ap-guangzhou.myqcloud.com
druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=wangxp-12xxxxx
druid.indexer.logs.s3Prefix=druid/indexing-logs
在控制台重启各个druid的服务
在druid的web页面中 Load data 中选择 Local disk
然后在Base director中输入 /usr/local/service/druid/quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz ,在File filter中选择*.json.gz ,点击 Apply,然后点击下一步
之后一直点击下一步,到有 Primary partitioning (by time)这个页面上Segment granularity上选择hour
然后继续点击下一步,最后点击提交按钮
提交后调整到task页面,可以看到刚才提交的任务
待任务成功后,可以在segments 页面看到对应的 segment,点击查看原数据信息,此时可以看到配置都是s3的。
最后在cos上也可以看到生成的目录
参考:
https://cloud.tencent.com/document/product/436/41284
https://druid.apache.org/docs/latest/development/extensions-core/s3.html