CREATE RESOURCE

説明

この文は、リソースを作成するために使用されます。リソースを作成できるのは、rootユーザーまたは管理者のみです。現在、StarRocksではSparkとHiveのリソースのみがサポートされています。将来的には、Spark/GPUをクエリに使用したり、外部ストレージとしてHDFS/S3を使用したり、ETLにMapReduceを使用するなど、他の外部リソースがStarRocksに追加されることがあります。

構文:

CREATE [EXTERNAL] RESOURCE "resource_name"
PROPERTIES ("key"="value", ...)

注：

PROPERTIESはリソースのタイプを指定します。現在、SparkとHiveのみがサポートされています。
PROPERTIESはリソースのタイプによって異なります。詳細は例を参照してください。

例

yarnクラスターモードで名前がspark0のSparkリソースを作成します。

CREATE EXTERNAL RESOURCE "spark0"
PROPERTIES
(
    "type" = "spark",
    "spark.master" = "yarn",
    "spark.submit.deployMode" = "cluster",
    "spark.jars" = "xxx.jar,yyy.jar",
    "spark.files" = "/tmp/aaa,/tmp/bbb",
    "spark.executor.memory" = "1g",
    "spark.yarn.queue" = "queue0",
    "spark.hadoop.yarn.resourcemanager.address" = "127.0.0.1:9999",
    "spark.hadoop.fs.defaultFS" = "hdfs://127.0.0.1:10000",
    "working_dir" = "hdfs://127.0.0.1:10000/tmp/starrocks",
    "broker" = "broker0",
    "broker.username" = "user0",
    "broker.password" = "password0"
);

Sparkに関連するパラメータは次のとおりです：

spark.master：必須です。現在、yarnとspark ://host:portがサポートされています。
spark.submit.deployMode：Sparkプログラムのデプロイモードが必要です。clusterとclientをサポートしています。
spark.hadoop.yarn.resourcemanager.address：masterがyarnの場合に必要です。
spark.hadoop.fs.defaultFS：masterがyarnの場合に必要です。
その他のパラメータはオプションです。詳細はhttp://spark.apache.org/docs/latest/configuration.htmlを参照してください。

SparkをETLに使用する場合は、working_DIRとbrokerを指定する必要があります。手順は次の通りです：

working_dir：ETLで使用されるディレクトリです。SparkをETLリソースとして使用する場合は必須です。例：hdfs://host:port/tmp/starrocks。
broker：ブローカーの名前です。SparkをETLリソースとして使用する場合、`ALTER SYSTEM ADD BROKER`コマンドを使用して事前に構成する必要があります。
broker.property_key：ETLによって作成された中間ファイルをブローカーが読み取る際に指定する必要のあるプロパティ情報です。

名前がhive0のHiveリソースを作成します。

CREATE EXTERNAL RESOURCE "hive0"
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.uris" = "thrift://10.10.44.98:9083"
);

CREATE RESOURCE

説明​

例​

説明

例