Flink connector
Flinkコネクタ
通知
ユーザーガイド:
JARファイルの命名規則:
- Flink 1.15以降:
flink-connector-starrocks-${connector_version}_flink-${flink_version}.jar - Flink 1.15より前:
flink-connector-starrocks-${connector_version}_flink-${flink_version}_${scala_version}.jar
JARファイルを入手する方法:
- Maven Central Repositoryから直接FlinkコネクタJARファイルをダウンロードします。
- Mavenプロジェクトの
pom.xmlファイルにFlinkコネクタを依存関係として追加し、ダウンロードします。詳細な手順については、ユーザーガイドを参照してください。 - ソースコードをFlinkコネクタJARファイルにコンパイルします。詳細な手順については、ユーザーガイドを参照してください。
バージョン要件:
コネクタ | Flink | StarRocks | Java | Scala |
|---|---|---|---|---|
1.2.8 | 1.13,1.14,1.15,1.16,1.17 | 2.1以降 | 8 | 2.11,2.12 |
1.2.7 | 1.11,1.12,1.13,1.14,1.15 | 2.1以降 | 8 | 2.11,2.12 |
注意
一般的に、最新バージョンのFlinkコネクタは、最新の3つのFlinkバージョンとの互換性を維持します。
リリースノート
1.2
1.2.8
このリリースにはいくつかの改善とバグ修正が含まれています。主な変更点は以下の通りです:
- Flink 1.16と1.17をサポートします。
- sinkが正確に一度だけ処理を保証するように構成されている場合、
sink.label-prefixを設定することをおすすめします。具体的な手順については、Exactly Onceを参照してください。
改善点
- 最低一回の処理を保証するためにストリームロードトランザクションインターフェースを使用するかどうかを構成できるようにサポートします。#228
- sink V1にリトライメトリクスを追加します。#229
- EXISTING_JOB_STATUSがFINISHEDの場合、getLabelStateは不要です。#231
- sink V1の不要なスタックトレースログを削除します。#232
- [リファクタ] StarRocksSinkManagerV2をstream-load-sdkに移動します。#233
- ユーザーが明示的に指定した
sink.properties.columnsパラメータではなく、Flinkテーブルのスキーマに基づいて部分的な更新を自動的に検出します。#235 - [リファクタ] probeTransactionStreamLoadをstream-load-sdkに移動します。#240
- stream-load-sdkにgit-commit-id-pluginを追加します。#242
- DefaultStreamLoader#closeにinfoログを使用します。#243
- 依存関係なしでstream-load-sdk JARファイルを生成するサポートを追加します。#245
- stream-load-sdk内のfastjsonをjacksonで置き換えます。#247
- update_beforeレコードの処理をサポートします。#250
- ファイルにApacheライセンスを追加します。#251
- stream-load-sdkで例外を取得するサポートを追加します。#252
strip_outer_arrayとignore_json_sizeをデフォルトで有効にします。#259- Flinkジョブがリストアされ、sinkのセマンティクスが正確に一度だけの場合、残留トランザクションのクリーンアップを試みます。#271
- リトライが失敗した後の最初の例外を返します。#279
バグ修正
テスト
- KafkaからStarRocksへのロードテストフレームワークを追加します。#249
ドキュメント