メインコンテンツまでスキップ

v2.0

StarRocks バージョン 2.0

2.0.9​

リリース日: 2022年8月6日

不具合修正​

以下の不具合が修正されました：

  • Broker Load ジョブにおいて、ブローカーが重負荷の場合、内部のハートビートがタイムアウトし、データの損失が発生することがあります。#8282
  • Broker Load ジョブにおいて、指定した StarRocks テーブルに COLUMNS FROM PATH AS パラメータで指定したカラムが存在しない場合、BE が停止します。#5346
  • 特定のクエリはリーダー FE に転送され、/api/query_detail アクションが SHOW FRONTENDS のような SQL ステートメントに関する実行情報を不正確に返すことがあります。#9185
  • 同じ HDFS データファイルをロードするために複数の Broker Load ジョブが作成された場合、1つのジョブで例外が発生すると、他のジョブも正しくデータを読み取ることができず、結果的に失敗する可能性があります。#9506

2.0.8​

リリース日: 2022年7月15日

不具合修正​

以下の不具合が修正されました：

  • リーダー FE ノードの切り替えを繰り返すと、すべてのロードジョブが停止し失敗する可能性があります。#7350
  • MemTable のメモリ使用量の推定値が4GBを超えると、BE がクラッシュすることがあります。これは、ロード中にデータのスキューが発生し、一部のフィールドが大量のメモリリソースを占有するためです。#7161
  • FE を再起動後、大文字と小文字の解析が正しく行われなかったため、マテリアライズドビューのスキーマが変更されました。#7362
  • Routine Load を使用して JSON データを Kafka から StarRocks にロードする場合、JSON データに空白行が含まれていると、空白行以降のデータが失われます。#8534

2.0.7​

リリース日: 2022年6月13日

不具合修正​

以下の不具合が修正されました：

  • コンパクション対象のテーブルの列に重複する値の数が 0x40000000 を超えると、コンパクションが一時停止します。#6513
  • FE の再起動後、BDB JE v7.3.8 のいくつかの問題により、I/O 負荷が高く、ディスク使用量が異常に増加し、正常に回復する兆候がありません。BDB JE v7.3.7 にロールバックすると、FE が正常に復元されます。#6634

2.0.6​

リリース日: 2022年5月25日

不具合修正​

以下の不具合が修正されました：

  • 一部のグラフィカルユーザーインターフェース（GUI）ツールは、set_sql_limit 変数を自動的に設定します。そのため、SQL ステートメントの ORDER BY LIMIT が無視され、クエリの結果の行数が不正確になる可能性があります。#5966
  • コロケーショングループ（CG）に多数のテーブルが含まれ、テーブルに頻繁にデータがロードされる場合、CGが stable の状態になることができないことがあります。この場合、JOIN ステートメントは Colocate Join 操作をサポートしません。StarRocks はデータロード中に少し長く待機するように最適化されました。これにより、データがロードされるタブレットレプリカの整合性を最大化することができます。
  • いくつかのレプリカが重負荷や高いネットワーク遅延などの理由でロードに失敗した場合、これらのレプリカのクローニングがトリガーされます。この場合、デッドロックが発生し、プロセスの負荷が低い状態でも大量のリクエストがタイムアウトする可能性があります。#5646 #6290
  • Primary Key テーブルを使用するテーブルのスキーマが変更された後、データをそのテーブルにロードする際に「重複キー xxx 」エラーが発生する場合があります。#5878
  • DROP SCHEMA ステートメントがデータベースで実行されると、データベースが強制的に削除され、復元できなくなります。#6201

2.0.5​

リリース日: 2022年5月13日

アップグレードの推奨事項: このバージョンでは、データの正確性やデータクエリに関連するいくつかの重要な不具合が修正されています。できるだけ早く StarRocks クラスタをアップグレードすることをお勧めします。

不具合修正​

以下の不具合が修正されました：

  • [致命的なバグ] BE の障害によりデータが失われる可能性があります。このバグは、特定のバージョンを複数の BE に同時に公開するメカニズムを導入することで修正されています。#3140
  • [致命的なバグ] 特定のデータインジェストフェーズでテーブルのタブレットが移動される場合、データは元のディスクに引き続き書き込まれます。その結果、データが失われ、クエリが正常に実行されなくなります。#5160
  • [致命的なバグ] 複数の DELETE 操作を実行した後にクエリを実行すると、クエリ結果が正しくならない場合があります。これは、低基数の列に対する最適化がクエリに対して行われるためです。#5712
  • [致命的なバグ] DOUBLE 値の列と VARCHAR 値の列を組み合わせるために JOIN 句を含むクエリの結果が正しくならない可能性があります。#5809
  • 特定の状況では、StarRocks クラスタにデータをロードする際に、特定のバージョンのレプリカがエフェクトを受ける前に FE によって有効とマークされることがあります。この時点で、特定のバージョンのデータをクエリすると、StarRocks はデータを見つけることができず、エラーが報告されます。#5153
  • SPLIT 関数のパラメータが NULL に設定された場合、StarRocks クラスタの BE が停止する場合があります。#4092
  • クラスタを Apache Doris 0.13 から StarRocks 1.19.x にアップグレードしてから一定期間稼働させると、StarRocks 2.0.1 へのさらなるアップグレードが失敗する場合があります。#5309

2.0.4​

リリース日: 2022年4月18日

不具合修正​

以下の不具合が修正されました：

  • 列の削除、新しいパーティションの追加、およびタブレットのクローニング後、古いタブレットと新しいタブレットの列の一意の ID が異なる場合があります。これにより、システムは共有されたタブレットのスキーマを使用しているため BE が動作を停止します。#4514
  • StarRocks 外部テーブルにデータがロードされている場合、対象の StarRocks クラスタの設定された FE がリーダーでない場合、FE が動作を停止します。#4573
  • 重複キーテーブルがスキーマの変更と同時にマテリアライズドビューを作成すると、クエリ結果が不正確になる可能性があります。#4839
  • BE の障害によるデータの損失の可能性の問題（バッチ公開バージョンの使用）が修正されました。#3140

2.0.3​

リリース日: 2022年3月14日

不具合修正​

以下の不具合が修正されました：

  • BE ノードがサスペンド状態になっている場合、クエリが失敗します。
  • シングルタブレットテーブルの結合に適切な実行計画がない場合、クエリが失敗します。#3854
  • FE ノードが低基数最適化のためにグローバル辞書を構築する情報を収集するとデッドロックが発生することがあります。#3839

2.0.2​

リリース日: 2022年3月2日

改善点​

  • メモリ使用量が最適化されました。ユーザーはラベル label_keep_max_num パラメータを指定して、一定期間内に保持するロードジョブの最大数を制御できます。これにより、頻繁なデータロードによる FE のメモリ使用量の高さによるフル GC を防止できます。

不具合修正​

以下の不具合が修正されました：

  • BE ノードがカラムデコーダで例外が発生すると、BE ノードが異常終了する問題が修正されました。
  • JSON データをロードする際にコマンドで jsonpaths を指定した場合、自動的な __op マッピングが効かない問題が修正されました。
  • データロード中にソースデータが変更されると、BE ノードが失敗する問題が修正されました。
  • マテリアライズドビューの作成後に一部の SQL ステートメントがエラーを報告する問題が修正されました。
  • SQL 句に、低基数最適化のためのグローバル辞書をサポートしている述語とサポートしていない述語が含まれる場合、クエリが失敗する可能性があります。

2.0.1​

リリース日: 2022年1月21日

改善点​

  • StarRocks が外部テーブルを使用して Hive データをクエリする際、Hive の implicit_cast 操作が読み取られるようになりました。#2829
  • StarRocks CBO が統計情報を収集し高並行性のクエリをサポートするための情報収集に使用するため、読み取り/書き込みロックを使用し、高い CPU 使用率が修正されました。#2901
  • CBO の統計情報収集と UNION 演算子が最適化されました。

不具合修正​

  • レプリカのグローバル辞書の一貫性によるクエリエラーが修正されました。#2700 #2765

  • データロード時のパラメータ exec_mem_limit が効かない問題が修正されました。#2693

    パラメータ exec_mem_limit は、データロード時の各 BE ノードのメモリ制限を指定します。

  • プライマリキーテーブルにデータをインポートする際に発生する OOM エラーが修正されました。#2743 #2777

  • StarRocks が外部テーブルを使用して大きな MySQL テーブルをクエリする際に BE ノードが応答しなくなる問題が修正されました。#2881

動作の変更点​

StarRocks は外部テーブルを使用して Hive とその AWS S3 ベースの外部テーブルにアクセスすることができます。ただし、S3 データにアクセスするために使用する jar ファイルは非常に大きく、StarRocks のバイナリパッケージにはこの jar ファイルが含まれていません。この jar ファイルを使用する場合は、Hive_s3_lib からダウンロードすることができます。

2.0.0​

リリース日: 2022年1月5日

新機能​

  • 外部テーブル
    • S3 上の Hive 外部テーブルをサポートするための実験的な機能
    • 外部テーブルの DecimalV3 サポート #425
  • ストレージレイヤーで計算が行われるように複雑な式を押し下げる機能の実装によりパフォーマンスが向上しました
  • プライマリキーが正式にリリースされ、Stream Load、Broker Load、Routine Load に対応し、また Flink-cdc をベースとした MySQL データの2次同期ツールを提供します。

改善点​

  • 算術演算子の最適化
    • 低基数辞書のパフォーマンスを最適化しました #791
    • シングルテーブルの int のスキャンパフォーマンスを最適化しました#273
    • 高基数の count(distinct int) のパフォーマンスを最適化しました #139 #250 #544#570
    • 実装レベルでの Group by int / limit / case when / not equal のパフォーマンスを最適化しました
  • メモリ管理の最適化
    • メモリの統計と制御フレームワークをリファクタリングし、正確なメモリ使用量のカウントを行うことで OOM を完全に解決しました
    • メタデータのメモリ使用量を最適化しました
    • 実行スレッドで大量のメモリ解放が長時間スタックする問題を解決しました
    • プロセスの優雅な終了メカニズムを追加し、メモリリークのチェックをサポートしました #1093

不具合修正​

  • Hive 外部テーブルが大量のメタデータを取得するタイムアウトの問題が修正されました。
  • マテリアライズドビューの作成時にわかりにくいエラーメッセージの問題が修正されました。
  • ベクトル化エンジンでの like の実装が修正されました #722
  • alter table で述語の解析がうまくいかないエラーが修正されました #725
  • curdate 関数が日付を正しくフォーマットできない問題が修正されました。