如果可能,我们建议使用 Apache Cassandra 本机复制通过配置混合群集将数据从现有群集迁移到适用于 Apache Cassandra 的 Azure 托管实例。 此方法将使用 Apache Cassandra 的八卦协议将数据从源数据中心复制到新的托管实例数据中心。 但是,在某些情况下,源数据库版本不兼容,或者混合群集设置不可行。
本教程介绍如何使用 Cassandra Spark 连接器以脱机方式将数据迁移到适用于 Apache Cassandra 的 Azure 托管实例,以及适用于 Apache Spark 的 Azure Databricks。
Prerequisites
使用 Azure 门户或Azure CLI为 Apache Cassandra 群集预配Azure 托管实例,并确保可以使用 CQLSH 连接到群集。
在托管 Cassandra VNet 中预配Azure Databricks帐户。 确保它还对源 Cassandra 群集具有网络访问权限。
确保已将 keyspace/table 方案从源 Cassandra 数据库迁移到目标 Cassandra 托管实例 数据库。
预配Azure Databricks群集
建议选择支持 Spark 3.0 的 Databricks 运行时版本 7.5。
添加依赖项
将 Apache Spark Cassandra 连接器库添加到群集,以便连接到原生终结点和 Azure Cosmos DB Cassandra 终结点。 在群集中,选择库>安装新库>Maven,然后在 Maven 坐标中添加com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0。
选择“安装”,然后在安装完成后重启群集。
Note
确保安装 Cassandra 连接器库后重启 Databricks 群集。
创建用于迁移的 Scala 笔记本
在 Databricks 中创建 Scala 笔记本。 请将您的源和目标 Cassandra 配置替换为相应的认证信息,以及源和目标的密钥空间和表。 然后运行以下代码:
import com.datastax.spark.connector._
import com.datastax.spark.connector.cql._
import org.apache.spark.SparkContext
// source cassandra configs
val sourceCassandra = Map(
"spark.cassandra.connection.host" -> "<Source Cassandra Host>",
"spark.cassandra.connection.port" -> "9042",
"spark.cassandra.auth.username" -> "<USERNAME>",
"spark.cassandra.auth.password" -> "<PASSWORD>",
"spark.cassandra.connection.ssl.enabled" -> "false",
"keyspace" -> "<KEYSPACE>",
"table" -> "<TABLE>"
)
//target cassandra configs
val targetCassandra = Map(
"spark.cassandra.connection.host" -> "<Source Cassandra Host>",
"spark.cassandra.connection.port" -> "9042",
"spark.cassandra.auth.username" -> "<USERNAME>",
"spark.cassandra.auth.password" -> "<PASSWORD>",
"spark.cassandra.connection.ssl.enabled" -> "true",
"keyspace" -> "<KEYSPACE>",
"table" -> "<TABLE>",
//throughput related settings below - tweak these depending on data volumes.
"spark.cassandra.output.batch.size.rows"-> "1",
"spark.cassandra.output.concurrent.writes" -> "1000",
"spark.cassandra.connection.remoteConnectionsPerExecutor" -> "10",
"spark.cassandra.concurrent.reads" -> "512",
"spark.cassandra.output.batch.grouping.buffer.size" -> "1000",
"spark.cassandra.connection.keep_alive_ms" -> "600000000"
)
//Read from source Cassandra
val DFfromSourceCassandra = sqlContext
.read
.format("org.apache.spark.sql.cassandra")
.options(sourceCassandra)
.load
//Write to target Cassandra
DFfromSourceCassandra
.write
.format("org.apache.spark.sql.cassandra")
.options(targetCassandra)
.mode(SaveMode.Append) // only required for Spark 3.x
.save
Note
如果需要保留每行的原始 writetime,请参阅 cassandra 迁移程序 示例。