快捷導(dǎo)航

Spring Boot與Spark、Cassandra系統(tǒng)集成開發(fā)示例

更新時間：2018年02月01日 10:45:25 作者：汪云飛

本文演示以Spark作為分析引擎,Cassandra作為數(shù)據(jù)存儲,而使用Spring Boot來開發(fā)驅(qū)動程序的示例。對spring boot 與spark cassandra集成開發(fā)示例代碼感興趣的朋友跟著腳本之家小編一起學(xué)習(xí)吧

本文演示以Spark作為分析引擎,Cassandra作為數(shù)據(jù)存儲,而使用Spring Boot來開發(fā)驅(qū)動程序的示例。

1.前置條件

安裝Spark(本文使用Spark-1.5.1,如安裝目錄為/opt/spark)
安裝Cassandra(3.0+)

創(chuàng)建keyspace

CREATE KEYSPACE hfcb WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };

創(chuàng)建table

CREATE TABLE person (
 id text PRIMARY KEY,
 first_name text,
 last_name text
);

插入測試數(shù)據(jù)

insert into person (id,first_name,last_name) values('1','wang','yunfei');
insert into person (id,first_name,last_name) values('2','peng','chao');
insert into person (id,first_name,last_name) values('3','li','jian');
insert into person (id,first_name,last_name) values('4','zhang','jie');
insert into person (id,first_name,last_name) values('5','liang','wei');

2.spark-cassandra-connector安裝

讓Spark-1.5.1能夠使用Cassandra作為數(shù)據(jù)存儲，需要加上下面jar包的依賴(示例將包放置于 /opt/spark/managed-lib/ 目錄，可任意):

cassandra-clientutil-3.0.2.jar
cassandra-driver-core-3.1.4.jar
guava-16.0.1.jar
cassandra-thrift-3.0.2.jar 
joda-convert-1.2.jar
joda-time-2.9.9.jar
libthrift-0.9.1.jar
spark-cassandra-connector_2.10-1.5.1.jar

在 /opt/spark/conf 目錄下，新建 spark-env.sh 文件，輸入下面內(nèi)容

SPARK_CLASSPATH=/opt/spark/managed-lib/*

3.Spring Boot應(yīng)用開發(fā)

添加 spark-cassandra-connector 和 spark 依賴

<dependency>
   <groupId>com.datastax.spark</groupId>
   <artifactId>spark-cassandra-connector_2.10</artifactId>
   <version>1.5.1</version>
  </dependency>
  <dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-core_2.10</artifactId>
   <version>1.5.1</version>
  </dependency>
  <dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-sql_2.10</artifactId>
   <version>1.5.1</version>
  </dependency>

在 application.yml 中配置 spark 與 cassandra 路徑

spark.master: spark://master:7077
cassandra.host: 192.168.1.140
cassandra.keyspace: hfcb

此處特別說明 spark://master:7077 是域名形式而不是ip地址，可修改本地 hosts 文件將 master 與 ip 地址映射。

配置 SparkContext 和 CassandraSQLContext

@Configuration
public class SparkCassandraConfig {
 @Value("${spark.master}")
 String sparkMasterUrl;
 @Value("${cassandra.host}")
 String cassandraHost;
 @Value("${cassandra.keyspace}")
 String cassandraKeyspace;
 @Bean
 public JavaSparkContext javaSparkContext(){
  SparkConf conf = new SparkConf(true)
    .set("spark.cassandra.connection.host", cassandraHost)
//    .set("spark.cassandra.auth.username", "cassandra")
//    .set("spark.cassandra.auth.password", "cassandra")
    .set("spark.submit.deployMode", "client");
  JavaSparkContext context = new JavaSparkContext(sparkMasterUrl, "SparkDemo", conf);
  return context;
 }
 @Bean
 public CassandraSQLContext sqlContext(){
  CassandraSQLContext cassandraSQLContext = new CassandraSQLContext(javaSparkContext().sc());
  cassandraSQLContext.setKeyspace(cassandraKeyspace);
  return cassandraSQLContext;
 }
 }

簡單調(diào)用

@Repository
public class PersonRepository {
 @Autowired
 CassandraSQLContext cassandraSQLContext;
 public Long countPerson(){
  DataFrame people = cassandraSQLContext.sql("select * from person order by id");
  return people.count();
 }
}

啟動即可如常規(guī)Spring Boot程序一樣執(zhí)行。

源碼地址: https://github.com/wiselyman/spring-spark-cassandra.git

總結(jié)

以上所述是小編給大家介紹的Spring Boot與Spark、Cassandra系統(tǒng)集成開發(fā)示例，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！

您可能感興趣的文章: