Spark3大数据实时处理-Streaming+Structured Streaming 实战

Download: https://xmq1024.com/3132.html

Spark3是一款强大的大数据处理框架，其中包括了实时流处理（Streaming）和结构化流处理（Structured Streaming）两种方式。这两种方式在实时数据处理方面都有很好的表现，本文将介绍如何使用Spark3进行实时处理。

首先，我们需要了解Spark3中的一些基本概念：

- DStream（Discretized Stream）：Spark Streaming中的基本抽象，代表一个连续的数据流。
- Transformations：对DStream进行操作的函数，可以对数据进行过滤、转换等操作。
- Actions：对DStream进行操作的函数，可以触发计算并产生输出。

Streaming方式：

在使用Spark Streaming进行实时处理时，我们需要创建一个StreamingContext对象，它是Spark Streaming的入口点。我们可以使用该对象创建一个DStream，然后对其进行Transformations和Actions操作。

下面是一个简单的Spark Streaming示例，它从一个TCP/IP端口接收数据，并打印出每个单词的出现次数：

```python
from pyspark import SparkContext
from pyspark.streaming import StreamingContext

sc = SparkContext(appName="StreamingExample")
ssc = StreamingContext(sc, 1)

lines = ssc.socketTextStream("localhost", 9999)
words = lines.flatMap(lambda line: line.split(" "))
wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda x, y: x + y)
wordCounts.pprint()

ssc.start()
ssc.awaitTermination()
```

在上面的代码中，我们首先创建了一个SparkContext对象和一个StreamingContext对象。接着，我们使用socketTextStream()函数从TCP/IP端口读取数据，并对其进行一系列Transformations和Actions操作。最后，我们启动StreamingContext，并等待处理完成。

Structured Streaming方式：

Structured Streaming是Spark 2.0中引入的一种新的实时处理方式，它使用Spark SQL的API进行数据处理。与Spark Streaming不同，Structured Streaming将数据处理看作是一种连续的、类似于批处理的过程。

下面是一个简单的Structured Streaming示例，它从Kafka主题接收数据，并计算每个单词的出现次数：

```python
from pyspark.sql import SparkSession
from pyspark.sql.functions import explode
from pyspark.sql.functions import split

spark = SparkSession.builder.appName("StructuredStreamingExample").getOrCreate()

# 创建一个Kafka数据源
df = spark \
.readStream \
.format("kafka") \
.option("kafka.bootstrap.servers", "localhost:9092") \
.option("subscribe", "test") \
.load()

# 将数据转化为单词
words = df.select(
explode(
split(df.value, " ")
).alias("word")
)

# 统计单词数量
wordCounts = words.groupBy("word").count()

# 在控制台输出结果
query = wordCounts \
.writeStream \
.outputMode("complete") \
.format("console") \
.start()

query.awaitTermination()
```

在上面的代码中，我们首先创建了一个SparkSession对象，并使用readStream()函数创建了一个Kafka数据源。接着，我们将数据转换为单词，并使用groupBy()函数计算每个单词的出现次数。最后，我们使用writeStream()函数将结果输出到控制台，并启动Structured Streaming。