黑马程序员python教程,8天python从入门到精通,学python看...

20230420
这里的 (T)->T 和 (T)->U 是 Spark 中经常用到的两种函数类型,其中 T 和 U 分别表示输入和输出数据类型。它们通常被用来定义 Spark RDD 上的转换和操作。
(T)->T 表示一个接受 T 类型输入并返回 T 类型输出的函数,也就是说,这个函数将一个 T 类型的数据作为输入,并把它转换成另一个 T 类型的数据。在 PySpark 中,这种函数通常被用于对 RDD 进行转换,例如 map()、filter() 等函数。
(T)->U 表示一个接受 T 类型输入并返回 U 类型输出的函数,也就是说,这个函数将一个 T 类型的数据作为输入,并把它转换成一个不同类型的 U 类型数据。在 PySpark 中,这种函数通常被用于对 RDD 进行聚合或计算,例如 reduceByKey()、aggregateByKey() 等函数。
需要注意的是,在 Spark 中,函数类型通常是通过 lambda 表达式或者普通函数进行定义和传递。例如,可以使用如下的语法定义一个 (T)->T 的 lambda 函数:
复制代码
lambda x: x + 1 # 将输入值加 1 并返回
或者定义一个 (T)->U 的普通函数:
复制代码
def my_func(x): return len(str(x)) # 返回输入值的长度
然后可以将这些函数作为参数传递给 Spark RDD 相关函数,例如:
复制代码
rdd = sc.parallelize([1, 2, 3, 4, 5]) result = rdd.map(lambda x: x + 1)
在上述代码中,我们定义了一个包含 5 个整数的 RDD,然后使用 map() 方法将 lambda 函数作为参数传递给它。map() 方法会将 RDD 中的每个元素传递给 lambda 函数进行处理(即将输入值加 1),并返回一个新的 RDD 包含处理后的结果。
20230423
从2022年7月份开始看,到现在2023年4月23日看完。中间断断续续看了很久,像里面有些模块,pycharets跳过去了,因为Python的第三方模块是很多的,想要去哪方面发展,你就对哪方面深度学习。前面从开始helloWord一直到py的包制作都是自己动手实操了的,(其实到这里已经是Python的基础的基础了,从这里我停了很久才看视频,在这期间我自己动手开发了一个原神客户端官B服切换的小程序〈项目地址:https://github.com/Ealsen/Genshin_launcher_toggle
〉,里面有很多不懂的部分都问了ai,AI是一个好工具,但只是个工具)后面讲了很多,我都是看了一遍,没有实操,不过以后学算法应该会接触很多的。黑马的曹老师讲的很好,很清楚,比我在大一的Python老师讲的好多了。B站不愧是哔哩哔哩大学!