博客
关于我
SparkTask未序列化(Tasknotserializable)问题分析
阅读量:797 次
发布时间:2023-04-04

本文共 3139 字,大约阅读时间需要 10 分钟。

Task未序列化问题分析及解决方案

在编写Spark程序时,若在map、filter等算子内部引用了外部变量或函数,可能会导致Task未序列化的问题。这种情况通常发生在引用了当前类成员变量或函数时,导致整个类需要支持序列化,而某些成员变量未能做好序列化准备。

引用成员变量的实例分析

例如,在一个Spark程序中,我们定义了一个类MyTest1,该类使用了SparkContextSparkConf作为成员变量。由于这些变量未做好序列化处理,导致类整体无法序列化,最终引发Task未序列化错误。

class MyTest1(conf:String) extends Serializable {    val list = List("a.com", "www.b.com", "a.cn", "a.com.cn", "a.org")     private val sparkConf = new SparkConf().setAppName("AppName")     private val sc = new SparkContext(sparkConf)     val rdd = sc.parallelize(list)     private val rootDomain = conf     def getResult(): Array[String] = {        val result = rdd.filter(item => item.contains(rootDomain))         result.take(result.count().toInt)     }}

在运行过程中,错误报告指出SparkContextSparkConf未能序列化,导致Task失败。为了验证这一点,我们尝试对不需要序列化的成员变量进行标注。

class MyTest1(conf:String) extends Serializable {    val list = List("a.com", "www.b.com", "a.cn", "a.com.cn", "a.org")     @transient private val sparkConf = new SparkConf().setAppName("AppName")     @transient private val sc = new SparkContext(sparkConf)     val rdd = sc.parallelize(list)     private val rootDomain = conf     def getResult(): Array[String] = {        val result = rdd.filter(item => item.contains(rootDomain))         result.take(result.count().toInt)     }}

标注后,sparkConfsc不再参与序列化过程,程序能够正常运行。

引用成员函数的实例分析

同样地,当成员函数引用导致类依赖序列化时,也会引发Task未序列化问题。例如,在map操作中使用了一个成员函数来处理域名前缀。

class MyTest1(conf:String) extends Serializable {    val list = List("a.com", "www.b.com", "a.cn", "a.com.cn", "a.org")     private val sparkConf = new SparkConf().setAppName("AppName")     private val sc = new SparkContext(sparkConf)     val rdd = sc.parallelize(list)     def getResult(): Array[(String)] = {        val rootDomain = conf         val result = rdd.filter(item => item.contains(rootDomain))         .map(item => addWWW(item))         result.take(result.count().toInt)     }     def addWWW(str:String): String = {        if(str.startsWith("www.")) str else "www."+str     }}

为了解决这个问题,我们可以将成员函数移至一个object中,使其不再依赖当前类。

def getResult(): Array[(String)] = {    val rootDomain = conf     val result = rdd.filter(item => item.contains(rootDomain))     .map(item => UtilTool.addWWW(item))     result.take(result.count().toInt) }object UtilTool {    def addWWW(str:String): String = {        if(str.startsWith("www.")) str else "www."+str     }}

对全类序列化要求的验证

通过上述实例可以看出,引用成员变量或函数会导致整个类需要支持序列化。因此,在类中使用@transient标注来避免不必要的序列化。

class MyTest1(conf:String) {    val list = List("a.com", "www.b.com", "a.cn", "a.com.cn", "a.org")     private val sparkConf = new SparkConf().setAppName("AppName")     private val sc = new SparkContext(sparkConf)     val rdd = sc.parallelize(list)     def getResult(): Array[String] = {        val rootDomain = conf         val result = rdd.filter(item => item.contains(rootDomain))         result.take(result.count().toInt)     }}

如果去掉extends Serializable,程序将报错,证明了类需要序列化的必要性。

解决办法与编程建议

  • 避免在闭包内部引用成员变量或函数

    • 如果依赖值固定,可以直接在闭包内部定义或使用object中的静态变量。
    • 如果依赖值需要动态指定,可以在闭包内部重新定义局部变量,避免引用成员变量。
  • 确保类支持序列化并处理不可序列化成员

    • 如果引用了成员变量或函数,确保类继承Serializable,并对不可序列化的成员使用@transient标注。
    • 将依赖外部变量的功能独立到一个object中,以减少对类序列化的依赖。
  • 通过以上方法,可以有效避免Task未序列化问题,确保Spark程序顺利运行。

    转载地址:http://bjrfk.baihongyu.com/

    你可能感兴趣的文章
    mysqldump实现数据备份及灾难恢复
    查看>>
    mysqldump数据库备份无法进行操作只能查询 --single-transaction
    查看>>
    mysqldump的一些用法
    查看>>
    mysqli
    查看>>
    MySQLIntegrityConstraintViolationException异常处理
    查看>>
    mysqlreport分析工具详解
    查看>>
    MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
    查看>>
    Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
    查看>>
    mysql_real_connect 参数注意
    查看>>
    mysql_secure_installation初始化数据库报Access denied
    查看>>
    MySQL_西安11月销售昨日未上架的产品_20161212
    查看>>
    Mysql——深入浅出InnoDB底层原理
    查看>>
    MySQL“被动”性能优化汇总
    查看>>
    MySQL、HBase 和 Elasticsearch:特点与区别详解
    查看>>
    MySQL、Redis高频面试题汇总
    查看>>
    MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
    查看>>
    mysql一个字段为空时使用另一个字段排序
    查看>>
    MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
    查看>>
    MYSQL一直显示正在启动
    查看>>
    MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
    查看>>