Spark Kryo: Zarejestruj niestandardowy serializator

Question

Mam klasę, która implementuje niestandardowy serializator Kryo, implementując metody read() i write() z com.esotericsoftware.kryo.Serializer (patrz przykład poniżej). Jak mogę zarejestrować ten niestandardowy serializator za pomocą Sparka?

Oto przykład kodu sudo, co mam:

class A() 

CustomASerializer extends com.esotericsoftware.kryo.Serializer[A]{ 
    override def write(kryo: Kryo, output: Output, a: A): Unit = ??? 
    override def read(kryo: Kryo, input: Input, t: Class[A]): A = ??? 
} 

val kryo: Kryo = ... 
kryo.register(classOf[A], new CustomASerializer()); // I can register my serializer 

Teraz w Spark:

val sparkConf = new SparkConf() 
sparkConf.registerKryoClasses(Array(classOf[A])) 

Niestety, Spark nie daje mi możliwość zarejestrowania mój serializatora niestandardowego . Masz pomysł, czy jest jakiś sposób na zrobienie tego?

Answer 1

Stwórz własną KryoRegistrator z tym niestandardowym serializatora zarejestrowany:

package com.acme 

class MyRegistrator extends KryoRegistrator { 
    override def registerClasses(kryo: Kryo) { 
    kryo.register(classOf[A], new CustomASerializer()) 
    } 
} 

Następnie ustaw spark.kryo.registrator do pełni kwalifikowaną nazwą Twojego użytkownika, np Registrator com.acme.MyRegistrator:

val conf = new SparkConf() 
conf.set("spark.kryo.registrator", "com.acme.KryoRegistrator")