Błędy podczas korzystania z OFF_HEAP Storage Spark 1.4.0 i 0.6.4 Tachyon

Question

staram się utrzymywać mój RDD użyciu wyłączyć przechowywanie sterty na iskrowym 1.4.0 i 0.6.4 tachyon'y robi to tak:

val a = sqlContext.parquetFile("a1.parquet") 
a.persist(org.apache.spark.storage.StorageLevel.OFF_HEAP) 
a.count() 

Później otrzymuję następujący wyjątek.

Jakieś pomysły na ten temat?

15/06/16 10:14:53 INFO : Tachyon client (version 0.6.4) is trying to connect master @ localhost/127.0.0.1:19998 
15/06/16 10:14:53 INFO : User registered at the master localhost/127.0.0.1:19998 got UserId 3 
15/06/16 10:14:53 INFO TachyonBlockManager: Created tachyon directory at /tmp_spark_tachyon/spark-6b2512ab-7bb8-47ca-b6e2-8023d3d7f7dc/driver/spark-tachyon-20150616101453-ded3 
15/06/16 10:14:53 INFO BlockManagerInfo: Added rdd_10_3 on ExternalBlockStore on localhost:33548 (size: 0.0 B) 
15/06/16 10:14:53 INFO BlockManagerInfo: Added rdd_10_1 on ExternalBlockStore on localhost:33548 (size: 0.0 B) 
15/06/16 10:14:53 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() on RPC id 5710423667942934352 
org.apache.spark.storage.BlockNotFoundException: Block rdd_10_3 not found 
    at org.apache.spark.storage.BlockManager.getBlockData(BlockManager.scala:306) 
    at org.apache.spark.network.netty.NettyBlockRpcServer$$anonfun$2.apply(NettyBlockRpcServer.scala:57) 
    at org.apache.spark.network.netty.NettyBlockRpcServer$$anonfun$2.apply(NettyBlockRpcServer.scala:57) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108) 
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244) 
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108) 
    at org.apache.spark.network.netty.NettyBlockRpcServer.receive(NettyBlockRpcServer.scala:57) 
    at org.apache.spark.network.server.TransportRequestHandler.processRpcRequest(TransportRequestHandler.java:114) 
    at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:87) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:101) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51) 
    at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:333) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:319) 
    at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:254) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:333) 

Próbowałem również tego samego z plikiem tekstowym i udało mi się utrzymać go w tachyonie. Problem polega na utrzymywaniu DataFrame'a pierwotnie odczytanego z parkietu.

Answer 1

Nie wydaje się być powiązany raport o błędzie: https://issues.apache.org/jira/browse/SPARK-10314

Ponieważ wydaje się, że wniosek popytu na to, że może być szansa, aby szybko uzyskać poprawkę na to.

Z tego wątku, https://groups.google.com/forum/#!topic/tachyon-users/xb8zwqIjIa4, wynika, że ​​Spark używa trybu TRY_CACHE, aby pisać do Tachyona, więc dane wydają się gubić po eksmisji z pamięci podręcznej.

Answer 2

Ten problem został już rozwiązany. Mogę potwierdzić, że działa teraz z Spark 1.5 i Tachyon 0.7