jak obsługiwać wyjątek w funkcji iskry()?

Question

chcę ignorować wyjątek w funkcji map(), na przykład:

rdd.map(_.toInt) 

gdzie RDD jest RDD[String].

ale jeśli spełni on ciąg nie będący numerem, to się nie powiedzie.

jaki jest najprostszy sposób zignorowania wyjątku i zignorowania tej linii? (Nie chcę użyć filtru obsłużyć wyjątek, bo nie może być tak wiele innych wyjątki ...)

Answer 1

polecam użyć filtra/mapa

rdd.filter(r=>NumberUtils.isNumber(r)).map(r=> r.toInt) 

lub flatmap

exampleRDD.flatMap(r=> {if (NumberUtils.isNumber(r)) Some(r.toInt) else None}) 

przeciwnym razie można złapać wyjątek w funkcji map

myRDD.map(r => { try{ 
     r.toInt 
    }catch { 
     case runtime: RuntimeException => { 
     -1 
     } 
    } 
}) 

a następnie zastosować filtr (na -1)

Answer 2

Można użyć kombinacji Try i mapy/filtra.

Spróbuj zapakuje twoje obliczenia w Sukces, jeśli zachowa się zgodnie z oczekiwaniami, lub Niepowodzenie, jeśli zostanie zgłoszony wyjątek. Następnie możesz filtrować, co chcesz - w tym przypadku udane obliczenia, ale możesz również filtrować przypadki błędów w celu rejestrowania, na przykład.

Poniższy kod jest możliwym punktem początkowym. Możesz uruchomić go i eksplorować w scastie.org, aby sprawdzić, czy odpowiada Twoim potrzebom.

import scala.util.Try 

object Main extends App { 

    val in = List("1", "2", "3", "abc") 

    val out1 = in.map(a => Try(a.toInt)) 
    val results = out1.filter(_.isSuccess).map(_.get) 

    println(results) 

}