Pamięć podręczna z iskrami zachowuje tylko ułamek RDD

Question

Kiedy jawnie wywołuję rdd.cache, widzę na karcie pamięci konsoli świec, że tylko ułamek rdd jest faktycznie buforowany. Moje pytanie brzmi: gdzie są pozostałe części? W jaki sposób Spark decyduje, która część pozostawi w pamięci podręcznej?

To samo pytanie dotyczy początkowych nieprzetworzonych danych wczytanych przez sc.textFile(). Rozumiem, że te pliki rdd są automatycznie buforowane, mimo że tabela pamięci konsoli z iskrami nie wyświetla żadnych informacji na temat ich stanu pamięci podręcznej. Czy wiemy, ile z nich jest buforowanych, a nie brakuje?

Answer 1

cache() to to samo, co persist(StorageLevel.MEMORY_ONLY), a ilość danych prawdopodobnie przekracza dostępną pamięć. Spark następnie eksmituje skrytki w sposób "najmniej ostatnio używany".

Możesz dostosować pamięć zarezerwowaną do buforowania, ustawiając opcje konfiguracji. Zobacz Spark Documentation szczegóły i zwracać uwagę na: spark.driver.memory, spark.executor.memory, spark.storage.memoryFraction

ekspertem, ale nie sądzę, że textFile() automatycznie buforuje niczego; Spark Quick Start jawnie buforuje plik tekstowy RDD: sc.textFile(logFile, 2).cache()