Arduino: Lekki algorytm kompresji do przechowywania danych w pamięci EEPROM

Question

Chcę przechowywanie dużej ilości danych na mój Arduino z ATmega168/ATmega328 mikrokontrolera, ale niestety jest tylko 256   KB/512   KB pamięci EEPROM.

Mój pomysł polega na wykorzystaniu algorytmu kompresji w celu zmniejszenia rozmiaru. Ale cóż, moja wiedza na temat algorytmów kompresji jest dość niska i moje poszukiwania gotowych bibliotek zakończyły się niepowodzeniem.

Czy jest zatem dobry sposób na zoptymalizowanie rozmiaru pamięci?

Answer 1

Możesz rzucić okiem na algorytm LZO, który ma być lekki. Nie wiem, czy są jakieś implementacje systemu AVR, ale może to być coś, co sam mógłbyś zaimplementować.

Możesz być nieco niedoinformowany o ilości pamięci dostępnej w EEPROMie na swoim chipie; zgodnie z arkusza I mają rozmiary EEPROM są:

ATmega48P: 256
ATmega88P: 512
ATmega168P: 512
ATmega256P: 1024

Należy zauważyć, że wartości te są bajtów nie KB jak wspomniałeś w swoim pytaniu. W żadnym wypadku nie jest to "shitload".

Answer 2

A NASA study here (PostScript)

A repost of 1989 article on LZW here

Keep it simple i wykonać analizę kosztów/wypłaty dodawania kompresji. Obejmuje to czas i wysiłek, złożoność, wykorzystanie zasobów, kompresję danych itd.

Answer 3

AVR mają najwyżej kilka kilobajtów pamięci EEPROM, a niewiele ma więcej niż 64K Flash (nie ma standardowych Arduino).

Jeśli chcesz coś przechowywać i rzadko modyfikować, na przykład zdjęcie, możesz spróbować użyć Flasha, ponieważ jest tam znacznie więcej miejsca do pracy. W przypadku prostych obrazów, niektóre nieoczyszczone kodowanie RLE mogłoby przejść długą drogę.

Kompresowanie czegokolwiek bardziej losowego, na przykład zarejestrowanych danych, dźwięku itd., Będzie wymagało ogromnego nakładu pracy dla AVR, będziesz miał więcej szczęścia, otrzymując szeregowy układ EEPROM do przechowywania tych danych. Strona Arduino ma stronę na interfacing with a 64K chip, która brzmi. Jeśli chcesz czegoś więcej, spójrz na interfejs z kartą SD z interfejsem SPI, na przykład w this audio shield

Answer 4

Algorytm podobny do LZSS byłby prawdopodobnie dobrym wyborem dla wbudowanej platformy. Są to proste algorytmy i nie potrzebują dużo pamięci.

LZS to osoba, którą znam. Używa słownika 2 kB do kompresji i dekompresji (słownik jest najnowszym 2 kB nieskompresowanego strumienia danych). (LZS was patented by HiFn, jednak o ile mogę powiedzieć, wszystkie patenty wygasły.)

Ale widzę, że ATmega328, stosowane w ostatnim Arduinos, ma tylko 512 bajtów do 2 kB SRAM, więc może nawet LZS jest zbyt duży to.Jestem pewien, że możesz użyć wariantu z mniejszym słownikiem, ale nie jestem pewien, jakie współczynniki kompresji byś osiągnął.

Answer 5

Możesz również rzucić okiem na LZJB, będąc bardzo krótkim, prostym i lekkim.

Warto również rzucić okiem na FastLZ. Ma lepsze współczynniki kompresji niż LZJB i ma dość minimalne wymagania dotyczące pamięci dla dekompresji:

Answer 6

Metoda opisana w artykule "Algorytmy kompresji danych dla urządzeń o ograniczonej energii w opóźniających się sieciach tolerancji" może być wyświetlana pod numerem ATmega328.

Odniesienia: C. Sadler i M. Martonosi, "Algorytmy kompresji danych dla urządzeń z ograniczoną mocą w opornych sieciach opóźniających", Proceedings of the ACM Conference on Embedded Networked Sensor Systems (SenSys) 2006, November 2006. .pdf. S-LZW Źródło dla MSPGCC: slzw.tar.gz. Zaktualizowane 10 marca 2007 r

Answer 7

Jeśli chcesz tylko usunąć powtarzając niektóre zera lub takie, użyj Run-length encoding powtórzenie sekwencji bajtów zostanie zapisany jako:

<mark><byte><count> 

Jest super prosty algorytm, który można prawdopodobnie kod się w kilku linijkach kodu.

Answer 8

Czy zewnętrzna pamięć EEPROM (na przykład przez I2C) nie jest opcją? Nawet jeśli użyjesz algorytmu kompresji, wadą strony jest to, że rozmiar danych, które możesz przechowywać w wewnętrznej pamięci EEPROM, nie może być już ustalony w prosty sposób. A jeśli chodzi o kbytes, jeśli uważasz, że naprawdę, to rozważ SDCard podłączony do SPI ... W sieci dostępne są lekkie systemy plików kompatybilne z FAT.