Czy istnieje rozproszony VCS, który może zarządzać dużymi plikami?

Question

Czy istnieje rozproszony system kontroli wersji (git, bazar, mercurial, darcs itp.), Który obsługuje pliki większe niż dostępna pamięć RAM?

Potrzebuję być w stanie zatwierdzić duże pliki binarne (np. Zbiory danych, źródła wideo/obrazy, archiwa), ale nie muszę mieć możliwości ich zmieniania, po prostu być w stanie zatwierdzić, a następnie zaktualizować, gdy plik zmiany.

Ostatni raz patrzyłem na to około rok temu, a żaden z oczywistych kandydatów na to nie pozwolił, ponieważ wszystkie zostały zaprojektowane tak, by odmierzać pamięć. To pozostawiło mi VCS do zarządzania kodem i czymś innym (oprogramowanie "zarządzanie zasobami" lub po prostu rsync i skrypty) dla dużych plików, co jest dość brzydkie, gdy struktury katalogów tych dwóch pokrywają się.

Answer 1

To było 3 lata od kiedy zadał to pytanie, ale od wersji 2.0 Mercurial zawiera largefiles extension, który realizuje to, co było pierwotnie szukasz:

The Rozszerzenie largefiles pozwala na śledzenie dużych, nieściśliwych plików binarnych w Mercurial bez konieczności nadmiernej przepustowości klonów i ciągnięć. Pliki dodane jako pliki duże nie są śledzone bezpośrednio przez Mercurial; raczej ich korekty są identyfikowane przez sumę kontrolną, a Mercurial śledzi te sumy kontrolne. W ten sposób, podczas klonowania repozytorium lub pobierania zestawów zmian, duże pliki w starszych wersjach repozytorium nie są potrzebne i pobierane są tylko te, które są potrzebne do aktualizacji do bieżącej wersji.Oszczędza to zarówno przestrzeń dyskową, jak i przepustowość.

Answer 2

Myślę, że przechowywanie plików binarnych w dowolnej formie systemu kontroli wersji byłoby niewydajne.

Lepszym pomysłem byłoby przechowywanie plików tekstowych meta-danych w repozytorium odwołującym się do obiektów binarnych.

Answer 3

Czy musi być rozpowszechniany? Podobno subversion ma jedną wielką zaletę dla nowszych, rozproszonych VCSesów jest jego lepsza zdolność radzenia sobie z plikami binarnymi.

Answer 4

Żaden system darmowej kontroli wersji nie obsługuje tego. Jeśli chcesz tę funkcję, musisz ją wdrożyć.

Możesz odpisać od git: są zainteresowani surową wydajnością w przypadku używania jądra Linux. Jest nieprawdopodobne, by kiedykolwiek zaakceptowali kompromis w zakresie wydajności w skalowaniu do ogromnych plików binarnych. Nie wiem o Mercurial, ale wydaje się, że dokonali podobnych wyborów, jak git w sprzężeniu ich modelu operacyjnego z modelem pamięci masowej pod kątem wydajności.

Zasadniczo Bazar powinien być w stanie wesprzeć Twój przypadek użycia za pomocą wtyczki, która implementuje formaty drzew/gałęzi/repozytoriów, których pamięć na dysku i strategia implementacji jest zoptymalizowana pod kątem Twojego przypadku użycia. W przypadku, gdy wewnętrzna architektura cię blokuje i zwolnisz użyteczny kod, oczekuję, że programiści podstawowi pomogą naprawić wewnętrzną architekturę. Można również utworzyć umowę rozwoju funkcji z firmą Canonical.

Prawdopodobnie najbardziej pragmatycznym podejściem, niezależnie od konkretnej DVCS, byłoby zbudowanie systemu hybrydowego: wdrożenie dużego magazynu plików i przechowywanie odniesień do obiektów typu blob w tym sklepie do wybranej przez ciebie DVCS.

Pełne ujawnienie: Jestem byłym pracownikiem firmy Canonical i ściśle współpracowałem z programistami Bazaru.

Answer 5

Tak, . Jest on dystrybuowany i zarządza ogromnymi plikami w blokach 4 MB, więc nie jest ograniczony przez konieczność ładowania ich w całości na mem w dowolnym momencie. Znajdź tutorial DVCS tutaj: http://codicesoftware.blogspot.com/2010/03/distributed-development-for-windows.html

Answer 6

BUP może być tym, czego szukasz. Został zbudowany jako rozszerzenie funkcjonalności git do robienia kopii zapasowych, ale to faktycznie to samo. Łamie pliki na porcje i używa toczącego się skrótu, aby zawartość pliku była możliwa do adresowania/wydajnego przechowywania.

• https://github.com/bup/bup
• http://blogs.kde.org/node/4440

Answer 7

doszedłem do wniosku, że najlepszym rozwiązaniem w tym przypadku byłoby użyć ZFS.

Tak ZFS nie jest DVCS ale:

• można przydzielić miejsca na składowiska poprzez tworzenie nowych FS
• Możesz śledzić zmiany poprzez tworzenie migawek
• można wysyłać zrzuty (zobowiązuje) do drugiego Zbiór danych ZFS: