Jakieś rzeczywiste, korporacyjne doświadczenie z transakcyjnym NTFS (TxF)?

Question

Tło:

Jestem świadomy this SO question około transakcyjnych NTFS (TXF) i this article opisując jak go używać, ale szukam doświadczenie rzeczywistym świecie przedsiębiorstwa rozsądnie wysokonakładowego system gdzie wiele danych blob (np. dokumenty i/lub zdjęcia) musi być utrzymywało się raz po transakcji i wielokrotnie czytało.

• Oczekujemy kilkudziesięciu tysięcy dokumentów napisanych dziennie i odczytywanych z kilkudziesięciu tysięcy na godzinę.
• Możemy przechowywać indeksy w systemie plików lub na serwerze SQL, ale musimy je przeskalować w kilku polach.
• Musimy zachować możliwość łatwej archiwizacji i przywracania danych w celu przywracania po awarii.

Pytanie:

• Wszelkie rzeczywistym świecie, doświadczenie klasy korporacyjnej z transakcyjnych NTFS (TXF)?

Podobne pytania:

• ktoś próbował rozproszone transakcje wykorzystujące TXF gdzie ten sam plik jest zaangażowana do dwóch serwerów lustrzanych naraz?
• Ktoś próbował transakcji rozproszonej z systemem plików i bazą danych?
• Jakiekolwiek obawy dotyczące wydajności/wątpliwości dotyczące niezawodności/dane dotyczące wydajności, które można udostępniać? Czy ktoś jeszcze zrobił coś na taką skalę, zanim transakcje są problemem?

Edits: Aby być bardziej jasne, zbadali inne technologie, w tym nowego typu danych FILESTREAM SQL Server 2008, ale to pytanie jest skierowane tylko specificially transakcyjnej systemu plików.

Więcej Zasoby:

• W artykule MSDN Magazine na TXF nazywa "Enhance Your Apps With File System Transactions".
• Emisja pod tytułem "Transactional Vista: Kernel Transaction Manager and friends (TxF, TxR)". Ten film podaje obciążenie związane z używaniem TxF 2-5%, a dyskusja na temat wydajności trwa około 25 minut. Jest to pierwszy zestaw znalezionych liczb. A film wideo to bardzo dobry przegląd tego, jak to działa pod maską. O godzinie 34:30 mówca opisuje bardzo podobny scenariusz do tego pytania.
• Arkusz 9 pokazujący ekran o nazwie "Surendra Verma: Vista Transactional File System". Mówi o występie od około 35 minut. Bez liczb twardych.
• Lista TxF articles na blogu B # .NET.
• Kasetowy screen 9 o nazwie "Transactional NTFS".

Answer 1

Niestety wygląda na to, że odpowiedź brzmi "Nie".

W ciągu prawie dwóch tygodni (jeden tydzień z nagrodą w wysokości 100 punktów) i 156 wyświetleń nikt nie odpowiedział, że użył TxF w przypadku każdej dużej aplikacji, jak to opisałem. Nie mogę powiedzieć, że było to nieoczekiwane i oczywiście nie mogę udowodnić negatywnego, ale wydaje się, że ta cecha systemu Windows nie jest dobrze znana lub często używana, przynajmniej przez aktywnych członków społeczności SO w czasie pisania.

Jeśli kiedykolwiek uda mi się napisać jakiś dowód koncepcji, opowiem tutaj, czego się uczę.

Answer 2

Czy brałeś pod uwagę filestream support w SQL Server 2008 (jeśli oczywiście korzystasz z SQL Server 2008)? Nie jestem pewien co do wydajności, ale oferuje ona transakcyjność i obsługuje tworzenie kopii zapasowych/przywracanie.

Answer 3

Chociaż nie mam rozległych doświadczeń z TxF, mam doświadczenie z MS DTC. Sam TxF jest dość wydajny. Po wprowadzeniu kodu DTC MS w celu obsługi wielu menedżerów zasobów na wielu komputerach wydajność znacznie się obniża.

Z Twojego opisu wynika, że ​​przechowujesz i indeksujesz bardzo duże ilości nieustrukturyzowanych danych. Zakładam, że potrzebujesz również możliwości wyszukania tych danych. W związku z tym, gorąco polecam zajrzeć do czegoś takiego jak Microsoft's Dryad lub Google's MapReduce i wysokiej wydajności rozproszonego systemu plików do obsługi niestrukturalnych przechowywania danych i indeksowania. Najlepszymi przykładami dużych systemów dla przedsiębiorstw, które przechowują i indeksują ogromne ilości danych typu blob, są wyszukiwarki internetowe, takie jak Bing i Google.

Dostępnych jest sporo zasobów do zarządzania wysokoprzepustowymi, niestrukturalnymi danymi, które prawdopodobnie rozwiązałyby Twój problem bardziej skutecznie niż SQL Server i NTFS.

Wiem, że jest nieco dalej od pudełka, niż prawdopodobnie oczekiwałeś ... ale wspomniałeś już, że wyczerpałeś już wszystkie inne możliwości wyszukiwania wokół okna NTFS/TxF/SQL. ;)

Answer 4

Przypuszczam, że doświadczenie "w świecie rzeczywistym, dla przedsiębiorstw" jest bardziej subiektywne niż się wydaje.

Windows Update używa TXF. Jest więc używany dość intensywnie pod względem częstotliwości. Teraz nie wykonuje żadnej pracy z wieloma węzłami i nie przechodzi przez DTC ani nic podobnego, ale używa TXF do manipulowania stanem pliku. Koordynuje te zmiany ze zmianami w rejestrze (TXR). To się liczy?

Mój kolega przedstawił this talk to SNIA, który jest dość szczery z powodu pracy nad TXF i może rzucić nieco więcej światła. Jeśli myślisz o używaniu TXF, warto przeczytać.

Answer 5

Ronald: FileStream jest warstwą na wierzchu TxF.

JR: Podczas gdy Windows Update używa TxF/KTM i demonstruje jego narzędzie, nie jest to aplikacja o wysokiej przepustowości.