Zastąpienie za pomocą wielu wyrażeń regularnych lub większego w Pythonie

Question

Niedawno przełączyłem się na język Python i chciałbym wyczyścić bardzo dużą liczbę stron internetowych (około 12k) (ale można je uznać za równie łatwe pliki tekstowe) poprzez usunięcie niektórych znaczników lub innych wzorów łańcuchów. Do tego używam funkcji re.sub (..) w Pythonie.

Moje pytanie brzmi: czy jest lepiej (z punktu widzenia wydajności), aby utworzyć jedno duże wyrażenie regularne, które pasuje do większej liczby wzorów lub wywołać funkcję kilka razy z mniejszymi i prostszymi wyrażeniami regularnymi.

Aby zilustrować, lepiej jest użyć czegoś podobnego

re.sub(r"<[^<>]*>", content) 
re.sub(r"some_other_pattern", content) 

lub

re.sub(r"<[^<>]*>|some_other_pattern",content) 

Oczywiście, ze względu na przykładowych dotychczasowe wzory są naprawdę proste, a ja ich nie skompilowany tutaj, ale w moim prawdziwym scenariuszu będę.

LE: Pytanie nie jest związane z kodem HTML plików, ale z zachowaniem Pythona, gdy mamy do czynienia z wieloma wzorami regex.

Dzięki!

Answer 1

Zachowaj to proste.

Powiedziałbym, że bezpieczniej jest używać mniejszych Regeksów do analizowania tych rzeczy. Przynajmniej w ten sposób, jeśli zachowuje się nienormalnie, nie musisz kopać, aby znaleźć, który konkretny odcinek masywnego Regexa zachowuje się dziwnie. Zapewniając dobre rejestrowanie zamienników, które należy wykonać, byłoby mało prawdopodobne, aby określić źródło problemu, jeśli się pojawi.

Nie chcesz wpaść na this

Answer 2

Mówiąc ogólnie, „sekwencyjny” i „równoległy” aplikacji nie jest taka sama i może dawać różne wyniki, ponieważ kolejne zamienniki mogą wpływać na siebie nawzajem.

Co do wydajności, myślę, że jedna ekspresja sprawdzi się lepiej, ale to tylko domysły. Osobiście wolę zachować złożoność i używać trybu "gadatliwego" dla czytelności.

Answer 3

Rozumiem twój dodatkowy komentarz dotyczący "jego części spoza HTML, które czyszczę". Z powodu możliwości znalezienia ostatniego RE i zastąpienia treści, które zastąpiła wcześniejsza RE, lepiej byłoby użyć operatora "alternatywnego" i użyć pojedynczego RE.

Należy również rozważyć użycie BeautifulSoup do załadowania i sprawdzenia plików HTML. Pomoże to w znalezieniu odpowiednich fragmentów tekstu przy znacznie mniejszym ryzyku przechwycenia pewnych konstrukcji HTML, kiedy zamierzasz zastąpić jakiś tekst.