Jak korzystać z domyślnych ograniczników podczas czytania pliku tekstowego ze std :: fstream?

Question

W moim kodzie C++, chcę odczytać z pliku tekstowego (* .txt) i tokenizować każdy wpis. Dokładniej, chcę móc czytać poszczególne słowa z pliku, na przykład "format", "stos", "Jason", "europe", itd..

wybrałem używać fstream wykonać to zadanie, a ja nie wiem jak ustawić to ogranicznik do tych, których nie chcą korzystać (przestrzeń, \n, jak również myślnikami a nawet apostrofy jak w „McDonal użytkownika”). Domyśliłem się, że przestrzeń i \n są domyślnymi ogranicznikami, ale myślniki nie są, ale chcę traktować je jako ograniczniki, więc podczas analizowania pliku, otrzymam słowa w "blah blah xxx animal - cat" jako po prostu "bla", "blah", "xxx", "animal", "cat".

Oznacza to, że chcę, aby być w stanie uzyskać dwa ciągi z „przepełnienie stosu”, „jesteś”, itp i nadal być w stanie utrzymać \n i przestrzeń jako ograniczniki w tym samym czasie.

Answer 1

traktuje iStream "white space" jako ograniczniki. Używa ustawień narodowych, aby określić, jakie znaki są białą przestrzenią. Z kolei ustawienie regionalne zawiera klauzulę facet, która klasyfikuje typy znaków. Taki facet mógłby wyglądać następująco:

#include <locale> 
#include <iostream> 
#include <algorithm> 
#include <iterator> 
#include <vector> 
#include <sstream> 

class my_ctype : public 
std::ctype<char> 
{ 
    mask my_table[table_size]; 
public: 
    my_ctype(size_t refs = 0) 
     : std::ctype<char>(&my_table[0], false, refs) 
    { 
     std::copy_n(classic_table(), table_size, my_table); 
     my_table['-'] = (mask)space; 
     my_table['\''] = (mask)space; 
    } 
}; 

i trochę program testowy, aby pokazać to działa:

int main() { 
    std::istringstream input("This is some input from McDonald's and Burger-King."); 
    std::locale x(std::locale::classic(), new my_ctype); 
    input.imbue(x); 

    std::copy(std::istream_iterator<std::string>(input), 
     std::istream_iterator<std::string>(), 
     std::ostream_iterator<std::string>(std::cout, "\n")); 

    return 0; 
} 

Wynik:

This 
is 
some 
input 
from 
McDonald 
s 
and 
Burger 
King. 

istream_iterator<string> wykorzystuje >> czytać poszczególne ciągi ze strumienia, więc jeśli użyjesz ich bezpośrednio, powinieneś uzyskać te same wyniki. Części, które musisz uwzględnić, tworzą ustawienia regionalne i używają imbue, aby strumień używał tych ustawień narodowych.

Answer 2

Można użyć

istream::getline(char* buffer, steamsize maxchars, char delim) 

chociaż ta obsługuje tylko jeden ogranicznik. Aby jeszcze bardziej podzielić linie na różne ograniczniki, można użyć funkcji

char* strtok(char* inString, const char* delims) 

Kiedy używasz strtok, musisz tylko podać mu adres swojego bufora po raz pierwszy - po tym po prostu przekazujesz wartość zerową i dostaniesz następny token od ostatniego, który ci dał, zwracając wskaźnik zerowy, gdy nie ma jeszcze.

EDIT: Konkretny wdrożenie byłoby coś

char buffer[120]; //this size is dependent on what you expect the file to contain 
while (!myIstream.eofbit) //I may have forgotten the exact syntax of the end bit 
{ 
    myIstream.getline(buffer, 120); //using default delimiter of \n 
    char* tokBuffer; 
    tokBuffer = strtok(buffer, "'- "); 
    while (tokBuffer != null) { 
     cout << "token is: " << tokBuffer << "\n"; 
     tokBuffer = strtok(null, "'- "); //I don't need to pass in the buffer again because it remembers the first time I called it 
    } 
}