libclang: jak zdobyć żeton semantyka

Question

libclang określa jedynie 5 rodzaje tokenów:

• CXToken_Punctuation
• CXToken_Keyword
• CXToken_Identifier
• CXToken_Literal
• CXToken_Comment

Czy to możliwe, aby uzyskać bardziej szczegółowe informacje na temat tokeny? Na przykład, z następującego kodu źródłowego:

struct Type; 
void foo(Type param); 

spodziewałbym wyjście być jak:

• struct - kluczowe
• Typ - nazwa typu
• ; - znaki interpunkcyjne
• nieważne - typ/Hasło
• foo - nazwa funkcji
• (- interpunkcja
• Typ - typ parametru funkcji
• param - funkcja nazwa parametru
• ) - znaki interpunkcyjne
• ; - interpunkcja

Muszę również odwzorować te obiekty na lokalizacje plików.

Answer 1

Po pierwsze, prawdopodobnie potrzebujesz odrobiny wiedzy o tym, jak działa parsowanie. Podręcznik dla kompilatorów byłby przydatnym zasobem. Najpierw plik jest konwertowany na serię tokenów; która daje ci identyfikatory, znaki interpunkcyjne itp. Kod, który to robi nazywa się lexer. Następnie działa parser; to zamienia listę tokenów na AST (uporządkowane deklaracje/wyrażenia/itd.).

clang śledzi różne części deklaracji i wyrażeń, ale nie w sposób, w jaki opisujesz. Dla danej deklaracji funkcji śledzi ona takie rzeczy, jak lokalizacja nazwy funkcji i początek listy parametrów, ale zachowuje je pod względem lokalizacji w pliku, a nie tokenów.

A CXToken to tylko żeton; nie ma żadnych dodatkowych powiązanych informacji semantycznych poza pięcioma wymienionymi typami. (Możesz uzyskać rzeczywisty tekst tokenu za pomocą clang_getTokenSpelling, a lokalizacja z .) clang_annotateTokens daje CXCursor s, które pozwalają ci na sprawdzenie odpowiednich deklaracji.

Należy zauważyć, że niektóre szczegóły nie są ujawnione przez interfejs API libclang; jeśli potrzebujesz więcej szczegółów, może zaistnieć potrzeba użycia API C++ klang.

Answer 2

Poszukujesz atrybutów tokenów spelling i location odsłoniętych przez libclang. W C++ można je odzyskać za pomocą funkcji clang_getTokenLocation i clang_getTokenSpelling.Minimalne wykorzystanie tych funkcji (wykorzystujących swoje odpowiedniki Pythona byłoby:

s = ''' 
struct Type; 
void foo(Type param); 
''' 

idx = clang.cindex.Index.create() 
tu = idx.parse('tmp.cpp', args=['-std=c++11'], unsaved_files=[('tmp.cpp', s)], options=0) 
for t in tu.get_tokens(extent=tu.cursor.extent): 
    print t.kind, t.spelling, t.location 

Daje:

TokenKind.KEYWORD struct <SourceLocation file 'tmp.cpp', line 2, column 1> 
TokenKind.IDENTIFIER Type <SourceLocation file 'tmp.cpp', line 2, column 8> 
TokenKind.PUNCTUATION ; <SourceLocation file 'tmp.cpp', line 2, column 12> 
TokenKind.KEYWORD void <SourceLocation file 'tmp.cpp', line 3, column 1> 
TokenKind.IDENTIFIER foo <SourceLocation file 'tmp.cpp', line 3, column 6> 
TokenKind.PUNCTUATION (<SourceLocation file 'tmp.cpp', line 3, column 9> 
TokenKind.IDENTIFIER Type <SourceLocation file 'tmp.cpp', line 3, column 10> 
TokenKind.IDENTIFIER param <SourceLocation file 'tmp.cpp', line 3, column 15> 
TokenKind.PUNCTUATION) <SourceLocation file 'tmp.cpp', line 3, column 20> 
TokenKind.PUNCTUATION ; <SourceLocation file 'tmp.cpp', line 3, column 21>