Jak zatrzymać indeksowanie mojego repozytorium Github przez Google

Question

Używam Githuba do przechowywania tekstu jednej z moich stron internetowych, ale problemem jest indeksowanie przez Google tekstu w Githubie. Tak więc ten sam tekst pojawi się zarówno na mojej stronie, jak i na Github. na przykład this search Najlepsze trafienie to moja strona. Drugie trafienie to repozytorium Githuba.

Nie mam nic przeciwko temu, że ludzie widzą źródła, ale nie chcę, żeby Google je indeksował (i może karać za duplikowanie treści). Czy istnieje sposób, aby poza zatrzymaniem prywatnego repozytorium nakazać Google przerwanie indeksowania to?

Co stanie się w przypadku Github Pages? Są to witryny, w których źródło znajduje się w repozytorium Github. Czy mają ten sam problem z duplikacją?

Podejmij this search najlepszych najbardziej trafionych kontaktów do the Marpa site, ale nie widzę source wymienionych w wynikach wyszukiwania. W jaki sposób?

Answer 1

Plik z GitHub https://github.com/robots.txt umożliwia indeksowanie na bąble na „master” oddział, ale ogranicza wszelkie inne oddziały. Więc jeśli nie masz oddziału "głównego", Google nie powinien indeksować twoich stron.

Jak usunąć „kapitan” Branża:

W swoim klonie utworzyć nowy oddział - nazwijmy go „głównym” i przesunąć go do GitHub

git checkout -b main 
git push -u origin main 

Na GitHub zmienić domyślną gałąź (zobaczyć w sekcji Ustawienia repozytorium) lub tutaj https://github.com/blog/421-pick-your-default-branch

Następnie wyjąć główny oddział z klonu i od GitHub:

git branch -d master 
git push origin :master 

Uzyskaj inne osoby, które mogły już rozwidlić twoje repozytorium, aby zrobić to samo.

Ewentualnie, jeśli chcesz wesprzeć finansowo GitHub, można przejść prywatny https://help.github.com/articles/making-a-public-repository-private

Answer 2

Krótki awnser. Tak, możesz za pomocą pliku robots.txt.

Jeśli chcesz uniemożliwić Googlebotowi indeksowanie treści w Twojej witrynie, masz wiele opcji, w tym użycie pliku robots.txt w celu zablokowania dostępu do plików i katalogów na serwerze.

Potrzebujesz pliku robots.txt, tylko jeśli witryna zawiera treści, których nie chcesz indeksować w wyszukiwarkach. Jeśli chcesz, aby wyszukiwarki indeksowały wszystko w Twojej witrynie, nie potrzebujesz pliku robots.txt (nawet pustego).

Chociaż Google nie będzie indeksować zawartości stron zablokowanych przez plik robots.txt, możemy nadal indeksować adresy URL, jeśli znajdziemy je na innych stronach w Internecie. W rezultacie adres URL strony i potencjalnie inne publicznie dostępne informacje, takie jak tekst zakotwiczony w linkach do witryny lub tytuł z Open Directory Project (www.dmoz.org), mogą pojawiać się w wynikach wyszukiwania Google.

Źródła:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Answer 3

Jeśli chcesz trzymać się gałęzi głównej nie wydaje się być odwrotnie przy użyciu prywatnych repo (a upsellingu konto GitHub) lub za pomocą innej usługi, które oferuje prywatny repos za darmo jak Bitbucket.

Answer 4

prosta odpowiedź: niech twoje repo będzie prywatne.

https://help.github.com/articles/making-a-public-repository-private