Jeśli wykonałeś jakieś poważne badania w zakresie API wyszukiwania, wiesz, że większość z nich ma ogromną liczbę ograniczeń TOS/TOU, które sprawiają, że są prawie niemożliwe do użycia w czymkolwiek, poza najbardziej nieczytelnymi aplikacjami.Jakie bezpłatne/płatne interfejsy API wyszukiwania pozwalają na programowe wysyłanie zapytań i buforowanie/przechowywanie wynikowych danych?
Interfejs API Binga 2.0, Wyszukiwarka Yahoo BOSS, Miejsca Google, Wyszukiwarka Google AJAX (dead) i inne są dla nas zbyt restrykcyjne. Muszę uruchomić skończoną i stosunkowo niewielką liczbę zapytań (być może 500 tys.) Jednorazowo, przechowując określone dane z wyników do wykorzystania w naszej aplikacji.
Na przykład, musimy dopasować nazwy firm do ich docelowych stron internetowych (napisaliśmy algorytm, aby w razie potrzeby uzyskać "najlepsze wyniki" z zestawu wyników, potrzebujemy tylko zestawu wyników wanilii). Musimy również dopasować adres do tej firmy.
Niestety, mogę znaleźć ZERO search API, które pozwoli nam odpalać zapytania w sposób programowy, nie inicjowany przez użytkownika.
Jesteśmy nawet gotowi dać komuś zimną, twardą gotówkę za dostęp do tego rodzaju danych; Google, Bing, Yahoo i inne po prostu nie chcą naszych pieniędzy (o czym świadczą ich TOSy) ...
Jakieś przemyślenia?
Witam wszystkich! Widzę, że to zostało poddane ścisłemu głosowaniu. Jeśli istnieje społeczność SO, która byłaby bardziej odpowiednia dla tego pytania, proszę dać mi znać. Szczerze przeglądnąłem je wszystkie, a pierwotny WRC wydawał się najbardziej trafny. Dzięki! :) – rinogo
Czy próbowałeś Blekko? Co masz na myśli, mówiąc: "mogę znaleźć ZERO search API, które pozwoli nam odpalać zapytania w sposób programowy, nie inicjowany przez użytkownika"? Wokół wyszukiwarki niestandardowej Google miała miejsce dyskusja na temat możliwości przeszukiwania całej sieci (dodanie strony i usunięcie jej później). Możesz także kupić "kredyty" dla wyszukiwarki niestandardowej Google, chociaż niektórzy użytkownicy znaleźli ograniczenie nawet w takim przypadku. W każdym razie rozumiem twój punkt widzenia na ograniczenia obecnych interfejsów API wyszukiwarki, a Google jest najlepszą wyszukiwarką, nawet jeśli inne konkurują z nikim, nie ma większego indeksu. –
Dziękuję bardzo za odpowiedź, sw. Zapytany o twoją sugestię, sprawdziłem Blekko, a ich TOU jest dość restrykcyjne. (Na razie jednak istnieje blask nadziei dla API Blekko: http://dev-ops.net/2011/02/02/blek-search-engine-with-some-nice-features/) Google CSE nie będzie działać dla nas; preferujemy długoterminowe, zgodne z prawem rozwiązanie, a nie krótkoterminową, prawnie wątpliwą łatę. Mamy pieniądze i chcemy się z tym rozstać! :) Dlaczego żadne z wielkich nazwisk nie chce przyjmować podmiotów o uzasadnionych potrzebach biznesowych, takich jak nasze? – rinogo