Categories
Management @de

Cloud Computing Nutzen: Webcrawler

Informationen sind im Internet weit verteilt und unorganisiert, wodurch für das Suchen, Abfragen, Verteilen und Verarbeiten dieser Daten hohe Anforderungen hinsichtlich der Verarbeitung und dem Speichern gestellt werden. Weiterhin werden moderne Algorithmen benötigt, mit denen diese Daten manipuliert, indiziert und die Anfragen der Benutzer beantwortet werden können. Der ständige Wandel innerhalb des Internets verstärkt zudem die Situation exakt die Informationen zu finden die gesucht wurden.

Mit Cloud Computing steht im Prinzip jedem die Möglichkeit bzgl. Speicherplatz und Rechenleistung zur Verfügung um einen eigenen Webcrawler zu entwickeln. Dazu müssen Dinge beachtet werden, die auch von der Infrastruktur eines Cloud Computing Anbieter erfüllt werden müssen, auf welcher der Webcrawler dann ggf. ausgeführt wird.

Zunächst stellt sich die grundsätzliche Frage, auf was für eine Infrastruktur zurückgegriffen werden muss, um ein skalierbares System aufzubauen, das den Herausforderungen des heutigen und vor allem zukünftigen Internets gewachsen ist. Das fängt bei der Speicherarchitektur zur Ablage sämtlicher Daten an, die davon abhängt, wie der zukünftige Speicherbedarf aussieht (Wachstumsrate) und wie viel Speicher tatsächlich notwendig ist. Weiterhin muss bedacht werden, wie dynamisch und skalierbar sich die Performance hinsichtlich der Indizierung und dem Durchsuchen der aktuellen und zukünftigen Daten sowie der grundsätzlichen Verarbeitung verhält.

By Rene Buest

Rene Buest is Gartner Analyst covering Infrastructure Services & Digital Operations. Prior to that he was Director of Technology Research at Arago, Senior Analyst and Cloud Practice Lead at Crisp Research, Principal Analyst at New Age Disruption and member of the worldwide Gigaom Research Analyst Network. Rene is considered as top cloud computing analyst in Germany and one of the worldwide top analysts in this area. In addition, he is one of the world’s top cloud computing influencers and belongs to the top 100 cloud computing experts on Twitter and Google+. Since the mid-90s he is focused on the strategic use of information technology in businesses and the IT impact on our society as well as disruptive technologies.

Rene Buest is the author of numerous professional technology articles. He regularly writes for well-known IT publications like Computerwoche, CIO Magazin, LANline as well as Silicon.de and is cited in German and international media – including New York Times, Forbes Magazin, Handelsblatt, Frankfurter Allgemeine Zeitung, Wirtschaftswoche, Computerwoche, CIO, Manager Magazin and Harvard Business Manager. Furthermore Rene Buest is speaker and participant of experts rounds. He is founder of CloudUser.de and writes about cloud computing, IT infrastructure, technologies, management and strategies. He holds a diploma in computer engineering from the Hochschule Bremen (Dipl.-Informatiker (FH)) as well as a M.Sc. in IT-Management and Information Systems from the FHDW Paderborn.

One reply on “Cloud Computing Nutzen: Webcrawler”

Leave a Reply