Big Data im Alltag

Ich glaube, viele Menschen haben kein vollständiges Verständnis von Big Data und denken, es sei etwas Unerreichbares. Tatsächlich ist Big Data aber nicht weit entfernt, sondern allgegenwärtig. Es ist eng mit unserem Leben verknüpft. Was also ist Big Data? Die Baidu-Enzyklopädie definiert Big Data wie folgt: Big Data bezeichnet eine Datenmenge, die mit herkömmlichen Softwaretools innerhalb eines bestimmten Zeitraums nicht erfasst, verwaltet und verarbeitet werden kann. Es bedarf eines neuen Verarbeitungsmodells, um fundiertere Entscheidungen treffen zu können. Es handelt sich um massive, schnell wachsende und vielfältige Informationsbestände mit entsprechenden Fähigkeiten, Erkenntnissen und Prozessoptimierungspotenzialen. Zunächst einmal ist klar, dass Big Data massiv sein muss. Darüber hinaus müssen diese Daten verarbeitet, sortiert, analysiert und ihr Potenzial erschlossen werden. Eine bloße Datenmenge ist wertlos; sie muss analysiert, sortiert und genutzt werden, um daraus einen enormen Mehrwert zu generieren. Wenn wir von massiven Datenressourcen sprechen, bezeichnen wir Analyse, Sortierung und Entscheidungsfindung als Berechnungen. Ressourcen und Berechnungen zusammen ergeben also einen enormen Wert. Ohne Ressourcen gäbe es keine Berechnungen. Sind nur Ressourcen vorhanden, sind sie ohne Berechnungen wertlos. In unserer sich rasant entwickelnden modernen Gesellschaft sind wir von Big Data umgeben. Weltweit werden sekündlich riesige Datenmengen generiert, und das rund um die Uhr. Im Folgenden geben wir Beispiele für die vielfältigen Möglichkeiten, die Big Data in unserem Umfeld bietet. Betrachten wir beispielsweise den täglichen Verkehrsfluss: In einer Stadt gibt es unzählige Autos und unzählige elektronische Überwachungsgeräte, die permanent große Datenmengen erzeugen. Diese Geräte erfassen kontinuierlich die Verkehrsdaten jedes einzelnen Fahrzeugs – Modell, Kennzeichen, Standort und Fahrzeit entgehen ihnen nicht. Die Analyse dieser Daten kann wertvolle Erkenntnisse liefern, beispielsweise in welchen Gebieten sich Verkehrsunfälle häufig ereignen und wo weitere Sicherheitsmaßnahmen erforderlich sind, sowie wo häufig Verstöße gegen Vorschriften vorkommen und deren Ursachen genauer untersucht werden müssen. In einigen Großstädten gibt es U-Bahn-Stationen, die für Pendler genutzt werden. Die U-Bahn ist für jeden Büroangestellten ein vertrauter Anblick. Jeder kennt den Verkehrsfluss in der U-Bahn. Die Nutzung ist schnell und bequem mit einer kleinen Fahrkarte möglich. Anhand der Fahrgastzahlen zu jeder Tageszeit kann an jeder U-Bahn-Station die übliche Spitzenzeit genau berechnet werden. So lassen sich die richtigen Entscheidungen treffen, beispielsweise wann an welcher Station die Fahrgastströme gesteuert werden müssen, um den Verkehr zu entlasten. Heutzutage besitzt praktisch jeder ein Smartphone. Ob im Einkaufszentrum, zu Hause oder unterwegs – ich bin überzeugt, dass viele Menschen ständig auf ihre Handys starren und dabei ununterbrochen Daten sammeln. Tägliche Einkaufsdaten: Diverse E-Commerce-Websites und diverse Artikel generieren ständig riesige Datenmengen. Seit dem Aufkommen des Internets hat sich die Anzahl der Transaktionen pro Minute im Vergleich zu traditionellen Unternehmen um Zehntausende Male erhöht (weit mehr als Zehntausende). Hinter diesen vielfältigen Aktivitäten steht die Generierung massiver Datenmengen. Wie bereits erwähnt, sind Ressourcen und Rechenleistung der Kern von Big Data. Nur die Kombination dieser beiden Faktoren kann einen enormen Mehrwert generieren. Wie sollte also der konkrete Verarbeitungsablauf von Big Data aussehen? Was ist der Prozess selbst? Warum ist es ein Prozess? Weil Big Data nicht mehr mit den traditionellen kleinen Datenmengen vergleichbar ist, die Berechnungsergebnisse in Echtzeit generieren. Es handelt sich um einen prozessorientierten Prozess, der sich im Allgemeinen in die folgenden Schritte gliedert: Datenerfassung/Datenerhebung. Dies ist der erste Schritt. Die Datengenerierung erfolgt durch diesen Schritt. Dieser Schritt ist die einfache Datenerfassung, unabhängig von der Wiederholbarkeit und Gültigkeit der Daten. Es handelt sich um die einfache Dateneingabe. Datenverarbeitung und Formatkonvertierung: Die Hauptaufgabe dieses Abschnitts besteht in der Verarbeitung von Daten, der Überprüfung ihrer Gültigkeit und Reproduzierbarkeit sowie der Konvertierung in ein vordefiniertes Format, um die Datenübertragung auf feste Speichermedien zu erleichtern. Datenspeicherung: Das oben genannte Speichermedium kann eine Datenbank, ein Dateisystem oder eine Kombination mehrerer Speichermethoden sein. Die gesammelten Daten werden effizient verarbeitet und gespeichert. Die statistische Datenanalyse untersucht die gespeicherten Daten in verschiedenen Dimensionen und zieht entsprechende Schlussfolgerungen. Diese Dimensionen werden von technischen Fachkräften oder Branchenexperten gemeinsam diskutiert und formuliert. Auf Grundlage dieser Dimensionen lassen sich viele wertvolle Ergebnisse erzielen. Data Mining: Durch die Analyse der aus verschiedenen Dimensionen gewonnenen Erkenntnisse können wir die zugrunde liegenden Zusammenhänge aufdecken, entsprechende Strategien ableiten und diese schnell implementieren.