Kas ir lielie dati?

Kā

AutorsRaiens Dube

Pēdējoreiz atjaunināts2020. gada 26. marts

Gadu gaitā daudzos vārdos daudzās nozarēs ir kļuvuši moderni. Ir maz tādu, kas ir kļuvuši tik populāri un tik ilgi, cik lieli dati. Bet kas tieši ir lielie dati?

Lielie dati attiecas uz virtuālu informācijas okeānu no dažādiem avotiem, analizētu un filtrētu tādā veidā, lai iegūtu jēgpilnus un praktiskus rezultātus.

“Lielo datu” pārvēršana nozīmīgos rezultātos var izrādīties sarežģīta un grūta. Tomēr, tiklīdz jūs saprotat, kas ir lielie dati un kā tie darbojas, saprast, kā padarīt tos jēgpilnus, nešķiet tik sarežģīti.

Kas ir lielie dati?

Kad dzirdat, kā cilvēki runā par “lielajiem datiem”, tas parasti notiek ar lielu roku vicināšanu un lieliem vārdiem. Bet, kad jūs noņemat visu hiperkolu, faktiskie “dati” faktiski ir daudzkārtīgas datu ievades plūsmas.

Lai to saprastu, piemērs var palīdzēt. Pieņemsim, ka jūs vadāt lietussargu ražošanas uzņēmumu. Jūsu mārketinga nodaļa meklē veidu, kā labāk prognozēt, kad tirgus pieprasījums drīz palielināsies.

Pirms lielu datu dienām tirgotāji pētīja tirgus tendences, izsūtīja klientu aptaujas un daudzas citas aktivitātes.

Viņi apkopos visus šos datus un glabās tos sava uzņēmuma iekšējās datu bāzēs. Kāds varētu būt pat atbildīgs par mārketinga pētījumu datu atjaunināšanu gadā vai ceturksnī.

Tomēr lielo datu parādīšanās paplašina iespējas veikt šāda veida pētījumus. Jo īpaši lielie dati ir īpaši efektīvi, lai identificētu svarīgas tendences vai notikumus gandrīz reālā laikā.

Datu ievades šāda veida “lielo datu” analīzei var ietvert reāllaika datu plūsmas, ierakstot kodu, kas tiek pievienots Lietojumprogrammu saskarne (API) no daudziem dažādiem uzņēmumiem, kas šos datus ir publiskojuši:

• Twitter un Facebook: Identificējiet, kad un kāpēc cilvēki apspriež lietussargu iegādi.
• Laikapstākļi: Identificēšana laika apstākļi vai prognozes, kas varētu pārvērsties par lielāku lietussargu pārdošanu.
• Akciju tirgus: Lietussargu ražošanas izejvielu izmaksu sezonālās izmaiņas.
• Klientu tīmekļa izmantošana: Izmantojot informāciju no datoru sīkdatnes cilvēku, kuri apmeklē uzņēmuma katalogu, lai saprastu pirkšanas paradumus.
• Klientu pirkumu vēsture: Mazumtirgotāju izsekošana tirdzniecības vietu tendenču ģeogrāfijai un sezonai.

Lai izmantotu lielos datus, šī uzņēmuma mārketinga komandai dažos gadījumos būs jāinstalē jaunas tehnoloģijas.

Big Data un internets

Tas varētu ietvert lietu interneta (IoT) tehnoloģiju mazumtirgotājos, kas izseko un ziņo par patērētāju uzvedību. Vai arī tas var būt saistīts ar to, ka programmētājam ir jāraksta kods, kas nepieciešams saskarnei ar Twitter API, lai filtrētu visus Tweets, kur minēti “lietussargi” vai uzņēmuma nosaukums.

Katra no šīm tehnoloģijām tagad ir pieejama, pateicoties internetam. Internets ļauj ikvienam izmantot datu plūsmas no visas pasaules.

Lūk, kā šajā gadījumā var darboties mūsu pašu piemēra iestatīšana.

Šī diagramma parāda, kā dati no daudziem dažādiem avotiem nonāk uzņēmuma “datu ezerā”. Ienākošie dati var būt strukturēti atšķirīgi, taču svarīgi ir savākt pēc iespējas vairāk datu no visiem avotiem.

Kas ir datu ezers?

Atšķirībā no datubāzes, kas satur strukturētus datus, kas sakārtoti noteiktās kolonnās un rindās, datu ezers ir masīvs daudzu dažādu veidu datu krātuve.

Saglabātie dati varētu būt strukturēti vai nestrukturēti. Nozīmē, ka tai var būt strukturētas rindas un kolonnas, vai arī tās var nebūt. Dati varētu būt virknes, kurās datu atdalīšanai tiek izmantots noteikts formatējums. Katrs datu avots var iesniegt datus datu ezerā jebkurā formā.

Attēlu datu ezeru izveidojiet kā lielu bibliotēku, kurā ir daudz dažādu formātu datu nesēju, piemēram, grāmatas, attēlus mikrofilmē un video DVD diskos.

Iedomājieties digitālās informācijas un datu analītikas inženieri kā šīs bibliotēkas patronu. Šie klienti var digitāli izvilkt datus no grāmatām, mikrofilmām un DVD un atrast veidus, kā šos datus sajaukt un apvienot, kā arī uzzināt, kā dati korelē.

No šīm mācībām nāk reāls, realizējams intelekts. Daži no šiem mūsu piemēra variantiem varētu ietvert:

• Pļāpāšana Twitter un Facebook norāda uz vētru tuvošanos Ņujorkā, tūkstošiem klientu plāno iegādāties lietussargus.
• Datoru sīkfailu pirkšanas dati un mazumtirdzniecības kases norāda, ka pircēji Kalifornijā ir gatavi maksāt vairāk par dizaineru lietussargiem nekā Virdžīnijas iedzīvotāji.
• Vētras tendence, kas tuvojas, norāda, ka lielāko daļu Austrumu krasta visu nedēļu segs lietusgāze.

Visas šīs mācības varētu mudināt mārketinga komandu ieguldīt vairāk reklāmās ģeogrāfiski, ja jumta pārdošanas pieprasījums ir daudz lielāks. Ražošanas operācijas varētu arī novirzīt savus ražošanas centienus uz tiem pasaules reģioniem, kas atrodas tuvāk tur, kur pārdošanas apjomi, visticamāk, palielināsies.

Tādā veidā, izmantojot lielos datus, jebkurš uzņēmums var pilnveidot savu mārketingu un darbību.

Kas ir Hadoop?

Nākamais jautājums ir, kā uzņēmumi apstrādā tik lielu datu apjomu un nosaka tendences?

Šāda veida datu kratīšanai nepieciešami lieli datoru resursi. Tik daudz, ka uzņēmumi vairs neizmanto lielos lieldatoru datorus telpās, kā viņi bija pieraduši. Daudzi no šiem pakalpojumiem tagad ir pirkumi no mākoņa. Mākoņu datu izlūkošanas pakalpojumi, piemēram, Apache Hadoop, piedāvā daudz datoru mezglus lielā mākoņu tīklā. Katrs no šiem mezgliem veicina apstrādes jaudu, kas nepieciešama, lai analizētu masīvas datu plūsmas no vairākiem avotiem.

Šāda veida apstrādes jauda ir mašīnas vai digitālās informācijas un datu analīzes pamatā. Hadoop ir programmatūras ietvars, kas visu šo masīvās skaitļošanas jaudas tīklu padara darbu, kas nepieciešams digitālās izlūkošanas inženieriem.

Kad skaitļošanas motors rada realizējamu intelektu, tas uzņēmumam parasti tiek piegādāts informācijas paneļu vai pārskatu veidā.

Big Data nav tikai burvju vārdi

Patiesība ir tāda, ka “lielie dati” ir kas vairāk nekā tikai korporatīvā lingo. Daudzi uzņēmumi uzzina, ka, labāk izmantojot datus, viņi var sasniegt daudzus sasniegumus.

• Ražotāji var uzlabot kritiskos ražošanas rādītājus, piemēram, ražu, kvalitāti un efektivitāti.
• Mazumtirgotāji var labāk saskaņot mārketinga, reklāmas un biznesa ieguldījumus, pamatojoties uz tirgus signāliem.
• Izplatītāji spēj paredzēt iespējamās problēmas piegādes ķēdē, lai pirms tam izstrādātu ārkārtas rīcības plānus.
• Ziņu organizācijas var ātri noteikt ziņu cienīgus notikumus, analizējot sabiedrības signālus internetā.
• Kiberdrošības eksperti izmantot signālus internetā, lai identificētu kiberuzbrukumus, kamēr tie notiek.

Kaut arī liela daļa no pēdējos gados paveiktajiem lielajiem datiem faktiski ir gandrīz neredzama sabiedrībai, lielie dati faktiski ir ievērojami ietekmējuši cilvēku dzīvi visā pasaulē.