Big Data, un fruct inca necopt

Cineva spunea recent, parafrazând oarecum o casă mare de analiză, că pentru a înțelege mai bine clienții, companiile trebuie să caute informaţii despre aceştia în afara bazelor de date tranzacţionale pe care le operează. Chiar dacă merchandisingul și Social CRM-ul, spre exemplu sunt abordări care se încadrează in aceasta cerinta, afirmația direcționa către BigData și către necesitatea integrării în depozitele de date (data warehouse) a unor surse externe organizației: portaluri web, Social Media, senzori etc.

În mod evident, BigData, ca tehnologie, filozofie, strategie este aici pe termen lung, iar avantajele sunt uşor de observat chiar și sub mesaje precum „informaţia este putere” sau „datele sunt noua valută globală”. Subiectul este  omniprezent în peisajul autohton, atât la nivel de evenimente cât şi editorial, ceea ce este un lucru bun, însă am impresia că industria IT se grăbeşte încercând să ardă prea multe etape.  

John Radcliffe (consultant, ex Gartner) imi spunea intr-un interviu luat la un eveniment Teradata ca „dacă nu poţi alerga până nu înveţi să mergi, probabil că nici nu poţi avea un proiect de BigData fără o experienţă relevanta de business analytics”. Din păcate, piaţa românească de Business Intelligence/Business Analytics este foarte puţin dezvoltată și nu mă refer la valoare ci la complexitatea proiectelor. Multe companii romaneşti sunt blocate în sisteme simple de raportare şi analiza, le sunt străine abordările de tip depozit de date sau integrează două-trei surse. Mai mult, nu ştiu câte companii locale captează informaţii nestructurate din surse externe, dar putem presupune că destul de puține. Ca orice altă tehnologie, și în cazul BigData printre early-adopters vor fi jucătorii mari din telecomunicaţii, servicii financiare, retail etc însă nici pe aceste verticale nu există semnele unor proiecte reale. 

Cum spuneam anterior, BigData este aici pe termen lung, însă industria IT trebuie să înţeleagă că piaţa are nevoie de mesaje clare, de o terminologie aşezată, şi mai ales de înţelegerea beneficiilor de business. Până la urmă, ce promite BigData? Din discursul consultanţilor pare că aduce multe răspunsuri, însă tind să cred că în realitate, BigData aduce mai multe întrebări. BigData pune o presiune tot mai mare pe oamenii de marketing pentru că aceştia vor fi responsabili cu identificarea reacţiei potrivite după ce compania a aflat ce gândesc, ce vor și ce aşteptări au clienţii.

(editorial MarketWatch, editia aprilie)

Read More

Cum arata piata de Data Warehouse Management?

Cele mai interesante proiecte de Data Warehouse Management despre care am scris in ultimii ani sunt cele de la Centrofarm, pe tehnologie Microsoft SQL BI Server (facut de Crescendo) si de la Cora pe Oracle Data Integrator (facut de Novensys). Proiecte cu abordare traditionala, integrare date din surse multiple (ERP, CRM, POS-uri, carduri etc) agregare in DWM, procese ETL (Extract/Transform/Load) si livrare de informatii catre utilizatori, intr-un format grafic, intuitiv, inteligent etc. In ambele cazuri, proiecte cu impact major in organizatie, suport decizional relevant, amortizare rapida.

In esenta, un depozit de date (data warehouse) este o colectie de date avand cel putin doua surse diferite (in general aplicatii tranzactionale) si care sunt integrate cu scopul unificarii formatelor pentru analize complexe. Depozitele de date sunt cu atat mai complexe cu cat sursele sunt mai multe si mai variate, iar daca in ecuatie se adauga si date in format nestructurat (care nu sunt grupate in tabele/coloane etc imagini, documente, log-uri spre exemplu) lucrurile se complica natural. De aici mai sunt cativa pasi pana la BigData.

Cum arata piata locala de Data Wharehouse Management este greu de spus.  Structura si pozitionarea vendorilor, conform cadrantului magic al Gartner, este ca in imaginea de mai jos.

Jucatorii mari sunt prezenti (Oracle, IBM, Microsoft, SAP, HP) cu exceptia Teradata, care desi are cativa clienti in RO, nu a deschis inca o filiala locala. Ar mai fi Greenplum/Pivotal (in zona Vizionarilor) pentru ca au fost cumparati in 2010 de EMC, iar EMC are birou in Romania, insa din 2013 ar fi devenit independenta, oricum nu stiu daca exista proiecte locale pe aceasta tehnologie. Jucatorii de nisa nu exista si nici Amazon sau 1010Data.

Daca va intereseaza specificul fiecarei companii, gasiti toate detaliile pe site-ul Gartner. Cadranul a fost facut public prin Martie, deci datele sunt inca proaspete. 

Read More

Proiecte BigData: cum calculeaza British Railways modul de utilizare a cailor ferate?

La un eveniment Teradata am cunoscut accidental un director de la Aptitude Software, companie din UK care a dezvoltat inca de acum 4-5 ani o platforma de management financiar pentru British Railways (BR). Ca si in Romania, transportul feroviar din UK are doua componente majore: infrastructura de cale ferata care este detinuta de o companie fosta de stat, privatozata prin anii 90, si operatori privati de servicii de transport pentru persoane si marfuri. Acesti operatori inchiriaza infrastructura de la compania nationala BR si platesc in functie de utilizare.

Aici intervine BigData. Aptitude Software a dezvoltat un proiect complex care sa permita managementul modului de utilziare a cailor ferate si alocarea costurilor in consecinta. Pe baza unei retele de senzori, patforma prea informatii despre cum este folosita reteaua de cale ferata pe baza unor parametri de genul: tip de transport (persoane/marfa/ce tip de marfa) pe ce distanta, pe ce tip de teren/relief, cu ce tip de locomotive, la ce ore, pe ce tip de sine (drepte/curbe) etc. Solutia are la baza tehnologie Teradata precum si o platforma proprietara a celor de la Aptitude.Volumul de date este urias, informatiile sunt colectate in timp real, datele sunt diverse, iar valoarea obtinuta este evidenta. Asta ca sa amintim cei 4 V definitorii pentru proiectele BigData (volum, viteza, varietate, valoare).

Toate datele sunt colectate intr-un DataWarehouse (Depozit de Date), integrate impreuna cu date din aplicatiile operationale (ERP, spre exemplu) legate de conditiile contractuale etc, iar de aici se stabileste consumul fiecarui operator in parte si implicit se face pretul, facturarea etc. Inainte, sistemul de calcul implica un numar mult mai mic de parametri, iar obtinerea rezultatelor era mai complicata si de multe ori fara legatura cu realitatea. Conform tipului de la Aptitude Software proiectul BigData a dus la cresterea incasarilor cu 10% in primul an de utilizare, iar  castigul a dus la amortizarea investitiei.

Read More

Daca datele sunt noua valuta mondiala, oare stau in seiful potrivit?

Aud tot mai des formulari de genul „data is the new global currency” si avand in vedere ca publicitatea online atinge valori de miliarde probabil este destul de mult adevar in aceasta afirmatie. Mai mult, toate companiile fac eforturi sa intre in posesia datelor referitoare la obiceiurile noastre de viata si consum. Facebook stie mai tot ce si pe unde facem, retailerii cam tot ce consumam, masinile inregistreza orice deplasare (vezi BMW connected car spre exemplu) aplicatiii ca Endomondo ne stiu traseele zilnice, firmele de taxi orele cand plecam la birou si cand revenim, retailerii ce consumam, cand consumam, cand luam leafa probabil sau cand plecam in vacanta etc.

Toate lumea are date despre noi, date care valoareza milioane insa nu stim unde sunt depozitate aceste valori. Daca sectorul bancar este relativ bine reglementat (securiate, proceduri, audit etc) se intampla acelasi lucru cu un retailer? In ultimul an au fost mai multe cazuri de pierderi ale datelor clientilor, de la Adobe si Sony pana la Tesco... deci risuri exista. Prin urmare, poate ar trebui sa fim ceva mai atenti cui lasam in grija „banii” nostri. L-am auzit astazi pe Stephen Brobst de la Teradata vorbind despre un „personal data warehouse” in care sa ne pastram toate informatiile personale (despre sanatate, calatorii, obiceiuri de consum etc) si pe baza carora sa negociem ulterior servicii mai bune cu furnizorii. Oare ce ar trebui sa trecem la „Terms and conditions”?

Read More

Diferente si asemanari intre Business Analytics si Big Data

Toate companiile din IT incearca sa capitalizeze pe conceptul Big Data si prin urmare este o tema omniprezenta la conferinte, in reviste, pe site-uri. Se arunca pe piata studii socante cu procente mari de clienti care cocheteaza cu Big Data insa cautarea unor referinte reale de proiecte care sa integreze structuri complexe de date: din sisteme tranzactionale, de a senzori, din web/social, care sa analizeze fluxuri online de informatii etc nu duce la cine stie ce rezultate.
Am discutat subiectul, ieri la evenimentul IDC Big Data and Business Analytics cu reprezentanti de la SAS si Teradata si concluzia a fost ca tendintele nu trebuie ignorate dar o diseminare corecta este necesara.
Primul aspect care trebuie inteles este ca Big Data reprezinta o componenta a Business Analitycs, care se dezvolta in corelatie cu alte tehnologii (M2M, IoT, Hadoop etc) fara a reprezenta o transformare generala a domeniului BA.
Ambele sunt intrumente de analiza si suport decizional, ambele implica instrumente specifice pentru procesarea datelor, in ambele cazuri este nevoie de efort pentru exploatarea rezultatelor si transpunerea acestora in realitate (decizii manageriale, marketing etc).
Unde este schimbarea? Dincolo de volumul in crestere, Big Data are legatura mai ales cu aparitia unor tipuri noi de date si cu nevoia integrarii acestora in sistemele de analiza. Daca in Business Analitycs datele exista in sistemele tranzactionale si de acolo sunt integrate la nivel de DataWharehouse si apoi descoperite, in Big Data mai intai trebuie descoperite si apoi integrate pentru a intra in procesele de analiza.
Big Data, spuneau cei de la Teradata, este mai mult o directie explorativa decat analitica.
Unde este aplicabilitatea? Evident, in companii mari (servicii financiare, telecom, retail) care au atat complexitatea cat si bani si interesul integrarii detelor din surse multiple (interne si externe) pentru a obtine o vizibilitate mai buna asupra activitatii.
La evenimentul IDC printre proiectele prezentate se aflau: o companie petroliera care integra date seismice si geotehnice de la senzori subterani, un operator de televiziune prin cablu care prelua date de la set-top box-urile clientilor si analiza consumul de programe, un operator de telefonie mobila care integra date referitoare la calitatea tehnica a apelurilor pentru a identifica nivelul operational al retelei, o insitutie bancara care integra date despre client din surse non conventionale (social networking) etc. Prin urmare Big Data nu e chiar pentru IMM-uri. Maine voi avea o discutie cu CIO unui grup regional activ in oil&gas, iar Big Data and stuff va fi printre subiecte, chiar sunt curios care este nivelul real de interes.

SAS Institute a adus la eveniment si cateva titluri relevate pe subiectul Business Analitycs.

Read More

Cum arata piata globala pentru bazele de date relationale?

Maine, Oracle lanseaza oficial in Romania Oracle Database 12C si ma gandeam ca trasarea unui contur al pietei specifice (baze de date relationale ar fi utila in acest context. Exista un raport Gartner din 2013 (cu info pentru 2012) insa poate fi accesat doar contra cost, prin urmare apelez la datele publicate in 2012. (cu info din 2011)

Valoarea globala a pietei era de cca 20 miliarde USD in 2011 si a crescut la cca 24 miliarde USD in 2013.

Cotele de piata sunt impartite astfel:
1) Oracle, genereaza venituri de 11,8 miliarde USD, 18% crestere anuala si detine o cota de piata de cca 48,8%. Oracle DB este cel mai notoriu produs al pietei, utilizat in cele mai mari companii, foarte performant, bogat in functionalitati, relativ scump. Pentru 2012 exista informatii care atesta o creștere similara.
2) IBM, venituri de cca 4,9 miliarde USD, in crestere cu 13,3% si o cota de piata de cca 20,2%. Produs: IBM DBs
3) Microsoft, venituri de cca 4,1 miliarde USD, crestere anuala de 17%, cota de piata cca 13%. Produs Microsoft SQL, tind sa cred ca in Romania are o cota de piata mult mai mare, spre 28-30% foarte aproape de Oracle.
4)SAP, venituri de 1,1 miliarde USD in crestere cu (Atentie) 48% fata de anul precedent. Procentul mare de crestere are doua explicatii: pe de o parte cresti rapid cand esti mic, iar SAP/Sybase are o cota de piata de doar 4,6%, insa pe de alta cresterea are la baza si lansarea SAP Hana, produs pe care SAP il promoveaza ca baza de date ideala pentru SAP Business Suite si SAP DataWarehouse. Cum ambele solutii mentionate anterior au o baza instalata foarte mare, este de asteptat ca SAP/Sybase să inregistreze cresteri considerabile ale veniturilor generate si implicit ale cotei de piata, mai ales daca va confirma ca un produs de nivel critic.
5)Teradata, un produs prea putin folosit/cunoscut in Romania, venituri de cca 900 milioane USD cu o crestere de 16% si cota de piata de cca 3,7. L-as eticheta ca un jucator mai de nisa, nu influenteaza piata intr-un mod relevant.

La nivelul anului 2013, se stie doar ca piata este in crestere, Oracle isi pastreaza pozitia ca venituri, iar SAP isi pastreaza ritmul de crestere. Unii analisti spun chiar ca SAP ar putea ajunge pe locul 2 pana prin 2015. Local nu exista informatii structurate despre piata bazelor de date. Prin 2011, pe baza estimarilor unor vendori, circula o valoare de 35-40 milioane EUR. O componenta importanta a pietei este MySQL, o baza de date disponibila prin licentiere publica generala GNU si destul de raspandita in RO. Poate maine apar si alte informatii.

Read More

Despre Big Data si Customer Experience

Unul dintre cei mai buni vorbitori pe tema Big Data, Analytics and stuff este Stephen Brobst, CTO (Chief Technology Officer) la Teradata. L-am cunoscut la un eveniment in Dublin si este fascinant sa-l asculti pe teme legate de date/informatii si utilizarea acestora in procese de business, de la cele mai banale pana la extrem de complexe. A fost printre primii care au spus ca termenul big data este nepotrivit si nu acopera toate aspectele conceptului, in cele mai multe cazuri nu dimensiune ci varietatea/diversitatea datelor fiind cea care conteaza. Tot Brobst mi-a spus ca big data este mai degraba un iaz plin de peste din care doar cine vrea si are uneltele necesare poate scoate profit, decat un tsunami digital care „matura” totul in cale. Asta pentru ca se tot vorbeste despre un „nou potop” la nivelul volumului de date care creste exponential.
Materialul de mai jos a fost realizat la conferinta Teradata de la Budapesta (in iunie) si reflecta cele spuse mai sus. Intrebarile jurnalistului din Ungaria sunt ok (ignorati accentul), fara a fi cele mai pertinente, insa au oarecare aplicare si pe piata din Ro, unde Teradata, din pacate, nu este totusi prea activa.

Read More

Cine pune piedica in calea BigData?

In Romania, BigData se impiedica singur pentru ca nu exista, iar intrebarile unor colegi de breasla „cate proiecte tip BigData ati derulat in ultimul an” mi se par luate de pe site-ul acela celebru TimesNewRoman.

Pe alte piete, precum Franta, Germania, Austria si UK un studiu realizat recent de BARC (Business Application Research Center) in 274 de companii afirma ca principalele piedici in calea BigData sunt lipsa expertilor si implicit a know-how-ului, adica lumea vorbeste dar nu prea stie ce si cum. Participantii la studiu spun ca au planuri in ceea ce priveste big data: 72% afirma ca ua nevoie de un control mai bun asupra datelor existente in companie, 75% considera ca tehnologiile asociate big gata (Apache Hadoop, spre exemplu) vor permite o analiza mai rapida si mai eficienta a datelor, iar 66% considera ca valoarea Big Data sta in exploatarea datelor polistructurate (cu origine in surse diverse: senzori, socialmedia, web-logs etc). Iar ca sa vedem ce notorietate are termenul, doar 7% au spus ca nu au planuri si nu ii intereseaza conceptul.
Dincolo de cifre (ajunse la mine prin intermediul Teradata) tendinta curenta este de consolidare sub termenul de Big Data a mai multor concepte si tehnologii din segmentul de Business Analytics, in principiu cam orice proiect care trancende bazele de date tranzactionale ca sursa si consolideaza date nestructurate provenite din medii externe organizatiilor (in principal web). Subiectul este de urmarit.

Read More

Grupul Metro investeste intr-o platforma analitica Teradata

Metro va utiliza o o soluție de business analytics furnizata de Teradata, bazată pe o platforma complexa numita Teradata Analytica Ecosystem și care include hardware, software și servicii. Compania va construi pe baza produselor Teradata un depozit de date nou care să consolideze date din 30 de piețe, date care ulterior vor fi sortate, curatate, analizate si livrate (data cleansing, data mining etc) intr-o forma inteligenta pentru sustinerea deciziilor operationale (in departamentele de vanzari, marketing, suport) dar si strategice, la nivel de top management. Platforma este deschisa si poate integra si alte produse Teradata. Spre exemplu, Metro va utiliza si o soluție CRM de la Teradata pe care a introdus-o deja in 20 de sucursale nationale, solutie care va livra catre depozitul de date informatii de o mare valoare.

Grupul Metro, cu prezenta si in Romania est eunul dintre cei mai mari retaileri, cu venituri de cca 67 miliarde Eur, 280.000 de angajati si peste 2.200 de magazine in 32 de tari. Nu stiu cum si daca organizatia din Romania va profita de pe urma acestui proiect. Cu siguranta si local este nevoie de inforamtii consolidate.
Un proiect asemanator  (evident la o scara mai mica) pentru care am facut un studiu de caz a derulat Novensys la Cora Romania, insa pe tehnologie Oracle (Oracle Data Integrator) consolidand intr-un depozit unic date din 3-4 surse (ERP, POS-uri, carduri de fidelizare) pentru o analiza detaliata a comportamentul de consum al clientilor.

Read More

Teradata vrea sa deschida o filiala locala

Americanii de la Teradata, companie specializata pe solutii inteligente de stocare, anunta ca intentioneaza sa intre pe piata romaneasca in urmatorul an. Cel putin asa se afirma aici.
Teradata este una dintre firmele pe care le concureaza Oracle cu produsul Exadata.

Read More