Număr de credite: 8

Cod: AMR0162

Predare: 4h de lucrări practice

Limba de predare: română

Tip: curs obligatoriu, semestrul 4, Masteratul Analiza Datelor Complexe

1. Introducere în Cloud Technologies

- Această temă oferă o introducere în tehnologiile cloud, precum conceptele și beneficiile acestora.

- Se discută avantajele utilizării cloud-ului în gestionarea datelor și a analizelor.

- Se prezintă principalele platforme cloud și se analizează rolul lor în infrastructura de date.

2. Mediul Azure

-Se concentrează pe mediul Azure, o platformă de cloud computing oferită de Microsoft.

- Se explorează serviciile și resursele disponibile în Azure și modul în care acestea pot fi utilizate în operațiunile cu date.

- Se analizează exemple concrete de scenarii de utilizare în Azure.

3. Surse de date în Azure Data Factory

- Se explorează conceptul de Azure Data Factory și modul în care acesta permite integrarea și gestionarea surselor de date în mediu cloud.

- Se acoperă configurarea și setările inițiale ale acestui serviciu.

- Se discută despre conectarea la surse de date externe și definirea fluxurilor de lucru.

4. Transformări de date

- Această temă detaliază procesul de transformare a datelor pentru a le pregăti pentru analize ulterioare.

- Se discută tehnici și instrumente pentru curățarea, manipularea și structurarea datelor.

- Se analizează metode de extragere a informațiilor relevante din surse de date nestructurate.

5. Databricks: Data Cleaning

- Se introduce platforma Databricks și se concentrează pe tehnici de curățare a datelor folosind această platformă.

- Se explică cum Databricks poate simplifica procesul de curățare și pregătire a datelor.

- Se analizează exemple practice de curățare a datelor din diverse surse.

6. Databricks: Web Scraping

- Se învață cum să utilizați Databricks pentru a colecta date din surse web prin web scraping.

- Se acoperă tehnici și instrumente pentru a extrage informații utile din pagini web.

- Se analizează modul de configurare a web scraping în medii cloud.

7. Databricks: Accesare API

- Se discută despre accesarea datelor prin intermediul API-urilor utilizând platforma Databricks.

- Se explică cum să solicitați și să importați date din servicii web și alte surse externe.

- Se analizează exemple de integrare cu API-uri ale unor platforme populare.

8. Încărcarea datelor în Warehouse 1

- Această temă se concentrează pe procesul de încărcare a datelor într-un Data Warehouse folosind tehnologii cloud.

- Se explorează metode și strategii pentru a face acest lucru eficient.

- Se discută despre modele de date și structura tabelelor în Data Warehouse.

9. Încărcarea datelor în Warehouse 2

- Continuarea discuției despre încărcarea datelor într-un Data Warehouse, cu accent pe aspecte practice și scenarii complexe.

- Se analizează bunele practici pentru gestionarea datelor într-un mediu cloud.

- Se discută despre procesele ETL (Extract, Transform, Load) și optimizarea acestora.

10. Introducere în Structuri de Control

- Se introduce conceptul de structuri de control în gestionarea pipelines-urilor de date.

- Se discută despre automatizarea fluxurilor de lucru și gestionarea condițiilor în procesarea datelor.

- Se analizează moduri de implementare a structurilor de control în medii cloud.

11. Resurse adiționale și bune practici

- Se oferă referințe către resurse suplimentare, cum ar fi documentații, tutoriale și studii de caz pentru aprofundarea cunoștințelor.

- Se discută și despre bunele practici în operațiunile cu date în medii cloud.

- Se prezintă exemple de proiecte și scenarii reale de utilizare a tehnologiilor cloud.

Coroborarea conținuturilor disciplinei cu așteptările reprezentanților comunității epistemice, asociațiilor profesionale și angajatorilor reprezentativi din domeniul aferent programului

- Eficiența și scalabilitatea operațiunilor cu date: Acest curs ar putea ajuta compania să dezvolte resurse umane capabile să opereze eficient în medii cloud, să utilizeze Data Lakes și să creeze Data Pipelines. Aceasta ar facilita scalabilitatea și flexibilitatea operațiunilor cu date, esențiale pentru expansiunea companiei.

- Eficiența costurilor și a timpului: Operațiunile în medii cloud ar putea contribui la reducerea costurilor și a timpului necesar pentru gestionarea datelor și a analizelor, ceea ce ar fi benefic pentru operațiunile companiei.

• Wali, Mohamed, 2018. Learn Microsoft Azure: Build, manage, and scale cloud applications using the Azure ecosystem. Birgminham: Packt Publishing.
• Palacio, Alan Bernardo, 2021. Distributed Data Systems with Azure Databricks: Create, deploy, and manage enterprise data pipelines. Birgminham: Packt Publishing.
• How, Matt, 2020. The Modern Data Warehouse in Azure: Building with Speed and Agility on Microsoft’s Cloud Platform. AltonApress.

- 70% Examen pentru acasă de o zi

- 30% 3 teme pentru acasă

- 10% prezente

Obiectivul Principal (Obiectivul General):

- Scopul principal al acestui curs de "Introducere în Cloud Technologies" este de a dezvolta competențe solide în tehnologiile cloud, cu un accent deosebit pe platforma Azure a Microsoft. Prin acest curs, studenții vor dobândi cunoștințe profunde despre conceptele și tehnologiile cloud, învățând să integreze și să gestioneze sursele de date în mediul cloud, să efectueze transformări de date, și să utilizeze platforma Databricks pentru curățarea datelor, web scraping și accesarea datelor prin intermediul API-urilor. De asemenea, vor învăța să automatizeze fluxurile de lucru și să utilizeze structurile de control pentru gestionarea operațiunilor cu date în medii cloud.

Obiective Specifice (Obiectivele Detaliate):

- Dezvoltarea Competențelor Cloud: Studenții vor dobândi o înțelegere profundă a conceptelor și tehnologiilor legate de cloud computing, cu accent pe platforma Azure. De asemenea, studenții vor putea identifica și utiliza serviciile și resursele disponibile în Azure pentru a susține operațiunile cu date.

- Gestionarea și Pregătirea Datelor în Cloud: Studenții vor învăța să integreze și să gestioneze sursele de date în mediu cloud, să efectueze transformări de date pentru pregătirea acestora pentru analize ulterioare și să încarce date în Data Warehouse folosind tehnologii cloud.

- Utilizarea Platformei Databricks: Studenții vor dezvolta competențe practice în utilizarea platformei Databricks pentru curățarea datelor, web scraping și accesarea datelor prin intermediul API-urilor.

- Automatizarea și Structurile de Control: Studenții vor învăța să automatizeze fluxurile de lucru și să utilizeze structurile de control pentru gestionarea operațiunilor cu date în medii cloud, contribuind astfel la eficiența și fiabilitatea acestor operațiuni.