Big Data Analytics: Credit Scoring, Redes Sociales y Text Mining

Módulo 1: Big Data

· Definición de Big Data

· Big Data en las entidades financieras

· Tipología de datos

o Estructurados

o Semiestructurados

o Datos No Estructurados

· Características del Big Data

o Volumen

o Velocidad

o Variedad

o Veracidad

o Valor

· Tamaño de los Big Data

· Fuentes de grandes volúmenes

· Origen de las fuentes de datos

· Los datos de la web

· Datos de Texto

· Datos de sensores

· Datos de RFID y NFC

· Datos de operadores de telecos

· Datos de redes inteligentes

Módulo 2: Arquitectura del Big Data

· La arquitectura del Big Data

· Data Warehouse y Data Mart

· Bases de datos

· Hadoop

· Plataformas de Hadoop

· Analítica de Big Data

· Gobierno del Big Data

· Seguridad y privacidad del Big Data

· Metadatos del Big Data

· Arquitectura Big Data Oracle e IBM

Módulo 3: Bases de Datos Analíticas: NOSQL y en Memoria

· Tipos de bases de datos actuales

· BBDD relacionales

· BBDD heredadas

· BBBD NoSQL

· BBDD en RAM

· Definición NoSQL

· Diferencias entre NoSQL y SQL

· Tipos de base de datos NoSQL

· Bases de datos clave-valor

· Bases de datos orientadas a gragos

· Bases de datos orientadas a Bigtable

· Bases de Datos en Memoria

· Tipos de tecnología en memoria

· Analítica en Memoria

· SAP HANA

Módulo 4: HADOOP

· ¿Que es Hadoop?

· El ecosistema Hadoop

· Componentes de Hadoop

· Map Reduce

· Desarrollo de aplicaciones Hadoop

· Programación Hadoop

o Pig

o Hive

o Jaql

o Zookeeper

o Hbase

o Lucene

o Oozie

o Avro

o Cassandra

o Chukwa

o Flume

· Plataforma de Hadoop

Módulo 5: BIG DATA ANALYTICS

· Analítica de datos

o Tecnologías, herramientas y tendencias en Big Data Analytics

o Proveedores de analítica de Big Data

o Tecnologías de código abierto

o Características de una plataforma de Biga Data

o Ejemplos de aplicaciones de Big Data Analytic

o Modelo de proceso analítico

§ Actores en el Big Data Analytics

§ Data warehouse administrator

§ Experto en Negocios

§ Data Scientist

§ Software tool vendors

· Analítica Web

o Analítica Web 2.0

o Métricas: visitas, visitantes, tasa de salida, etc.

o KPIs

o Google Analytics

o Informes

o Segmentación

o Herramientas de analítica Web

o Analítica Web móvil

· Analítica Social

o Definición

o Métricas sociales

o KPIs

o Herramienta de analítica social

o Estadística social

o Herramienta de investigación y monitorización

o Herramienta de analítica de Web social

o Herramienta de reputación e influencia social

o Herramientas de análisis de actividad en redes sociales

o Facebook

o Twitter

o Análisis de sentimientos

o Casos de estudio de analítica social

o Internacional Privacy Regulations

Módulo 6: Gestión de datos: SAS Y R

· Introducción de R

· ¿Porque usar R en la Banca?

· Instalación y Actualización de R

· R con Windows

· R con Linux y Unix

· Programación en R

o Principales Sentencias

o Operadores

o Dataframes

o Arrays

o Matrices

o Principales funciones

· Librerías, Paquetes y CRAN

· Importar Bases de datos a R desde: Excel, SAS y SPSS

· Introducción a programación de SAS

o Data Set

o Procedures

o SAS Base

· Manipulación y gestión de bases de datos en R y SAS

· Programación en SQL desde R y SAS

o Principales instrucciones de SQL

· Gestión de Outputs

· Usando R para Big Data

o R Hadoop

o Big Data R Packages

o Usando R con MySQL

o Usando R con NoSQL

o Visualización del Big Data

· Ejercicio 1: Ejercicios de programación en R y SAS

· Ejercicio 2: Fusión,Unión e Intersección de Bases de Datos R/SQL

· Ejercicio 3: Big Data en R

· Ejercicio 4: Visualización de Big Data en R

Módulo 7: Gestión avanzada de los datos

· Tipología de datos

· Datos transaccionales

· Unstructured data embebida en documentos de texto

· Social Media Data

· Fuentes de datos

· Revisión del dato

· Definición del Target

· Horizonte temporal de la variable objetivo

· Muestreo

o Muestreo Aleatorio

o Muestreo Estratificado

o Muestreo Rebalanceado

· Análisis Exploratorio:

o Histogramas

o Q-Q Plot

o Análisis de momentos

o Box Plot

· Tratamiento de los valores Missing

o Imputación

o Borrar

o Mantener

· Técnicas avanzadas de detección de Outliers y tratamiento

o Z-Score

o Distancia de Mahalanobis

· Estandarización de los Datos

· Categorización de variables

o Equal Interval Binning

o Equal Frecuency Binning

o Prueba Ji-Cuadrada

· Binary Coding

· WOE Coding

o Definición WOE

o Análisis Univariante con variable Target

o Selección de variables

o Tratamiento de Variables continuas

o Tratamiento de Variables Categóricas

o Fisher Score

o Gini

o Information Value

o Pearson Correlation

o Cramer Von Misses

o Optimización de variables continuas

o Optimización de variables categóricas

o Àrboles de Decisión

· Segmentación

o Decisión Experta

o Estadística

§ Àrboles de Decisión

§ K Means Clustering

§ Finite Mixture Model

§ Mixtura gaussiana Univariante

§ Mixtura gaussiana Bivariante

· ​Ejercicio 5: Análisis Exploratorio en SAS

· Ejercicio 6: Detección y tratamiento de Outliers usando Z-score

· Ejercicio 7: Técnicas de Muestreo rebalanceado en SAS

· Ejercicio 8: Muestreo estratificado y Aleatorio

· Ejercicio 9: Análisis del Weight of Evidence en Excel

· Ejercicio 10: Análisis univariante en percentiles en SAS

· Ejercicio 11: Análisis univariante óptimo variable continua en Excel

· Ejercicio 12: Estimación del KS, Gini e IV de cada variable en Excel

· Ejercicio 13: Validación de variables usando Pearson correlation y Fisher Score

· Ejercicio 14: Optimización de variables categóricas en SAS

· Ejercicio 15: Análisis Univariante con árboles de decisión en SPSS

· Ejericicio 16: Segmentación con árboles de decisión

· Ejercicio 17: Segmentación usando K mans Clustering en R

· Ejercicio 18: Segmentación con Mixtura gaussiana univariante y bivariante