Professional Documents
Culture Documents
MANUAL TECNICO
SOLUCION BUSINESS INTELLIGENCE PARA EL AREA DE LA GERENCIA ADJUNTA DE REGULACION TARIFARIA.
26/05/2011
Documento que detalla tcnicamente el desarrollo de la solucin de Business Inteligencie para la Gerencia Adjunta de Regulacin Tributaria
Contenido
1. 2. INTRODUCCION. .......................................................................2 MODELO DIMENSIONAL. ..........................................................2 2.1. DISEO LOGICO. ........................................................ 2
2.1.1. 2.1.2.
2.2.
2.2.1. 2.2.2. 2.2.3.
3.
3.2. 3.3.
3.3.1. 3.3.2. 3.3.3. 3.3.4.
3.4.
3.4.1. 3.4.2.
DEFINICION DE JOBS............................................... 18
4.
PROCESO OLAP....................................................................... 25 4.1. PROPIEDADES DEL PROYECTO ................................ 26 4.2. ORIGENES DE DATOS ............................................... 27 4.3. VISTA DE ORIGEN DE DATOS ................................... 29 4.4. CUBOS ...................................................................... 29 4.5. DIMENSIONES .......................................................... 30
4.5.1. 4.5.2. 4.5.3. 4.5.4. 4.5.5. 4.5.6. UBIGEO ........................................................................ 31 EMPRESA ...................................................................... 32 FORMATO ..................................................................... 32 TIEMPO ........................................................................ 33 RUTA ............................................................................ 34 ESTRATO ...................................................................... 35
4.6.
4.6.1. 4.6.2. 4.6.3. 4.6.4. 4.6.5. 4.6.6. 4.6.7. 4.6.8.
MEDIDAS .................................................................. 36
PROPIEDADES DE MEDIDAS ......................................... 37 DISTRIBUCION............................................................. 37 PROUCCION ................................................................. 38 TRANSPORTE................................................................ 39 ESTRATO ...................................................................... 40 CALCULOS .................................................................... 40 PROPIEDADES DE CALCULOS ....................................... 41 RELACION DIMENSION VS MEDIDAS ........................... 42
4.7. 4.8.
2.1.1. DIMENSIONES. NOMBRE DIMENSION EMPRESA DEFINICION Esta dimensin almacenara todos los datos correspondientes a las empresas, tipo de empresa, zona, lote, tipo de cliente, cliente, actividad, categora, y contrato. Esta dimensin almacenara todos los datos correspondientes a la estructura de los formatos. Esta dimensin almacenara todos los datos correspondientes a la ubicacin geogrfica como Departamento, Provincia, Distrito y la sub zona. Asimismo almacenara datos sobre los suministros.
DIMENSION FORMATO
DIMENSION UBIGEO
DIMENSION RUTA
2.1.2. HECHOS.
FACT TRANSPORTE
FACT DISTRIBUCION
DEFINICION Hecho que almacenara todos los datos medibles correspondientes al sector Produccin. Hecho que almacenara todos los datos medibles correspondientes al sector Transporte. Hecho que almacenara todos los datos medibles correspondientes al sector Distribucin.
ATRIBUTOS id_empresa
codigo_zona
descripcion_zona
codigo_lote
descripcion_lote codigo_tipocliente
DESCRIPCION Clave Principal autoincremental. Cdigo del tipo de empresa. Descripcin del tipo de empresa. Cdigo de la empresa. Descripcin de la empresa. Cdigo de la zona donde opera la empresa. Descripcin de la zona donde opera la empresa. Cdigo del lote de empresas productoras. Descripcin del lote de empresas productoras. Cdigo del Tipo de cliente consumidor. Descripcin del tipo de cliente consumidor. Cdigo del cliente consumidor. Nombre del cliente consumidor. Cdigo del giro de negocio del cliente. Cdigo de la actividad del cliente. Descripcin de la actividad del cliente. Cdigo de la categora del cliente. Descripcin de la categora del cliente. Cdigo de contrato
EJEMPLO
NORTE
15
12
descripcion_contrato
codi_tipo_estrato
ATRIBUTOS id_estrato
orden final
tipo
DESCRIPCION Clave Principal autoincremental Texto que describe el rango del estrato. Valor inicial del rango de estrato. Valor final del rango de estrato. Indica la posicin en la que se mostrara al realizar el anlisis. Indica si es el rango final. Indica el tipo de estrato definida segn la actividad del cliente.
EJEMPLO
30 60 30 60 3
DESCRIPCION Indica el formato segn sector. Titulo largo del formato. Orden en el que se mostrar el tem. Descripcin del tem contiene el tem por delante del texto. D1
EJEMPLO
orden item
DESCRIPCION Clave Principal autoincremental Lugar de donde se inicia el transporte. Lugar hacia donde se dirige el transporte.
EJEMPLO
EJEMPLO
Codi_Dia Codl_YyyyMmDd Codl_DdMmYyyy Codi_Mes CODI_MES_ANNO Codl_Mes Codl_Dia_Semana Codi_Anno Codl_Anno Codi_Dia_Laboral Ind_Dia_Feriado Ind_Fin_Mes Ind_Ultimo_Dia_Laborable_Mes Ind_Dia_Proceso
Da del mes Nmero del da en el mes Da en formato Yyyy.Mm.Dd Da en formato Yyyy/Mm/Dd Nro del mes en el ao
9/1/2001 12:00:00 AM 1 2001.09.01 01/09/2001 9 21 Septiembre 6 2001 2001 425 True False False False
ATRIBUTOS id_ubigeo codigo_departamento descripcion_departamento codigo_provincia descripcion_provincia codigo_distrito descripcion_distrito subzona codigo_suministro descripcion_suministro direccion
DESCRIPCION Clave Principal autoincremental. Cdigo de departamento. Texto del nombre del departamento. Cdigo de provincia. Texto del nombre del provincia. Codigo de distrito. Texto del nombre del distrito. Texto que describe la subzona del suministro Cdigo de suministro Texto que describe el suministro.
EJEMPLO
15 LIMA 1501 LIMA 150121 PUEBLO LIBRE I-8 17917 " 11,147 " BRIGIDA SILVA DE OCHOA 239 BLOCK-A
ATRIBUTOS id_empresa id_formato id_tiempo id_ubigeo cantidad dinero gn_boca_pozo transporte_red distribucion_otras_redes acometida otros cantidad_trab tarifa codigo_cliente sol_cantviables sol_cantnoviables sol_noaplican sol_finviable sol_reembolso
DESCRIPCION Cdigo de la dimensin Dim_Empresa. Cdigo de la dimensin Dim_Estructura_Formato. Cdigo de la dimensin Dim_Tiempo. Cdigo de la dimensin Dim_Ubigeo. Indica el volumen distribuido. Indica la facturacin por el volumen distribuido.
Gas Natural en Boca de Pozo Transporte de Red Principal Distribucin de Red Principal Acometidas Otros
Cantidad de trabajadores. Valor de la Tarifa de distribucin. Cdigo cliente. Cantidad de Solicitudes Calificadas Viables Cantidad de Solicitudes Calificadas no Viables Cantidad de Solicitudes que no aplican Monto Por Financiamiento de Obra Calificada Viable Monto Por Aportes Reembolsables Dinerarios
DESCRIPCION Cdigo de la dimensin Dim_Empresa. Cdigo de la dimensin Dim_Estructura_Formato. Cdigo de la dimensin Dim_Tiempo. Indica el volumen producido. Indica la facturacin por el volumen producido. Valor de la tarifa de produccin. Volumen del balance.
ATRIBUTOS id_empresa id_formato id_tiempo id_ubigeo id_ruta cantidad dinero poder_calorifico tarifa volumen_firme volumen_inter balance
DESCRIPCION Cdigo de la dimensin Dim_Empresa. Cdigo de la dimensin Dim_Estructura_Formato. Cdigo de la dimensin Dim_Tiempo. Cdigo de la dimensin Dim_Ubigeo. Cdigo de la dimensin Dim_Ruta. Indica el volumen transportado. Indica la facturacin por el volumen transportado. Valor del poder calorfico. Valor de la tarifa de transporte. Volumen que se debera transportar. Volumen que se transport. Volumen del balance.
10
NOMBRE DW_EMPRESA
DW_EMPRESA_D2
DW_EMPRESA_D3
DW_EMPRESA_P2
DW_EMPRESA_T2
DESCRIPCION Procedimiento que realiza la carga de los datos de empresa, lote, tipo empresa y zona de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente. Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato D2, tipo empresa, zona, actividad econmica, categora tarifaria, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente. Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato D3, tipo empresa, zona, actividad econmica, categora tarifaria, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente. Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato P2, tipo empresa, zona, actividad econmica, lote, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente. Procedimiento que realiza la carga de los datos de empresas
11
12
DW_FACT_PRODUCCION_P1_MMPC
DW_FACT_PRODUCCION_P2_MM3
DW_FACT_PRODUCCION_P2_MMPC
DW_FACT_TRANSPORTE_T1_MM3
DW_FACT_TRANSPORTE_T1_MMPC
DW_FACT_TRANSPORTE_T2_MM3
DW_FACT_TRANSPORTE_T2_MMPC
DW_ITERATE DW_PROCESOS
DW_RUTA
DW_TIEMPO
DW_UBIGEO
13
3.1.2. BASE DE DATOS DESTINO. Es la base de datos construida para almacenar los datos transformados para el anlisis OLAP llamado dm_dgn2.
3.2. REGLAS DE CARGA. y y y y y Previo a la carga de datos primero se debe ejecutar el procedimiento DW_TIEMPO Para realizar la carga de los formatos se debe verificar si en la tabla de PROCESOS est activo el flag de proceso. Cargar los datos en Miles de Metros cbicos y Millones de Pies cbicos. Verificar que los registros de dimensiones no fueron cargados previamente. Realizar una eliminacin previa de los registros de las tablas de hechos que sern cargados.
14
3.3.1. PAQUETE ETL_DGN Flujo para realizar la carga y transformacin de los datos del sistema fuente, cada tarea SQL ejecuta un procedimiento almacenado.
15
BASE DE DATOS DW_EMPRESA dm_dgn2 DW_EMPRESA_D2 dm_dgn2 DW_EMPRESA_P2 dm_dgn2 DW_EMPRESA_D3 dm_dgn2 DW_RUTA dm_dgn2 DW_UBIGEO dm_dgn2 DW_EMPRESA_T2 dm_dgn2 DW_PROCESOS dm_dgn2
PROCEDIMIENTO
3.3.2. PAQUETE DEPLOY_DGN Paquete desarrollado para ejecutar luego de realizar la carga de datos con la finalidad de implementar las Dimensiones y el Cubo OLAP de este modo mantener la informacin actualizada para el anlisis.
16
3.3.3. CONEXIN BASE DE DATOS DATAMART. Esta conexin se utiliza para ejecutar cada tarea del flujo ETL en la base de datos destino dm_dgn2.
3.3.4. CONEXIN ANALISIS SERVICE. Luego de cargar los datos se debe prepararlos para que est lista para el anlisis. Para ello se utiliza la siguiente conexin.
17
3.4. DEFINICION DE JOBS. Los JOBS permitirn que los datos se procesen peridicamente, as mismo se podr procesar cuando sea necesario a travs del administrador de base de datos.
18
19
20
21
22
23
24
25
26
27
28
4.4. CUBOS
Para el diseo de la estructura del cubo se muestra un panel con tres secciones: y y y Medidas. Muestra las medidas agrupados por tabla de hecho. Dimensiones. Muestra las dimensiones con sus respectivos atributos y jerarquas. Vista de Origen de Datos. Muestra las dimensiones y hechos usados por el cubo.
29
4.5. DIMENSIONES Para el diseo de la estructura de las dimensiones se muestra un panel con tres secciones: y y y Atributos. Muestra los campos de la dimensin y te permite una mejor organizacin de los campos. Jerarquas. Muestra las jerarquas y te permite crear otras adicionales de acuerdo a la necesidad Vista de Origen de Datos. Muestra los campos disponibles para organizarlos.
30
4.5.1. UBIGEO
31
4.5.3. FORMATO
32
4.5.4. TIEMPO
33
4.5.5. RUTA
34
4.5.6. ESTRATO
35
36
4.6.2. DISTRIBUCION
37
4.6.3. PROUCCION
38
4.6.4. TRANSPORTE
39
4.6.6. CALCULOS A continuacin se muestra las formulas adicionales que se crearon para un anlisis mas especializado a travs de 2 vistas. VISTA FORMULARIOS
40
VISTA SCRIPT
4.6.7. PROPIEDADES DE CALCULOS Estos clculos se pueden agrupar en carpetas para ello se debe seguir las indicaciones que se ilustra a continuacin:
41
42
4.7. PARTICIONES Se Crearon particiones para todas las tablas de hecho siendo la de Distribucin que cuenta con ms particiones (3) debido al gran volumen de informacin que almacena.
43
4.8. ROLES Para que los usuarios tengan acceso al cubo de Comercializacin de gas Natural deben contar con los permisos correspondientes como se detalla a continuacin:
44
45
46