{"id":794,"date":"2009-05-03T18:12:03","date_gmt":"2009-05-03T16:12:03","guid":{"rendered":"http:\/\/host.marblestation.com\/?p=794"},"modified":"2012-04-26T16:18:56","modified_gmt":"2012-04-26T14:18:56","slug":"r-estadistica-y-tratamiento-masivo-de-datos-alternativa-a-sas-acl-e-idea","status":"publish","type":"post","link":"https:\/\/www.marblestation.com\/?p=794","title":{"rendered":"R, estad\u00edstica y tratamiento masivo de datos (alternativa a SAS, ACL e IDEA)"},"content":{"rendered":"

En el \u00faltimo art\u00edculo hemos visto AWK como herramienta para el tratamiento masivo de datos<\/a>, donde hemos demostrado que pod\u00eda ser una alternativa parcial a otras herramientas comerciales como SAS<\/a>, ACL<\/a> o IDEA<\/a> (muy utilizadas en el mundo de la Auditor\u00eda). AWK es una soluci\u00f3n parcial dado que \u00fanicamente nos proporciona funcionalidades para hacer un tratamiento b\u00e1sico sobre los ficheros (p.ej. sumarizaciones, cruces de datos, operaciones matem\u00e1ticas simples, etc), sin embargo no tenemos las caracter\u00edsticas estad\u00edsticas que si podemos encontrar en las herramientas comerciales.<\/p>\n

Afortunadamente para todas esas funcionalidades podemos apoyarnos en R: R<\/a> es un lenguaje de programación que permite llevar a cabo análisis estadísticos avanzados, entendiendo por por estadística como la ciencia de recoger y analizar datos con el propósito de sacar conclusiones y tomar decisiones.<\/p>\n

Con R tambi\u00e9n podemos realizar cálculos numéricos, aunque para esas tareas tambi\u00e9n vale la pena echar un vistazo a Octave<\/a>.<\/p>\n

Aparte de las potentes características de R, existen multitud de paquetes<\/a> que amplían las funcionalidades: desde dedicados al análisis de datos psicológicos hasta financieros.<\/p>\n

Al igual que AWK, R no ofrece una interfaz gr\u00e1fica tan potente como las herramientas comerciales que comentavamos, aunque podemos apoyarnos en determinados mecanismos que nos har\u00e1n la vida m\u00e1s f\u00e1cil a la hora de tratar la informaci\u00f3n (p.ej. utilizando MySQL Query Browser) como veremos en las correspondientes secciones del art\u00edculo.<\/p>\n

Para aprender a utilizar R mediante esta gu\u00eda es muy recomendable replicar todos los ejemplos y visualizar los resultados directamente. \u00danicamente leyendo el art\u00edculo es m\u00e1s dif\u00edcil entender el funcionamiento completo de la herramienta.<\/p>\n

De antemano pido disculpas si soy inexacto o cometo alg\u00fan tipo de error en las explicaciones estad\u00edsticas, no soy un experto en esa materia y estar\u00e9 muy agradecido si detect\u00e1is incorrecciones y las hac\u00e9is llegar v\u00eda comentario o correo. <\/p>\n

Finalmente, destacar que para la elaboraci\u00f3n del art\u00edculo me he basado en diversos tutoriales que he encontrado por Internet, especialmente simpleR<\/a>, con los cuales he ido aprendido a utilizar R de forma paralela a la redacci\u00f3n de esta gu\u00eda.
\n<\/p>\n

\u00cdndice de contenidos<\/h3>\n

Instalación<\/a><\/p>\n

Introducción<\/a><\/p>\n

Estructuras simples de datos<\/a><\/p>\n

Números<\/a><\/p>\n

Booleanos<\/a><\/p>\n

Cadenas<\/a><\/p>\n

Fechas<\/a><\/p>\n

Estructuras complejas de datos<\/a><\/p>\n

Vectores<\/a><\/p>\n

Matrices<\/a><\/p>\n

Data Frames<\/a><\/p>\n

Listas<\/a><\/p>\n

Introducción manual de datos<\/a><\/p>\n

Librerías y datos de ejemplo<\/a><\/p>\n

Importar\/exportar datos<\/a><\/p>\n

Ficheros<\/a><\/p>\n

Bases de Datos: MySQL<\/a><\/p>\n

Distribuciones de probabilidad<\/a><\/p>\n

Generación de números aleatorios<\/a><\/p>\n

Muestreo aleatorio<\/a><\/p>\n

Generación de números secuenciales<\/a><\/p>\n

Probabilidades<\/a><\/p>\n

Visualización de datos de una variable<\/a><\/p>\n

Visualización de datos de dos variables<\/a><\/p>\n

Identificar puntos en un gráfico<\/a><\/p>\n

Identificar la distribución de los datos<\/a><\/p>\n

Diferentes formas de entender la probabilidad<\/a><\/p>\n

Probabilidades frecuentista<\/a><\/p>\n

Probabilidades bayesienas o basadas en evidencias<\/a><\/p>\n

Pruebas estadísticas<\/a><\/p>\n

Prueba de distribución normal<\/a><\/p>\n

Prueba de proporción<\/a><\/p>\n

Pruebas sobre la media<\/a><\/p>\n

T-Test: Datos con distribución normal<\/p>\n

Una variable<\/p>\n

Dos variables\t26<\/p>\n

Simulaciones sobre el T-Test<\/p>\n

Wilcoxon Test: Datos con distribución diferente a la normal<\/p>\n

ANOVA \/ Kruskal<\/p>\n

Prueba sobre la varianza<\/a><\/p>\n

Prueba de independencia<\/a><\/p>\n

Coeficiente de Pearson: Datos con distribución normal<\/p>\n

Métodos no paramétricos: Datos con distribución diferente a la normal<\/p>\n

Análisis de regresiones<\/a><\/p>\n

Regresiones lineales simples<\/a><\/p>\n

Regresiones lineales múltiples<\/a><\/p>\n

Estandarizar y escalar<\/a><\/p>\n

Técnicas para identificar fraude<\/a><\/p>\n

Programación<\/a><\/p>\n

Estructuras de control<\/a><\/p>\n

Definición de funciones<\/a><\/p>\n

Depurar \/ Debug<\/a><\/p>\n

Optimización \/ Profiling<\/a><\/p>\n

Instalación<\/a><\/h3>\n

La instalación de R en Ubuntu GNU\/Linux no puede ser más sencilla:<\/p>\n

\r\nsudo apt-get install r-base-core\r\n<\/pre>\n
Para plataformas Windows, debemos descargar el instalador de la página del projecto R: http:\/\/www.r-project.org\/<\/a><\/p>\n
Introducción<\/a><\/h3>\n
Para interactuar con R se dispone de una potente linea de comandos: <\/p>\n
\r\n$ R \r\n\r\nR version 2.6.2 (2008-02-08) \r\nCopyright (C) 2008 The R Foundation for Statistical Computing \r\nISBN 3-900051-07-0 \r\n\r\nR es un software libre y viene sin GARANTIA ALGUNA. \r\nUsted puede redistribuirlo bajo ciertas circunstancias. \r\nEscriba 'license()' o 'licence()' para detalles de distribucion. \r\n\r\nR es un proyecto colaborativo con muchos contribuyentes. \r\nEscriba 'contributors()' para obtener m\u00e1s informaci\u00f3n y \r\n'citation()' para saber c\u00f3mo citar R o paquetes de R en publicaciones. \r\n\r\nEscriba 'demo()' para demostraciones, 'help()' para el sistema on-line de ayuda, \r\no 'help.start()' para abrir el sistema de ayuda HTML con su navegador. \r\nEscriba 'q()' para salir de R. \r\n\r\n> \r\n<\/pre>\n
Para salir de la consola basta con ejecutar "q()", entonces R nos permite grabar la sesión actual (historial de comandos y datos cargados). <\/p>\n
Con todos los comandos que veremos podemos utilizar la función ‘help’ para obtener los detalles de su funcionamiento, por ejemplo: help(read.csv) o ?help<\/p>\n
En caso de que no recordemos un comando exacto podemos utilizar "apropos(parte_del_comando)" para que el sistema liste posibles candidatos: <\/p>\n
\r\n> apropos(\"rank\") \r\n[1] \"dsignrank\" \"psignrank\" \"qsignrank\" \"rank\"      \"rsignrank\" \r\n<\/pre>\n
Estructuras simples de datos<\/a><\/h3>\n
R permite utilizar variables con tipado dinámico, es decir, no tenemos que declarar las variables y explicitar que tipo de valores van a contener. Los nombres de las variables puede ser cualquier cadena que empiece por un carácter. Veremos habitualmente el uso de puntos en lugar de subrayado\/underscore para separar palabras y que las variables sean más autoexplicativas, por ejemplo transferencias.nacionales. Por tanto, si vemos esa nomenclatura no tiene porque tratarse de un método\/atributo de un objeto (como pasa en otros lenguajes), sino que puede ser perfectamente una simple variable. Para declarar y asignar un valor a una variable se puede utilizar tanto ‘=’ como ‘<-‘:<\/p>\n
\r\ncontador = 0\r\ncontador < - 1\r\n<\/pre>\n
Una variable puede contener una estructura de datos simple o compleja.<\/p>\n
Números<\/a><\/h4>\n
R permite el uso de numéricos enteros o decimales, estos últimos separados por puntos:<\/p>\n
\r\nx = 1\r\ny = 2.5\r\n<\/pre>\n
Sobre los valores numéricos se pueden realizar las habituales operaciones aritméticas, entre las que se encuentran: + * \/ – ^<\/p>\n
\r\nz = (x + y ^ 2) - .5\r\n<\/pre>\n
Los números decimales entre 0 y 1 podemos especificarlos sin indicar el 0 (p.ej. 0.5 => .5).<\/p>\n
Booleanos<\/a><\/h4>\n
Una variable booleana únicamente puede contener 2 valores: TRUE o FALSE (abreviadas también como T o F)<\/p>\n
\r\nx = TRUE\r\ny = FALSE\r\n<\/pre>\n
Si utilizamos expresiones condicionales, su resultado será un valor booleano (p.ej. 17 %in% 1:100). Los operadores disponibles son los siguientes: < <= > >= == != <\/p>\n
Por otra parte, podemos combinar varios valores booleanos o expresiones condicionales mediante el uso de negaciones, “ands” y “or”:  ! & | <\/p>\n
Cadenas<\/a><\/h4>\n
Para el tratamiento de variable que contienen cadenas o de las cadenas directamente nos pueden ser de utilidad las siguientes funciones:<\/p>\n
\r\n# Impresi\u00f3n \r\ncat(\"Cadena!\\n\") \r\n\r\n# Concatenaci\u00f3n separada por nada \r\npaste(\"Cadena\", \"!\", sep=\"\") \r\n\r\n> s = c(\"Hello\", \" \", \"World\", \"!\") \r\n> paste(s, collapse=\"\") \r\n[1] \"Hello World!\" \r\n\r\n# Longitud de una cadena \r\n> nchar(\"Hello World!\") \r\n[1] 12 \r\n\r\n# Substring de la posici\u00f3n 4 a la 6 \r\n> s = \"Hello World\" \r\n> substring(s, 4, 6) \r\n[1] \"lo \" \r\n\r\n# Separa una cadena en campos, devuelve una lista \r\n> s = \"foo, bar, baz\" \r\n> x = strsplit(s, \", \") \r\n> x[[1]] # Vector \r\n[1] \"foo\" \"bar\" \"baz\" \r\n> x[[1]][1] # Elemento 1 \r\n[1] \"foo\" \r\n\r\n# Busca elementos que cumplan una expresi\u00f3n regular \r\n> s = c(\"hola\", \"adios\") \r\n> grep(\"^a\", s) \r\n[1] 2 \r\n> grep(\"^a\", s, value=T) \r\n[1] \"adios\" \r\n\r\n# O elementos que cumpla aproximadamente una expresi\u00f3n regular \r\n> agrep (\"abc\", c(\"abbc\", \"jdfja\", \"cba\")) \r\n[1] 1 \r\n\r\n# Buscamos una expresi\u00f3n regular en una cadena \r\n> x = regexpr(\"o\", \"Hello\") \r\n> x[1] # Posici\u00f3n donde empieza la cadena encontrada \r\n> attr(x, \"match.length\") # Longitud de la cadena encontrada \r\n\r\n# Reemplaza todos los ; por , \r\n> gsub(\";\", \",\", \"dato1;dato2;dato3\") \r\n[1] \"dato1,dato2,dato3\" \r\n\r\n# Reemplaza solo el primer ; por , \r\n> sub(\";\", \",\", \"dato1;dato2;dato3\") \r\n[1] \"dato1,dato2;dato3\" \r\n<\/pre>\n
Fechas<\/a><\/h4>\n
R proporciona un tipo de variable especial para las fechas, para las cuales nos puede resultar de utilidad las siguientes funciones:<\/p>\n
\r\n# Convertir cadena a fecha \r\n> a = as.Date(\"01\/02\/03\", format=\"%y\/%m\/%d\") \r\n\r\n# Diferencia de fechas en dias \r\n> b = as.Date(\"01\/02\/03\", format=\"%y\/%d\/%m\") \r\n> a - b \r\nTime difference of -27 days \r\n\r\n# Fecha actual + 15 dias \r\n> Sys.Date() + 15 \r\n[1] \"2009-03-08\" \r\n\r\n# Convertir fecha a cadena con un formato determinado \r\n> format(Sys.Date(), format=\"%A, %d %B %Y\") \r\n[1] \"s\u00e1bado, 21 febrero 2009\" \r\n\r\n# Extraer el mes \r\n> format( Sys.Date(), format=\"%m\" ) \r\n[1] \"02\" \r\n\r\n# Secuencia de fechas desde Enero 2005 a Julio 2005 mes a mes \r\n> seq(as.Date(\"2005-01-01\"), as.Date(\"2005-07-01\"), by=\"month\") \r\n[1] \"2005-01-01\" \"2005-02-01\" \"2005-03-01\" \"2005-04-01\" \"2005-05-01\" \r\n[6] \"2005-06-01\" \"2005-07-01\" \r\n\r\n# Recorrer la secuencia \r\n> dates = seq(as.Date(\"2005-01-01\"), as.Date(\"2005-07-01\"), by=\"month\") \r\n> for (i in 1:length(dates)) { \r\n  d = as.Date(as.character(dates[i])) # Hay que convertir o solo visualizaremos un numero \r\n  cat(paste(d, \"\\n\", sep=\"\")) \r\n} \r\n<\/pre>\n
Estructuras complejas de datos<\/a><\/h3>\n
En R disponemos de las siguientes estructuras complejas de datos fundamentales:<\/p>\n