Mostrando entradas con la etiqueta Big Data. Mostrar todas las entradas
Mostrando entradas con la etiqueta Big Data. Mostrar todas las entradas

jueves, 22 de febrero de 2018

Hans Rosling: Deja que mi base de datos cambie tu forma de pensar






Voy a hablar sobre su mentalidad. ¿Corresponde su mentalidad con mi conjunto de datos? (Risas) Si no, uno de los dos necesita renovarse, ¿cierto?


00:24
Cuando les hablo a mis estudiantes sobre asuntos globales y luego les escucho en el descanso, siempre hablan de "nosotros" y "ellos". Y cuando vuelven a la sala de clase, les pregunto: ¿Qué significa "nosotros" y "ellos"? Y dicen: "¡Ah!, muy fácil. Es el mundo occidental y el mundo en desarrollo". "Lo aprendimos en la universidad". Y entonces, ¿cuál es la definición?. "¿La definición? Todo el mundo la sabe", dicen.


00:47
Y así les voy presionando. Una chica dijo, muy inteligentemente: "Es muy fácil, el mundo occidental es una vida larga y una familia pequeña. El mundo en desarrollo es una vida corta y una familia numerosa". Y me gusta esa definición porque me permite transferir su modo de pensar a mi conjunto de datos. Y aquí tienen los datos. Pueden ver que tenemos en el eje de aquí el tamaño de la familia: Uno, dos, tres, cuatro, cinco hijos por mujer en este eje. Y aquí, la duración de vida, la esperanza de vida, 30, 40, 50. Exactamente lo que los estudiantes dijeron que era su concepto sobre el mundo.


01:21
Y en realidad esto está en relación con el dormitorio, el hecho de que el hombre o la mujer decidan tener una familia pequeña, cuidar de sus hijos o cuánto tiempo vivirán. Está en relación con el cuarto de baño y la cocina. Si tienes jabón, agua y comida, puedes vivir más tiempo. Y los estudiantes tenían razón. El mundo consistía en un conjunto de países aquí, que tenían familias numerosas y una vida corta, el mundo en desarrollo, y un conjunto de países allí, que era el mundo occidental, que tenían familias pequeñas y una vida larga.


01:54
Y van a ver aquí lo que increíblemente ha sucedido en el mundo durante mi vida. Los países en desarrollo empezaron a usar agua y jabón, vacunas, y planificación familiar. Y en parte, gracias a EE.UU., que ayudó a proveer consejos técnicos e inversiones. Y como ven, el mundo se mueve hacia familias de dos hijos, con una esperanza de vida de 60 a 70 años.


02:19
Pero algunos países quedan rezagados en este área de aquí. Y pueden ver que Afganistán se queda aquí abajo. Tenemos Liberia. Tenemos el Congo. Así que tenemos países viviendo ahí. Y el problema que yo tenía era que la visión del mundo que tenían mis estudiantes correspondía a la realidad global del año en que sus profesores nacieron. (Risas) (Aplausos)


02:47
Y, de hecho, por haber hecho esto con el mundo, la semana pasada estuve en la Conferencia Global para la Salud, aquí, en Washington, y pude ver que incluso gente activa en los EE.UU. tenía un concepto erróneo. No se habían dado cuenta de la mejora de México aquí, y China, en relación con EE.UU. Miren aquí cuando los muevo hacia delante. Aquí están. Los alcanzan. Aquí está México. Está a la par con EE.UU. en estas dos dimensiones sociales. Menos de un 5% de los especialistas en salud global estaba al corriente de ello. Esta gran nación, México, tiene el problema de las armas que vienen del norte, a través de las fronteras.Y tenían que parar esto. Porque tienen esta extraña relación con los EE.UU., ¿saben?


03:38
Pero si cambiara este eje de aquí, miren, y pusiera en su lugar, aquí, los ingresos por persona... Ingresos por persona, lo puedo poner aquí. Entonces verán un cuadro completamente diferente. Por cierto, les estoy enseñando cómo usar nuestra página web: "Gapminder World". ¿Por qué estoy corrigiendo esto? porque es un servicio público gratis en la red. Y cuando finalmente lo tengo correcto, puedo retroceder 200 años en la historia. Y puedo encontrar a los EEUU allí. Y puedo hacer que se vean otros países. Y ahora tengo los ingresos por persona en este eje. Y los EE.UU., en esa época, sólo tenían 2.000 dólares, y la esperanza de vida era de 35 a 40 años, al igual que Afganistán hoy.


04:27
Y les mostraré ahora lo que ha ocurrido en el mundo. Esto es en vez de estudiar historia durante un año en la universidad. Pueden verme ahora durante un minuto y lo verán todo. (Risas) Pueden ver cómo las burbujas marrones, que es Europa occidental, y la amarilla, que es Estados Unidos, se van haciendo más y más ricas, y también empiezan a tener más y mejor salud. Y esto es hace 100 años, donde el resto del mundo se queda atrás. Y aquí vamos. Eso fue la influenza. Eso es por lo que nos asustamos tanto de la gripe, ¿no? Todavía se recuerda. La caída de la esperanza de vida. Y entonces subimos, pero no hasta que empezó la independencia.


05:14
Miren aquí: tienen a China allí, y a India allí, y esto es lo que ocurrió. Noten que tenemos a México aquí arriba. México de ningún modo está a la par con EE.UU. Pero están muy cerca. Y especialmente interesante es ver China y los EE.UU., durante 200 años. Y esto es porque mi hijo mayor ahora trabaja en Google, después de que Google adquiriera este programa. Porque esto en realidad es trabajo de menores. Mi hijo y su mujer se encerraron durante muchos años y crearon esto. Y mi hijo menor, estudió chino en Pekín. Así que vienen con las dos perspectivas que tengo. Y mi hijo, el menor, que estudió en Pekín, en China, tiene una perspectiva a largo plazo. Mientras que mi hijo mayor, el que trabaja en Google, se mueve por cuatrimestres o medio año. O, Google es bastante generoso, puede que tenga por delante uno o dos años.


06:13
Pero en China se mueven por generación tras generación, porque recuerdan el muy vergonzoso periodo de 100 años en los que retrocedieron. Y luego recuerdan la primera parte del siglo pasado, que fue realmente mala. Y podríamos ir al tan repetido Gran Salto Adelante. Pero esto fue en 1963. Al final, Mao Tse-Tung trajo salud a China. Y luego murió. Y entonces Deng Xiaoping empezó este increíble movimiento hacia adelante.


06:41
¿No es extraño ver que los EE.UU. primero desarrolló la economía, y luego gradualmente se hizo rico. Mientras que China llegó a la salud mucho antes, Porque aplicaron los conocimientos de educación, nutrición, y también se benefició de la penicilina, vacunas y planificación familiar. Y Asia pudo tener un desarrollo social antes que el desarrollo económico. Así que, a mí, como profesor de salud pública, no me resulta extraño que todos estos países crezcan tan rápido ahora.


07:11
Porque lo que ven aquí, es "el mundo plano" de Thomas Friedman. ¿No es así? No es realmente tan plano. Pero los países con nivel medio de ingresos, y esto es lo que les sugiero a mis estudiantes, dejar de usar el concepto "mundo en desarrollo". Porque, después de todo, hablar sobre el mundo en desarrollo es como tener dos capítulos en la historia de los EE.UU.


07:34
El último capítulo es sobre el presente y la presidencia de Obama. Y el otro es sobre el pasado, donde se cubre todo desde Washington hasta Eisenhower. Porque lo que hubo entre Washington y Eisenhower es lo que encontramos en el mundo en desarrollo. En realidad podríamos tomar desde el Mayflower hasta Eisenhower, y ponerlo todo junto en un mundo en desarrollo, que está haciendo crecer sus ciudades de una manera increíble, que tiene grandes empresarios, pero que también tiene países en quiebra.


08:03
Así que, ¿cómo podríamos hacer que esto tuviera más sentido? Bueno, una forma de intentarlo es ver si podríamos observar la distribución salarial. Esta es la distribución salarial mundial, desde un dólar. Aquí tienes comida para vivir. Estas personas se van a dormir hambrientas. Y este es el número de personas. Aquí es 10 dólares, ya tengas un sistema de salud público o privado. Aquí es donde puedes proveer servicio de salud a tu familia, y escuela para tus hijos. Y aquí están los países de la OCDE. Groenlandia, Latinoamérica, Europa del Este. Aquí está Asia. Y en azul claro, Asia del Sur.


08:36
Y así es como cambió el mundo. Cambió así. ¿Pueden ver cómo crece? ¿Y cómo cientos de millones y billones están saliendo de la pobreza en Asia? Y llega hasta aquí. Y voy ahora hacia los pronósticos. Pero tengo que parar en la puerta de Lehman Brothers ahí. Ya saben, porque... (Risas) Porque allí los pronósticos ya no son válidos. Probablemente, el mundo hará esto. Y luego continuará así. Pero más o menos esto es lo que ocurrirá. Y tenemos un mundo que no se podrá considerar tan dividido.


09:11
Tenemos a los países con ingresos altos aquí, con los EE.UU. como poder destacado. Tenemos las economías emergentes en el medio, que proveen muchos de los fondos para el rescate financiero. Y tenemos los países con ingresos bajos aquí. Sí, esto es un hecho, es de donde viene el dinero. Ellos han estado ahorrando durante la última década, ¿saben? Y aquí tenemos los países con ingresos bajos donde están los empresarios. Y aquí tenemos los países en quiebra y en guerra, como Afganistán, Somalia, partes de Congo, Darfur. Tenemos todo esto al mismo tiempo.


09:43
Y por eso es tan problemático describir lo que ha ocurrido en el mundo en desarrollo. Porque es muy diferente lo que ha ocurrido allí. Y por eso yo sugiero un enfoque ligeramente diferente a como lo llamarían ustedes. Y también tienen grandes diferencias dentro de los países. He oído que los departamentos aquí se hacían por regiones. Aquí tienen el África subsahariana, Asia del sur, Asia del este, los Estados Árabes, Europa del este, Latinoamérica y la OCDE. Y en este eje, el PIB. Y aquí, salud, supervivencia infantil. Y no es una sorpresa que África, el sur del Sahara, está abajo.


10:17
Pero cuando los separo en burbujas por país, el tamaño de la burbuja aquí es la población, y entonces ven que Sierra Leona y Mauricio son completamente diferentes. Existen diferencias de este tipo dentro del África subsahariana. Y puedo separar los demás. Aquí está el sur de Asia, el mundo árabe. Ahora todos los departamentos diferentes. Europa del Este, Latinoamérica y los países de la OCDE. Y aquí estamos. Tenemos un mundo continuo. No podemos dividirlo en dos.


10:44
Es el Mayflower aquí abajo, y Washington aquí, construyendo, construyendo con hormigón. Y aquí está Lincoln adelantándolos. Aquí Eisenhower modernizando los países, y aquí los EE.UU. hoy, aquí arriba. Y tenemos países en todo este camino. Ahora viene lo importante para comprender cómo ha cambiado el mundo. En este momento, decidí hacer una apuesta. (Risas)


11:13
Y es mi cometido, en nombre del resto del mundo, expresar gratitud a los estadounidenses que pagan sus impuestos por la Encuesta de Salud Demográfica. Muchos no están conscientes de --esto no es una broma. Esto es muy serio. Gracias al continuo patrocinio de los EE.UU. durante 25 años de una metodología muy buena para medir la mortalidad infantil, tenemos una idea de lo que está ocurriendo en el mundo. (Aplausos) Y es el gobierno de los EE.UU. en su mejor faceta, sin apoyo, proporcionando datos, lo que es útil para la sociedad. Y proporcionando datos gratis, en internet, para que el mundo lo utilice. Muchas gracias.


12:00
Bastante al contrario que el Banco Mundial, que reúne datos con dinero gubernamental, dinero de los impuestos, y luego lo venden para adquirir un pequeño beneficio, en una manera Guttenberg, muy ineficiente. (Aplausos) Pero la gente que está haciendo esto en el banco mundial está entre los mejores del mundo. Y son profesionales muy calificados. Es sólo que nos gustaría renovar nuestras agencias internacionales para tratar con el mundo de una forma moderna, como hacemos nosotros. Y cuando se trata de datos gratis y transparencia, Los Estados Unidos de América es uno los mejores. Y esto no sale fácilmente de la boca de un profesor de salud pública sueco. (Risas) Y no me han pagado para venir aquí, no.


12:45
Me gustaría mostrarles lo que ocurre con los datos, lo que podemos mostrar con estos datos. Miren aquí. Este es el mundo. Con ingresos aquí abajo, y mortandad infantil. Y ¿qué ha ocurrido en el mundo? Desde 1950, durante los últimos 50 años, hemos tenido una caída en mortalidad infantil. Lo sabemos gracias al Departamento de Seguridad Nacional. Y tuvimos un incremento en los ingresos. Y los antiguos países en desarrollo se están mezclando con los antiguos países industrializados occidentales. Y tenemos un continuo. Pero aún tenemos, naturalmente, Congo, allí arriba. Todavía tenemos tantos países pobres como hemos tenido siempre en la historia. Y ese es el billón de abajo, donde hemos oído, hoy, que tienen un enfoque completamente diferente.


13:28
¿Y a qué velocidad ha ocurrido? Bueno, Objetivos del Desarrollo del Milenio 4. Los EE.UU. no han sido muy entusiastas en el uso del Objetivo 4, pero ha sido el promotor principal para permitirnos medirlo, porque es sólo la mortalidad infantil la que podemos medir. Y solíamos decir que debía caer un 4% cada año. Veamos lo que ha hecho Suecia. Solíamos presumir del rápido progreso social. Aquí es donde estábamos en 1900. 1900, Suecia estaba allí. La misma mortalidad infantil que Bangladesh tenía en 1990, a pesar de que ellos tenían ingresos más bajos. Empezaron muy bien. Usaron bien la ayuda. Vacunaron a sus niños y obtuvieron mejor agua. Y redujeron la mortalidad infantil en un increíble 4.7% al año. Le ganan a Suecia. Ahora les muestro Suecia en el mismo periodo de 16 años.


14:14
Segundo asalto. Es Suecia en 1916, contra Egipto en 1990. Aquí vamos. Otra vez más, EEUU es aquí parte de la razón. Obtuvieron agua segura. Dieron comida a los pobres. Y erradicaron la malaria. 5.5%. Van más rápido que la meta del Desarrollo del Milenio.


14:30
Una tercera oportunidad para Suecia, aquí contra Brasil. Y Brasil ha tenido una mejora social increíble en los últimos 16 años. Y van más rápido que Suecia. Esto significa que el mundo está convergiendo. Los países de ingresos medios, la economía emergente, se están poniendo al mismo nivel. Se están mudando a las ciudades, donde tendrán también una mejor ayuda para ello.


14:51
Los estudiantes suecos en este momento protestan. Dicen: "No es justo, porque estos países han tenido vacunas y antibióticos, que no estaban disponibles en Suecia. Tenemos que competir en tiempo real". Bueno. Les doy Singapur, el año en que nací yo. Singapur tenía dos veces más mortalidad infantil que Suecia. Es el país más tropical en el mundo. Es una marisma en el ecuador. Y aquí van. Les tomó algo de tiempo llegar a la independencia, pero entonces su economía empezó a crecer. E hicieron la inversión social. Erradicaron la malaria. Crearon un sistema de salud magnífico y ganaron tanto a EE.UU. como a Suecia. ¡Nunca pensamos que podrían ganar a Suecia! (Aplausos)


15:33
Y todos estos países verdes están alcanzando las metas del Desarrollo del Milenio. Estos amarillos están a punto de hacerlo. Y estos rojos no lo hacen, y tienen que mejorar su política. No es una extrapolación simplista. Tenemos que encontrar realmente la manera de apoyar a estos países de una forma mejor. Tenemos que respetar a los países con ingresos medios en lo que están haciendo. Y tenemos que basar en los hechos la manera en que vemos el mundo.


15:56
Esto es dólar por persona. Esto es VIH por países. El azul es África. El tamaño de las burbujas es el número de afectados por el VIH. ¿Ven la tragedia en Sudáfrica aquí? Alrededor de un 20% de la población adulta está infectada. Y a pesar de que tienen unos ingresos altos, tienen un elevadísimo número de infectados por el VIH. Pero también pueden ver que hay países africanos aquí abajo. No es que haya una epidemia de VIH en África. Hay un número, de 5 a 10 países en África, que tienen el mismo nivel que Suecia y EE.UU. Y hay otros que están extremadamente altos.


16:30
Les voy a mostrar lo que ha ocurrido en uno de los mejores países, con la economía más fuerte de África, y un buen gobierno: Botsuana. Tienen un nivel muy alto. Está bajando. Pero ahora no está cayendo. Porque allí, con la ayuda del Plan de Emergencia de Ayuda contra el SIDA, está funcionando el tratamiento, y la gente no se está muriendo. Y pueden ver que no es fácil, que es la guerra la que causa esto. Porque aquí, en el Congo, hay guerra. Y aquí, en Zambia, hay paz.


17:00
Y no es la economía. Un país más rico está sólo un poco más alto. Y si divido Tanzania por sus ingresos, el 20% más rico de Tanzania tiene más VIH que los más pobres. Es realmente diferente dentro de cada país. Miren a las provincias de Kenya. Son muy diferentes. Y esta es la situación, como ven. No es pobreza profunda. Es una situación especial, probablemente por una vida sexual simultánea entre parte la población heterosexual en algunos países, o en parte de algunos países, en el sur y el este de África.


17:30
Pero no culpen a África. No hagan de esto un asunto racial. Háganlo un asunto local. Y promuevan la prevención en cada lugar, de la forma en la que se puede hacer allí. Y ya para terminar, hay tipos de sufrimiento entre el billón de los más pobres, que no conocemos. Aquellos que viven más allá del teléfono móvil, aquellos que aún no han visto un computador, aquellos que no tienen electricidad en casa.


17:55
Esta es la enfermedad Konzo, que traté de dilucidar durante 20 años en África. Es provocada por el rápido procesamiento de raíces tóxicas de tapioca, en una situación de hambruna. Es similar a la pelagra en Misisipi, en los años 30. Similar a otras enfermedades nutricionales. Nunca afectará a una persona rica.


18:13
Nosotros la hemos visto aquí, en Mozambique. Esto es la epidemia en Mozambique. Esto es una epidemia en el norte de Tanzania. Nunca han oído sobre la enfermedad, pero hay muchos más afectados por esta enfermedad que por el ébola. Causa incapacidad por todo el mundo. Y en los últimos dos años, 2000 personas han quedado incapacitadas en la punta sur de la región de Bandunda, donde solía hacerse el comercio ilegal de diamantes, cuando UNITA dominaba el área de Angola. Ahora eso ha desaparecido. Y ahora tienen grandes problemas económicos. Hace una semana, por primera vez, se establecieron cuatro líneas de internet.


18:48
No confundan el progreso de las economías emergentes con la gran capacidad de la gente en los países de ingresos medios y en los países de ingresos bajos en paz. Todavía hay miseria en un billón de personas. Y debemos tener más conceptos que sólo "países desarrollados" y "países en desarrollo". Necesitamos una nueva forma de pensar. El mundo está convergiendo. Pero, pero, pero...no el billón de abajo. Ellos son todavía tan pobres como lo han sido hasta ahora. No es sostenible. Y no ocurrirá alrededor de un superpoder. Pero los EE.UU. permanecerán como uno de los superpoderes más importantes. Y el superpoder más esperanzador, por el momento. Y esta institución tendrá un papel muy importante, no para los EE.UU, sino para todo el mundo. Así que tiene un nombre inadecuado, "Departamento de Estado"; esto no es un Departamento de Estado. Es el Departamento Mundial. Y tenemos una gran esperanza en él. Muchas gracias. (Aplausos)

domingo, 17 de diciembre de 2017

Minería de datos para representar la evaluación de performance entre humanos

La minería de datos revela la forma en que los humanos se evalúan mutuamente

Las vastas bases de datos de estadísticas de fútbol exponen la limitada forma en que los observadores humanos califican el desempeño y sugieren cómo pueden mejorar significativamente.
Emergent Technologies from arXiv


La forma en que evaluamos el desempeño de otros humanos es uno de los misterios más grandes de la psicología cognitiva. Este proceso ocurre continuamente a medida que juzgamos la capacidad de las personas para realizar ciertas tareas, evaluando a todos, desde electricistas y conductores de autobuses hasta contadores y políticos.

El problema es que solo tenemos acceso a un conjunto limitado de datos sobre el rendimiento de un individuo, algunos de ellos directamente relevantes, como el registro de conducir de un taxista, pero muchos de ellos son irrelevantes, como el sexo del conductor. De hecho, la cantidad de información puede ser tan grande que nos vemos obligados a decidir usar un pequeño subconjunto de la misma. ¿Cómo se hacen esas decisiones?

Hoy recibimos una especie de respuesta gracias al trabajo de Luca Pappalardo en la Universidad de Pisa en Italia y algunos amigos que han estudiado este problema en el campo del deporte, donde las cuestiones de rendimiento se ponen de relieve. Su trabajo proporciona una visión única de la forma en que evaluamos el desempeño humano y cómo esto se relaciona con medidas objetivas.


Los factores que los observadores humanos usan para calificar el desempeño son un pequeño subconjunto de medidas objetivas.

El rendimiento deportivo es un área en la que se han recopilado registros detallados del desempeño individual durante algunos años. Pappalardo y co se centran en el fútbol, ​​el deporte más popular del mundo, y en particular en el rendimiento de los jugadores que compiten en la parte superior del deporte en la liga de fútbol de la Serie A de Italia.

Durante muchos años, los periódicos deportivos italianos han calificado el rendimiento de los jugadores en cada juego en una escala de 0 a 10, donde 0 es inolvidablemente malo y 10 inolvidablemente increíble. Este sistema se basa en el sistema italiano de calificaciones escolares, donde un 6 indica que un alumno se desempeñó adecuadamente. La forma en que los jugadores son calificados no se publica, pero es presumiblemente hecha por un experto periodista deportivo.

En los últimos años, los mismos jugadores también han sido evaluados por un sistema de medición objetivo que cuenta el número de pases, tiros, tacleadas, salvados, etc. que cada jugador realiza. Esta medida técnica tiene en cuenta 150 parámetros diferentes y proporciona una cuenta completa del rendimiento en el terreno de cada jugador.

La pregunta que hacen Pappalardo y sus colegas es cómo las clasificaciones de los periódicos se correlacionan con las calificaciones técnicas, y si es posible utilizar los datos técnicos para comprender los factores que influyen en las calificaciones de los seres humanos.

Los investigadores comienzan con el conjunto de datos técnicos de 760 juegos en la Serie A en las temporadas 2015-16 y 2016-17. Esto consiste en más de un millón de puntos de datos que describen los eventos puntuales con sello de tiempo. Usan la información para extraer un vector de rendimiento técnico para cada jugador en cada juego; esto actúa como una medida objetiva de su desempeño.

Los investigadores también tienen las calificaciones para cada jugador en cada juego de tres periódicos deportivos: Gazzetta dello Sport, Corriere dello Sport y Tuttosport.

Las clasificaciones de los periódicos tienen algunas propiedades estadísticas interesantes. Solo el 3 por ciento de las calificaciones son inferiores a 5 y solo un 2 por ciento más que 7. Cuando las clasificaciones se clasifican de acuerdo con el sistema de calificaciones de la escuela, como malas si son inferiores a 6 y buenas si tienen 7 o más, son malas. las calificaciones resultan ser tres veces más comunes que las buenas.

En general, los periódicos califican una actuación similar, aunque puede haber desacuerdos ocasionales hasta en 6 puntos. "Observamos un buen acuerdo sobre las calificaciones pareadas entre los periódicos, encontrando que las calificaciones (i) tienen distribuciones idénticas; (ii) están fuertemente correlacionados entre sí; y (iii) típicamente difieren en una unidad de calificación (0.5) ", dicen Pappalardo y compañía.

Para analizar la relación entre las clasificaciones de los periódicos y las clasificaciones técnicas, Pappalardo y co utilizan el aprendizaje automático para encontrar correlaciones en los conjuntos de datos. En particular, crean un "juez artificial" que intenta reproducir las calificaciones de los periódicos de un subconjunto de los datos técnicos.

Esto conduce a un resultado curioso. El juez artificial puede igualar las calificaciones de los periódicos con un grado razonable de precisión, pero no tan bien como los periódicos coinciden entre sí. "El desacuerdo indica que las características técnicas por sí solas no pueden explicar completamente el proceso de calificación [del periódico]", dicen Pappalardo y compañía.

En otras palabras, las calificaciones de los periódicos deben depender de factores externos que no son capturados por los datos técnicos, como la expectativa de un determinado resultado, el sesgo personal, y así sucesivamente.

Para poner a prueba esta idea, Pappalardo y co recogieron otro conjunto de datos que captura factores externos. Estos incluyen la edad, nacionalidad y club del jugador, el resultado esperado del juego según lo estimado por los corredores de apuestas, el resultado real del juego y si un juego se juega en casa o fuera de casa.

Cuando se incluyen estos datos, el juez artificial lo hace mucho mejor. "Al agregar información contextual, el acuerdo estadístico entre el juez artificial y el juez humano aumenta significativamente", dice el equipo.

De hecho, pueden ver claramente ejemplos de la forma en que los factores externos influyen en las calificaciones de los periódicos. En todo el conjunto de datos, solo dos jugadores han recibido un premio perfecto. Uno de ellos fue el delantero argentino Gonzalo Higuaín, que jugó para Napoli. En esta ocasión, marcó tres goles en un juego, y al hacerlo se convirtió en el máximo anotador de la historia en una temporada en la Serie A. Ese hito fue sin duda la razón para la calificación perfecta, pero no hay forma de derivar esto. puntuación del conjunto de datos técnicos.

Una pregunta importante es qué factores utiliza el juez artificial para que coincida con las calificaciones de los periódicos. "Observamos que la mayor parte de la atención de un juez humano está dedicada a un pequeño número de características, y la gran mayoría de las características técnicas son poco consideradas o descartadas durante el proceso de evaluación", dicen Pappalardo y compañía.

Entonces, para atacar a los jugadores avanzados, los periódicos tienden a clasificarlos usando factores fácilmente observables, como el número de goles marcados; ellos califican a los porteros sobre el número de goles encajados. Los jugadores de medio campo tienden a ser calificados por parámetros más generales, como la diferencia de goles.

Eso tiene sentido: los observadores humanos tienen un ancho de banda limitado y probablemente solo puedan observar una pequeña fracción de los indicadores de rendimiento. De hecho, el equipo dice que el juez artificial puede igualar clasificaciones humanas usando menos de 20 de los factores técnicos y externos.

Es un resultado fascinante que tiene implicaciones importantes para la forma en que pensamos sobre las calificaciones de desempeño. El objetivo, por supuesto, es encontrar formas más efectivas de evaluar el rendimiento en todo tipo de situaciones. Pappalardo y su equipo piensan que su trabajo tiene una influencia significativa en esto. "Este documento se puede utilizar para capacitar a los evaluadores humanos para obtener una comprensión sobre la lógica subyacente de sus decisiones", concluyen.

Ref: arxiv.org/abs/1712.02224 : Human Perception of Performance

sábado, 21 de octubre de 2017

China: Hacia la dictadura de los grandes datos

China usa el "leninismo digital" para administrar la economía y monitorear a los ciudadanos

Xi Jinping está llevando a China a una dictadura de grandes datos


Un dispositivo de reconocimiento facial escanea a los pasajeros antes de abordar un tren en Wuhan, en el centro de China. Xi Jinping tiene como objetivo utilizar big data y otras herramientas de alta tecnología para modernizar la economía de China y vigilar a sus ciudadanos. FOTO: ZUMA PRENSA

Por Andrew Browne | The Wall Street Journal


SHANGHAI: Desde Stalin hasta Mao, los planificadores centrales de viejo estilo enfrentaron el mismo problema: el sistema no funcionó.
Los soviéticos tenían sus líneas de pan y una cuota de candelabros colocados en toneladas que los hacía demasiado pesados ​​para colgarlos de los techos. El objetivo delirante de Mao para la producción de acero hizo que los campesinos arrojaran sus ollas y sartenes a los hornos domésticos. El hambre siguió.

A pesar de toda su charla sobre darle a los mercados un papel "decisivo", Xi Jinping finalmente cree que el estado debería liderar. En la cúspide de su ascenso al estatus de Mao, aspira a utilizar los grandes datos y la inteligencia artificial para corregir los errores de planificación del pasado y microgestionar la economía china mientras controla a sus ciudadanos.

La tecnología de la información, lejos de socavar el modelo autoritario de China como muchos pensaban, la está reforzando.

El politólogo alemán Sebastian Heilmann acuñó el término "leninismo digital" para describir el programa que el Sr. Xi diseñó para tratar de garantizar la supervivencia del Partido Comunista.

El partido llama a la misión "diseño de alto nivel" y está destinada a guiar la próxima etapa de crecimiento liderada por tecnologías avanzadas como la robótica, la impresión en 3-D y los vehículos sin conductor.

Los técnicos están trabajando en un plan para monitorear el rendimiento de estas máquinas usando sensores y cámaras y medirlo contra objetivos industriales. Los feeds de datos corporativos le darán a los reguladores la capacidad de detectar los flujos de crédito e inversión en tiempo real, junto con el fraude. Algoritmos supuestamente usarán esta información granular para optimizar la toma de decisiones macroeconómicas, mantener a los mercados en equilibrio y evitar las burbujas especulativas.

Al menos en público, los principales ejecutivos de los oligopolios de datos de China, incluidos Alibaba y Tencent, son evangelistas del proyecto que les exige que descarguen chorros de datos de consumidores a los superhubes estatales. El fundador de Alibaba, Jack Ma, en un seminario el año pasado comparó el papel del big data en el manejo económico con una radiografía o tomografía computarizada en el diagnóstico médico. En los próximos 30 años, declaró que "la economía planificada se hará cada vez más grande".

La teoría occidental del libre mercado dice que digital o no, la planificación estatal nunca puede reemplazar lo que Adam Smith llamó la "mano invisible" del mercado. En su libro "Por qué fracasan las naciones", los economistas Daron Acemoglu y James Robinson afirman que las economías centralizadas como la de China finalmente están condenadas porque las élites que las dirigen se sienten amenazadas por la interrupción política de la innovación.

Otros argumentan lo contrario, que en una era digital los regímenes autoritarios menos vinculados por las preocupaciones sobre la privacidad y la protección de los datos pueden en realidad tener una ventaja sobre la innovación. Un número de jóvenes ingenieros de software con experiencia en Stanford y MIT y M.B.A.s se están uniendo a startups chinas en áreas como cuidado de la salud y visión artificial, donde el fácil acceso a vastos reservorios de datos puede impulsar avances científicos y reducir el tiempo de comercialización de sus invenciones.



Un cliente prueba la solución de pago de reconocimiento facial 'Smile to Pay' en un restaurante de KFC en Hangzhou, la ciudad natal de Alibaba. FOTO: REUTERS

Con el gobierno como el mejor cliente, tales empresas pueden tener un enorme impacto en la vida china. Una compañía con sede en Shanghai está intentando desarrollar una base de datos de reconocimiento facial con el Ministerio de Seguridad Pública que identificará a cualquiera de los 1.400 millones de personas de China en tres segundos. Un sistema vinculado de "crédito social" recopilará datos sobre todos los ciudadanos, incluidos sus publicaciones en los medios sociales, y lo utilizará para calificar su confiabilidad.

El gran experimento de planificación "presenta un desafío fundamental para los sistemas políticos democráticos", escribe Heilmann.

Durante años, los políticos occidentales creyeron que China seguiría moviéndose constantemente hacia una economía de libre mercado para rectificar las debilidades creadas por la planificación estatal. Según los economistas, una mayor apertura económica induciría la liberalización política. Si China se retrasa, sería castigado por la baja productividad.

El Sr. Xi está reemplazando estas suposiciones. Está quedando claro que la "reforma y apertura" económica, en la jerga de la era de Deng, ha seguido su curso.

Aun cuando las industrias estatales de China como el acero, el aluminio y la construcción naval crean un exceso monumental que agobia a la economía con la deuda, la escasez de consumidores que son la ruina de las economías planificadas es historia; el gasto de la clase media de China impulsa cada vez más el crecimiento y la mayoría de los precios los fija el mercado.



Trabajadores en un sitio de construcción de Beijing. Xi Jinping espera usar datos para corregir desajustes en la economía. FOTO: AGENCE FRANCE-PRESSE / GETTY IMAGES

La planificación "inteligente" podría ayudar a China a pasar a una economía más moderna; ¿qué puede salir mal?

Primero, sobrecarga de datos; coleccionarlo es una cosa, analizándolo inteligentemente y otra muy distinta. En segundo lugar, y más siniestro para las empresas chinas y tecnológicas comunes, la extralimitación burocrática. Una señal reveladora es la decisión de los reguladores de obligar a las más grandes compañías tecnológicas a entregar una participación de capital del 1% al gobierno junto con los poderes de toma de decisiones. El entusiasmo de los magnates de la tecnología por las ideas de planificación del Sr. Xi podría disminuir rápidamente si los apparatchiks del partido comenzaran a llamar la atención sobre sus tableros.

En última instancia, el enfoque draconiano del Sr. Xi lleva la noción de "Gran Hermano" a un nuevo nivel.

La planificación económica "no es simplemente el control de un sector de la vida humana que puede separarse del resto", escribió el economista ganador del Premio Nobel FA Hayek en "El camino a la servidumbre". "Es el control de los medios para todos nuestros termina ".

Eso fue escrito en la década de 1940. Ni Hayek ni Mao podrían haber imaginado el totalitarismo impulsado por el conocimiento que el Sr. Xi tiene en mente.

viernes, 8 de septiembre de 2017

La OPEP de los datos

Regulación de los gigantes de Internet

El recurso más valioso del mundo ya no es el petróleo, sino los datos


La economía de datos exige un nuevo enfoque de las normas antitrust



The Economist

Un nuevo producto genera una industria lucrativa y de rápido crecimiento, lo que provoca que los reguladores antimonopolio intervengan para frenar a quienes controlan su flujo. Hace un siglo, el recurso en cuestión era el petróleo. Ahora las preocupaciones similares están siendo planteadas por los gigantes que se ocupan de los datos, el petróleo de la era digital. Estos titanes-Alphabet (compañía matriz de Google), Amazon, Apple, Facebook y Microsoft-parecen imparables. Son las cinco firmas cotizadas más valiosas del mundo. Sus ganancias están aumentando: colectivamente acumuló más de $ 25bn en ganancias netas en el primer trimestre de 2017. Amazon captura la mitad de todos los dólares gastados en línea en América. Google y Facebook representaron casi todo el crecimiento de los ingresos en publicidad digital en Estados Unidos el año pasado.

Tal dominio ha provocado llamados para que los gigantes de la tecnología se rompan, como Standard Oil fue a principios del siglo XX. Este periódico ha argumentado en contra de una acción tan drástica en el pasado. Tamaño por sí solo no es un crimen. El éxito de los gigantes ha beneficiado a los consumidores. Pocos quieren vivir sin el motor de búsqueda de Google, la entrega de un día de Amazon o el servicio de noticias de Facebook. Tampoco estas empresas alzan la alarma cuando se aplican las pruebas antitrust estándar. Lejos de fastidiar a los consumidores, muchos de sus servicios son gratuitos (los usuarios pagan, en efecto, entregando más datos). Tener en cuenta a los rivales fuera de línea, y sus cuotas de mercado parecen menos preocupantes. Y la aparición de nuevos personajes como Snapchat sugiere que los nuevos participantes todavía pueden hacer olas.

Pero hay motivo de preocupación. El control de los datos por parte de las empresas de Internet les da un enorme poder. Las viejas formas de pensar sobre la competencia, ideadas en la era del petróleo, parecen anticuadas en lo que se ha llamado la "economía de datos" (ver Briefing). Se necesita un nuevo enfoque.

La cantidad tiene una calidad propia

¿Que ha cambiado? Los teléfonos inteligentes e Internet han hecho que los datos sean abundantes, ubicuos y mucho más valiosos. Ya sea que vaya a correr, viendo televisión o simplemente sentarse en el tráfico, prácticamente todas las actividades crean un rastro digital, más materia prima para las destilerías de datos. A medida que los dispositivos de los relojes a los automóviles se conectan a Internet, el volumen está aumentando: algunos estiman que un automóvil autodirigido generará 100 gigabytes por segundo. Mientras tanto, las técnicas de inteligencia artificial (IA), como el aprendizaje automático, extraen más valor de los datos. Los algoritmos pueden predecir cuándo un cliente está listo para comprar, un motor a reacción necesita servicio o una persona está en riesgo de una enfermedad. Gigantes industriales como GE y Siemens ahora se venden como empresas de datos.

Esta abundancia de datos cambia la naturaleza de la competencia. Los gigantes de la tecnología siempre se han beneficiado de los efectos de red: cuanto más usuarios de Facebook se inscriban, más atractivo se convierte en el de otros. Con los datos hay efectos de red adicionales. Mediante la recopilación de más datos, una empresa tiene más posibilidades de mejorar sus productos, lo que atrae a más usuarios, generando aún más datos, y así sucesivamente. Cuantos más datos recoja Tesla de sus automóviles autodirigidos, mejor puede hacerlos conducir ellos mismos-parte de la razón de que la firma, que vendió sólo 25.000 coches en el primer trimestre, ahora vale más que GM, que vendió 2.3m . Vastas piscinas de datos pueden actuar como fosos protectores.

El acceso a los datos también protege a las empresas de sus rivales de otra manera. El argumento a favor de ser optimista acerca de la competencia en la industria tecnológica se basa en el potencial de los operadores históricos para ser blindsided por una puesta en marcha en un garaje o un cambio tecnológico inesperado. Pero ambos son menos probables en la era de los datos. Los sistemas de vigilancia de los gigantes abarcan toda la economía: Google puede ver lo que la gente busca, Facebook lo que comparten, Amazon lo que compran. Poseen tiendas de aplicaciones y sistemas operativos, y alquilan energía de computación a las nuevas empresas. Tienen una "visión de Dios" de las actividades en sus propios mercados y más allá. Pueden ver cuando un nuevo producto o servicio gana la tracción, permitiéndoles copiarlo o simplemente comprar el upstart antes de que se convierta en una amenaza demasiado grande. Muchos piensan que la compra de Facebook por 22.000 millones de dólares en 2014 de WhatsApp, una aplicación de mensajería con menos de 60 empleados, cae en esta categoría de "adquisiciones de shoot-out" que eliminan posibles rivales. Al proporcionar barreras a los sistemas de entrada y alerta temprana, los datos pueden sofocar la competencia.

¿A quién vas a llamar, confiados?

La naturaleza de los datos hace que los remedios antimonopolio del pasado sean menos útiles. Romper una empresa como Google en cinco Googlets no impediría que los efectos de red se reafirmaran: con el tiempo, uno de ellos volvería a ser dominante nuevamente. Se requiere un replanteamiento radical y, a medida que los contornos de un nuevo enfoque empiezan a ser evidentes, se destacan dos ideas.

La primera es que las autoridades antimonopolio deben pasar de la era industrial al siglo XXI. Al considerar una fusión, por ejemplo, han utilizado tradicionalmente el tamaño para determinar cuándo intervenir. Ahora deben tener en cuenta el alcance de los activos de datos de las empresas al evaluar el impacto de los acuerdos. El precio de compra también podría ser una señal de que un incumbente está comprando una amenaza incipiente. En estas medidas, la voluntad de Facebook de pagar tanto por WhatsApp, que no tenía ingresos de los que hablar, habría levantado banderas rojas. Los trustbusters también deben ser más informáticos en su análisis de la dinámica del mercado, por ejemplo, mediante simulaciones para buscar algoritmos de colusión sobre los precios o para determinar la mejor manera de promover la competencia.
El segundo principio es aflojar el control que los proveedores de servicios en línea tienen sobre los datos y dar más control a quienes los suministran. Una mayor transparencia ayudaría: las empresas podrían verse obligadas a revelar a los consumidores qué información tienen y cuánto dinero ganan con ella. Los gobiernos podrían fomentar la aparición de nuevos servicios abriendo más bóvedas de datos o gestionando partes cruciales de la economía de datos como infraestructura pública, como lo hace la India con su sistema de identidad digital, Aadhaar. También podrían exigir el intercambio de ciertos tipos de datos, con el consentimiento de los usuarios, un enfoque que Europa está adoptando en los servicios financieros al exigir a los bancos que faciliten la accesibilidad de los datos de los clientes a terceros.

Reiniciar el antitrust para la era de la información no será fácil. Esto conllevará nuevos riesgos: un mayor intercambio de datos, por ejemplo, podría amenazar la privacidad. Pero si los gobiernos no quieren una economía de datos dominada por unos cuantos gigantes, tendrán que actuar pronto.

viernes, 19 de mayo de 2017

Cómo predecir si un prestatario te devuelve el préstamo

Cómo predecir si un prestatario le pagará de vuelta

Por Seth Stephens-Davidowitz | Science of Us





Recientemente, tres economistas -Oded Netzer y Alain Lemaire, ambos de Columbia, y Michal Herzenstein de la Universidad de Delaware- buscaron maneras de predecir la probabilidad de que un prestatario reembolsara un préstamo. Los estudiosos usaron datos de Prosper, un sitio de préstamos de igual a igual. Los posibles prestatarios escribir una breve descripción de por qué necesitan un préstamo y por qué es probable que hacer bien en él, y los prestamistas potenciales decidir si proporcionarles el dinero. En general, alrededor del 13 por ciento de los prestatarios incumplieron su préstamo.

Resulta que el lenguaje que los prestatarios potenciales utilizan es un fuerte predictor de su probabilidad de pagar. Y es un indicador importante, incluso si usted controla para otros prestamistas de información relevante fueron capaces de obtener acerca de los prestatarios potenciales, incluyendo calificaciones de crédito e ingresos.

A continuación se enumeran diez frases que los investigadores encontraron que se utilizan comúnmente al solicitar un préstamo. Cinco de ellos se correlacionan positivamente con el pago del préstamo. Cinco de ellos se correlacionan negativamente con el pago del préstamo. En otras palabras, cinco tienden a ser utilizados por personas en las que puedes confiar, cinco por personas que no puedes. Vea si puede adivinar cuáles son cuales.


Dios, promesa, libre de deudas, pago mínimo, tasa de interés más baja, pagará, graduado, gracias, después de impuestos, hospital.

Podría pensar -o al menos esperar- que una persona educada y abiertamente religiosa que da su palabra sería una de las que más probabilidades de pagar un préstamo. Pero de hecho este no es el caso. Este tipo de persona, los datos muestran, es menos probable que el promedio de hacer bien en su deuda.

Aquí están las frases utilizadas en las solicitudes de préstamo por las personas más propensas a pagarles: deuda libre, tasa de interés más baja, después de impuestos, pago mínimo, graduado.

Y aquí están las frases utilizadas por los menos propensos a pagar sus préstamos: Dios, la promesa, va a pagar, gracias, el hospital.

¿Qué debemos hacer de las palabras en las diferentes categorías? En primer lugar, vamos a considerar el lenguaje que sugiere que alguien es más probable que hacer sus pagos del préstamo. Frases como "tasa de interés más baja" o "después de impuestos" indican un cierto nivel de sofisticación financiera por parte del prestatario por lo que tal vez no es sorprendente que se correlacionan con alguien más propensos a pagar su préstamo. Además, si él o ella habla de logros positivos como ser un "graduado" universitario y ser "libre de deudas", él o ella también es probable que pague sus préstamos.

Ahora, consideremos un lenguaje que sugiere que es poco probable que alguien pague sus préstamos. Generalmente, si alguien le dice que le pagará, no le pagará. Cuanto más firme sea la promesa, más probable será que la rompa. Si alguien escribe "Prometo que pagaré, así que ayúdame Dios", él es uno de los que menos probabilidades de pagarle. Apelando a su misericordia -explicando que él necesita el dinero porque tiene un pariente en el "hospital" - también significa que es poco probable que le pague de vuelta. De hecho, mencionar a cualquier miembro de la familia -un marido, esposa, hijo, hija, madre o padre- es un signo que alguien no pagará. Otra palabra que indica el defecto es "explicar", es decir, si la gente está tratando de explicar por qué van a ser capaces de pagar un préstamo, es probable que no.

Los autores no tenían una teoría de por qué dar las gracias a la gente es la evidencia del incumplimiento probable.

En resumen, de acuerdo con estos investigadores, dando un plan detallado de cómo puede hacer sus pagos y mencionar los compromisos que ha mantenido en el pasado son la evidencia de que alguien pagará un préstamo. Hacer promesas y apelar a su misericordia es una señal clara de que alguien entrará en default. Independientemente de las razones -o de lo que nos dice acerca de la naturaleza humana- que hacer promesas es una señal segura de que alguien en realidad no hará algo -los eruditos encontraron que la prueba era una información extremadamente valiosa para predecir el incumplimiento. Alguien que menciona a Dios fue 2,2 veces más probabilidades de incumplimiento. Este fue uno de los indicadores más altos únicos que alguien no pagaría.

Pero los autores también creen que su estudio plantea cuestiones éticas. Mientras que esto era apenas un estudio académico, algunas compañías divulgan que utilizan datos en línea en aprobar préstamos. ¿Es esto aceptable? ¿Queremos vivir en un mundo en el que las empresas utilicen las palabras que escribimos para predecir si pagaremos un préstamo? Es, como mínimo, espeluznante y, posiblemente, aterrador.

Un consumidor que busca un préstamo en un futuro próximo podría no sólo tiene que preocuparse por su historia financiera, sino también su actividad en línea. Y puede ser juzgada por factores que parecen absurdos -ya sea que use la frase "Gracias" o invoca "Dios", por ejemplo. Además, ¿qué pasa con una mujer que legítimamente necesita para ayudar a su hermana en un hospital y sin duda volverá a pagar su préstamo después? Parece horrible castigarla porque, en promedio, las personas que dicen necesitar ayuda para las facturas médicas a menudo han demostrado estar mintiendo. Un mundo que funciona de esta manera comienza a parecer terriblemente distópico.

Big Data está explotando. Nos ha ayudado a encontrar los sitios web que queremos ver, las personas con las que queremos hablar, los trabajos que queremos solicitar.

Pero el poder de Big Data plantea una serie de preguntas éticas. En particular: ¿Las corporaciones tienen el derecho de juzgar nuestra aptitud para sus servicios basados ​​en criterios abstractos pero estadísticamente predictivos que no están directamente relacionados con esos servicios?

Un mundo que funciona de esta manera comienza a parecer terriblemente distópico.
Un lugar donde nuestros datos digitales ya se utilizan cada vez más para tomar decisiones es en las prácticas de contratación. Los emprendimientos como TalentBin ayudan a las empresas a dar sentido a las redes sociales cuando consideran a los candidatos a puestos de trabajo. Eso no puede plantear cuestiones éticas si buscan evidencia de malas palabras de los empleadores anteriores o revelar los secretos de los empleadores anteriores. Pero, ¿y si encuentran un indicador aparentemente inofensivo que se correlaciona con algo que les importa?

Los investigadores de Cambridge y Microsoft dieron a 58.000 usuarios estadounidenses de Facebook una variedad de pruebas sobre su personalidad e inteligencia. Encontraron que los gustos de Facebook se correlacionan frecuentemente con IQ, extraversión, y conscientiousness. Por ejemplo, las personas que gustan de Mozart, las tormentas eléctricas y las patatas fritas rizadas en Facebook tienden a tener coeficientes de inteligencia más altos. Las personas que les gusta Harley Davidson motocicletas, el grupo de música country Lady Antebellum, o la página "I Love Being a Mom" ​​tienden a tener un coeficiente intelectual más bajo. Algunas de estas correlaciones pueden deberse a la maldición de la dimensionalidad. Si pruebas suficientes cosas, algunas se correlacionan al azar. Sin embargo, algunos intereses pueden correlacionarse legítimamente con el CI.

No obstante, parecería injusto que una persona inteligente que le guste a Harley Davidsons no pudiera conseguir un trabajo acorde con sus habilidades porque era, sin darse cuenta, señalando una baja inteligencia.

Para ser justos, este no es un problema completamente nuevo. Las personas han sido juzgadas por factores no directamente relacionados con el desempeño en el trabajo: la firmeza de sus apretones de manos, la limpieza de su vestido. Pero un peligro de la revolución de datos es que, a medida que se cuantifica más de nuestra vida, estos juicios proxy pueden ser más esotéricos y más intrusivos. Una mejor predicción puede conducir a una discriminación más sutil y más nefasta.

Los mejores datos también pueden conducir a otra forma de discriminación, lo que los economistas llaman discriminación de precios. Las empresas a menudo están tratando de averiguar qué precio deben cobrar por bienes o servicios. Idealmente, quieren cobrar a los clientes lo máximo que están dispuestos a pagar.

La mayoría de las empresas generalmente terminan escogiendo un precio que todo el mundo paga. Pero a veces son conscientes de que los miembros de un determinado grupo, en promedio, pagan más. Esta es la razón por la que los cines cobran más a los clientes de mediana edad -a la altura de su poder adquisitivo- que a los estudiantes o personas de la tercera edad y por qué las aerolíneas suelen cobrar más a los compradores de última hora. El precio discrimina.

Big Data puede permitir que las empresas obtengan una mejora sustancial en el aprendizaje de lo que los clientes están dispuestos a pagar y, por lo tanto, agudizar a ciertos grupos de personas. Optimal Decisions Group fue pionera en el uso de la ciencia de datos para predecir cuánto están dispuestos a pagar los consumidores por los seguros. ¿Cómo lo hicieron? Ellos llevaron a cabo lo que se llama una búsqueda de doppelganger, encontrando a los clientes anteriores más similares a los que actualmente buscan comprar seguros - y vio lo alto que estaban dispuestos a asumir la prima. Una búsqueda de doppelganger es grande si nos ayuda a curar la enfermedad de alguien encontrando un pequeño grupo de pacientes más parecidos a él. Pero si una búsqueda de doppelganger ayuda a una corporación extraer cada centavo pasado de usted? Eso no es tan genial.

Los grandes casinos están utilizando algo así como una búsqueda de doppelganger para entender mejor a sus consumidores y asegurarse de que más de su dinero va a sus arcas. Así es como funciona. Cada jugador, los casinos creen, tiene un "punto de dolor." Esta es la cantidad de pérdidas que lo asustarán lo suficiente para que ella deja su casino por un período prolongado de tiempo. Supongamos, por ejemplo, que el "punto de dolor" de Helen es $ 3.000. Esto significa que si pierde $ 3,000, ha perdido un cliente, tal vez durante semanas o meses. Si Helen pierde $ 2,999, ella no estará feliz. ¿Quién, después de todo, le gusta perder dinero? Pero no estará tan desmoralizada que no vuelva mañana por la noche.

Imagine por un momento que está manejando un casino. E imagina que Helen se ha presentado para jugar las máquinas tragamonedas. ¿Cuál es el resultado óptimo? Claramente, usted quiere que Helen se acerque lo más posible a su "punto de dolor" sin cruzarlo. Quieres que pierda $ 2,999, lo suficiente como para hacer grandes ganancias, pero no tanto que no volverá a jugar de nuevo pronto.

¿Cómo puedes hacer esto? Bueno, hay maneras de hacer que Helen deje de jugar una vez que ha perdido una cierta cantidad. Usted puede ofrecer sus comidas gratis, por ejemplo. Hacer la oferta atractiva suficiente, y ella dejará las ranuras para la comida.

Pero hay un gran desafío con este enfoque. ¿Cómo sabes el "punto de dolor" de Helen? El problema es que la gente tiene diferentes "puntos de dolor". Para Helen, son $ 3,000. Para John, podría ser $ 2.000. Para Ben, podría ser $ 26,000. Si convence a Helen de dejar de apostar cuando perdió $ 2,000, dejó ganancias en la mesa. Si espera demasiado, después de haber perdido 3.000 dólares, la ha perdido durante un tiempo. Además, Helen podría no querer decirte su punto de dolor. Puede que ni siquiera sepa lo que es.

Usted utiliza la ciencia de los datos. Aprendes todo lo que puedas sobre una serie de clientes: su edad, género, código postal y comportamiento de juego. Y, a partir de ese comportamiento de juego, sus ganancias, pérdidas, idas y venidas, se estima su "punto de dolor". Recoja toda la información que conoce sobre Helen y encuentre jugadores que son similares a ella -su doppelgangers, más o menos. Sin embargo mucho dolor que pueden soportar es probablemente la misma cantidad que Helen. De hecho, esto es lo que hace el casino Harrah, utilizando una empresa de almacén Big Data, Terabyte, para ayudarles.

Scott Gnau, director general de Terabyte, explica, en el excelente libro Super Crunchers, lo que los administradores de casinos hacen cuando ven a un cliente regular acercarse a su punto de dolor: "Ellos salen y dicen: 'Veo que estás teniendo un día difícil. Sé que te gusta nuestro asador. Aquí, me gustaría que usted llevara a su esposa a cenar con nosotros en este momento. "En otras palabras, la administración está utilizando análisis de datos sofisticados para tratar de extraer tanto dinero de los clientes, a largo plazo, como puede.

Tenemos el derecho de temer que un mejor y mejor uso de los datos en línea dará a los casinos, compañías de seguros, prestamistas y otras entidades corporativas demasiado poder sobre nosotros. Por otra parte, Big Data también ha permitido a los consumidores marcar algunos golpes contra las empresas que los sobrecargar o entregar productos de mala calidad.

Un arma importante es sitios como Yelp que publican revisiones de restaurantes y otros servicios. Un estudio reciente del economista Michael Luca, de Harvard, ha demostrado hasta qué punto las empresas están a merced de las críticas de Yelp. Al comparar esas revisiones con los datos de ventas en el estado de Washington, descubrió que una estrella menos en Yelp hará que los ingresos de un restaurante disminuyan de cinco a nueve por ciento. Los consumidores también son ayudados en sus luchas con las empresas en comparación sitios de compras como Kayak y Booking.com.

Los datos en Internet, en otras palabras, pueden decir a las empresas que los clientes a evitar y que pueden explotar. También puede decir a los clientes las empresas que deben evitar y que está tratando de explotarlos. Big Data hasta la fecha ha ayudado a ambas partes en la lucha entre los consumidores y las corporaciones. Tenemos que asegurarnos de que siga siendo una pelea justa.

domingo, 4 de septiembre de 2016

Economía y Big Data se mezclan en Silicon Valley

Adiós, Torre de Marfil. Hola, tienda de golosinas de Silicon Valley
Por STEVE LOHRSEPT - New York Times



Peter Coles, un economista que dejó Harvard Business School para ir a Airbnb, llama a Silicon Valley ", una tienda de dulces absoluta para los economistas." Crédito Jason Henry para The New York Times

Durante ocho años, Peter Coles tenía trabajo ideal del economista de la Escuela de Negocios de Harvard.

Su investigación se centra en el diseño de los mercados eficientes, un campo cada vez más importante que ha influido en cosas tales como las subastas de Letras del Tesoro y las decisiones sobre quién recibe los trasplantes de órganos. Incluso se puso a trabajar con Alvin E. Roth, que ganó un Nobel de la ciencia económica en 2012.

Pero el prestigio no fue suficiente para mantener el Sr. Coles en Harvard. En 2013, se trasladó a la bahía de San Francisco. En la actualidad trabaja en Airbnb, el mercado de alojamiento en línea, uno de una serie de empresas de tecnología que atraen a los economistas con la promesa de grandes conjuntos de datos y grandes salarios.

Silicon Valley está recurriendo a la ciencia triste en su búsqueda sin fin de exprimir más dinero de los antiguos mercados y construir otras nuevas. A su vez, los economistas dicen que están ansiosos por explorar el mundo digital para nuevas ideas en cuestiones económicas sin tiempo de fijación de precios, incentivos y comportamiento.

"Es una tienda de dulces absoluta para los economistas", dijo Coles.

El pago, por supuesto, es mucho mejor de lo que encontraría en el mundo académico, donde los economistas suelen ganar $ 125.000 a $ 150.000 al año. En las empresas de tecnología, pagar por un Ph.D. economista por lo general vienen en más de $ 200.000 al año, dicen las empresas. Con las bonificaciones y subvenciones de acciones, la compensación puede doblar fácilmente en unos pocos años. economistas de alto nivel que manejan los equipos pueden hacer aún más.

Las empresas han estado contratando economistas desde hace años. Por lo general, se les pide que estudiar las tendencias macroeconómicas - temas como las recesiones y las tasas de cambio de divisas - y ayudar a sus empleadores tratan con ellos.

Pero lo que los economistas tecnología están haciendo es diferente: en lugar de pensar acerca de las tendencias nacionales o globales, que están estudiando los registros de datos de comportamiento de los consumidores para ayudar a las empresas digitales tomar decisiones inteligentes que fortalecen sus mercados en línea en áreas como la publicidad, el cine, la música, los viajes y alojamiento.

trajes de tecnología incluyendo gigantes como Amazon, Facebook, Google y Microsoft y hasta y recién llegados como Airbnb y Uber esperan ese tipo de mejora de la eficiencia significa más beneficios.

En Netflix, Randall Lewis, un científico de la investigación económica, está finamente midiendo la efectividad de la publicidad. Su trabajo también se pone en el dilema de la correlación vs causalidad en el comportamiento económico: ¿Qué acciones de consumo se producen por casualidad después de la gente ve los anuncios y qué acciones son causados ​​probablemente por los anuncios?

En Airbnb, el Sr. Coles está investigando el mercado de anfitriones e invitados para las ideas de la empresa, tanto para ayudar a construir el negocio y para entender el comportamiento. En un estudio se centra en la dilación - un tema de gran interés para los economistas del comportamiento - examinado las reservas. ¿Son de último minuto? semanas o meses de antelación hecho? ¿Los hábitos cambian de reserva por edad, sexo o país de origen?

"Son expertos microeconómicas y pesados ​​en los datos y herramientas informáticas como el aprendizaje de las máquinas y los algoritmos de escritura," dijo Tom Beers, director ejecutivo de la Asociación Nacional de Economía Empresarial.

La comprensión de cómo funcionan los mercados digitales está recibiendo una gran cantidad de atención ahora, dijo Hal Varian, economista jefe de Google. Pero, dijo, "pensé que era fascinante hace años."

El Sr. Varian, de 69 años, es el padrino de los economistas en la casa de la industria de alta tecnología. Una vez que un conocido profesor de la Universidad de California, Berkeley, el Sr. Varian se presentó en Google en 2002, a tiempo parcial al principio, pero pronto se convirtió en un empleado. Él ayudó a refinar el mercado de AdWords de Google, donde los anunciantes pujar para que sus anuncios se muestran en las páginas de búsqueda, basado en las palabras los usuarios escriben en el motor de búsqueda de Google.


Glen Weyl, economista de Microsoft Research, impartirá un nuevo curso en Yale este otoño, que busca combinar la economía y las ciencias de la computación de la manera economistas digitales hacen en empresas de tecnología. Crédito Todd Heisler / The New York Times

La visión de Google fue para evitar dar la mejor colocación del anuncio al mejor postor. El Sr. Varian trabajó para desarrollar un modelo diferente para la colocación de anuncios, el cálculo de la probabilidad de que un usuario haga clic en un anuncio y encontrar el anuncio relevante. Fue un ejemplo clásico de diseño de mercado inteligente.

Desde entonces, el Sr. Varian y su equipo han aplicado su punto de vista económico a los mercados de anuncios de Google, la subasta inusual de la compañía para su oferta pública inicial, las estrategias de licitación de espectro inalámbrico, subastas de patentes y compras, y los modelos para nuevas empresas como los coches sin conductor.

Por el momento, Amazon parece ser el reclutador más agresivo de los economistas. Incluso tiene un sitio web de economistas de Amazon para solicitar hojas de vida. En un video en el sitio, Patrick Bajari, economista jefe de la compañía, dice que el equipo económico ha contribuido a las decisiones que han tenido "impactos multimillonarias" para la compañía.

Otro sitio de listas empleos abiertos de Amazon para los economistas. A partir del viernes, había 34.

Al ver esto emergente mercado de trabajo, la Asociación Nacional de Economía Empresarial celebró su primera reunión de economistas de la compañía de tecnología de abril en San Francisco. Otro se fija para octubre en Silicon Valley.

Academia también está comenzando a darse cuenta - y adaptarse. "Todo está sucediendo tan rápido, es difícil mantener el ritmo," dijo Susan Athey, un experto en la economía de la tecnología en la Escuela de Negocios de Stanford que es también un consultor de Microsoft.

Muchos estudiantes de economía también toman cursos de informática, y algunos de los principales en ambos. Sin embargo, un nuevo curso este otoño en Yale, llama Diseño de la Economía Digital, pretende mezclar la economía y las ciencias de la computación de la manera economistas digitales hacen en empresas de tecnología. El instructor está Glen Weyl, economista de Microsoft Research, y el curso tendrá profesores invitados de Amazon, Pandora y Uber.

El curso es un piloto para el cambio curricular y tal vez un programa de doble titulación se centró en los mercados digitales y su diseño. Dirk Bergemann, presidente del departamento de economía de la Universidad de Yale, ha explicado que la economía estaba preocupado con la eficiencia, precios e incentivos, mientras que la informática se centró en algoritmos y complejidad.

"En mercados digitales, que está tratando de hacer frente a los dos conjuntos de problemas", dijo.

Mr. Weyl predice que el aumento de mercados digitales en la economía apenas está en marcha. Uber-paseo en comunicación por radio y en la sala de Airbnb-operación, dijo, puede muy bien ser sólo el comienzo de una nueva definición de la propiedad privada, que permite la tecnología digital.

Cosas, de acuerdo con el Sr. Weyl, serán cada vez alquilar como servicios en lugar de en propiedad. Esa es la visión a largo plazo de los coches sin conductor: Cuando un vehículo solo aparece en el comando, muchos menos coches se sentará en las calzadas. la eficiencia del transporte, el consumo de recursos y las industrias de todos serán transformados, dijo.

Lo mismo podría ser cierto para artículos de uso doméstico, dijo Weyl. Una situación posible: Después de utilizar su máquina de espresso para el desayuno, un avión no tripulado viene a recogerlo, y lo alquila a pasar el día.

Un reto de diseño-mercado actual de Amazon y Microsoft es sus grandes servicios de cloud computing. Estos servicios digitales, por ejemplo, se enfrentan a un problema de carga máxima, tanto como lo hacen las empresas eléctricas.

¿Cómo vender servicios en momentos en que existe el riesgo de que algunos clientes pueden ser golpeado fuera? Ejecutar una subasta por lo que los clientes están dispuestos a pagar por el servicio interrumpible? U ofrecer descuentos establecidos para los diferentes niveles de riesgo? Amazon y Microsoft están trabajando en eso ahora.

Para responder a estas preguntas, los economistas trabajan en equipos informáticos y con la gente de negocios. En las empresas de tecnología, el diseño del mercado implica no sólo la economía, sino también a la ingeniería y la comercialización. ¿Qué tan difícil es cierto enfoque técnicamente? ¿Es fácil de explicar a los clientes?

"Economía influencias más que determina las decisiones", dijo Preston McAfee, economista en jefe de Microsoft, quien previamente trabajó en Google y Yahoo.

viernes, 4 de marzo de 2016

Big Data y la interacción entre empresas y gobierno

Atención gobiernos: Big Data es un elemento de cambio para las empresas




Por Alla Morrison
The data blog - World Bank 


Cuando hablo de grandes volúmenes de datos con los líderes del gobierno en nuestros países clientes de todo el mundo, a menudo encontrará que muchos de ellos tienen un cierto conocimiento de los datos grandes, pero para muchos, que es donde termina la historia. La mayoría no están seguros de cómo va a afectar a ellos o lo que debe hacer. La mayoría de los líderes no tienen mucho conocimiento de que el impacto de grandes volúmenes de datos es probable que sea amplio y profundo. Lo que los gobiernos no (o no hacerlo) probablemente dará forma a la competitividad de las empresas de sus países para la próxima generación.

En los países más a lo largo de su curva de adopción, grandes volúmenes de datos ya ha comenzado a transformar no sólo el sector de tecnología de la información, pero casi todos los negocios en todas las industrias. Incorporación de hoy en día grandes volúmenes de datos es análogo en muchos aspectos a los efectos de transformación de energía eléctrica en las industrias en el siglo 19. Mientras que la producción y distribución de electricidad se convirtió en una industria en sí misma, sino que también llevó a las empresas en todos los sectores de rediseñar sus procesos para tomar ventaja de este nuevo recurso, dando lugar a aumentos de productividad sin precedentes de la segunda revolución industrial. No es de extrañar, pues, que en el reciente Foro Económico Mundial en Davos, se ha hablado mucho sobre la economía global estar en un borde de una cuarta revolución industrial, impulsada por los datos grandes innovaciones habilitadas. Los gobiernos de las economías emergentes no pueden permitirse el lujo de quedar fuera de esta conversación.

En este blog espero mostrar cómo los datos grandes, como un nuevo recurso - una que es abundante y de rápido crecimiento - está transformando el entorno empresarial y cambiar la forma en que las empresas compiten entre sí. También ofreceré sugerencias de medidas y políticas que los gobiernos pueden iniciar posicionar sus economías para el advenimiento de la llamada Revolución de grandes volúmenes de datos, y mostrar que si no lo hacen, corren el riesgo de perder cuota de mercado a los competidores de datos con conocimientos más digitales . Por último, voy a compartir una nueva herramienta: Open Data for Business (OD4B) Assessment and Engagement Tool, que el Banco Mundial ha puesto en marcha para ayudar a los gobiernos sentar las bases para el uso de un tipo de datos grande - los datos de un gobierno abierto - por el privado sector.


Cómo está afectando a grandes volúmenes de datos y la competitividad de las empresas

Big data es una industria multimillonaria en sí mismo, con tres áreas principales de la cadena de valor de los componentes:

  • Generación y recolección,
  • Almacenamiento, la transmisión y la seguridad, así como
  • Análisis.

Pero los grandes datos es mucho más que esto. También es una fuente de innovación que genera nuevos bienes y servicios. Y quizás lo más crítico, los grandes datos está cambiando radicalmente la forma de hacer negocios mediante la transformación de las funciones centrales del negocio y la naturaleza misma de la competencia.

Si usted ha estudiado negocio hace algunos años como yo, que ha aprendido finanzas, contabilidad, marketing y estrategia. Hoy en día todas estas disciplinas están siendo transformadas por los datos digitales. Contadores ponderan maneras de reflejar los datos como una nueva clase de activos en los balances. Cuentas abrazan análisis de datos grandes para detectar el fraude. gurús de marketing están utilizando nuevos datos digitales para entender a los clientes de una manera sin precedentes, negocio transformadora. Y estrategas buscan formas de aprovechar las ventajas competitivas con capacidad de datos, como los negocios es cada vez menos acerca de las transacciones y más acerca de compromiso, menos sobre la fabricación y venta de cosas y más sobre el diseño de experiencias.

Michael Porter describe la función de cambio de paradigma de los datos para las empresas muy sucintamente: "Los datos ahora se encuentra a la altura de las personas, la tecnología y el capital como un activo núcleo de la corporación y en muchas empresas es tal vez convertirse en el activo decisivo." Productos habilitados, cada vez con sensores, se convierten en un medio para la entrega continua de valor a los consumidores más que un fin en sí mismo. Considere la posibilidad de una raqueta de tenis realizado por Babolat, un fabricante de 140 años de raquetas de tenis y equipo relacionado. Su "Juega Sistema Pure Drive" pone sensores y conectividad en el mango de la raqueta, y ahora la compañía ofrece un servicio para ayudar a los jugadores a mejorar su juego a través del seguimiento y análisis de la velocidad de la pelota, girar y localización del impacto, entregado a través de una aplicación para teléfonos inteligentes. Tradicionalmente las empresas no tecnológicas, como el gigante financiero Capital One, incluso han ido tan lejos como la redefinición de su identidad misma como una compañía de tecnología digital y su producto principal, no como los préstamos de tarjetas de crédito, sino como datos y el software. Jeff Immelt, CEO de General Electric, dijo recientemente "si se fue a la cama anoche como una empresa industrial, vas a despertar esta mañana como una compañía de software y análisis. '"

A nivel de empresa, los datos digitales-impulsado la innovación puede aumentar los niveles de productividad, rentabilidad y competitividad. 63% de quienes respondieron a una encuesta realizada por IBM y la Universidad de Oxford informó que el uso de la tecnología de la información, incluidos los grandes volúmenes de datos y análisis, es la creación de una ventaja competitiva para sus organizaciones. La misma encuesta mostró que el análisis de grandes volúmenes de datos fue un 15% más eficaz que el análisis de negocio tradicionales. Las empresas que averiguar cómo aprovechar principios de grandes volúmenes de datos para incrementar el valor para los clientes es probable que ganar cuota de mercado a sus rivales menos datos competente. Un estudio del MIT encontró que las empresas que adoptan la toma de decisiones basada en datos tienen producción y la productividad que es de 5% a 6% superior a lo que cabría esperar dadas sus otras inversiones y uso de tecnologías de la información.

En otra señal de su creciente importancia, los datos se ha convertido en una disciplina por derecho propio. programas Top MBA de Stanford, como son la introducción de cursos tales como Business Intelligence de grandes volúmenes de datos, toma de decisiones y Competencia Digital en la plataforma de Mercados para preparar a los graduados para competir en una nueva economía digital basada en datos. En la economía digital, las empresas necesitan que toman las decisiones con habilidades múltiples capas: experiencia en el tema, el dominio de datos, diseño y capacidad de gestionar la entrega digital. Sin los datos, las decisiones son conjeturas. El dominio de los datos es fundamentalmente una capacidad para desentrañar las señales de zetabytes de nuevos datos, para entender completamente la historia detrás de los números y de tomar decisiones basadas en datos. La firma de investigación Gartner predice que para el año próximo hasta el 25% de las grandes empresas tendrán unidades de datos dedicadas para obtener el máximo rendimiento de los recursos de datos digitales. científicos de datos, que pueden utilizar algoritmos complejos y programas de ordenador para encontrar correlaciones y tendencias de los datos, están en alta demanda; McKinsey encontró una escasez de entre 140.000 y 190.000 en los EE.UU. por sí solo. También escasean son los gerentes que tienen una plena comprensión del contexto empresarial y que pueda interpretar los datos en bruto y transformarla en información procesable. La actual escasez de este tipo de gestores y analistas en los empleos tradicionales se estima en 1,5 millones.


Lo que los gobiernos tienen que hacer

El valor de cualquier recurso depende en gran medida del ecosistema política, jurídica y económica a su alrededor. Esto se aplica a los datos digitales. Es necesario que haya un sistema cuidadosamente diseñado de las políticas para asegurar que los recursos de datos de un país se utilizan de forma productiva, con un mínimo de desperdicio o uso indebido, y que se pongan a disposición de las empresas y los empresarios en un entorno justo y competitivo. Un desafío clave es implementar cuidadosamente las políticas que permiten la innovación y el crecimiento, así como para evitar las prácticas que son perjudiciales para las personas (especialmente los miembros más vulnerables de la sociedad).

Algunos países emergentes como Mauricio, por ejemplo, ya han comenzado a explorar formas de incorporar grandes volúmenes de datos en sus estrategias de innovación para que las empresas a crecer y crear puestos de trabajo. grandes volúmenes de datos representa una gran oportunidad para los países de bajos y medianos ingresos, que pueden permitir la transición de sistemas informáticos y de comunicaciones legado caros y construir nuevas redes digitales y las empresas a un costo significativamente menor. Sin embargo, sus esfuerzos tendrán que hacer frente los retos adicionales de la naturaleza humana y la capacidad económica en comparación con los países de altos ingresos.

El Informe de Desarrollo Mundial 2016: Los dividendos digitales insta a los países a trabajar en lo que se refiere como los "complementos analógicas" por "los reglamentos de refuerzo que aseguren la competencia entre las empresas, mediante la adaptación de las habilidades de los trabajadores a las exigencias de la nueva economía, y garantizando que instituciones son responsables ", por lo que están en condiciones de beneficiarse de la revolución digital. En vista de lo nuevo de la gran industria de datos es, mejores políticas y prácticas todavía son objeto de debate por los expertos en países que están liderando el camino. Las siguientes sugerencias para iniciativas y políticas que los gobiernos pueden querer considerar se basan en las experiencias y proponen enfoques de los países más adelante en la curva de adopción digital y de la investigación llevada a cabo como parte del trabajo en la herramienta OD4B:


  • Compromiso: Los gobiernos puede resultar beneficioso para dialogar nacional con las empresas y los ciudadanos con un enfoque en los aspectos productivos y los beneficios de la innovación con capacidad de datos (y por consecuencia el crecimiento económico), por ejemplo, prevención y mitigación de las amenazas para la salud pública, mejorar la prestación de servicios públicos - los sistemas de educación, la seguridad, así como la reducción del fraude y el abuso - en lugar de en la ansiedad provocando posibles ramificaciones personales a los consumidores. Para permitir el desarrollo de modelos de negocio basados ​​en datos innovadores y sostenibles, los gobiernos deben participar asociaciones de la industria, en colaboración con los consumidores, para desarrollar prácticas éticas y responsables de uso de datos. La idea de tutela puede ser utilizado como un principio rector para la prevención de la llamada "databuse". En esencia tutela se refiere a la obligación por parte de las empresas para manejar datos de los consumidores con honestidad, con seguridad, de una manera sencilla, de manera que no perjudique a los consumidores y les da información razonable, el control, y posiblemente "copropiedad" de la los datos que proporcionan. También hay modelos interesantes para las asociaciones público-privadas entre el gobierno y el sector privado, por ejemplo, la Sociedad de Datos de Big por Enterprise Ireland.
  • Acceso a datos y Calidad: El valor de los datos aumenta rápidamente cuando los datos se comparten, sin embargo, los costes del uso compartido son marginales. Por lo tanto las políticas deben favorecer el movimiento de datos entre las organizaciones y funciones. libre y fácil acceso a ciertos tipos de datos recogidos por el gobierno es de gran valor para las empresas de todo el mundo. datos de un gobierno abierto son datos públicos, no personales, digitales que se autoriza explícitamente por el gobierno de forma gratuita (o de bajo costo) para utilizarlos en cualquier fin, incluso comercial, y hechos fácilmente disponibles en un formato legible por máquina. Es una de las principales fuentes de datos grandes. Haciendo que esté disponible, los gobiernos pueden mejorar significativamente el rendimiento de las empresas. Un estudio reciente realizado por el portal de datos europea confirmó que los datos abierta fomenta la transformación digital de las organizaciones, especialmente en las áreas de gestión del rendimiento, nuevos puntos de negocios y de contacto con el cliente digitales. Basándose en sus investigaciones, así como en la propia experiencia del Banco Mundial para ayudar a más de 25 países a abrir sus datos del gobierno, para catalizar los gobiernos de crecimiento económico debe publicar los datos digitales en formatos legibles por máquina, después de "abiertos en principio por defecto", y bajo una "licencia abierta". La búsqueda activa de compromiso con los usuarios de los datos abiertos es de suma importancia para dar prioridad a aquellos conjuntos de datos que tienen un alto valor reutilización. Se aconseja a los gobiernos a priorizar en base a la demanda local y la evidencia del valor de otros países. De lo contrario, se arriesgan a que los portales de datos abiertos de inactividad y la pérdida de oportunidades para la obtención de beneficios económicos para las empresas y los ciudadanos.
    Desafortunadamente, la calidad de los datos abiertos crea a menudo un desafío. Cuando inspeccionamos las empresas basadas en datos en los países de bajos y medianos ingresos, su principal problema era la calidad de datos. Esto se traduce en altos costos económicos para las empresas para limpiar los datos para que sea utilizable. Los gobiernos deben promover las normas y procedimientos comunes, incluyendo el mejor uso de los metadatos, para mejorar la calidad de datos. Algunas industrias como el transporte o la construcción han estado desarrollando estándares de datos específicos del sector, y los gobiernos pueden ayudar a promover estos esfuerzos.
  • Alfabetización de datos: La alfabetización digital se ha convertido en una nueva habilidad fundamental en la nueva economía, una habilidad los niños deben aprender a partir de una edad temprana. Los legisladores y los reguladores deben tener fluidez en beneficios y riesgos de grandes volúmenes de datos, de modo que puedan tomar decisiones prudentes y bien informadas y obtener las reglas de derecho. Las empresas se beneficiarán de la educación en las oportunidades, los riesgos y el uso ético de los datos digitales. Y por último pero no menos importante, los consumidores deben tener un nivel razonable de alfabetización de datos, similar a una comprensión de calificación de crédito personal o el uso de la banca en línea. Tendrán que entender lo que se está recogiendo tipo de datos y cómo y por qué está siendo analizada y utilizada. Ahora bien, estas prácticas siguen siendo opaca y mal entendido, incluso por los médicos. Poner en práctica políticas conocidas, clara y sin complicaciones se está convirtiendo en la mejor práctica.
  • Política: Para fomentar la innovación y el crecimiento impulsado por los datos, mientras que al mismo tiempo protejan contra las prácticas que son perjudiciales para las personas, las políticas deberán hacer frente a la propiedad de los datos, la seguridad, la custodia, la responsabilidad por el mal uso, datos abiertos, la alfabetización de datos, investigación y desarrollo, la adquisición , así como los flujos de datos a través de fronteras (análogas a las políticas que guían el flujo de mercancías). El desarrollo de un plan estratégico nacional puede ayudar a alinear las políticas públicas, los recursos y las prioridades para el avance de los datos digitales como un bien común para el bienestar nacional. Un buen ejemplo de esto es la estrategia para la capacidad de Datos del Reino Unido que se introdujo en 2013.
  • Infraestructura: Para aprovechar todos los beneficios de una economía basada en datos, de banda ancha asequible es una necesidad. He conocido a los empresarios en África con habilidades e ideas para construir productos basados ​​en datos que no son factibles dadas las velocidades de Internet actuales y los precios en sus países. Además de banda ancha, almacenamiento en la nube y las instalaciones de computación de alto poder será una parte importante de la infraestructura de la economía digital, aunque éstos pueden ser secundarias como las empresas en las economías de mercados emergentes pueden comprar estos servicios virtuales de proveedores internacionales.

Open Data for Business (OD4B)


Esta semana, el Banco Mundial, con el apoyo del Centro para Open Enterprise Data, dado a conocer los datos de Open for Business (OD4B) Herramienta de Evaluación y de compromiso. ¿Cómo puede esta herramienta ayudará a nuestros clientes? El objetivo de la herramienta es ayudar a los gobiernos catalizan la utilización de datos de gobierno abierto por el sector privado. El año pasado vimos un número creciente de estudios que relacionan los datos de gobierno abierto a los beneficios económicos en términos de alto rendimiento de la inversión y la contribución al crecimiento del PIB. Sin embargo, también hemos visto que el acto de apertura de los datos por sí sola no necesariamente se traduce en el uso del sector privado, la innovación y el impacto económico deseado. Varios países construida portales de datos abiertos, abrió cientos de conjuntos de datos, e implementó la política de datos abiertos, lo que resultó en un uso mínimo de los datos publicados. Nos encontramos con que las raíces de la baja utilización varían de país a país, con temas comunes son la escasa conciencia entre los usuarios potenciales, falta de correspondencia entre los tipos y niveles de los datos ofrecidos abiertas con las necesidades del usuario, calidad de datos y la puntualidad, la percepción de fiabilidad y la sostenibilidad, la mala visibilidad y los metadatos, la falta de habilidades. En un reciente artículo titulado "fuera de la caja", The Economist también se refirió a algunas de estas cuestiones exigen secundarios como causa fundamental del lento progreso de la revolución de datos abierta. Estos problemas es probable que persistan en el futuro cercano.

La herramienta OD4B puede ayudar a los gobiernos a identificar y abordar estos y otros impedimentos, específicos para el uso del sector privado en su contexto local, y les ayudará con la creación de una ruta de acceso sostenible al uso cada vez mayor del sector privado de los datos abiertos. La herramienta consta de una sesión de información en los datos abierto para los negocios, un cuestionario para las empresas, una guía de ajuste de la mesa redonda, así como una hoja de puntuación para anotar algunas de las respuestas al cuestionario. El cuestionario consta de tres secciones - de información de negocios en general, el uso de los datos del gobierno, y los canales de participación. Las preguntas se centran en cómo las empresas utilizan los datos del gobierno, su importancia para sus modelos de negocio, ¿cuáles son los obstáculos y cómo interactúan con el gobierno para obtener los datos que necesitan y compartir comentarios.

El OD4B fue diseñado con los países de bajos y medianos ingresos en mente, basado en la experiencia de los países que se encuentran más adelante en el proceso de apertura de sus datos. Damos la bienvenida a los intereses de los países que deseen poner a prueba la herramienta.

martes, 1 de septiembre de 2015

Siguen los problemas con la matemática en la Economía

Economía tiene un problema de matemáticas
Por Noah Smith - Bloomberg View




Muchas personas se quejan de la matemáticas en economía. Los economistas tienden a descartar en silencio quejas tales como los ácidos-uvas protestas de tipos literarios que no tienen el talento o la formación para abrirse paso a través de sistemas de ecuaciones. Pero no es sólo el matemáticamente analfabeto que Ortega. El economista de la Universidad de Nueva York Paul Romer - apenas un peso ligero cuando se trata de ecuaciones - recientemente se quejó de cómo los economistas usan las matemáticas como una herramienta de la retórica en lugar de una herramienta para entender el mundo.

Personalmente, creo que lo que es raro en econ no es que utiliza un montón de matemáticas - es la forma en que utiliza las matemáticas. En las disciplinas de matemáticas más aplicadas - biología computacional, dinámica de fluidos, finanzas cuantitativas - teorías matemáticas siempre están vinculados a la evidencia. Si una teoría no ha sido probada, es entendido como pura conjetura.

No es así en econ. Tradicionalmente, los economistas han puesto los hechos en un papel subordinado y la teoría en el asiento del conductor. Teorías plausibles-sonido se cree que son verdad salvo prueba falsa, mientras que los hechos empíricos a menudo son despedidos si no tienen sentido en el contexto de las teorías principales. Este no es un problema con las matemáticas - era tan cierto atrás cuando la economía teorías fueron escritos en volúmenes literarios largos. Econ desarrollado como una forma de filosofía y luego añadió matemáticas más tarde, convirtiéndose básicamente una forma de filosofía matemática.

En otras palabras, econ ahora es una rama de las matemáticas aplicadas pícaro. Desarrollado sin acceso a buenos datos, se desarrolló diferentes valores y convenciones científicas. Pero esto está cambiando rápidamente, como la tecnología de la información y la revolución informática han amueblado economistas con montañas de datos. Como resultado, el análisis empírico está llegando a dominar econ.

Una muestra de ello es la repentina explosión de interés en el aprendizaje de la máquina en el campo de la economía. El aprendizaje automático es un término amplio para una colección de técnicas estadísticas de análisis de datos que identifican las características clave de los datos sin comprometerse a una teoría. Para utilizar un viejo adagio, aprendizaje automático "permite que los datos hablan." En la era de los grandes datos, aprendizaje automático es un campo caliente en el negocio de la tecnología, y es una herramienta clave de la creciente campo de la ciencia de datos. Ahora, econ está alcanzando el error.

Dos economistas que han estado presionando para la adopción de técnicas de aprendizaje automático en economía son Susan Athey y Guido Imbens de la Universidad de Stanford. Los dos economistas explican técnicas de aprendizaje automático a un público interesado en una reciente reunión de la Oficina Nacional de Investigación Económica. Su visión general declaró que las técnicas de aprendizaje automático enfatizaron la causalidad menos de técnicas estadísticas económicas tradicionales, o lo que generalmente se conoce como la econometría. En otras palabras, el aprendizaje automático es más sobre la previsión de alrededor de la comprensión de los efectos de la política.

Eso haría que las técnicas menos interesante para muchos economistas, que suelen ser más preocupado por dar recomendaciones de política que en hacer pronósticos. Pero Athey y Imbens también han estudiado cómo las técnicas de aprendizaje automático se pueden utilizar para aislar los efectos causales, lo que permitiría a los economistas a dibujar implicaciones políticas.

Básicamente, Athey y Imbens miran el problema de cómo identificar los efectos del tratamiento. Un efecto del tratamiento es la diferencia entre lo que sucedería si se va a administrar un poco de "tratamiento" - por ejemplo, el aumento del salario mínimo - y lo que ocurriría sin el tratamiento. Esto puede ser muy complicado, porque hay un montón de otros factores que afectan el resultado, además de sólo el tratamiento. También se complica por el hecho de que el tratamiento puede funcionar de forma diferente en diferentes personas en diferentes momentos y lugares. Un último problema es que los economistas de datos tienen que responder a la pregunta que se suele ser muy limitado - un gran impedimento para la econometría tradicionales, que generalmente asume que la cantidad de datos es cómoda y amplia. Athey y Imbens ocupan de estas cuestiones mediante la importación de un método de la ciencia de datos, llamado árbol de regresión. Estadísticamente lectores alfabetizados pueden leer sus diapositivas aquí.

Otro economista que ha estudiado el potencial de aprendizaje de máquina es Hal Varian, un ex profesor de gran éxito, que ahora sirve como el economista jefe de Google. En un documento de 2013, Varian dio a conocer un documento que analiza cómo las nuevas técnicas de aprendizaje automático desarrollado por los científicos de datos pueden ayudar a los economistas a mejorar su comprensión de la realidad. Por ejemplo, se discute cómo el aprendizaje máquina puede ayudar a elegir entre los diferentes modelos (algo que los economistas a menudo ignoran), frente a la incertidumbre sobre qué modelo es el correcto y evitar sobreajuste (explicaciones excesivamente complejas que no pueden predecir nada). En un conjunto de diapositivas publicadas a principios de 2014, Varian atado técnicas de aprendizaje automático a la reciente subida de los métodos cuasi-experimentales en economía. Esto representa una fusión entre la econometría tradicionales y las nuevas técnicas de la ciencia de datos.

Varian, Athey y Imbens no son los únicos ejemplos de este mini-tendencia. El bloglero de ciencia de Datos Kenneth Sanford tiene algunos más.

Así está la economía va a convertirse en otra rama de la matemática aplicada? Fusionará la econometría y los datos de la ciencia? Berkeley economista Brad DeLong cree que sí. "El trabajo [de la economía] se hará", escribe, "por los científicos de datos, los modeladores de computadora, y los historiadores de diversas rayas." Eso es casi seguro demasiado extremo una predicción. Pero el interés en el aprendizaje de la máquina es sólo una señal más de que la economía puede estar empezando a arrojar su peculiar fijación en la teoría y unirse a sus primos en el futuro por datos.