La disciplina de experimentar en negocios

...

Ejemplo de esto “densidad de causalidad” : Una empresa que tiene 10.000 tiendas, las cuales 8.000 las llama QwikMart y 2.000 FastMart. Las tiendas QwikMart venden mas que las FastMart. Entonces un gerente se plantea: Cambio el nombre de las tiendas qwikmart a fastmart para aumentar mis ventas?. Obviamente numerosos factores afectan las venta, tamaño físico, numero de personas que viven en el lugar de la tienda, sus ingresos promedios, el numero de horas que la tienda esta abierta, la experiencia del gerente de la tienda et etc. Pero el ejecutivo esta interesado erróneamente en una sola variable: nombre de la tienda. La solución podría ser hacer una experimento cambiando el nombre a solo 10 tiendas y ver que pasa pero aun así los resultados serían ambiguos ya que aunque aumentaran las ventas podría haber sido por que justo en ese momento otro de los factores cambio e hizo ese efecto, pero no fue necesariamente por el cambio de nombre.

Por ejemplo, el tiempo era muy malo en cuatro de los lugares, un gerente fue sustituido en uno, un gran edificio residencial inaugurado cerca de otra, y un competidor inicia una promoción publicitaria agresiva cerca de otro. A menos que la compañía puede aislar el efecto del cambio de nombre de aquellos y otras variables, el ejecutivo no sabrá con certeza si el cambio de nombre ha ayudado (o daño) negocio.

Para hacer frente a estos entornos de alta densidad de causalidad las empresas deben considerar si es factible utilizar una muestra lo suficientemente grande como para promediar los efectos de todas las variables, excepto las que están siendo estudiadas. Todo va en el tamaño de muestra.

El tamaño requerido de la muestra depende en gran parte de la magnitud del efecto esperado. Si una empresa espera que la causa (por ejemplo, un cambio en el nombre de la tienda) para tener un gran efecto (un aumento sustancial en las ventas), la muestra puede ser más pequeño. Si el efecto esperado es pequeño, la muestra debe ser más grande. Esto puede parecer contradictorio, pero creo que de esta manera: Cuanto menor sea el efecto esperado, mayor es el número de observaciones que se requieren para detectar desde el ruido del entorno con la confianza estadística deseada.

Pregunta 4: como conseguir resultados fiables?

Lo importante son 3 puntos.

La muestra aletaoria: es 100% necesario para un resultado fiable que el muestreo se haya hecho de manera aleatoria. Saber determinar un grupo de características similares y sacar una muestra aleatoria y representativa. Esto ayuda a prevenir el sesgo sistemático, introducido consciente o inconscientemente.

Pruebas a ciegas: las empresas que ejemplifica el paper Petco y publix, y las pruebas ciegas consisten en no avisar a la muestra que se esta haciendo un experimento en base a ellos, porque eso provoca sesgos. La gente cambia su comportamiento, piensa sus decisiones mucho más , etc etc.

Big data: tener la mayor cantidad de datos posibles sobre el entorno en todos los aspectos para realizar un mejor muestreo, en lo aleatorio, o en términos de sesgos. Entre mas datos se tomen en cuenta y mayor repetitividad tenga un experimento y arroje los mismos resultados mucho mejor será.

Pregunta 5 y ultima: Hemos conseguido el máximo valor de la experiencia:

Para determinar esto es importante que las empresas separen las causas posibles en base a un efecto y vean el valor final que se provoca.

Como un simple ejemplo, digamos que las pruebas de un minorista de una promoción -off 20% muestran una elevación de 5% en las ventas. ¿Qué parte de ese aumento se debió a la propia oferta y lo que el resultado de la publicidad de acompañamiento y capacitación de personal de la tienda, los cuales dirige a los clientes a los productos de venta en particular? En tales casos, las empresas pueden llevar a cabo experimentos para investigar varias combinaciones de componentes (por ejemplo, la oferta promocional con la publicidad, pero sin la formación de personal adicional). Un análisis de los resultados se puede separar los efectos, lo que permite a los ejecutivos a soltar los componentes (digamos, la capacitación de personal adicional) que tienen un ROI bajo o negativo.

En otras palabras es importante ver la causa real de los efectos. Ejemplo que propone el paper, un restaurant que pone un nuevo sistema de luces en ciertos locales lo que provoca una disminución en la ventas, ellos se sorprenden e investigan los porque. Resulta que el frontis del restaurant se veía mucho mas tenue (lo que debería ser lo contrario) por lo que la gente en muchas ocasiones pensaba que estaba cerrado. Investigaron aun mas y se dieron cuenta que los propios jefes de local, ajustaban el sistema de luces a su entender, y no seguían la política de la empresa en esta área, por lo que aquí se descubrió la causa real. La empresa no se quedo solo con la idea de que el tener luces LED era malo para las ventas.

En conclusión:

La lección es no sólo que la experimentación de negocios puede llevar a mejores formas de hacer las cosas. También se puede dar a las empresas la confianza necesaria para revertir la sabiduría convencional equivocada y la intuición empresarial defectuosa que incluso los ejecutivos experimentados pueden mostrar. Y la toma de decisiones más inteligentes en última instancia conduce a un mejor desempeño.

Podría JC Penney haber evitado el desastre analizando rigurosamente los componentes de su revisión? En este punto, es imposible saber. Pero una cosa es cierta: Antes de intentar poner en práctica un programa de este tipo en negrita, la empresa necesitaba para asegurarse de que el conocimiento no sólo intuición fue guiando la decisión.