Sus pruebas retrospectivas de divisas son absolutamente inútiles si no se prueba la eficiencia de entrada estadística y la eficiencia de la estrategia de salida. Todo el mundo que se ejecuta un backtest inevitablemente reporta los dólares ganados como el resultado. Existen otros factores como la victoria promedio de pérdida, el factor de ganancia y el ratio de Sharpe, pero no te dicen nada útil hasta el paso final de diseño de un sistema de comercio automatizado.
El enfoque correcto para probar una estrategia debe centrarse en la cuestión, “es mi estrategia de un pedazo de basura?” La mayoría de la gente trata de demostrar su valía derecho. La verdadera prueba es no ser capaz de demostrar que eres malo. La única manera de hacerlo es a través de un enfoque estadístico.
Entrada y salida de Eficiencia
Eficiencia pone un número difícil de qué porcentaje de un rango de cotización disponibles que un capturas de estrategia. La ventana de negociación se inicia en el bar, donde un comercio entró en el mercado. La ventana se cierra cuando las salidas comerciales.
La ventana total disponible es la más alta de alta menos el mínimo más bajo en la ventana. El cálculo de la eficiencia de la entrada y salida simplemente medidas de qué porcentaje de esa ventana que su estrategia tiende a capturar. Tome el promedio de todos los oficios y se obtiene la eficiencia global.
Fórmula de eficiencia Entrada
Fórmula para una operación larga: (Mayor alta – precio de entrada) ÷ (Mayor alta – mínimo más bajo)
Fórmula para una operación corta: (precio de entrada – mínimo más bajo) ÷ (Mayor alta – mínimo más bajo)
Fórmula de eficiencia Salir
Fórmula para una operación larga: (Precio de salida – mínimo más bajo) ÷ (Mayor alta – mínimo más bajo)
Fórmula para una operación corta: (Mayor alta – precio de salida) ÷ (Mayor alta – mínimo más bajo)
Tomemos un ejemplo donde usted compra una moneda hipotética en 150 y venderlo a 170. La baja más bajo entre el momento de la entrada y la salida era 140. El precio, entonces corrió todo el camino hasta 200 antes de volver a 170, que es donde está la salida tuvo lugar.
La eficiencia de entrada es (200-150) ÷ (200-140) = 50 ÷ 60 = 83%. Casi nadie estaría de acuerdo en que esto hace que para una gran entrada.
La eficiencia de salida es (170-140) ÷ (200-140) = 30 ÷ 60 = 50%. La mayoría estaría de acuerdo en que la salida habría idealmente ocurrido antes de lo que lo hizo.
Eficiencias no cambian por instrumento o marco de tiempo
Un gran problema que nos encontramos con pruebas retrospectivas de divisas es el conjunto de datos limitados. Esto es especialmente cierto para aquellos interesados en probar estrategias a largo plazo como los de la H4 o tablas D1. Lo maravilloso de la entrada y salida de la eficiencia es que no varían de tabla para trazar o incluso un período a otro.
Me gusta saltar gráficos M1 a para las pruebas de eficiencia. Los datos son casi infinitas. Nunca tiene que preocuparse por quedarse sin. Lo bueno es que sé que cuando cambio de nuevo a la tabla H4, the efficiencies should not change more than ±5%.
Si usted ve la eficiencia varía demasiado, a continuación, puede que no tenga suficientes operaciones para formar un grupo estadísticamente significativa. Mi experiencia me dice que 75 oficios generalmente se pone muy cerca de la eficiencia real. 100 oficios o más es mejor. Cuando ejecuto pruebas gráficas M1 en, Me dan a menudo varios miles de comercios en el transcurso de unos meses. Numbers that large can tell you with a great deal of confidence just how robust a strategy’s parameters truly are.
En general, se puede asumir que los resultados que caen dentro 45-55% son el resultado de un azar, proceso estocástico. Cuando veo pruebas retrospectivas que se arrastran hasta esas barreras como 54.9% o incluso 55.1%, el tanque de resultados, inevitablemente, de nuevo a alrededor de la 50% marca.
Random resultados del comercio y las ganancias en dólares
Deseo que esta sección fue acerca de cómo ganar dinero con una eficiencia de azar. ¡ Ay!, debemos cubrir cómo el azar puede resultar en eurphoria injustificada.
I’ve been interested in the concept of randomness for several years now. Los matemáticos se refieren a ella con el nombre más opaca de un “proceso estocástico”. A pesar del nombre sin sentido, it’s just a fancy way of saying the study of randomness – cómo cambia, su distribución, hasta qué punto “paseos”, etc..
Ayer, He utilizado la analogía de la moneda voltea para describir cómo Estrategias Martingala son probabilísticamente condenada al fracaso. Un concepto interesante que no he mencionado se relaciona con el movimiento browniano. Incluso con un conjunto de resultados aleatorios, oficios irán en un paseo aleatorio de distancia del punto de partida.
Einstein se lleva el crédito real para la solución de las matemáticas detrás del concepto, a pesar de que su nombre no aparece en el término. Demostró que la distancia de un proceso aleatorio seguirá es la raíz cuadrada del número de ensayos. Si decidimos lanzar una moneda 60 veces, sabemos que 50% de las veces debe caer en la cabeza y el otro 30 en colas.
En realidad, resulta que debemos esperar un ligero sesgo en el número de cualquiera de los ganadores o perdedores, aunque no sabemos cuál. It’s random. El sesgo precisa, Cualquiera sea la forma que prefiera para ir, debe ser igual √60, lo que da ~ 7. Los resultados cabezas normalmente deben ir desde 23-37, con los resultados colas cubriendo la diferencia.
Siete oficios fuera de sesenta altera fuertemente los porcentajes, even if we know that it’s really supposed to be 50%. Si sale cara sólo subieron 23 veces de cada 60, that’s 38%. El problema no es con la moneda. It’s with the number of trials. Como lo hace un gran aumento del número de senderos, el sesgo aleatorio disminuye en importancia en cuanto a la exactitud ciento. 50,000 oficios, por ejemplo, debe mostrar un superávit de aproximadamente 223 oficios en favor de ganar o perder. El rango de precisión está dentro 1% de 50% a cada lado, una mejora dramática.
Los riesgos de la curva de ajuste
El ajuste de una curva de eficiencia al azar se refiere a la idea de movimiento browniano. Let’s say that we use a strategy that I know will never show an entry or exit efficiency: el cruce de media móvil. I’ve gone through this strategy six ways from Sunday, casi exclusivamente a petición de los clientes. No funciona como una estrategia totalmente automatizado. No hay un conjunto secreto de períodos rápidos y lentos que abrirá las claves ocultas para beneficiarse.
La mayoría de los comerciantes, experimentado o no, abusar de la backtester mediante la búsqueda de un conjunto de parámetros que dió el beneficio más dólar. Ellos curva encajan su prueba para optimizar para el beneficio máximo. Lo que realmente sucede es que los comerciantes para optimizar cantidad de deriva aleatoria que ya se ha producido.
Cuando usé el ejemplo de 50,000 oficios creando una deriva natural de 223, Cité con el propósito de mostrar lo poco que se reduce el error en el porcentaje accurracy reales. La otra consecuencia para los sistemas comerciales es que como el porcentaje de error disminuye, el sesgo natural en sus resultados aumenta. Ciegamente ejecutar el optimizador sólo selecciona el conjunto de combinación que produce una combinación de dos criterios:
- La deriva que pasó a trabajar a favor de ese conjunto de parámetros
- La pérdida de beneficios y que varía con los parámetros. El beneficio dólar cambia naturalmente porque las dos medias móviles se cruzan en diferentes puntos
Necesita una herramienta como la eficiencia de protegerse contra este tipo de resultados aleatorios. It’s the only method that I know of that definitively states whether or not a strategy behaves in a random manner. Me gusta especialmente el hecho de que se rompe esos elementos hacia abajo en dos de los tres componentes básicos de una estrategia de negociación: la entrada, la salida, y el tamaño de la posición.
Estrategias eficientes no funcionan todo el tiempo
Posición dimensionamiento marca el último obstáculo para la construcción de su estrategia comercial totalmente automatizado. Un conjunto de reglas que produce una entrada estadísticamente eficiente que se empareja con una salida eficiente no significa necesariamente que el dinero. El valor de cada configuración de comercio puede variar, demasiado.
Cada estrategia contiene diferentes conjuntos de ganadores y perdedores. Cada ganador y perdedor varían en su valor en dólares. Sea cual sea el enfoque de gestión de dinero que usted tome requiere equilibrar la relación de los ganadores y perdedores de una manera que normaliza el resultado de cada comercio. Usted idealmente quiere eliminar la variación en el valor del dólar. 20 oficios pip deben ganar o perder exactamente tanto como la 100 oficios de pepita.
Eso parece contrario a la intuición. La mayoría de los comerciantes quieren ganar en proporción con el tamaño de la oportunidad. It’s better from a system perspective to entirely ignore the size of the opportunity and to make each trade worth the same amount. Apuestas en más o menos con cada comercio normaliza eficazmente el valor de cada operación.
El uso de un stop-loss se destaca como un candidato obvio para fijar la cantidad de un comercio vale. La desventaja es que casi siempre afecta negativamente a la eficiencia de salida. Siempre que puedo salir con la suya, Yo siempre recomiendo usar una salida basada en el mercado en lugar de una pérdida de la parada arbitraria. Los comerciantes suelen gritar en la parte superior de sus pulmones cuando oyen decir esto. I’m just speaking as a systems developer. Los números son lo que son.
Comerciante de Femto dice
Me gustó este artículo. El párrafo sobre “Los riesgos de la curva de ajuste” es interesante… También se le llama libro de Ernie Chan (Trading cuantitativo: Cómo construir tu propio negocio de Trading algorítmico) “espionaje de datos sesgos” that’s why he advises to have two parts for your data “en datos de muestra” (para optimizar la configuración de) y “los datos de la muestra” (para probar la configuración de)
El concepto de prueba “efectividad” o “eficiencia” de entrada/salida punto es también interesante… that’s an other point of view that I will probably try to consider in my next backtests.
Cada vez que veo una idea que no está presente en su artículo que se llama “Análisis avance a pie” WFA o “optimización hacia adelante a pie” WFO… una imagen a veces es mejor que el texto… https://www.google.fr/search?q=walk+forward+optimization
¿Cuál es tu opinión sobre esta manera de backtesting / optimización de la ?
Shaun Overton dice
Hola Femto,
Gracias por tu comentario. I highly recommend Ernie Chan’s book. Se sienta con orgullo en mi estantería.
Análisis avance a pie es exactamente la misma idea que usted de Chan con sesgo datos snooping. Camine hacia adelante es la terminología más comúnmente aceptada. En cuanto a mi opinión, Camine hacia adelante es el método sólo aceptable para la prueba de estrategia.
Odie.Rachmat dice
Sé que puede parecer tonta o tonto,
Tal como la conocemos, Backtesting en walkforward prueba es comprobar si un sistema robusto ennough a la salida de datos de muestra.
Permite decir que optimizada de datos insample 2000-2008, luego probarlo en los datos de la muestra en 2008-2013. Si la estrategia todavía genera beneficios en 2008-2013 outsample datos, así que el sistema es robusto ennough.
Ahora bien, por qué si hemos optimizado los datos en 2008-2013 como en datos de muestra, luego corriendo a prueba en 2000-2013. I’ve seen some of my test generated profit also in those back out sample. Así pudimos ver, el sistema está lo optimizado de robbust también para la condición de mercado en el pasado que no.
La cosa es, hemos optimizado los datos con la más cercana a la actual condición del mercado. MOS su tenía más capacidad de adaptación a la situación actual del mercado con la prueba de robustnest en los datos de mercado muestra en el pasado.
Supongo que el punto del walkforward es tenido la robustez como los datos de muestra que no sido optimizado. Así que cuando el sistema tenía la misma robustez con ésos hacia fuera de la muestra en la prueba al revés, ¿por qué no tomamos?
Y el otro punto no es, donde se comercio nuestro koney real en el futuro, pero realmente wr comercio nuestro dinero real el “a condiciones de mercado y datos muestra / desconocido”.
Cualquier cosa que Ud. no optimizado es un “a la condición del mercado muestra desconocido”. Así que supongo que , prueba al revés ( no sé qué nombrar esta idea ) tenía cumplir ésos hacia fuera de la robustez de la muestra si rentabiliza también en la muestra fuera pasada. Por supuesto con el beneficio de mayor adaptabilidad a la situación actual del mercado desde la optimsation proceso es el más cercano con el mercado actual.
Podrían hacer la optimización de cada mes, o si había algún aspecto básico como drawdown histórico violada, la pn nos re-optimizado para el pasado 2-3 años y también Compruebe la solidez de esta optimización se establecen en al revés hacia fuera de la muestra.
Es este sentido estadísticamente? Déjeme por favor saber que opinión
Saludos
Odie
Shaun Overton dice
Hola Odie,
There’s no mathematical theorem that I can give to disprove the idea. What I feel strongly about is that it doesn’t work.
Let’s say you optimize for 2008-2010, entonces “prueba de avance” la idea de 2000-2007. Hasta cierto punto, the idea is already known and studied for the time that you’re testing.
Realmente pasé el mes pasado experimentando esta idea muy. Un cliente me encarga recreando su manual de estrategia de comercio, en base a datos suministrados por 2010. He probado mi algoritmo, que hizo un trabajo justo de aproximar sus oficios. Tenía curiosidad sobre el rendimiento previo, así que corrí una prueba todo el camino de regreso a 2000. Los resultados, no es sorprendente, fueron igualmente sólida. Si dejé allí, it’d look like 10 años de sólido desempeño optimizan solamente en un solo año.
Entonces, llegó el temido prueba adelante. Los resultados se cayeron completamente aparte. “Avance de prueba” on previous data didn’t accomplish anything.
Gracias por la gran pregunta!
drofwarc dice
Hola Shaun,
Felicidades en tu sitio web. Montón de sólida información aquí. I’ve just read with interest your article discussing the concept of measuring entry and exit efficiency. You’ve provided the formulas, but you don’t explain how to apply them. I’m in the process of backtesting a number of strategies in MT4. Is it possible to code the formulas into the EA I’m using for backtesting?
Espero oír detrás de usted.
drofwarc
Shaun Overton dice
Hola drofwarc,
I’ve honestly moved on from efficiency to different analysis tools. La eficiencia es todavía sólida para lanzar estrategias de entrada y salida más unadvantaged. Dicho esto, it doesn’t mean that what’s left is worth keeping.
It’s not worth building the efficiency measurements when you can program a strategy quickly in TradeStation or NinjaTrader to uncover the same number.
–Shaun