Obchodníci, kteří touží vyzkoušet obchodní nápad na živém trhu, často dělají chybu, že se spoléhají výhradně na výsledky zpětného testování, aby určili, zda bude systém ziskový. Zatímco zpětné testování může obchodníkům poskytnout cenné informace, je často zavádějící a je to pouze jedna část procesu hodnocení.
Testování mimo vzorek a testování výkonnosti dopředu poskytují další potvrzení týkající se účinnosti systému a mohou ukázat skutečné barvy systému před tím, než je na lince skutečná hotovost. Pro určování životaschopnosti obchodního systému je nezbytná dobrá korelace mezi výsledky zpětného testování, výsledků mimo testování a dopředného testování výkonu.
Základy backtestingu
Zpětné testování se týká použití obchodního systému na historická data, aby se ověřilo, jak by systém fungoval během určeného časového období. Mnoho dnešních obchodních platforem podporuje zpětné testování. Obchodníci mohou testovat nápady několika stisky kláves a získají informace o účinnosti nápadu, aniž by riskovali prostředky na obchodním účtu. Zpětné testování může vyhodnotit jednoduché nápady, například to, jak by crossover s pohyblivým průměrem fungoval na historických datech, nebo složitější systémy s různými vstupy a triggery.
Dokud lze myšlenku kvantifikovat, lze ji znovu vyzkoušet. Někteří obchodníci a investoři mohou vyhledávat odborné znalosti kvalifikovaného programátora, aby myšlenku rozvinuli do testovatelné podoby. Obvykle se jedná o programátora, který kóduje myšlenku do proprietárního jazyka hostovaného obchodní platformou. Programátor může zahrnovat uživatelem definované vstupní proměnné, které umožňují obchodníkovi systém „vyladit“.
Příkladem toho by byl jednoduchý přechodový systém s pohyblivým průměrem uvedený výše: Obchodník by byl schopen zadat (nebo změnit) délky dvou klouzavých průměrů použitých v systému. Obchodník mohl zpětně určit, které délky klouzavých průměrů by na historických datech měly nejlepší výsledky.
Optimalizační studie
Mnoho obchodních platforem také umožňuje studie optimalizace. To znamená zadat rozsah pro zadaný vstup a nechat počítač „udělat matematiku“, aby zjistil, jaký vstup by byl proveden nejlépe. Optimalizace s více proměnnými může udělat matematiku pro dvě nebo více proměnných k určení, jaké kombinace by dosáhly nejlepšího výsledku.
Obchodníci mohou například programu sdělit, jaké vstupy by chtěli přidat do své strategie; ty by pak byly optimalizovány na jejich ideální hmotnosti vzhledem k testovaným historickým datům.
Zpětné testování může být vzrušující v tom, že nerentabilní systém může být často magicky přeměněn na stroj na vydělávání peněz s několika optimalizacemi. Bohužel, vyladění systému k dosažení nejvyšší úrovně ziskovosti v minulosti často vede k systému, který bude v reálném obchodování špatně fungovat. Tato nadměrná optimalizace vytváří systémy, které vypadají dobře pouze na papíře.
Přizpůsobení křivky je použití analytické analýzy k vytvoření nejvyššího počtu vítězných obchodů s největším ziskem z historických dat použitých v testovacím období. Ačkoli to vypadá působivě ve výsledcích zpětného testování, přizpůsobení křivky vede k nespolehlivým systémům, protože výsledky jsou v zásadě na míru navrženy pro konkrétní data a časové období.
Zpětné testování a optimalizace poskytují obchodníkovi mnoho výhod, ale toto je pouze část procesu při hodnocení potenciálního obchodního systému. Dalším krokem obchodníka je použití systému na historická data, která nebyla použita v počáteční fázi zpětného testování.
Data ve vzorku versus data mimo vzorek
Při testování nápadu na historická data je vhodné vyhradit časové období historických dat pro účely testování. Počáteční historická data, na nichž je myšlenka testována a optimalizována, se označují jako data ve vzorku. Rezervovaná datová sada je známá jako data mimo vzorek. Toto nastavení je důležitou součástí procesu hodnocení, protože poskytuje způsob, jak otestovat myšlenku na datech, která nebyla součástí optimalizačního modelu.
Výsledkem bude, že tato myšlenka nebude nijak ovlivněna mimosběrnými daty, a obchodníci budou schopni určit, jak dobře by systém mohl fungovat na nových datech, tj. V reálném obchodování.
Před zahájením jakéhokoli zpětného testování nebo optimalizace mohou obchodníci vyčlenit procento historických údajů, které budou vyhrazeny pro testování mimo vzorek. Jednou z metod je rozdělit historické údaje na třetiny a oddělit jednu třetinu pro použití při testování mimo vzorek. K počátečnímu testování a jakékoli optimalizaci by se měly použít pouze údaje ve vzorku.
Níže uvedený obrázek ukazuje časovou osu, ve které je jedna třetina historických údajů vyhrazena pro testování mimo vzorek a dvě třetiny se používají pro testování ve vzorku. Ačkoli níže uvedený obrázek zobrazuje data mimo vzorek na začátku testu, typické postupy by měly část mimo vzorek bezprostředně předcházející dopřednému výkonu.
Časová linie představující relativní délku údajů ve vzorku a mimo vzorek použitých v procesu zpětného testování. Obrázek Julie Bang © Investopedia 2020
Korelace odkazuje na podobnosti mezi výkony a celkovými trendy dvou datových souborů. Korelační metriky lze použít při hodnocení zpráv o výkonu strategie vytvořených během testovacího období (funkce, kterou většina obchodních platforem poskytuje). Čím silnější je vzájemná korelace, tím je větší pravděpodobnost, že systém bude dobře fungovat při předběžném testování výkonu a živém obchodování.
Obrázek níže ukazuje dva různé systémy, které byly testovány a optimalizovány na vzorkových datech a poté aplikovány na data mimo vzorek. Graf vlevo ukazuje systém, který byl jasně křivkový, aby dobře fungoval na datech ve vzorku a zcela selhal na datech mimo vzorek. Graf na pravé straně ukazuje systém, který fungoval dobře jak u vstupních, tak z out-of-sample dat.
Dvě ekvivalenční křivky. Obchodní údaje před každou žlutou šipkou představují testování ve vzorku. Obchody generované mezi žlutými a červenými šipkami označují testování mimo vzorek. Obchody po červené šipky jsou z fáze dopředného testování výkonu.
Jakmile byl obchodní systém vyvinut pomocí dat ve vzorku, je připraven k použití na data mimo vzorek. Obchodníci mohou vyhodnotit a porovnat výsledky výkonu mezi údaji ve vzorku a mimo vzorek.
Pokud existuje malá korelace mezi testováním ve vzorku a mimo vzorek, jako je levý graf na obrázku výše, je pravděpodobné, že systém byl nadměrně optimalizován a nebude fungovat dobře v živém obchodování. Pokud existuje silná korelace ve výkonu, jak je vidět na pravém grafu, další fáze hodnocení zahrnuje další typ mimotestového testování známého jako dopředné testování výkonu.
Základy testování výkonu vpřed
Forwardové testování výkonu, známé také jako obchodování s papírem, poskytuje obchodníkům další sadu dat mimo vzorek, na nichž lze systém vyhodnotit. Forward testování výkonu je simulace skutečného obchodování a zahrnuje sledování logiky systému na živém trhu. Nazývá se také obchodování s papírem, protože všechny obchody jsou prováděny pouze na papíře; to znamená, že obchodní záznamy a východy jsou dokumentovány společně se ziskem nebo ztrátou systému, ale žádné skutečné obchody nejsou prováděny.
Důležitým aspektem dopředného testování výkonu je přesně sledovat logiku systému; jinak je obtížné, ne-li nemožné, přesně vyhodnotit tento krok procesu. Obchodníci by měli být upřímní ohledně jakýchkoli obchodních vstupů a výstupů a neměli by se chovat jako obchodování s třešněmi nebo bez obchodování s papírem racionalizujícím, že „nikdy bych tento obchod nebral“. Pokud by k obchodu došlo po logice systému, mělo by být dokumentováno a vyhodnoceno.
Mnoho makléřů nabízí simulovaný obchodní účet, na kterém lze obchodovat a vypočítat odpovídající zisk a ztrátu. Použití simulovaného obchodního účtu může vytvořit polorealistickou atmosféru, na které se dá obchodovat a dále hodnotit systém.
Výše uvedený obrázek také ukazuje výsledky pro dopředné testování výkonu na dvou systémech. Opět platí, že systém znázorněný v levém grafu se nedaří daleko za počátečním testováním na vzorcích dat. Systém zobrazený v pravém grafu však nadále funguje dobře ve všech fázích, včetně testování dopředného výkonu. Systém, který vykazuje pozitivní výsledky s dobrou korelací mezi testováním výkonu ve vzorku, mimo vzorek a dopředu, je připraven k implementaci na živém trhu.
Sečteno a podtrženo
Zpětné testování je cenným nástrojem dostupným na většině obchodních platforem. Rozdělení historických dat do několika sad za účelem testování ve vzorku a mimo vzorek může obchodníkům poskytnout praktické a efektivní prostředky pro vyhodnocení obchodní myšlenky a systému. Protože většina obchodníků používá při zpětném testování optimalizační techniky, je důležité poté vyhodnotit systém na čistých datech a určit jeho životaschopnost.
Pokračování testování mimo vzorek s testováním dopředného výkonu poskytuje další úroveň bezpečnosti před uvedením systému na trh, který riskuje skutečné peníze. Pozitivní výsledky a dobrá korelace mezi zpětným testováním ve vzorku a mimo něj a testováním dopředného výkonu zvyšuje pravděpodobnost, že systém bude ve skutečném obchodování dobře fungovat.
