量化交易与机器学习第四十八篇

A股天机

量化交易与机器学习第四十八篇

来自：MACD论坛(bbs.macd.cn) 作者：A股天机 浏览：7302 回复：0

上周我们讨论了机器学习的agent的顶底特点，本周我们讨论其它问题。
1，先说问题
常规的软件指标可以成为交易系统，但是无法取得进化效果，如上一篇所说，交易系统是需要进化的，因为本质上是人与人之间的博弈，别人在进化，交易系统也需要进化。
有一个经典的例子叫赌徒问题：一个赌徒利用硬币投掷的反正面结果来赌博。假如投掷结果是硬币的正面朝上，那么他就赢得他所压的赌注，如果是反面朝上，那么他输掉他的赌注。当这个赌徒赢满100美元或者他输掉他所有的钱时，赌博结束。每一轮投掷，赌徒必须取出他资金的一部分作为赌注，赌注金额必须是整数。这个问题可以表述为一个无折扣的、情节式的有穷马尔可夫决策过程。
状态就是赌徒所拥有的资金，，
动作就是下赌注，。
除了赌徒达到100美元的目标而奖赏为＋1以外，其他奖赏均为0。
状态－值函数给出每个状态能够获胜的概率。
策略就是如何决定每轮取出多少钱去下注。最优策略就是使取得最后胜利的概率最大化。
令代表硬币正面朝上的概率。假如已知，那么整个问题也就知道了，并且可以得解，比如通过值迭代求解。
2,关于实践
    这个问题很经典的原因是在某些方面和做交易的过程太像了。用数学方法来描述这个过程是
任意初始化V，比如：，对于所有
Repeat
                            For each

Until （一个极小的正数）
              输出一个确定的策略
                          值状态                                                                                          策略状态                                                                      3总结
这个过程很难理解，因为涉及到很多的数学知识，特别是马尔科夫链和贝尔曼方程，这方面的知识不过多解释，只能自己去学习了。
作家格拉德威尔在《异类》一书中指出的定律。“人们眼中的天才之所以卓越非凡，并非天资超人一等，而是付出了持续不断的努力。1万小时的锤炼是任何人从平凡变成世界级大师的必要条件。”他将此称为“一万小时定律”。一万小时定律的成功代表大画家达·芬奇，当初从师学艺就是从练习画一只只鸡蛋开始的。他日复一日，年复一年，变换着不同角度、不同光线，少说也得练习一万个小时，打下了扎实的基本功，从最简单一万小时定律提法来源于《异数》最枯燥的重复中掌握了达到最高深艺术境界的途径。这才有了后来的世界名画《蒙娜丽莎》、《最后的晚餐》。