AIを育てる「EDUCATE」のススメ|MAiMATE通信

継続学習の重要性を確認する

第3回目の今回は、「EDUCATE(育てる)の効果」を取り上げます。
EDUCATEに関する理解を深めるためにはまず、MAiMATEが持つ「継続学習」の機能を知る必要があります。

継続学習・・・毎週土曜日の朝10時の時点で存在する全AIエージェントを対象に、直近のトレード結果の成功と反省を取り込むために、再度学習を行う機能

毎週末ごとに再学習を実行することで、AIエージェントは直近のマーケットに合わせるように自身を更新していきます。では、「継続学習」を行わない場合のAIエージェントの成績は一体どのようになるのでしょうか? PEOPLEページ内で確認できるAIエージェントの成績は以下のように作られており、「誕生直後のAIエージェントの成績は、継続学習が適用されていない結果」となっています。

1. ユーザーの設定に従ってAIエージェントを誕生させ、過去3年間のデータ上でトレーディングを学習させる。
その際過去から現在に向かって順次学習を実施するため、人間の記憶と同様に、「過去に学習した内容は徐々に薄まり、直近の学習内容は濃く記憶されやすい」ということになります。
2. 学習が完了したAIエージェントを3年前に連れていき、継続学習によるトレーディング手法の更新無しにトレードを実施させ、結果を保存する。

つまり、誕生直後のAIエージェントが過去3年の全期間に亘って良い成績を出し続けるには、『直近の学習内容が濃く反映されやすい現時点のトレーディング手法が、過去全期間に亘って通用する万能かつ普遍的なものである』必要があります。
果たしてそのような魔法のようなトレーディング手法はありえるのでしょうか…?
では、2019年9月9日12時現在の上位9 AIエージェント(直近1年間での実現損益の上位9位まで)の全期間の成績を眺めてみましょう。

上記グラフが示すように、過去1年間の実現損益が素晴らしいAIエージェントでも、全期間に亘ってずっと勝ち続けるのは難しいことがわかります。これは、『全期間に亘って通用する万能かつ普遍的なトレーディング手法の発見は相当に難しく、適宜トレーディング手法を見直し続ける継続学習が必要』であることを示唆していると考えています。

事象の再現性が重要なサイエンスにおいて、継続学習を通して毎週AIエージェントを更新することには少なからず葛藤がありました。しかしトレーディングの興味の対象は自然科学現象ではなく、価格を決定するマーケットメーカーの判断となります。彼らが定期的に価格決定アルゴを更新することは十分に考えられるため、AIエージェント側も定期的に自身を更新することは必要であると考えています。

また、「直近の学習内容が濃く記憶されやすい」ことに関してもう少し補足をします。ユーザーの皆様の中には、「自分のAIエージェントは直近ほど成績悪い!直近の学習内容が濃く反映されるんじゃないの?」という方がいらっしゃるかと思います。これを文章的に説明すると、『過去のある一定期間に対してとても当てはまりが良いトレーディング手法を見つけた成功体験があり、直近の学習内容をもってしてもその成功体験が薄まりにくい状態』と言えます。人間にも良く起こり得る現象ではないでしょうか?過去に当てはまりの良いトレーディング手法を見つけていることには、大きな価値があります。それを大事にしながら、「継続学習」と「EDUCATE」を活用してAIエージェントの更新を継続し、是非他とは異なる個性を持った、優秀なAIエージェントの育成に取り組んで頂ければと思います。

継続学習及びEDUCATE(育てる)の効果を確認する

続いて、「継続学習」及び「EDUCATE」の効果を確認します。効果の確認には、私自身のAIエージェントである「身勝手(みがって)の極意(ごくい)」を利用しました。
AIエージェント「身勝手の極意」の2019年8月23日(金)から8月30日(金)の間のトレーディング結果は以下の通りです。EDUCATEページでは過去5日分のトレード結果が表示されますが、ここでは説明のため過去6日間のデータを表示しています。

8月30日(金)に大きめの損失を出していることがわかります。損切りの判断は仕方ないと思いつつ、「もう少し早く決断出来たんじゃないの?8月28日や29日時点で損切りしてくれても良かったのに」という考えに基づき、8月30日の決済に対して「ダメだね」という叱りを入れています。

「継続学習」及び「8月30日のダメだね」によって、このトレーディング結果がどう変わるか…が調査の対象です。ここでまず、「いいね」「ダメだね」を無視した状態で、AIエージェントの自発的な継続学習の効果を確認します。上記期間のデータを取り込んだ継続学習後の「身勝手の極意」を、もう一度8月23日に連れて帰り、再度トレードをさせた結果が以下の通りです。なお評価損益の数字が微妙に異なるのは、「何時何分何秒」までを完全に一致させたシミュレーションが困難なためであり、分析結果を覆すような差異ではないことをご理解下さい。

上記のように、特に「いいね」「ダメだね」が無くともAIエージェントは自発的に損切りの大きさを反省し、損切りのタイミングを早めることで損失を軽減していることがわかります。なかなか良い結果です。今後将来似たような局面が訪れた場合は、きっと早めの損切りをしてくれることでしょう。
では続いて、8月30日(金)に「ダメだね」を付与し、AIエージェントにより強い反省を促した場合の変化を確認してみましょう。

ん?…変化がありません。つまり、AIエージェントは強い反省を促されたものの、8月29日時点での損切りが最も良い判断であると信じている状態です。確かに損切りを浅くすると将来の価格反転を待つ機会が減るため、「あー、もっと待っていれば良かった…」という状況が起こりやすくなります。よって評価損失をある程度抱えることには合理性があるのですが、それでも私はやっぱり「8月28日に損切りをして欲しい!」ということで、「ダメだね」を含めたこの期間の継続学習を何回も繰り返しました。その結果、7回目の継続学習後のトレード結果は以下のように変化しました。

ようやく私の想いが通じたようです。

ご主人様が「いいね」をした際にどのくらい強く褒めるべきか、「ダメだね」をした際にどのくらい強く叱るべきか、は丁寧な分析に基づいて決定しています。『たった1回の「いいね」「ダメだね」が、AIエージェントが長期に渡って積み上げた学習結果を簡単には壊さない』ことを強く意識していますので、上記結果は想定通りです。ですが、『ユーザーの皆様の「いいね」「ダメだね」は確実にAIエージェントの行動に少しずつ影響を与え、それが個性となっていく』ことをご理解下さい。AIエージェントの自主学習に任せてしまうことも選択肢の一つかも知れませんが、自分好みのAIエージェントを育成するためには、長期に渡ってコツコツと「いいね」「ダメだね」のフィードバックを与え続けることが大事です。その結果が、あなただけの、唯一のトレーディングパートナーの育成へと繋がります。1回の「いいね」「ダメだね」がAIエージェントを壊してしまうことは無いようにデザインしてしますので、何事も恐れず、是非週に1回程度はAIエージェントのトレードを振り返り、EDUCATEをして上げて下さい。個性はきっと、将来的に大きなアドバンテージとなります。

継続学習は上記例のように「損失の大きさ」を叱るだけではなく、「利益確定のタイミングを逃した」ことへの叱りもあるでしょうし、もちろん褒める場合もあろうかと思います。様々なケースが想定されるため、今後も継続学習効果の分析を皆様に共有していきたいと考えています。

以上で今回の記事は終わりとなります。
現在多くある自動売買ロジックは、多くが固定的なロジックであるが故に、一度大きな失敗をすると「また同じことが起こりそうだな…」と心配になることが多いのでは無いかと思います。MAiMATEはこの課題に関し、「継続学習」と「EDUCATE」の機能を持ってチャレンジしています。「1度の失敗にめげるのではなく前向きに捉え、今後に生かし同じような失敗をなるべく繰り返さない」、「一方で成功体験は今後も継続できるようにする」、先端の技術を活用するMAiMATEだからこそ実現できる機能となります。

育てるAI「マイメイト」について

MAiMATEは非常に新しい、特許出願中の次世代のトレーディングを意識したサービスとなっています。
こんなことを聞いてみたい、知りたい、というご要望があれば、配信されるメール内にある「CONTACT」を通して我々にご連絡頂ければと思います。テーマとして必ずすぐに取り上げることのお約束はできませんが、頂いた内容は必ず目を通しています。