メインモジュールの実装｜Irisデータセット分類問題

本ページは「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」を参考にニューラルネットワークを作成していきます。参考書籍では「Affineレイヤ」「ReLUレイヤ」「Softmax-with-Lossレイヤ」という3つのレイヤを作成し、それらを組み合わせることでニューラルネットワークを構築していきます。本サイトでも同じように3つのレイヤをVBAで作成し実装していきます。(実際はSigmoidレイヤを含む4レイヤ)

これまでに「Affineレイヤ」「ReLUレイヤ」「Sigmoidレイヤ」「Softmax-with-Lossレイヤ」、それらを組み合わせたニューラルネットワーク本体である「TwoLayerNetクラス」をVBAで実装しました。

本ページではニューラルネットワークを呼び出し、学習を行うための機能をメインモジュールを実装していきます。また、別ページではこのメインモジュール内に推論を行う機能も追加します。つまり、マクロとして実行するのは今回実装するメインモジュールの関数のみとなっています。

1. メインモジュールの機能
2. メインモジュールの実装
3. Sub Train
4. まとめ

メインモジュールの機能

メインモジュールでは「学習」と「推論」の2つの機能を持ちます。
(本ページでは「学習」の機能のみを実装します)

ニューラルネットワークの学習

「学習」とは、順伝播と逆伝播を繰り返し、重みパラメータとバイアスパラメータの値を徐々に更新していき『適正な値』を見つけ出すことを意味しています。

例えば「ガクの長さ = 6.7」「ガクの幅 = 3」「花弁の長さ = 5.2」「花弁の幅 = 2.3」と4項目それぞれに数値を入力したときに「Virginica」と正しく種類を判別できるようなパラメータ値を見つけます。この入力された数値とその正解となる種類は学習データに依存します。

適切なパラメータの値はこれまでに実装したクラス/レイヤの関数を順番に実行していくことで導き出すことができます。導き出す方法はいくつかありますが、今回実装している方法は「誤差逆伝播法」という1番シンプルで簡単な仕組みです。
とても極端な話をすれば「TwoLayerNetクラス」の関数「gradient」と関数「ParamsUpdate」をループ処理に入れるだけで学習が可能になっています。(引数を準備する必要がありますが)
　

ニューラルネットワークの推論

「推論」とは、入力された4つの数字から花の種類が「Setosa」「Versicolor」「Virginica」のどれなのかをニューラルネットが自ら考え導き出すことです。

処理としては非常にシンプルで「学習」で求めた適切なパラメータの値をそのまま使い、順伝播を1回行うだけです。この順伝播によって出力された値がニューラルネットワークの最終的な答えとなります。

１度学習済みのパラメータさえ求めることができれば同じニューラルネットワークに入れることで何度でも使い回すことができます。つまり今回の場合、1度学習を終えパラメータ値が取得できれば入力された4つの値を変更してもそれに対応した花の種類を何回も導き出すことができます。

ただ注意しないといけないのは、正解できる確率(精度)は学習の内容によるという点です。
正しく十分な学習ができていれば正解をうまく導き出すことができますし、逆に学習が不十分の場合はうまく導き出すことができません。

今回のIris分類問題はニューラルネットワークを使うほどでもないかなり簡単な問題のため、学習は数秒で終わり精度もほぼ100%となります。

メインモジュールの実装

まずは標準モジュールで「Main」というモジュールを作成します。
これまでに実装したクラス/レイヤと揃えるため、本モジュールでも「Option Base 1」を使い配列を「1」スタートにします。

以下はメインモジュール(学習のみ)の全コードです。

Option Explicit
Option Base 1

  '*********************************************************************
  '                 ユーザ－設定(ハイパーパラメータ設定)
  '*********************************************************************

  'ユニット数の設定-----------------------------------------------------
    Const input_size = 4                '入力層のユニット数 = 4 (ガクの長さ / ガクの幅 / 花弁の長さ / 花弁の幅)
    Const hidden_size = 3               '隠れ層のユニット数設定(任意で変更可)
    Const output_size = 3               '出力層のユニット数 = 3 (setosa / versicolor / virginica)
    
  '学習終了条件---------------------------------------------------------
    Const MinLoss = 0.03                '目標Loss値
    Const MaxEpoc = 1000                '最大エポック数(学習回数)
    
  '学習設定-------------------------------------------------------------
    Const train_size = 120              '学習用データ数
    Const test_size = 30                'テスト用データ数

    Const LearningRate = 0.01           '学習率(デフォルト「0.01」)
    Const batch_size = 100              'ミニバッチサイズ(※batch_size < train_size)

    Public Const act_func = "Sigmoid"   '活性化関数の種類(「ReLU」 or 「Sigmoid」)
    
    
    Public ParamsSheet As Worksheet         'パラメータ書き出し用シート
    Public Classification_mode As Boolean   '分類モード(学習時は「True」、推論時は「False」)

'――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――
Sub Train()

    Classification_mode = False
    
  'パラメータ出力用シート定義
    Dim ws As Worksheet
    Dim flg As Boolean
    Dim res As String
    Dim ParamsSheet As Worksheet

    For Each ws In Worksheets
        If ws.Name = "Parameters" Then flg = True
    Next ws
    
    If flg = True Then
        Set ParamsSheet = Worksheets.Item("Parameters")
        ParamsSheet.Cells.Clear
    Else
        Set ParamsSheet = Worksheets.add(After:=Worksheets(1))
        ParamsSheet.Name = "Parameters"
    End If
    
    
  '学習用データ定義
    Dim ws_train_iris As Worksheet
    Set ws_train_iris = Worksheets.Item("train_iris")
    
    
  'テスト用データ定義
    Dim ws_test_iris As Worksheet
    Set ws_test_iris = Worksheets.Item("test_iris")
    
    
  'ニューラルネットワークのインスタンス作成
    Dim network As TwoLayerNet
    Set network = New TwoLayerNet
    
  'ニューラルネットワーク初期化(各レイヤのインスタンス作成)
    Call network.Initialize(input_size, hidden_size, output_size, ParamsSheet)
        
    Dim eRow As Long
    Dim eCol As Long
    Dim Datas() As Double
    Dim c As Long
    Dim r As Long
    Dim i As Long
    Dim epoc As Long
    Dim sumE As Double
    Dim sumAcc As Long
    Dim cnt As Long
    Dim label As Integer
    Dim label_species As String
    Dim t() As Long
    Dim DataRows() As Long
    
  'ニューラルネットワーク学習
    With ws_train_iris
        
        eRow = .Cells(rows.count, 1).End(xlUp).Row
        eCol = .Cells(1, Columns.count).End(xlToLeft).Column
            
        ReDim Datas(eCol - 1)
        
        Do
        
          '最大エポック数に到達したら学習終了
            If epoc >= MaxEpoc Then Exit Do
            
            sumAcc = 0
            sumE = 0
            cnt = 0
        
          '学習データ行をランダム取得
            ReDim DataRows(batch_size)
            DataRows = Functions.GetRandomRow(batch_size, train_size, 2)

            For r = 1 To UBound(DataRows)
                
                cnt = cnt + 1
                
              '入力データ取得
                For c = 1 To 4
                    Datas(c) = .Cells(DataRows(r), c).Value
                Next c
                
              '正解ラベル取得
                label_species = .Cells(DataRows(r), 5).Value
                
                If label_species = "setosa" Then: label = 1
                If label_species = "versicolor" Then: label = 2
                If label_species = "virginica" Then: label = 3
                
              'labelをone-hot化
                t = Functions.one_hot_t(output_size, label)
                
              '勾配を求める
                Call network.gradient(Datas, t)
                
              'Loss値を求める
                sumE = sumE + network.E
                
              '学習用データでの正解数カウント
                If network.accuracy = True Then
                    sumAcc = sumAcc + 1
                End If
                
              'Affinレイヤの重み/バイアスパラメータを更新
                Call network.ParamsUpdate(LearningRate)
                
            Next r
            
            epoc = epoc + 1
            
            
          'テストデータ(未学習データ)で精度確認************************************************
            
            Dim testData() As Double
            Dim testLabel As Long
            Dim testLabel_species As String
            Dim testDataRows() As Long
            Dim test_acc() As Double
            Dim test_acc_size As Long
            Dim test_cnt As Long

            test_acc_size = 10
            ReDim testData(input_size)

            ReDim testDataRows(test_acc_size)
            testDataRows = Functions.GetRandomRow(test_acc_size, test_size, 2)

            test_cnt = 0

            For r = 1 To UBound(testDataRows)

                For c = 1 To 4
                    testData(c) = ws_test_iris.Cells(testDataRows(r), c).Value
                Next c

                testLabel_species = ws_test_iris.Cells(testDataRows(r), 5).Value
                
                If testLabel_species = "setosa" Then: testLabel = 1
                If testLabel_species = "versicolor" Then: testLabel = 2
                If testLabel_species = "virginica" Then: testLabel = 3

                If network.test_accuracy(testData, testLabel) = True Then
                    test_cnt = test_cnt + 1
                End If
            Next r
            
          '************************************************************************************
            
            
          '学習状況をイミディエイトウィンドウに出力
            Debug.Print epoc & "回目: " & sumE / cnt & "　正解率: " & (sumAcc / cnt) * 100 & "%  テスト正解率" & (test_cnt / test_acc_size) * 100 & "% "
            
            
        Loop Until sumE / cnt < MinLoss
    
    End With

    Call network.ExportParameters(ParamsSheet)
    
    MsgBox "学習終了" & vbLf & "学習結果はシート(Parameters)に書き出しました。"

End Sub

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

Option Explicit

Option Base 1

'*********************************************************************

' ユーザ－設定(ハイパーパラメータ設定)

'*********************************************************************

'ユニット数の設定-----------------------------------------------------

Const input_size = 4 '入力層のユニット数 = 4 (ガクの長さ / ガクの幅 / 花弁の長さ / 花弁の幅)

Const hidden_size = 3 '隠れ層のユニット数設定(任意で変更可)

Const output_size = 3 '出力層のユニット数 = 3 (setosa / versicolor / virginica)

'学習終了条件---------------------------------------------------------

Const MinLoss = 0.03 '目標Loss値

Const MaxEpoc = 1000 '最大エポック数(学習回数)

'学習設定-------------------------------------------------------------

Const train_size = 120 '学習用データ数

Const test_size = 30 'テスト用データ数

Const LearningRate = 0.01 '学習率(デフォルト「0.01」)

Const batch_size = 100 'ミニバッチサイズ(※batch_size < train_size)

Public Const act_func = "Sigmoid" '活性化関数の種類(「ReLU」 or 「Sigmoid」)

Public ParamsSheet As Worksheet 'パラメータ書き出し用シート

Public Classification_mode As Boolean '分類モード(学習時は「True」、推論時は「False」)

'――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――

Sub Train()

Classification_mode = False

'パラメータ出力用シート定義

Dim ws As Worksheet

Dim flg As Boolean

Dim res As String

Dim ParamsSheet As Worksheet

For Each ws In Worksheets

If ws.Name = "Parameters" Then flg = True

Next ws

If flg = True Then

Set ParamsSheet = Worksheets.Item("Parameters")

ParamsSheet.Cells.Clear

Else

Set ParamsSheet = Worksheets.add(After:=Worksheets(1))

ParamsSheet.Name = "Parameters"

End If

'学習用データ定義

Dim ws_train_iris As Worksheet

Set ws_train_iris = Worksheets.Item("train_iris")

'テスト用データ定義

Dim ws_test_iris As Worksheet

Set ws_test_iris = Worksheets.Item("test_iris")

'ニューラルネットワークのインスタンス作成

Dim network As TwoLayerNet

Set network = New TwoLayerNet

'ニューラルネットワーク初期化(各レイヤのインスタンス作成)

Call network.Initialize(input_size, hidden_size, output_size, ParamsSheet)

Dim eRow As Long

Dim eCol As Long

Dim Datas() As Double

Dim c As Long

Dim r As Long

Dim i As Long

Dim epoc As Long

Dim sumE As Double

Dim sumAcc As Long

Dim cnt As Long

Dim label As Integer

Dim label_species As String

Dim t() As Long

Dim DataRows() As Long

'ニューラルネットワーク学習

With ws_train_iris

eRow = .Cells(rows.count, 1).End(xlUp).Row

eCol = .Cells(1, Columns.count).End(xlToLeft).Column

ReDim Datas(eCol - 1)

'最大エポック数に到達したら学習終了

If epoc >= MaxEpoc Then Exit Do

sumAcc = 0

sumE = 0

cnt = 0

'学習データ行をランダム取得

ReDim DataRows(batch_size)

DataRows = Functions.GetRandomRow(batch_size, train_size, 2)

For r = 1 To UBound(DataRows)

cnt = cnt + 1

'入力データ取得

For c = 1 To 4

Datas(c) = .Cells(DataRows(r), c).Value

Next c

'正解ラベル取得

label_species = .Cells(DataRows(r), 5).Value

If label_species = "setosa" Then: label = 1

If label_species = "versicolor" Then: label = 2

If label_species = "virginica" Then: label = 3

'labelをone-hot化

t = Functions.one_hot_t(output_size, label)

'勾配を求める

Call network.gradient(Datas, t)

'Loss値を求める

sumE = sumE + network.E

'学習用データでの正解数カウント

If network.accuracy = True Then

sumAcc = sumAcc + 1

End If

'Affinレイヤの重み/バイアスパラメータを更新

Call network.ParamsUpdate(LearningRate)

Next r

epoc = epoc + 1

'テストデータ(未学習データ)で精度確認************************************************

Dim testData() As Double

Dim testLabel As Long

Dim testLabel_species As String

Dim testDataRows() As Long

Dim test_acc() As Double

Dim test_acc_size As Long

Dim test_cnt As Long

test_acc_size = 10

ReDim testData(input_size)

ReDim testDataRows(test_acc_size)

testDataRows = Functions.GetRandomRow(test_acc_size, test_size, 2)

test_cnt = 0

For r = 1 To UBound(testDataRows)

For c = 1 To 4

testData(c) = ws_test_iris.Cells(testDataRows(r), c).Value

Next c

testLabel_species = ws_test_iris.Cells(testDataRows(r), 5).Value

If testLabel_species = "setosa" Then: testLabel = 1

If testLabel_species = "versicolor" Then: testLabel = 2

If testLabel_species = "virginica" Then: testLabel = 3

If network.test_accuracy(testData, testLabel) = True Then

test_cnt = test_cnt + 1

End If

Next r

'************************************************************************************

'学習状況をイミディエイトウィンドウに出力

Debug.Print epoc & "回目: " & sumE / cnt & "　正解率: " & (sumAcc / cnt) * 100 & "% テスト正解率" & (test_cnt / test_acc_size) * 100 & "% "

Loop Until sumE / cnt < MinLoss

End With

Call network.ExportParameters(ParamsSheet)

MsgBox "学習終了" & vbLf & "学習結果はシート(Parameters)に書き出しました。"

End Sub

以下では上記のコードでどのような処理を行っているかを解説していきます。
※メインモジュールではこれまでに実装したクラス/レイヤ/関数を全て呼び出します。
　適宜、各実装ページに戻り本モージュールとの繋がりやレイヤごとの繋がりを確認しましょう。

Sub Train

関数「Train」ではこれまでに実装したレイヤや関数を呼び出してニューラルネットワークの学習を行う関数です。ここでは「この関数がどのような処理を行なっているのか」を部分ごとに分けて上から順に説明していきます。
　

ハイパーパラメータ設定

はじめに、学習の初期設定ともいえるハイパーパラメータを設定します。

ハイパーパラメータとは各層のニューロン数や学習率などのニューラルネットワークの根源となるパラメータのことをいいます。このハイパーパラメータの値は学習前に変更することが可能で、学習結果に応じて変更したり自分の好きな設定で学習を行うことができます。

今回作成したニューラルネットワークではハイパーパラメータの値を変更できるものは少ないですが、コードを書き足したり、レイヤを増やすことで隠れ層の数を増やしたり、活性化関数を変更したりすることも可能になります。(ニューラルネットワークについて理解が深まったらぜひコードを書き換えてみてください)

Option Explicit
Option Base 1

  '*********************************************************************
  '                 ユーザ－設定(ハイパーパラメータ設定)
  '*********************************************************************

  'ユニット数の設定-----------------------------------------------------
    Const input_size = 4                '入力層のユニット数 = 4 (ガクの長さ / ガクの幅 / 花弁の長さ / 花弁の幅)
    Const hidden_size = 3               '隠れ層のユニット数設定(任意で変更可)
    Const output_size = 3               '出力層のユニット数 = 3 (setosa / versicolor / virginica)
    
  '学習終了条件---------------------------------------------------------
    Const MinLoss = 0.03                '目標Loss値
    Const MaxEpoc = 1000                '最大エポック数(学習回数)
    
  '学習設定-------------------------------------------------------------
    Const train_size = 120              '学習用データ数
    Const test_size = 30                'テスト用データ数

    Const LearningRate = 0.01           '学習率(デフォルト「0.01」)
    Const batch_size = 100              'ミニバッチサイズ(※batch_size < train_size)

    Public Const act_func = "Sigmoid"   '活性化関数の種類(「ReLU」or「Sigmoid」)
    
    
    Public ParamsSheet As Worksheet         'パラメータ書き出し用シート
    Public Classification_mode As Boolean   '分類モード(学習時は「True」、推論時は「False」)

Option Explicit

Option Base 1

'*********************************************************************

' ユーザ－設定(ハイパーパラメータ設定)

'*********************************************************************

'ユニット数の設定-----------------------------------------------------

Const input_size = 4 '入力層のユニット数 = 4 (ガクの長さ / ガクの幅 / 花弁の長さ / 花弁の幅)

Const hidden_size = 3 '隠れ層のユニット数設定(任意で変更可)

Const output_size = 3 '出力層のユニット数 = 3 (setosa / versicolor / virginica)

'学習終了条件---------------------------------------------------------

Const MinLoss = 0.03 '目標Loss値

Const MaxEpoc = 1000 '最大エポック数(学習回数)

'学習設定-------------------------------------------------------------

Const train_size = 120 '学習用データ数

Const test_size = 30 'テスト用データ数

Const LearningRate = 0.01 '学習率(デフォルト「0.01」)

Const batch_size = 100 'ミニバッチサイズ(※batch_size < train_size)

Public Const act_func = "Sigmoid" '活性化関数の種類(「ReLU」or「Sigmoid」)

Public ParamsSheet As Worksheet 'パラメータ書き出し用シート

Public Classification_mode As Boolean '分類モード(学習時は「True」、推論時は「False」)

基本的に今回変更できるのは以下のハイパーパラメータだけです。

hidden_size：隠れ層のニューロン数
MinLoss：最少Loss値(Loss値がこの値になったら学習を終了する)
MaxEpoc：最大エポック数(batch_size×MaxEpoc個のデータを学習したら学習を終了する)
train_size：学習用データのデータ数
test_size：テスト用データのデータ数
LearningRate：学習率(この値が小さいほど学習時間は長くなるが精度の高い学習ができる)
batch_size：バッチサイズ(まとめて何個のデータを学習するかを決める)
act_func：隠れ層の活性化関数(ReLU関数とSigmoid関数の切り替えが可能)

batch_size、MaxEpocについては本来の意味とは少し違うので注意してください。
基本的にIris分類問題は簡単な問題なのでハイパーパラメータを少しいじったところで大きな変化はありませんし、よほどおかしな値を入力しない限りほとんどの確率でうまく分類することができます。
　

シートの設定

ここからは「Sub Train()」プロシージャ内のコードです。
まずは「学習した結果を出力するためのシート」を用意します。

    Classification_mode = False
    
  'パラメータ出力用シート定義
    Dim ws As Worksheet
    Dim flg As Boolean
    Dim res As String
    Dim ParamsSheet As Worksheet

    For Each ws In Worksheets
        If ws.Name = "Parameters" Then flg = True
    Next ws
    
    If flg = True Then
        Set ParamsSheet = Worksheets.Item("Parameters")
        ParamsSheet.Cells.Clear
    Else
        Set ParamsSheet = Worksheets.add(After:=Worksheets(1))
        ParamsSheet.Name = "Parameters"
    End If

Classification_mode = False

'パラメータ出力用シート定義

Dim ws As Worksheet

Dim flg As Boolean

Dim res As String

Dim ParamsSheet As Worksheet

For Each ws In Worksheets

If ws.Name = "Parameters" Then flg = True

Next ws

If flg = True Then

Set ParamsSheet = Worksheets.Item("Parameters")

ParamsSheet.Cells.Clear

Else

Set ParamsSheet = Worksheets.add(After:=Worksheets(1))

ParamsSheet.Name = "Parameters"

End If

ここで作成したシートに順伝播と逆伝播によって求められた”最適”な重みパラメータとバイアスパラメータを出力します。今回は簡単な問題で学習時間も数秒で済むため、学習毎に学習の結果が上書きされていきます。

学習に何時間もかかる場合は、学習途中の場合でもところどころでパラメータを出力します。
こうすることで、その地点から学習を再開することが可能になるためです。
Iris分類問題の次のレベル『Excel VBAでニューラルネットワークを再現｜MNIST学習で文字認識』ではこの機能を実装し、学習を途中で終了し、再開させることが可能になっています。

学習

次にTwoLayerNetのインスタンスを作成し、ループ分を使って学習を行なっていきます。

  '学習用データ定義
    Dim ws_train_iris As Worksheet
    Set ws_train_iris = Worksheets.Item("train_iris")
    
    
  'テスト用データ定義
    Dim ws_test_iris As Worksheet
    Set ws_test_iris = Worksheets.Item("test_iris")
    
    
  'ニューラルネットワークのインスタンス作成
    Dim network As TwoLayerNet
    Set network = New TwoLayerNet
    
  'ニューラルネットワーク初期化(各レイヤのインスタンス作成)
    Call network.Initialize(input_size, hidden_size, output_size, ParamsSheet)
        
    Dim eRow As Long
    Dim eCol As Long
    Dim Datas() As Double
    Dim c As Long
    Dim r As Long
    Dim i As Long
    Dim epoc As Long
    Dim sumE As Double
    Dim sumAcc As Long
    Dim cnt As Long
    Dim label As Integer
    Dim label_species As String
    Dim t() As Long
    Dim DataRows() As Long
    
  'ニューラルネットワーク学習
    With ws_train_iris
        
        eRow = .Cells(rows.count, 1).End(xlUp).Row
        eCol = .Cells(1, Columns.count).End(xlToLeft).Column
            
        ReDim Datas(eCol - 1)
        
        Do
        
          '最大エポック数に到達したら学習終了
            If epoc >= MaxEpoc Then Exit Do
            
            sumAcc = 0
            sumE = 0
            cnt = 0
        
          '学習データ行をランダム取得
            ReDim DataRows(batch_size)
            DataRows = Functions.GetRandomRow(batch_size, train_size, 2)

            For r = 1 To UBound(DataRows)
                
                cnt = cnt + 1
                
              '入力データ取得
                For c = 1 To 4
                    Datas(c) = .Cells(DataRows(r), c).Value
                Next c
                
              '正解ラベル取得
                label_species = .Cells(DataRows(r), 5).Value
                
                If label_species = "setosa" Then: label = 1
                If label_species = "versicolor" Then: label = 2
                If label_species = "virginica" Then: label = 3
                
              'labelをone-hot化
                t = Functions.one_hot_t(output_size, label)
                
              '勾配を求める
                Call network.gradient(Datas, t)
                
              'Loss値を求める
                sumE = sumE + network.E
                
              '学習用データでの正解数カウント
                If network.accuracy = True Then
                    sumAcc = sumAcc + 1
                End If
                
              'Affinレイヤの重み/バイアスパラメータを更新
                Call network.ParamsUpdate(LearningRate)
                
            Next r
            
            epoc = epoc + 1
            
            
          'テストデータ(未学習データ)で精度確認************************************************
            
            Dim testData() As Double
            Dim testLabel As Long
            Dim testLabel_species As String
            Dim testDataRows() As Long
            Dim test_acc() As Double
            Dim test_acc_size As Long
            Dim test_cnt As Long

            test_acc_size = 10
            ReDim testData(input_size)

            ReDim testDataRows(test_acc_size)
            testDataRows = Functions.GetRandomRow(test_acc_size, test_size, 2)

            test_cnt = 0

            For r = 1 To UBound(testDataRows)

                For c = 1 To 4
                    testData(c) = ws_test_iris.Cells(testDataRows(r), c).Value
                Next c

                testLabel_species = ws_test_iris.Cells(testDataRows(r), 5).Value
                
                If testLabel_species = "setosa" Then: testLabel = 1
                If testLabel_species = "versicolor" Then: testLabel = 2
                If testLabel_species = "virginica" Then: testLabel = 3

                If network.test_accuracy(testData, testLabel) = True Then
                    test_cnt = test_cnt + 1
                End If
            Next r
            
          '************************************************************************************
            
            
          '学習状況をイミディエイトウィンドウに出力
            Debug.Print epoc & "回目: " & sumE / cnt & "　正解率: " & (sumAcc / cnt) * 100 & "%  テスト正解率" & (test_cnt / test_acc_size) * 100 & "% "
            
            
        Loop Until sumE / cnt < MinLoss
    
    End With

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

'学習用データ定義

Dim ws_train_iris As Worksheet

Set ws_train_iris = Worksheets.Item("train_iris")

'テスト用データ定義

Dim ws_test_iris As Worksheet

Set ws_test_iris = Worksheets.Item("test_iris")

'ニューラルネットワークのインスタンス作成

Dim network As TwoLayerNet

Set network = New TwoLayerNet

'ニューラルネットワーク初期化(各レイヤのインスタンス作成)

Call network.Initialize(input_size, hidden_size, output_size, ParamsSheet)

Dim eRow As Long

Dim eCol As Long

Dim Datas() As Double

Dim c As Long

Dim r As Long

Dim i As Long

Dim epoc As Long

Dim sumE As Double

Dim sumAcc As Long

Dim cnt As Long

Dim label As Integer

Dim label_species As String

Dim t() As Long

Dim DataRows() As Long

'ニューラルネットワーク学習

With ws_train_iris

eRow = .Cells(rows.count, 1).End(xlUp).Row

eCol = .Cells(1, Columns.count).End(xlToLeft).Column

ReDim Datas(eCol - 1)

'最大エポック数に到達したら学習終了

If epoc >= MaxEpoc Then Exit Do

sumAcc = 0

sumE = 0

cnt = 0

'学習データ行をランダム取得

ReDim DataRows(batch_size)

DataRows = Functions.GetRandomRow(batch_size, train_size, 2)

For r = 1 To UBound(DataRows)

cnt = cnt + 1

'入力データ取得

For c = 1 To 4

Datas(c) = .Cells(DataRows(r), c).Value

Next c

'正解ラベル取得

label_species = .Cells(DataRows(r), 5).Value

If label_species = "setosa" Then: label = 1

If label_species = "versicolor" Then: label = 2

If label_species = "virginica" Then: label = 3

'labelをone-hot化

t = Functions.one_hot_t(output_size, label)

'勾配を求める

Call network.gradient(Datas, t)

'Loss値を求める

sumE = sumE + network.E

'学習用データでの正解数カウント

If network.accuracy = True Then

sumAcc = sumAcc + 1

End If

'Affinレイヤの重み/バイアスパラメータを更新

Call network.ParamsUpdate(LearningRate)

Next r

epoc = epoc + 1

'テストデータ(未学習データ)で精度確認************************************************

Dim testData() As Double

Dim testLabel As Long

Dim testLabel_species As String

Dim testDataRows() As Long

Dim test_acc() As Double

Dim test_acc_size As Long

Dim test_cnt As Long

test_acc_size = 10

ReDim testData(input_size)

ReDim testDataRows(test_acc_size)

testDataRows = Functions.GetRandomRow(test_acc_size, test_size, 2)

test_cnt = 0

For r = 1 To UBound(testDataRows)

For c = 1 To 4

testData(c) = ws_test_iris.Cells(testDataRows(r), c).Value

Next c

testLabel_species = ws_test_iris.Cells(testDataRows(r), 5).Value

If testLabel_species = "setosa" Then: testLabel = 1

If testLabel_species = "versicolor" Then: testLabel = 2

If testLabel_species = "virginica" Then: testLabel = 3

If network.test_accuracy(testData, testLabel) = True Then

test_cnt = test_cnt + 1

End If

Next r

'************************************************************************************

'学習状況をイミディエイトウィンドウに出力

Debug.Print epoc & "回目: " & sumE / cnt & "　正解率: " & (sumAcc / cnt) * 100 & "% テスト正解率" & (test_cnt / test_acc_size) * 100 & "% "

Loop Until sumE / cnt < MinLoss

End With

複雑なように見えますが処理の流れを大雑把にみると以下の通りです。

① ランダムで学習データを取得
② ①のデータの正解ラベルを取得しone-hot表現に変換する
③ ①と②を引数としてTwoLayerNetの関数「gradient」を実行
④ ③で取得した勾配を使い、各Affineレイヤのパラメータを更新
⑤ ①〜④の処理を「batch_size」回行う(「batch_size」回の学習結果の平均の精度を出力する)
⑥ ⑤の処理を学習終了条件を満たすまでループする

この処理の流れはミニバッチ学習から来ています。
本来のミニバッチ学習では③の処理の時点で複数の画像データをまとめてTwoLayerNetに渡し、まとめて計算を行います。(通常これを1エポックという)

しかしVBAでミニバッチ学習を行う場合、ニューラルネットに入力するデータが増えることは配列の次元が増えることを意味します。ここでは機能の理解をメインとしているためあまり複雑な計算は避けています。そのため本来のミニバッチ学習とは少し変えた処理で、ミニバッチ学習に似せた処理をしています。(つまりミニバッチ学習自体は実装できていません)

上記の処理には書いていませんが、ループの中ではテストデータの精度確認も併せて行います。
処理の内容自体は上記の内容とほとんど同じなので割愛しますが、最終的にはこのテストデータの精度で学習の良し悪しを判断します。(詳しくは実際に学習をする際に解説します)

ここの処理は説明を聞くよりも1行1行コードを見ながら何をしているかを確認していった方が理解しやすいと思います。おそらくニューラルネットワークを学ぶ上で1番つまづきやすいのが「学習」の部分なのでここはじっくりとやっていきましょう。

学習終了処理

最後に学習終了条件を満たした際の処理を書いておきます。
ここではTwoLayerNetの関数「ExportParameters」を呼び出すだけです。
引数となる「ParamsSheet」はコードのはじめの方で作成した「学習した結果を出力するためのシート」です。

    Call network.ExportParameters(ParamsSheet)
    
    MsgBox "学習終了" & vbLf & "学習結果はシート(Parameters)に書き出しました。"

Call network.ExportParameters(ParamsSheet)

MsgBox "学習終了" & vbLf & "学習結果はシート(Parameters)に書き出しました。"

まとめ

ここでは「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」を参考に、ニューラルネットワークで学習を行うためのメインモジュールを作成しました。

今回実装したメインモジュールの機能をまとめると以下の通りです。

Sub Train：学習を行う

長いコードにはなっていますが機能としては「学習を行う」の1つだけです。
これまでに実装してきたレイヤやクラスの関数を呼び出して学習していくので、初めのうちは少しややこしく感じるかもしれません。ただ、コードが理解できればやっている内容が思ったよりはシンプルだということがわかります。
このシンプルな内容を理解することで、ニューラルネットワークの仕組みも理解できるのでじっくり理解していってください。

今回のメインモジュールで「学習」に関するコードはすべてです。
次回はこれらのコードを使いIrisの分類問題を行う方法を解説していきます。
　

【次回】Irisデータセットを学習させてみよう
 【前回】TwoLayerNetクラスの実装
 メインページ