高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

正如我們所期望的，隨著學習率的提高，最初的損失逐漸減少，但過了一段時間，學習率太大，導致損失反彈：最佳學習率將略低于損失開始攀升的點（通常比轉折點低10倍左右）。我們現在可以重新初始化我們的模型，并使用良好的學習率對其進行正常訓練。還有更多的學習率技巧，包括創(chuàng)建學習進度表，我希望在以后的調查中介紹，但對如何手動選擇好的學習率有一個直觀的理解同樣重要。我們的損失在3e－1左右開始反彈，所以讓我們嘗試使用2e－1作為我們的學習率：keras．backend．clear＿session（）np．random．seed（42）tf．random．set＿seed（42）model ＝ keras．models．Sequential（［    keras．layers．Flatten（input＿shape＝［28， 28］），    keras．layers．Dense（300， activation＝＂relu＂），    keras．layers．Dense（100， activation＝＂relu＂），    keras．layers．Dense（10， activation＝＂softmax＂）］）model．compile（loss＝＂sparse＿categorical＿crossentropy＂，              optimizer＝keras．optimizers．SGD（lr＝2e－1），              metrics＝［＂accuracy＂］）使用TensorBoard進行可視化TensorBoard是一個很好的交互式可視化工具，你可以使用它查看訓練期間的學習曲線、比較學習曲線、可視化計算圖、分析訓練統計數據、查看模型生成的圖像，可視化復雜的多維數據投影到三維和自動聚類，等等！這個工具是在安裝TensorFlow時自動安裝的，所以你應該已經安裝了。讓我們首先定義將用于TensorBoard日志的根日志目錄，再加上一個小函數，該函數將根據當前時間生成一個子目錄路徑，以便每次運行時它都是不同的。你可能需要在日志目錄名稱中包含額外的信息，例如正在測試的超參數值，以便更容易地了解你在TensorBoard中查看的內容：root＿logdir ＝ os．path．join（os．curdir， ＂my＿logs＂）

def get＿run＿logdir（）：    import time    run＿id ＝ time．strftime（＂run＿％Y＿％m＿％d－％H＿％M＿％S＂）    return os．path．join（root＿logdir， run＿id）
run＿logdir ＝ get＿run＿logdir（） ＃ 例如， ＇．／my＿logs／run＿2020＿07＿31－15＿15＿22＇Keras api提供了一個TensorBoard（）回調函數。TensorBoard（）回調函數負責創(chuàng)建日志目錄，并在訓練時創(chuàng)建事件文件和編寫摘要（摘要是一種二進制數據記錄，用于創(chuàng)建可視化TensorBoard）。每次運行有一個目錄，每個目錄包含一個子目錄，分別用于記錄訓練日志和驗證日志，兩者都包含事件文件，但訓練日志也包含分析跟蹤：這使TensorBoard能夠準確地顯示模型在模型的每個部分（跨越所有設備）上花費了多少時間，這對于查找性能瓶頸非常有用。early＿stopping＿cb ＝ keras．callbacks．EarlyStopping（patience＝20）checkpoint＿cb ＝ keras．callbacks．ModelCheckpoint（＂my＿fashion＿mnist＿model．h5＂， save＿best＿only＝True）tensorboard＿cb ＝ keras．callbacks．TensorBoard（run＿logdir）
history ＝ model．fit（X＿train， y＿train， epochs＝100，                    validation＿data＝（X＿valid， y＿valid），                    callbacks＝［early＿stopping＿cb， checkpoint＿cb， tensorboard＿cb］）接下來，我們需要啟動TensorBoard服務器。我們可以通過運行以下命令在Jupyter中直接執(zhí)行此操作。第一行加載TensorBoard擴展，第二行啟動端口6004上的TensorBoard服務器，并連接到它：％load＿ext tensorboard ％tensorboard — logdir＝．／my＿logs — port＝6004現在你應該可以看到TensorBoard的web界面。單擊“scaler”選項卡以查看學習曲線。在左下角，選擇要可視化的日志（例如，第一次運行的訓練日志），然后單擊epoch＿loss scaler。請注意，在我們的訓練過程中，訓練損失下降得很順利。

你還可以可視化整個圖形、學習的權重（投影到3D）或分析軌跡。TensorBoard（）回調函數也有記錄額外數據的選項，例如NLP數據集的嵌入。這實際上是一個非常有用的可視化工具。結論在這里我們得到了88％的準確率，這是我們可以達到的最好的深度MLP。如果我們想進一步提高性能，我們可以嘗試卷積神經網絡（CNN），它對圖像數據非常有效。

就我們的目的而言，這就足夠了。我們學會了如何：使用Keras的Sequential API構建深度mlp。通過按指數增長學習率，繪制損失圖，并找到損失重新出現的點，來找到最佳學習率。構建深度學習模型時的最佳實踐，包括使用回調和使用TensorBoard可視化學習曲線。如果你想在這里看到ppt或jupyterNotebook中完整的代碼和說明，請隨時查看Github存儲庫：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices。