Hyperparameter Optimization

Hyperparameter Optimization

Cross-validation


trainng λ°μ΄ν„°λ‘œ ν•™μŠ΅ν•˜κ³ , validation set으둜 ν‰κ°€ν•˜λŠ” 방법이닀. μ²˜μŒμ—λŠ” epochλ₯Ό λͺ‡ 번만 돌렀 λŒ€λž΅μ μΈ λ²”μœ„λ₯Ό μ„€μ •ν•˜κ³ , μ–΄λŠμ •λ„ 윀곽이 작히면 ν•™μŠ΅μ„ 더 μ˜€λž˜μ‹œν‚€λŠ” μ‹μœΌλ‘œ κ΅¬ν˜„ν•œλ‹€.
Β 
notion image

Grid search

νƒμƒ‰μ˜ λŒ€μƒμ΄ λ˜λŠ” νŠΉμ • κ΅¬κ°„μ˜ hyperparameter 값듀을 λ“±κ°„κ²©μœΌλ‘œ μ„ μ •ν•˜μ—¬, 이듀 각각에 λŒ€ν•˜μ—¬ μΈ‘μ •ν•œ μ„±λŠ₯ κ²°κ³Όλ₯Ό κΈ°λ‘ν•œ λ’€, κ°€μž₯ 높은 μ„±λŠ₯을 λ°œνœ˜ν–ˆλ˜ hyperparameter 값을 μ„ μ •ν•˜λŠ” 방법이닀. ν•˜μ§€λ§Œ νŠΉμ •λΆ€λΆ„μ˜ parameterκ°€ λ¬΄μ‹œλ  수 있기 λ•Œλ¬Έμ— random search 방법이 μ„ ν˜Έλœλ‹€.
Β 

Random search

νƒμƒ‰μ˜ λŒ€μƒμ΄ λ˜λŠ” νŠΉμ • κ΅¬κ°„μ˜ hyperparameter 값듀을 랜덀 μƒ˜ν”Œλ§(sampling)을 톡해 μ„ μ •ν•œλ‹€. λΆˆν•„μš”ν•œ 반볡 μˆ˜ν–‰ 횟수λ₯Ό 쀄이고 λ™μ‹œμ— μ •ν•΄μ§„ 간격 사이에 μœ„μΉ˜ν•œ 값듀에 λŒ€ν•΄μ„œλ„ ν™•λ₯ μ μœΌλ‘œ 탐색이 κ°€λŠ₯ν•˜λ‹€.
Β