๋ชฉ๋ก์ ์ฒด ๊ธ (1104)
KoreanFoodie's Study
๋ณดํธ๋์ด ์๋ ๊ธ์ ๋๋ค.

์ถฉ๋ฌด๋ก-์์ง๋ก 4๊ฐ์ญ ์ฌ์ด ๊ณจ๋ชฉ์๋ LA๊ฐ๋น ์์์ ๋ค์ด ๋ง๋ค. ๊ทธ ์ค ๋ง์ง์ผ๋ก ์ ๋ช ํ LA๊ฐ๋น์ง์ด ์๋ค! ์๋ฆฌ๊ฐ ๋ง์ง ์์ 30๋ถ์ ๊ธฐ๋ค๋ ธ๋คใ ใ ์ฉ๊ฐ์๋น ์์น : ์์ง๋ก 4๊ฐ์ญ 10๋ฒ ์ถ๊ตฌ ๋์์ ์ฐ์ฒด๊ตญ ์์์ ์ขํ์ , ํน์ ์ถฉ๋ฌด๋ก์ญ 8๋ฒ ์ถ๊ตฌ ๋์์ ์ขํ์ ๋ ๋ช ์ด์ ์ค๋ฉด LA๊ฐ๋น ๋ 1๊ฐ์ ์ค์ผ๋ถ๊ณ ๊ธฐ 1๊ฐ(์์ฌ)๋ฅผ ์ํจ๋ค๊ณ ํ๋ค! ํ ์ด๋ธ์ด ๋ฑ 4๊ฐ๋คใ ใ ๋๋์ด ๋์จ LA๊ฐ๋น ๋์. ํ.. ๊ธฐ๋ค๋ ธ๋ค ์๋. ๊ธฐ๋ ์ผ๋ก ํ ์ปท ๋! ์ฌ์ง ํํฐ ๊ทนํ์ด๋ค. ๋์ถฉ ๋ง์๊ฒ ๋ณด์ธ๋ค. ์ค์ผ ๋ถ๊ณ ๊ธฐ ๋น๋น๋ฐฅ! ๊ณ๋์ ํก ํฐํธ๋ ค ๋น๋ฒผ ๋จน์ผ๋ฉด ๋๋ค! ๋ฐฅ์ ๊ณ ๊ธฐ ํ์ ์ฌ๋ฆฌ๋ฉด ํฌ~ ์ถ๊ฐ๋ก LA๊ฐ๋น ๋์๋ฅผ ํ๋ ๋ ์์ผฐ๋คใ ใ ๋จน๊ธฐ ์ข๊ฒ ๋ฐ๋ผ์ฃผ์ ์ ํธํ๊ฒ ๋จน์๋คใ ใ ์ฌ์ฅ๋๋ ์ด์ฝ๊ธฐ ๋ง์ ๋ถ์๋ก ์ ๊ฒฝ์จ ์ฃผ์ ์ ๋๋ฌด ๊ฐ์ฌํ๋ ๊ณณ, ์ฉ๊ฐ..

ํฐ๋ ์์ผ์ ๋ง์ ์๊ตฌ์ฐ์ ๋จน๊ธฐ๋ก ํ๋คใ ใ ํ์์ค ๋ฐ๊ฒฌํ ๋ช ์ผ์ญ ์๊ตฌ์ฐ ๋ง์ง์ ์๊ฐํ๋ค!์๋น ์ฐ ๋ช ์ผ๋๊ฐ์กฑ์ ์์น : ๊ตฝ์๋ค๋ฆฌ์ญ 3๋ฒ ์ถ๊ตฌ ๋์์ ์ฐํ์ ์๋ ๋ฉ๋ดํ์ด๋คใ ใ ์ฐ๋ฆฌ๋ 5์ธ์ด๋ผ์ ์๊ตฌ์ฐ ์ค(45000์)์ ์์ผฐ๋ค! ๊ทผ๋ฐ ํฌ์ฅํ๋ฉด 5000์ ๊น์์ฃผ์ ๋ค..ใ ใ ์ํ๋น๋นํ ์๊ตฌ์ฐ ์ค.ํ.. ๋ง์๊ณ ์คํ๋ค!๋ฐ๋ฐ์ฐฌ. Whatever~

ํด๋น ํฌ์คํ ์ ํ๋น ๋ฏธ๋์ด์์ ์ถํํ '๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ๋ฅ๋ฌ๋'์ด๋ผ๋ ๊ต์ฌ์ ๋ด์ฉ์ ๋ฐ๋ผ๊ฐ๋ฉฐ ๋ฅ๋ฌ๋ ํํ ๋ฆฌ์ผ์ ์งํํ๊ณ ์์ต๋๋ค. ๊ด๋ จ ์๋ฃ๋ ์ฌ๊ธฐ์์ ์ฐพ๊ฑฐ๋ ๋ค์ด๋ก๋ ๋ฐ์ผ์ค ์ ์์ต๋๋ค. ๋ฐฐ์น ์ ๊ทํ ์ด์ ํฌ์คํ ์์, ๊ฐ์ค์น์ ์ด๊น๊ฐ์ ์ ์ ํ ์ค์ ํ๋ฉด ๊ฐ ์ธต์ ํ์ฑํ๊ฐ ๋ถํฌ๊ฐ ์ ๋นํ ํผ์ง๋ฉด์ ํ์ต์ด ์ํํ๊ฒ ์ํ๋จ์ ๋ฐฐ์ ๋ค. ๊ทธ๋ ๋ค๋ฉด ๊ฐ ์ธต์ด ํ์ฑํ๋ฅผ ์ ๋นํ ํผ๋จ๋ฆฌ๋๋ก '๊ฐ์ 'ํ ์๋ ์์๊น? ์ค์ ๋ฐฐ์น ์ ๊ทํ(Batch Normalization)๊ฐ ๊ทธ๋ฐ ์์ด๋์ด์์ ์ถ๋ฐํ ๋ฐฉ๋ฒ์ด๋ค! ๋ฐฐ์น ์ ๊ทํ ์๊ณ ๋ฆฌ์ฆ ๋ฐฐ์น ์ ๊ทํ๋ 2015๋ ์ ๋์จ ๊ธฐ๋ฒ์์๋ ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ ๋ฐฉ์์ด๋ค. ๋ฐฐ์น ์ ๊ทํ๊ฐ ์ฃผ๋ชฉ๋ฐ๋ ์ด์ ๋ ๋ค์๊ณผ ๊ฐ๋ค. - ํ์ต์ ๋นจ๋ฆฌ ์งํํ ์ ์๋ค(ํ์ต ์๋ ๊ฐ์ ). - ์ด๊น๊ฐ์ ํฌ๊ฒ ์์กดํ์ง..

์ ์ค์๋ด์ญ ๊ทผ์ฒ์์ ์ด๋ฐฅ์ ๋จน์ผ๋ ค๊ณ ๋ง์ง์ ์ฐพ๋ค๊ฐ, ์ฐ์ด๋ฅผ ์ข์ํ๋ ์น๊ตฌ๋ฅผ ์ํด ์ฐ์ด๋ฅผ ์ ๋ฌธ์ผ๋ก ํ๋งคํ๋ ๊ณณ์ ๋ค๋ ๋คใ ใ ๋ํ์ฐ์ด ๋ง์ธ ์ ์ฒ๋ณธ์ ์์น : ์ ์ค์๋ด์ญ 3๋ฒ ์ถ๊ตฌ ๋์์ ๋ธ๋ก์์ ์ฐํ์ ๋ํ ์ฌ์๋ฏธ ๋ฉ๋ด๋ฅผ ๋ฐ๋ก ์ ์ด๋์ จ๋คใ ใ ์ ์ฒด ๋ฉ๋ดํ! ๋๋ ์ฐ์ด+๊ด์ด์ด๋ฐฅ(15000์, 15ํผ์ค)์, ์น๊ตฌ๋ ์ฐ์ด์ด๋ฐฅ(10000์, 11ํผ์ค)๋ฅผ ์์ผฐ๋ค.์ฐจ๋ถํ ํค์ ๊ฐ๊ฒ.์๋ฌ๋๋ถํฐ ์ฃผ์ ๋ค.์น๊ตฌ์ ์ฐ์ด ์ด๋ฐฅ. ์๊ฐ๋ณด๋ค๋ ํฌ๊ธฐ๊ฐ ๊ทธ๋ฆฌ ํฌ์ง๋ ์๋คใ ใ ๋ด๊ฐ ์ํจ ์ฐ์ด+๊ด์ด ์ด๋ฐฅ. ์์ด ๋ง์ง๋ ์์๋ฐ, ๋๋ ์ ๋นํ๋คใ ใ ์น๊ตฌ๊ฐ ์ํจ ๋ํฌ(4000์). ์ ๋นํ ๋ง๋ ์ฌ์ผ๋ค.๋งฅ์ฃผ๋ 4000์.์๋น์ค๋ก ๊ตด์ ์ฃผ์ จ๋คใ ใ ์ ์ผ ์ ํ๋ฆฐ๋ค๊ณ ์ ์ด๋์ผ์ , ์ฐ์ด ์ฌ์๋ฏธ(20000์)!์๊ฑด ์ธ์ ํ๋คใ ใ ๋ถ๋๋ฝ๊ณ ๋ง๋ฌ๋ค. ํ 4์ ์ ๋ ์ค ์๊ฐ..

ํด๋น ํฌ์คํ ์ ํ๋น ๋ฏธ๋์ด์์ ์ถํํ '๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ๋ฅ๋ฌ๋'์ด๋ผ๋ ๊ต์ฌ์ ๋ด์ฉ์ ๋ฐ๋ผ๊ฐ๋ฉฐ ๋ฅ๋ฌ๋ ํํ ๋ฆฌ์ผ์ ์งํํ๊ณ ์์ต๋๋ค. ๊ด๋ จ ์๋ฃ๋ ์ฌ๊ธฐ์์ ์ฐพ๊ฑฐ๋ ๋ค์ด๋ก๋ ๋ฐ์ผ์ค ์ ์์ต๋๋ค. ๋งค๊ฐ๋ณ์ ๊ฐฑ์ ์ ๊ฒฝ๋ง ํ์ต์ ๋ชฉ์ ์ ์์ค ํจ์์ ๊ฐ์ ๊ฐ๋ฅํ ํ ๋ฎ์ถ๋ ๋งค๊ฐ๋ณ์๋ฅผ ์ฐพ๋ ๊ฒ์ด๋ค. ์ด๋ ๋งค๊ฐ๋ณ์์ ์ต์ ๊ฐ์ ์ฐพ๋ ๋ฌธ์ ์ด๋ฉฐ, ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํธ๋ ๊ฒ์ ์ต์ ํ(optimization)๋ผ๊ณ ํ๋ค. ์ฐ๋ฆฌ๋ ์ง๊ธ๊น์ง ๋งค๊ฐ๋ณ์์ ๊ธฐ์ธ๊ธฐ(๋ฏธ๋ถ)์ ์ด์ฉํด ๊ธฐ์ธ์ด์ง ๋ฐฉํฅ์ผ๋ก ๋งค๊ฐ๋ณ์ ๊ฐ์ ๊ฐฑ์ ํ๋ ์ผ์ ๋ฐ๋ณตํด ์ต์ ํ๋ฅผ ์งํํ๋ค. ์ด๊ฒ์ด ํ๋ฅ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ(SGD)์ด๋ผ๋ ๋ฐฉ๋ฒ์ด๋ค. SGD๋ ๋จ์ํ์ง๋ง, SGD๋ณด๋ค ๋๋ํ ๋ฐฉ๋ฒ๋ ์๋ค. ์ง๊ธ๋ถํฐ SGD์ ๋จ์ ์ ์์๋ณด๊ณ , SGD์๋ ๋ค๋ฅธ ์ต์ ํ ๊ธฐ๋ฒ์ ์์๋ณด๋๋ก ํ๊ฒ ๋ค!..

์ฒํธ์ญ์ ํญ์ ์ฌ๋๋ค์ด ๋ถ์ ๋ถ์ ํ ๋ผ์ง๊ฐ๋น ๋ง์ง์ด ์๋ค. ๊ทธ๊ฑด ๋ฐ๋ก.. ๋ช ๋ฅ์ง์ฌ๊ฐ๋น! ์ด๋ฏธ ์ฒด์ธ์ ์ผ๋ก ์์ฒญ ์ ๋ช ํ ๊ณณ์ด๊ธด ํ๋คใ ใ ์ง์ ์ ๋ฐ๋ผ ํ๋ฆฌํฐ๊ฐ ๋ค๋ฅด๋ค๋๋ฐ, ์ฒํธ์ ์ ์๋นํ ๋ง์กฑํ๊ณ ๋จน์๋คใ ใ ๋ช ๋ฅ์ง์ฌ๊ฐ๋น ์ฒํธ ์์น : ์ฒํธ์ญ 5๋ฒ ์ถ๊ตฌ ๋์์ ๋ก๋ฐ์ค๊ฑฐ๋ฆฌ ๊ฑท๋ค๊ฐ ์ผ์ชฝ์ ์์น.์คํ์ด๋ ์ตํ์์ด ํ๋ณดํ ๊ฒ์ผ๋ก ์ ๋ช ํ ๋ช ๋ฅ์ง์ฌ๊ฐ๋นใ ใ ์ด์ฉ์๊ฐ์ 100๋ถ์ธ๋ฐ, ์์งํ 30-40๋ถ์ด๋ฉด ์ถฉ๋ถํ๋คใ ใ ๋ฆฌํ์ ์ํค๋ฉด ๊ฐ๋น 2๋์ฉ ๋ฆฌํํด์ค๋ค!์ ํ์ฝ๋. ๋ฐฅ๊ณผ ์๋ฃ์๋ ์ ๋ถ ๋ฌดํ๋ฆฌํ์ด๋ค!!ํญ์ ๋ง์์ด๋ค.๋๋ ์ํ ํฌ๋ฌ๋ผ์, 2-3๊ทธ๋ฆ์ ๋จน๋๋ค..ใ ใ ๋ ธ๋ฆํ๊ฒ ์ต์ด๊ฐ๋ ๋ผ์ง๊ฐ๋น.์ ์ฒด์ท๋จน์ด๋ ๋จน์ด๋ ๊ณ์ ๋ค์ด๊ฐ๋ค.. ๊ฐ๊ฒฉ์ 13500์์ผ๋ก, ํฉ๋ฆฌ์ ์ธ ํธ์ด๋ค!

๋๊ตฌ์ญ์ ๋ค๋ฅผ ๋๋ง๋ค ํญ์ ๋จน๋ ๊ตฐ๊ฒ์ง๊ฑฐ๋ฆฌ๊ฐ ์๋ค! ๊ณ ๊ฑด ๋ฐ๋ก ๋ฐ์๋ญ๊ฐ์ ใ ใ ์์น : ๋๋๊ตฌ์ญ ๋ด๋ถ๋ฐ์๋ญ๊ฐ์ ์ ํ๊น์ท์ด ์๋ค! ๊ทธ๋์ ๊ต์ฅํ ๋ด๋ฐฑํ๊ณ , ๋ญ์๋ ๋ณถ์?๊ฐ์ ๋๋์ด ๋๋คใ ใ ๋ก๋ ์ํ๋ฉด ์์ด์ค๋คใ ใ ํ ์ปต๋น 3000์. ์์ ๋นํ๋ฉด ๊ฐ์ฑ๋น๊ฐ ๋งค์ฐ ํ๋ฅญํ๋ค.๋ ๋๋ผํ ๊ฑธ ๋ณ๋ก ์์ข์ํ๋๋ฐ, ์ด์ด ๊ฐ๋์ฐฌ ๋ญ๋ฌ๋ฒ๋ผ๋ฉด ํ๋ฒ์ฏค ์๋ํด๋ณด๊ธธ ๊ถํ๋คใ ใ

์์ฝ : ์ข๋ค. ๊ฑฐ๋ฆฌ์์ ์ค๋๋ ๋ ธ๋๋ฅผ ํ์ด์ค๋ค. ๋ง์ง์ ์๋ค. ๊ฒจ์ธ์๋ ์ถฅ๋ค. ๊ณต์ฐ์ด ์์ผ๋ฉด ํ๋ฒ์ฏค ์ฌ์ง ์ฐ์ผ๋ฌ ๊ฐ๋ณผ๋ง ํ๋ค.๋ฒฝํ๋ค์ ๊ฑด์ง๊ฒ ์ข ์๋ค. ์ฌ์ง ์ฐ๊ธฐ ์ข์ํ๋ฉดใฑใฑํํ๋ฃจ๊ฐ ์งฑ์ด์ง๊ธฐํ๋ชจ์ ๋นต์ ํ๋ ๊ณณ.์์๋ฏธ์ํ์๋ ์ ๊น ํ ์ฅ๋ฉด ๋์์๋ค.ใ ใ ์์๊ฒ ์๊ธด ๋ฐ๊ฐ๋ฃจ ๋ฐ์ฃฝ ๊ตฌ์ด ๊ฑฐ.์ฅ์ฌ ์ ์๋๋๊ฒ ๊ฐ๊ธธ๋, ์ธก์ํ ๋ง์์ ํ๋ ์๋ค.๋นต์ ์์ฌ๊ณ , ์๊ฑฐํธ์ ค๋ผ๋ ์์ด์คํฌ๋ฆผ ํ๋ ์๋ค.

๊ฐ๋จ์ญ์ ์ผ ๊ฐ์ผ๋ก ๋งฅ์ฃผ์ ์์ฃผ๋ฅผ ๋จน์ ์ ์๋ ๊ณณ์ด ์๋ค. ๋ฐ๋ก ์ํ๋งฅ์ฃผ! ๊ฐ๋จ์ญ ๊ฐ์ฑ๋น ๋งฅ์ฃผ์ง์ผ๋ก ๊ฐ์ถํ๋ค!!์ํ๋งฅ์ฃผ ๊ฐ๋จ์ญ์ ์์น : ๊ฐ๋จ์ญ 4๋ฒ ์ถ๊ตฌ ๋์์ ๋ธ๋ญ์์ ์ขํ์ ๊ฐ๊ฒ์ ์ธ๊ด. ์ปจ์ ์ด ์ฝ๊ฐ ๋จ๋ ์ฃผํ์ด๋คใ ใ ์คํํค์น?๋๋ ์ง์ง 500(๋ ๋๋ฝ)์ ์์ผฐ๋คใ ใ ์ธ์คํ์ ์ฌ๊ธฐ ์จ ์ฌ์ง์ ์ฌ๋ฆฌ๋ฉด ์ค๋ฆฌ์ง๋ ๊ฐ์ํ๊น์ ๊ณต์ง๋ก ์ค๋ค! ๋ฌด์กฐ๊ฑด ์ธ์คํ์ ์ฌ๋ ค์ผ ํ๋ค!์ฌ๋์ด ํญ์ ๋ฐ๊ธ๋ฐ๊ธํ๋คใ ใ ์ผํ์ด ์ํจ ํ๋งฅ์ฃผ(7000์)๋ด๊ฐ ์ํจ ๋ ๋๋ฝ(5000์)์ง ~๊ฐํ์์ค๋คใ ใ ์๋น์ค๋ก ๋ฐ์ ์ค๋ฆฌ์ง๋ ๊ฐํใ ใ ์์ด ๋๋ฐ ๋ง๋คใ ใ ์ถ๊ฐ๋ก ์ํจ ์ผ์ด์ค ๊ฐ์ํ๊น์ง์ง ์๋ ๋ง๊ณ ๊ฒ๋ ๋ง์๋ค.. ๊ฐ๋จ์ญ์์ ๊ฐ์ฑ๋น ์๋ ๋งฅ์ฃผ์ง์ ์ฐพ๋๋ค๋ฉด ๊ฐ์ถํ๋ค!!