Notice
Recent Posts
Recent Comments
Link
๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก์ „์ฒด ๊ธ€ (1104)

KoreanFoodie's Study

์„์ง€๋กœ ๋ง›์ง‘ : ์šฉ๊ฐ•์‹๋‹น, ์„์ง€๋กœ 4๊ฐ€์—ญ ๋ง›์ง‘, ์ข…๋กœ ๋ง›์ง‘, ์ถฉ๋ฌด๋กœ ๋ง›์ง‘

์ถฉ๋ฌด๋กœ-์„์ง€๋กœ 4๊ฐ€์—ญ ์‚ฌ์ด ๊ณจ๋ชฉ์—๋Š” LA๊ฐˆ๋น„ ์Œ์‹์ ๋“ค์ด ๋งŽ๋‹ค. ๊ทธ ์ค‘ ๋ง›์ง‘์œผ๋กœ ์œ ๋ช…ํ•œ LA๊ฐˆ๋น„์ง‘์ด ์žˆ๋‹ค! ์ž๋ฆฌ๊ฐ€ ๋งŽ์ง€ ์•Š์•„ 30๋ถ„์€ ๊ธฐ๋‹ค๋ ธ๋‹คใ… ใ…  ์šฉ๊ฐ•์‹๋‹น ์œ„์น˜ : ์„์ง€๋กœ 4๊ฐ€์—ญ 10๋ฒˆ ์ถœ๊ตฌ ๋‚˜์™€์„œ ์šฐ์ฒด๊ตญ ์•ž์—์„œ ์ขŒํšŒ์ „, ํ˜น์€ ์ถฉ๋ฌด๋กœ์—ญ 8๋ฒˆ ์ถœ๊ตฌ ๋‚˜์™€์„œ ์ขŒํšŒ์ „ ๋‘ ๋ช…์ด์„œ ์˜ค๋ฉด LA๊ฐˆ๋น„ ๋Œ€ 1๊ฐœ์™€ ์˜ค์‚ผ๋ถˆ๊ณ ๊ธฐ 1๊ฐœ(์‹์‚ฌ)๋ฅผ ์‹œํ‚จ๋‹ค๊ณ  ํ•œ๋‹ค! ํ…Œ์ด๋ธ”์ด ๋”ฑ 4๊ฐœ๋‹คใ…‹ใ…‹ ๋“œ๋””์–ด ๋‚˜์˜จ LA๊ฐˆ๋น„ ๋Œ€์ž. ํ›„.. ๊ธฐ๋‹ค๋ ธ๋‹ค ์š”๋†ˆ. ๊ธฐ๋…์œผ๋กœ ํ•œ ์ปท ๋”! ์‚ฌ์ง„ ํ•„ํ„ฐ ๊ทนํ˜์ด๋„ค. ๋Œ€์ถฉ ๋ง›์žˆ๊ฒŒ ๋ณด์ธ๋‹ค. ์˜ค์‚ผ ๋ถˆ๊ณ ๊ธฐ ๋น„๋น”๋ฐฅ! ๊ณ„๋ž€์„ ํ†ก ํ„ฐํŠธ๋ ค ๋น„๋ฒผ ๋จน์œผ๋ฉด ๋œ๋‹ค! ๋ฐฅ์— ๊ณ ๊ธฐ ํ•œ์  ์˜ฌ๋ฆฌ๋ฉด ํฌ~ ์ถ”๊ฐ€๋กœ LA๊ฐˆ๋น„ ๋Œ€์ž๋ฅผ ํ•˜๋‚˜ ๋” ์‹œ์ผฐ๋‹คใ…‹ใ…‹ ๋จน๊ธฐ ์ข‹๊ฒŒ ๋ฐœ๋ผ์ฃผ์…”์„œ ํŽธํ•˜๊ฒŒ ๋จน์—ˆ๋‹คใ…‹ใ…‹ ์‚ฌ์žฅ๋‹˜๋„ ์‚ด์ฝ”๊ธฐ ๋งŽ์€ ๋ถ€์œ„๋กœ ์‹ ๊ฒฝ์จ ์ฃผ์…”์„œ ๋„ˆ๋ฌด ๊ฐ์‚ฌํ–ˆ๋˜ ๊ณณ, ์šฉ๊ฐ•..

๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ 6-2๊ฐ•, ๋ฐฐ์น˜ ์ •๊ทœํ™”, ์˜ค๋ฒ„ํ”ผํŒ…, ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ์ตœ์ ํ™” - ๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹

ํ•ด๋‹น ํฌ์ŠคํŒ…์€ ํ•œ๋น› ๋ฏธ๋””์–ด์—์„œ ์ถœํŒํ•œ '๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹'์ด๋ผ๋Š” ๊ต์žฌ์˜ ๋‚ด์šฉ์„ ๋”ฐ๋ผ๊ฐ€๋ฉฐ ๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ด€๋ จ ์ž๋ฃŒ๋Š” ์—ฌ๊ธฐ์—์„œ ์ฐพ๊ฑฐ๋‚˜ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์œผ์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐฐ์น˜ ์ •๊ทœํ™” ์ด์ „ ํฌ์ŠคํŒ…์—์„œ, ๊ฐ€์ค‘์น˜์˜ ์ดˆ๊นƒ๊ฐ’์„ ์ ์ ˆํžˆ ์„ค์ •ํ•˜๋ฉด ๊ฐ ์ธต์˜ ํ™œ์„ฑํ™”๊ฐ’ ๋ถ„ํฌ๊ฐ€ ์ ๋‹นํžˆ ํผ์ง€๋ฉด์„œ ํ•™์Šต์ด ์›ํ™œํ•˜๊ฒŒ ์ˆ˜ํ–‰๋จ์„ ๋ฐฐ์› ๋‹ค. ๊ทธ๋ ‡๋‹ค๋ฉด ๊ฐ ์ธต์ด ํ™œ์„ฑํ™”๋ฅผ ์ ๋‹นํžˆ ํผ๋œจ๋ฆฌ๋„๋ก '๊ฐ•์ œ'ํ•  ์ˆ˜๋„ ์žˆ์„๊นŒ? ์‹ค์€ ๋ฐฐ์น˜ ์ •๊ทœํ™”(Batch Normalization)๊ฐ€ ๊ทธ๋Ÿฐ ์•„์ด๋””์–ด์—์„œ ์ถœ๋ฐœํ•œ ๋ฐฉ๋ฒ•์ด๋‹ค! ๋ฐฐ์น˜ ์ •๊ทœํ™” ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ฐฐ์น˜ ์ •๊ทœํ™”๋Š” 2015๋…„์— ๋‚˜์˜จ ๊ธฐ๋ฒ•์ž„์—๋„ ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๊ณ  ์žˆ๋Š” ๋ฐฉ์‹์ด๋‹ค. ๋ฐฐ์น˜ ์ •๊ทœํ™”๊ฐ€ ์ฃผ๋ชฉ๋ฐ›๋Š” ์ด์œ ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. - ํ•™์Šต์„ ๋นจ๋ฆฌ ์ง„ํ–‰ํ•  ์ˆ˜ ์žˆ๋‹ค(ํ•™์Šต ์†๋„ ๊ฐœ์„ ). - ์ดˆ๊นƒ๊ฐ’์— ํฌ๊ฒŒ ์˜์กดํ•˜์ง€..

์ž ์‹ค์ƒˆ๋‚ด ๋ง›์ง‘ : ๋Œ€ํ•œ์—ฐ์–ด ๋งŒ์„ธ, ์ž ์‹ค์ƒˆ๋‚ด์—ญ ์ดˆ๋ฐฅ ๋ง›์ง‘, ์‹ ์ฒœ ๋ง›์ง‘, ๋ฐฉ์ด๋™ ๋จน์ž๊ณจ๋ชฉ

์ž ์‹ค์ƒˆ๋‚ด์—ญ ๊ทผ์ฒ˜์—์„œ ์ดˆ๋ฐฅ์„ ๋จน์œผ๋ ค๊ณ  ๋ง›์ง‘์„ ์ฐพ๋‹ค๊ฐ€, ์—ฐ์–ด๋ฅผ ์ข‹์•„ํ•˜๋Š” ์นœ๊ตฌ๋ฅผ ์œ„ํ•ด ์—ฐ์–ด๋ฅผ ์ „๋ฌธ์œผ๋กœ ํŒ๋งคํ•˜๋Š” ๊ณณ์„ ๋“ค๋ €๋‹คใ…‹ใ…‹๋Œ€ํ•œ์—ฐ์–ด ๋งŒ์„ธ ์‹ ์ฒœ๋ณธ์  ์œ„์น˜ : ์ž ์‹ค์ƒˆ๋‚ด์—ญ 3๋ฒˆ ์ถœ๊ตฌ ๋‚˜์™€์„œ ๋ธ”๋ก์—์„œ ์šฐํšŒ์ „๋Œ€ํ‘œ ์‚ฌ์‹œ๋ฏธ ๋ฉ”๋‰ด๋ฅผ ๋”ฐ๋กœ ์ ์–ด๋‘์…จ๋‹คใ…‹ใ…‹์ „์ฒด ๋ฉ”๋‰ดํŒ! ๋‚˜๋Š” ์—ฐ์–ด+๊ด‘์–ด์ดˆ๋ฐฅ(15000์›, 15ํ”ผ์Šค)์„, ์นœ๊ตฌ๋Š” ์—ฐ์–ด์ดˆ๋ฐฅ(10000์›, 11ํ”ผ์Šค)๋ฅผ ์‹œ์ผฐ๋‹ค.์ฐจ๋ถ„ํ•œ ํ†ค์˜ ๊ฐ€๊ฒŒ.์ƒ๋Ÿฌ๋“œ๋ถ€ํ„ฐ ์ฃผ์‹ ๋‹ค.์นœ๊ตฌ์˜ ์—ฐ์–ด ์ดˆ๋ฐฅ. ์ƒ๊ฐ๋ณด๋‹ค๋Š” ํฌ๊ธฐ๊ฐ€ ๊ทธ๋ฆฌ ํฌ์ง€๋Š” ์•Š๋‹คใ…‹ใ…‹๋‚ด๊ฐ€ ์‹œํ‚จ ์—ฐ์–ด+๊ด‘์–ด ์ดˆ๋ฐฅ. ์–‘์ด ๋งŽ์ง€๋Š” ์•Š์€๋ฐ, ๋‚˜๋Š” ์ ๋‹นํ–ˆ๋‹คใ…‹ใ…‹์นœ๊ตฌ๊ฐ€ ์‹œํ‚จ ๋Œ€ํฌ(4000์›). ์ ๋‹นํžˆ ๋ง›๋‚œ ์‚ฌ์ผ€๋‹ค.๋งฅ์ฃผ๋„ 4000์›.์„œ๋น„์Šค๋กœ ๊ตด์„ ์ฃผ์…จ๋‹คใ…‹ใ…‹์ œ์ผ ์ž˜ ํŒ”๋ฆฐ๋‹ค๊ณ  ์ ์–ด๋†“์œผ์‹ , ์—ฐ์–ด ์‚ฌ์‹œ๋ฏธ(20000์›)!์š”๊ฑด ์ธ์ •ํ•œ๋‹คใ…Žใ…Ž ๋ถ€๋“œ๋Ÿฝ๊ณ  ๋ง›๋‚ฌ๋‹ค. ํ•œ 4์  ์ •๋„ ์ค„ ์ƒ๊ฐ..

๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ 6-1๊ฐ•, SGD, ๋ชจ๋ฉ˜ํ…€, AdaGrad, Adam, ๊ฐ€์ค‘์น˜ ์ดˆ๊ธฐ๊ฐ’ ์„ค์ • - ๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹

ํ•ด๋‹น ํฌ์ŠคํŒ…์€ ํ•œ๋น› ๋ฏธ๋””์–ด์—์„œ ์ถœํŒํ•œ '๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹'์ด๋ผ๋Š” ๊ต์žฌ์˜ ๋‚ด์šฉ์„ ๋”ฐ๋ผ๊ฐ€๋ฉฐ ๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ด€๋ จ ์ž๋ฃŒ๋Š” ์—ฌ๊ธฐ์—์„œ ์ฐพ๊ฑฐ๋‚˜ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์œผ์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋งค๊ฐœ๋ณ€์ˆ˜ ๊ฐฑ์‹  ์‹ ๊ฒฝ๋ง ํ•™์Šต์˜ ๋ชฉ์ ์€ ์†์‹ค ํ•จ์ˆ˜์˜ ๊ฐ’์„ ๊ฐ€๋Šฅํ•œ ํ•œ ๋‚ฎ์ถ”๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ์ฐพ๋Š” ๊ฒƒ์ด๋‹ค. ์ด๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜์˜ ์ตœ์ ๊ฐ’์„ ์ฐพ๋Š” ๋ฌธ์ œ์ด๋ฉฐ, ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ‘ธ๋Š” ๊ฒƒ์„ ์ตœ์ ํ™”(optimization)๋ผ๊ณ  ํ•œ๋‹ค. ์šฐ๋ฆฌ๋Š” ์ง€๊ธˆ๊นŒ์ง€ ๋งค๊ฐœ๋ณ€์ˆ˜์˜ ๊ธฐ์šธ๊ธฐ(๋ฏธ๋ถ„)์„ ์ด์šฉํ•ด ๊ธฐ์šธ์–ด์ง„ ๋ฐฉํ–ฅ์œผ๋กœ ๋งค๊ฐœ๋ณ€์ˆ˜ ๊ฐ’์„ ๊ฐฑ์‹ ํ•˜๋Š” ์ผ์„ ๋ฐ˜๋ณตํ•ด ์ตœ์ ํ™”๋ฅผ ์ง„ํ–‰ํ–ˆ๋‹ค. ์ด๊ฒƒ์ด ํ™•๋ฅ ์  ๊ฒฝ์‚ฌ ํ•˜๊ฐ•๋ฒ•(SGD)์ด๋ผ๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. SGD๋Š” ๋‹จ์ˆœํ•˜์ง€๋งŒ, SGD๋ณด๋‹ค ๋˜‘๋˜‘ํ•œ ๋ฐฉ๋ฒ•๋„ ์žˆ๋‹ค. ์ง€๊ธˆ๋ถ€ํ„ฐ SGD์˜ ๋‹จ์ ์„ ์•Œ์•„๋ณด๊ณ , SGD์™€๋Š” ๋‹ค๋ฅธ ์ตœ์ ํ™” ๊ธฐ๋ฒ•์„ ์•Œ์•„๋ณด๋„๋ก ํ•˜๊ฒ ๋‹ค!..

์ฒœํ˜ธ ๋ง›์ง‘ : ๋ช…๋ฅœ์ง„์‚ฌ๊ฐˆ๋น„, ์ฒœํ˜ธ์—ญ ๋ง›์ง‘

์ฒœํ˜ธ์—ญ์— ํ•ญ์ƒ ์‚ฌ๋žŒ๋“ค์ด ๋ถ์ ๋ถ์ ํ•œ ๋ผ์ง€๊ฐˆ๋น„ ๋ง›์ง‘์ด ์žˆ๋‹ค. ๊ทธ๊ฑด ๋ฐ”๋กœ.. ๋ช…๋ฅœ์ง„์‚ฌ๊ฐˆ๋น„! ์ด๋ฏธ ์ฒด์ธ์ ์œผ๋กœ ์—„์ฒญ ์œ ๋ช…ํ•œ ๊ณณ์ด๊ธด ํ•˜๋‹คใ…‹ใ…‹ ์ง€์ ์— ๋”ฐ๋ผ ํ€„๋ฆฌํ‹ฐ๊ฐ€ ๋‹ค๋ฅด๋‹ค๋˜๋ฐ, ์ฒœํ˜ธ์ ์€ ์ƒ๋‹นํžˆ ๋งŒ์กฑํ•˜๊ณ  ๋จน์—ˆ๋‹คใ…‹ใ…‹๋ช…๋ฅœ์ง„์‚ฌ๊ฐˆ๋น„ ์ฒœํ˜ธ ์œ„์น˜ : ์ฒœํ˜ธ์—ญ 5๋ฒˆ ์ถœ๊ตฌ ๋‚˜์™€์„œ ๋กœ๋ฐ์˜ค๊ฑฐ๋ฆฌ ๊ฑท๋‹ค๊ฐ€ ์™ผ์ชฝ์— ์œ„์น˜.์„คํ˜„์ด๋ž‘ ์ตœํ˜„์„์ด ํ™๋ณดํ•œ ๊ฒƒ์œผ๋กœ ์œ ๋ช…ํ•œ ๋ช…๋ฅœ์ง„์‚ฌ๊ฐˆ๋น„ใ…‹ใ…‹์ด์šฉ์‹œ๊ฐ„์€ 100๋ถ„์ธ๋ฐ, ์†”์งํžˆ 30-40๋ถ„์ด๋ฉด ์ถฉ๋ถ„ํ•˜๋‹คใ…‹ใ…‹๋ฆฌํ•„์„ ์‹œํ‚ค๋ฉด ๊ฐˆ๋น„ 2๋Œ€์”ฉ ๋ฆฌํ•„ํ•ด์ค€๋‹ค!์…€ํ”„์ฝ”๋„ˆ. ๋ฐฅ๊ณผ ์Œ๋ฃŒ์ˆ˜๋„ ์ „๋ถ€ ๋ฌดํ•œ๋ฆฌํ•„์ด๋‹ค!!ํ•ญ์ƒ ๋งŒ์›์ด๋‹ค.๋‚˜๋Š” ์–‘ํŒŒ ํ‚ฌ๋Ÿฌ๋ผ์„œ, 2-3๊ทธ๋ฆ‡์€ ๋จน๋Š”๋‹ค..ใ…‹ใ…‹๋…ธ๋ฆ‡ํ•˜๊ฒŒ ์ต์–ด๊ฐ€๋Š” ๋ผ์ง€๊ฐˆ๋น„.์ „์ฒด์ƒท๋จน์–ด๋„ ๋จน์–ด๋„ ๊ณ„์† ๋“ค์–ด๊ฐ„๋‹ค.. ๊ฐ€๊ฒฉ์€ 13500์›์œผ๋กœ, ํ•ฉ๋ฆฌ์ ์ธ ํŽธ์ด๋‹ค!

๊ฐ•๋‚จ์—ญ ๋ง›์ง‘ : ์ƒํ™œ๋งฅ์ฃผ, ๊ฐ•๋‚จ์—ญ ๊ฐ€์„ฑ๋น„ ์ˆ ์ง‘, ๊ฐ•๋‚จ์—ญ ๋งฅ์ฃผ์ง‘

๊ฐ•๋‚จ์—ญ์— ์‹ผ ๊ฐ’์œผ๋กœ ๋งฅ์ฃผ์™€ ์•ˆ์ฃผ๋ฅผ ๋จน์„ ์ˆ˜ ์žˆ๋Š” ๊ณณ์ด ์žˆ๋‹ค. ๋ฐ”๋กœ ์ƒํ™œ๋งฅ์ฃผ! ๊ฐ•๋‚จ์—ญ ๊ฐ€์„ฑ๋น„ ๋งฅ์ฃผ์ง‘์œผ๋กœ ๊ฐ•์ถ”ํ•œ๋‹ค!!์ƒํ™œ๋งฅ์ฃผ ๊ฐ•๋‚จ์—ญ์  ์œ„์น˜ : ๊ฐ•๋‚จ์—ญ 4๋ฒˆ ์ถœ๊ตฌ ๋‚˜์™€์„œ ๋ธ”๋Ÿญ์—์„œ ์ขŒํšŒ์ „ ๊ฐ€๊ฒŒ์˜ ์™ธ๊ด€. ์ปจ์…‰์ด ์•ฝ๊ฐ„ ๋‹จ๋…์ฃผํƒ์ด๋‹คใ…‹ใ…‹์˜คํ”ˆํ‚ค์นœ?๋‚˜๋Š” ์ง„์งœ 500(๋ ˆ๋“œ๋ฝ)์„ ์‹œ์ผฐ๋‹คใ…‹ใ…‹์ธ์Šคํƒ€์— ์—ฌ๊ธฐ ์˜จ ์‚ฌ์ง„์„ ์˜ฌ๋ฆฌ๋ฉด ์˜ค๋ฆฌ์ง€๋„ ๊ฐ์žํŠ€๊น€์„ ๊ณต์งœ๋กœ ์ค€๋‹ค! ๋ฌด์กฐ๊ฑด ์ธ์Šคํƒ€์— ์˜ฌ๋ ค์•ผ ํ•œ๋‹ค!์‚ฌ๋žŒ์ด ํ•ญ์ƒ ๋ฐ”๊ธ€๋ฐ”๊ธ€ํ•˜๋‹คใ…‹ใ…‹์ผํ–‰์ด ์‹œํ‚จ ํ‘๋งฅ์ฃผ(7000์›)๋‚ด๊ฐ€ ์‹œํ‚จ ๋ ˆ๋“œ๋ฝ(5000์›)์ง ~๊ฐํŠ€์†Œ์Šค๋“คใ…‹ใ…‹์„œ๋น„์Šค๋กœ ๋ฐ›์€ ์˜ค๋ฆฌ์ง€๋„ ๊ฐํŠ€ใ…‹ใ…‹ ์–‘์ด ๋Œ€๋ฐ• ๋งŽ๋‹คใ…‹ใ…‹์ถ”๊ฐ€๋กœ ์‹œํ‚จ ์ผ€์ด์ค€ ๊ฐ์žํŠ€๊น€์ง„์งœ ์–‘๋„ ๋งŽ๊ณ  ๊ฒ๋‚˜ ๋ง›์žˆ๋‹ค.. ๊ฐ•๋‚จ์—ญ์—์„œ ๊ฐ€์„ฑ๋น„ ์žˆ๋Š” ๋งฅ์ฃผ์ง‘์„ ์ฐพ๋Š”๋‹ค๋ฉด ๊ฐ•์ถ”ํ•œ๋‹ค!!