Notice
Recent Posts
Recent Comments
Link
๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กํ™œ์„ฑํ™” ํ•จ์ˆ˜ ๊ณ„์ธต ๊ตฌํ˜„ (1)

KoreanFoodie's Study

๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ 5๊ฐ• 2๋ถ€, ํ™œ์„ฑํ™” ํ•จ์ˆ˜ ๊ณ„์ธต ๊ตฌํ˜„, Affine/Softmax ๊ณ„์ธต ๊ตฌํ˜„, ์˜ค์ฐจ์—ญ์ „ํŒŒ๋ฒ• ๊ตฌํ˜„ - ๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹

ํ•ด๋‹น ํฌ์ŠคํŒ…์€ ํ•œ๋น› ๋ฏธ๋””์–ด์—์„œ ์ถœํŒํ•œ '๋ฐ‘๋ฐ”๋‹ฅ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹'์ด๋ผ๋Š” ๊ต์žฌ์˜ ๋‚ด์šฉ์„ ๋”ฐ๋ผ๊ฐ€๋ฉฐ ๋”ฅ๋Ÿฌ๋‹ ํŠœํ† ๋ฆฌ์–ผ์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ด€๋ จ ์ž๋ฃŒ๋Š” ์—ฌ๊ธฐ์—์„œ ์ฐพ๊ฑฐ๋‚˜ ๋‹ค์šด๋กœ๋“œ ๋ฐ›์œผ์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ™œ์„ฑํ™” ํ•จ์ˆ˜ ๊ณ„์ธต ๊ตฌํ˜„ํ•˜๊ธฐ ์ด์ œ ๊ณ„์‚ฐ ๊ทธ๋ž˜ํ”„๋ฅผ ์‹ ๊ฒฝ๋ง์— ์ ์šฉํ•ด ๋ณด์ž. ์šฐ์„ ์€ ํ™œ์„ฑํ™” ํ•จ์ˆ˜์€ ReLU์™€ Sigmoid ๊ณ„์ธต์„ ๊ตฌํ˜„ํ•ด ๋ณด์ž. ReLU ๊ณ„์ธต ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋กœ ์ƒ์š”๋˜๋Š” ReLU์˜ ์ˆ˜์‹์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. ์œ„ ์‹์—์„œ x์— ๋Œ€ํ•œ y์˜ ๋ฏธ๋ถ„์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. ์œ„ ์‹๊ณผ ๊ฐ™์ด ์ˆœ์ „ํŒŒ ๋•Œ์˜ ์ž…๋ ฅ์ธ x๊ฐ€ 0๋ณด๋‹ค ํฌ๋ฉด ์—ญ์ „ํŒŒ๋Š” ์ƒ๋ฅ˜์˜ ๊ฐ’์„ ๊ทธ๋Œ€๋กœ ํ•˜๋ฅ˜๋กœ ํ˜๋ฆฐ๋‹ค. ๋ฐ˜๋ฉด, ์ˆœ์ „ํŒŒ ๋•Œ x๊ฐ€ 0 ์ดํ•˜๋ฉด ์—ญ์ „ํŒŒ ๋•Œ๋Š” ํ•˜๋ฅ˜๋กœ ์‹ ํ˜ธ๋ฅผ ๋ณด๋‚ด์ง€ ์•Š๋Š”๋‹ค(0์„ ๋ณด๋‚ธ๋‹ค). ๊ณ„์‚ฐ ๊ทธ๋ž˜ํ”„๋กœ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ทธ๋ฆด ์ˆ˜ ์žˆ๋‹ค. ์ด์ œ ์ด ReLU ๊ณ„์ธต์„ ๊ตฌํ˜„ํ•ด..