๋ชฉ๋กReLU (1)
KoreanFoodie's Study

ํด๋น ํฌ์คํ ์ ํ๋น ๋ฏธ๋์ด์์ ์ถํํ '๋ฐ๋ฐ๋ฅ๋ถํฐ ์์ํ๋ ๋ฅ๋ฌ๋'์ด๋ผ๋ ๊ต์ฌ์ ๋ด์ฉ์ ๋ฐ๋ผ๊ฐ๋ฉฐ ๋ฅ๋ฌ๋ ํํ ๋ฆฌ์ผ์ ์งํํ๊ณ ์์ต๋๋ค. ๊ด๋ จ ์๋ฃ๋ ์ฌ๊ธฐ์์ ์ฐพ๊ฑฐ๋ ๋ค์ด๋ก๋ ๋ฐ์ผ์ค ์ ์์ต๋๋ค. ํผ์ ํธ๋ก ์์ ์ ๊ฒฝ๋ง์ผ๋ก ์ ๊ฒฝ๋ง์ ์ ์ ๊ฒฝ๋ง์ ๊ทธ๋ฆผ์ผ๋ก ๋ํ๋ธ ์์๋ฅผ ๋ณด์. Input์ด๋ผ๊ณ ํ์๋ ๊ฒ์ ์ ๋ ฅ์ธต, ๋งจ ์ค๋ฅธ์ชฝ ์ค(Output)์ ์ถ๋ ฅ์ธต, ์ค๊ฐ ์ธต(Hidden)์ ์๋์ธต์ด๋ผ๊ณ ํ๋ค. ์๋์ธต์ ๋ด๋ฐ์ ์ฌ๋ ๋์๋ ๋ณด์ด์ง ์๋๋ค. 0์ธต์ ์ ๋ ฅ์ธต, 1์ธต์ด ์๋์ธต, 2์ธต์ด ์ถ๋ ฅ์ธต์ด ๋๋ค. ํผ์ ํธ๋ก ๋ณต์ต ๊ธฐ์กด ํผ์ ํธ๋ก ์ ์ด๋ฐ ๊ตฌ์กฐ๋ฅผ ํ๊ณ ์๋ค. # ์ : y = 0 (b + w1x1 + w2x2 0) ์ฌ๊ธฐ์ b๋ ํธํฅ์ ๋ํ๋ด๋ ๋งค๊ฐ๋ณ์๋ก, ๋ด๋ฐ์ด ์ผ๋ง๋ ์ฝ๊ฒ ํ์ฑํ๋๋๋๋ฅผ ์ ์ดํ๋ค. ํํธ, w1๊ณผ w2๋ ๊ฐ..