Softmax

Softmax

ย 

๊ฐœ๋…

๐Ÿฅ‘
: ๋ถ„๋ฅ˜๊ธฐ๋ฅผ ํ†ตํ•ด ์˜ˆ์ธกํ•œ ๊ฐ ํด๋ž˜์Šค ๋ณ„ score : ํ•ด๋‹น ํด๋ž˜์Šค์˜ ์ •๋‹ต score
ย 
  • ์Šค์ฝ”์–ด๋ฅผ ๋กœ ๋ฐ”๊พธ์–ด ์–‘์ˆ˜๋กœ ๋งŒ๋“ ๋‹ค.
  • ์ด ์ˆ˜๋“ค์˜ ํ•ฉ์„ ๋ถ„๋ชจ๋กœ ํ•˜์—ฌ ๋‚˜๋ˆ„์–ด ์ฃผ๋ฉด ์ •๊ทœํ™”๊ฐ€ ๋˜๊ณ  0~1 ์‚ฌ์ด์˜ ํ™•๋ฅ ์ด ๋‚˜์˜จ๋‹ค.
  • ๋งˆ์ง€๋ง‰์œผ๋กœ -Log ์—ฐ์‚ฐ์„ ์ทจํ•ด ์ตœ์ข… Loss๋ฅผ ๊ตฌํ•œ๋‹ค.
ย 
๐Ÿฅ‘
์ •๋‹ต ํด๋ž˜์Šค์— ํ•ด๋‹นํ•˜๋Š” ํด๋ž˜์Šค์˜ ํ™•๋ฅ ์ด 1์— ๊ฐ€๊น๊ฒŒ ๊ณ„์‚ฐ๋˜๊ธฐ ์›ํ•˜๊ธฐ ๋•Œ๋ฌธ์— -Log๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค. ๊ทธ๋ž˜ํ”„๋ฅผ ๋ณด๋ฉด x์ถ•์„ ํ™•๋ฅ , y์ถ•์„ loss ๋ผ๊ณ  ์ƒ๊ฐํ–ˆ์„ ํ™•๋ฅ ์ด 1์— ๊ฐ€๊นŒ์›Œ์งˆ์ˆ˜๋ก loss๊ฐ€ 0์— ๊ฐ€๊นŒ์›Œ์ง€๋Š” ๊ฒƒ์„ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ๋‹ค.
ย 

Example

notion image
ย 
๐Ÿฅ‘
๊ณ ์–‘์ด ์ด๋ฏธ์ง€๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” ๊ฒฝ์šฐ score ๊ฐ’์ธ 3.2์— ์ง€์ˆ˜๋ฅผ ์ทจํ•ด 24.5๋ผ๋Š” ๊ฐ’์„ ๊ตฌํ•˜๊ณ , ์ง€์ˆ˜ํ™” ํ•œ ๋ชจ๋“  ์นดํ…Œ๊ณ ๋ฆฌ ๊ฐ’๋“ค์„ ๋”ํ•ด ๋ถ„๋ชจ๋กœ ์ทจํ•œ ํ›„ ๋‚˜๋ˆ ์ฃผ์–ด ์ •๊ทœํ™”๋ฅผ ํ•˜๊ฒŒ ๋˜๋ฉด 0.13์˜ ๊ฐ’์„ ์–ป๋Š”๋‹ค. ์ด ๊ฐ’์— -Log ์—ฐ์‚ฐ์„ ์ทจํ•ด ์ตœ์ข… Loss์ธ 0.89๋ฅผ ๊ตฌํ•œ๋‹ค.
ย