๐Ÿงฎ ์ž๋™ํ™”๋ฅผ ์œ„ํ•œ ์ฝ”๋“œ๋ฅผ LLM์œผ๋กœ ์™„์ „ํžˆ ๋Œ€์ฒดํ•˜๊ฒŒ ๋  ์‹œ์ ์€ ์–ด๋А๋•Œ๊ฐ€ ๋ ๊นŒ?


ํ•˜๊ณ  ์žˆ๋Š” ์ž‘์—…์œผ๋กœ ๋Œ€๋žต ๊ณ„์‚ฐํ•ด๋ณด๋‹ˆ Llama 70B ์ˆ˜์ค€์˜ ๋ชจ๋ธ์„ 2,000TPS (token/s) ์ •๋„๋กœ ์‚ฌ์šฉ ํ•  ์ˆ˜ ์žˆ์„ ์‹œ์ ์ผ ๋“ฏ.


API์˜ latency๊ฐ€ 300ms ์ดํ•˜๋กœ ๋–จ์–ด์ ธ์•ผ ๋ณธ๊ฒฉ์ ์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ์„ ๊ฒƒ์ธ๋ฐ, JSON Response๊ฐ€ ํ‰๊ท ์ ์œผ๋กœ 300~500ํ† ํฐ ์ •๋„๋ฅผ ์‚ฌ์šฉ(๋ฌผ๋ก  ์ฒœ์ฐจ๋งŒ๋ณ„์ด์ง€๋งŒ)ํ•˜๋‹ˆ๊นŒ, 2,000TPS ์ •๋„๋Š” ๋˜์–ด์•ผ ์ฒซ๋ฒˆ์งธ ํ† ํฐ์ด ๋‚˜์˜ค๊ธฐ๊นŒ์ง€์˜ ์‘๋‹ต์‹œ๊ฐ„์„ ํฌํ•จํ•ด ์ „์ฒด ์‘๋‹ต ์‹œ๊ฐ„์ด 300ms ์ „ํ›„๊ฐ€ ๋  ๊ฒƒ.


๊ทธ๋ฆฌ๊ณ  ์†๋„์™€ ๊ฐ€๊ฒฉ์ด ๊ฑฐ์˜ ๋น„๋ก€ํ•˜๋ฏ€๋กœ, 1M ํ† ํฐ๋‹น ์•ฝ 50~100์› ์ •๋„๊ฐ€ ๋  ์ˆ˜ ์žˆ๊ณ , ๊ทธ๋Ÿฌ๋ฉด 1M โ€˜API ์ฝœโ€™๋‹น ์•ฝ 2~5๋งŒ์›์œผ๋กœ ์–ด๋А์ •๋„ ํ•ฉ๋ฆฌ์ ์ธ ๊ฐ€๊ฒฉ์ด ๋œ๋‹ค.

๋” ๋งŽ์€ ์ฝ˜ํ…์ธ ๋ฅผ ๋ณด๊ณ  ์‹ถ๋‹ค๋ฉด?

๋˜๋Š”

์ด๋ฏธ ํšŒ์›์ด์‹ ๊ฐ€์š”?

2024๋…„ 6์›” 4์ผ ์˜ค์ „ 11:43

๋Œ“๊ธ€ 0

    ํ•จ๊ป˜ ์ฝ์€ ๊ฒŒ์‹œ๋ฌผ

    ๐ŸŒŽ ํ•ด์™ธ์—์„œ ์ผํ•˜๋ฉด ๋ญ๊ฐ€ ์ข‹์„๊นŒ์š”โ“

    ์™ธ๊ตญ์–ด๋ฅผ ์‚ฌ์šฉํ•ด์„œ? ๋ˆ์„ ๋” ๋งŽ์ด ๋ฒŒ์–ด์„œ? ์ƒˆ๋กœ์šด ๊ธฐํšŒ๊ฐ€ ๋งŽ์•„์„œ? ๊ธ€๋กœ๋ฒŒ ๊ฒฝ๋ ฅ์„ ์Œ“์„ ์ˆ˜ ์žˆ์–ด์„œ?

    ... ๋” ๋ณด๊ธฐ

    ์ด๋ ฅ์„œ์— ์“ฐ๋Š” ๊ฒฝํ—˜

    ๏ปฟ

    ... ๋” ๋ณด๊ธฐ

    ๋น„์Šทํ•œ ๊ฒŒ์‹œ๋ฌผ

    ๊ฐ•๋ณ‘์ง„ GS 52g Studio ๊ฐœ๋ฐœ์ž

    aisuite ํŒŒ์ด์ฌ ํŒจํ‚ค์ง€

    ์•ˆํฌ์ˆ˜ ์œ ๋น„์Šคํ†ฐ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

    ์ฑ—์ง€ํ”ผํ‹ฐ๊ฐ€ ์ƒ๊ฒจ๋„ ๊ฐœ๋ฐœ์ž๊ฐ€ ํ•„์š”ํ•œ ์ด์œ ์— ๋Œ€ํ•œ ์ œ ์ƒ๊ฐ์ž…๋‹ˆ๋‹ค

    ํ˜„๊ตฌ๋ง‰ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ์ž

    kotlin + spring ํ”„๋กœ์ ํŠธ์—์„œ SQS ๋กœ ๋ฉ”์„ธ์ง€๋ฅผ ์ „๋‹ฌํ•˜๊ธฐ ์œ„ํ•ด ์ง๋ ฌํ™”๋ฅผ ์ˆ˜ํ–‰ํ•˜๋˜ ๋„์ค‘, ํ•„๋“œ๋ช…์ด ์š”์ƒํ•˜๊ฒŒ ๋ณ€๊ฒฝ(๋งน๊ธ€๋ง)๋˜๋Š” ๋ฌธ์ œ๋ฅผ ๋งˆ์ฃผ์ณค์–ด์š”.

    ๊น€์˜์šฑ SAP France ํ”„๋กœ๋•ํŠธ ๋งค๋‹ˆ์ €

    <10๋ถ„ ๋งŒ์— ๋žญ์ฒด์ธ(LangChain) ์ดํ•ดํ•˜๊ธฐ>

    ๋ฐ•๊ธฐ์ • ํ™์ต๋Œ€ํ•™๊ต ์ปด๊ณต

    Recoil Atom Effect ์ ์šฉ ๊ธฐ: ํŒ€ ๋‚ด ์„ค๋“ ๋ฐ ๊ตฌํ˜„ ์กฐ์–ธ

    ๋ฐ•์Šน๊ทœ ์นด์นด์˜ค๊ณ„์—ด์‚ฌ์—์„œ ์ด๊ฒƒ์ €๊ฒƒ ๋งŒ๋“œ๋Š” ๊ฐœ๋ฐœ์ž

    AI์˜ ๋†€๋ผ์šด ๋ฐœ์ „: 27๋…„ ๋œ VB4 ์‹คํ–‰ ํŒŒ์ผ์„ ํŒŒ์ด์ฌ์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋‹ค!

    ์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

    1

    ์ง„์šฉ์ง„ Product manager

    PM์ด ์ดํ•ดํ•˜๋ฉด ์ข‹์€ ์ง€ํ‘œ ๊ฐœ๋…

    2

    ์žฅํ™์„ ์ŠคํŽ˜์ด์Šค์˜ค๋””ํ‹ฐ ๋ถ€๋Œ€ํ‘œ/CPO

    < ์ฟ ํŒก์˜ ์ฐฝ์—…์ž๋ฅผ ์ง์ ‘ ๋ณด๋ฉฐ ๋ฐฐ์šด ๊ฒƒ: ๋ฆฌ๋”์˜ ํฌ๊ธฐ๊ฐ€ ์ „๋ถ€๋‹ค >

    3

    ๊ณจ๋นˆํ•ด์ปค Chief Maker

    ๋‚˜๋Š” ๊ฐ€๋” ์กฐํ•ฉํ˜• ํ•œ๊ธ€์˜ ์•„๋ฆ„๋‹ค์›€์— ๋Œ€ํ•ด ์ƒ๊ฐํ•œ๋‹ค. ๊ทธ ์•„๋ฆ„๋‹ค์›€

    4

    ๋‹ฌ๋ ˆ Apollo GraphQL Software Engineer

    ๋ฆฌํŠธ์ฝ”๋“œ 102. Binary Tree Level Order Tr

    5

    ๋ ˆ๋“œ๋ฒ„์Šค๋ฐฑ๋งจ ๋ฆฌ์„œ์ฒ˜ ์•ค ๋ผ์ดํ„ฐ

    โŸช๐Ÿš€ ์œ ๋‹ˆ์ฝ˜์ด๋ผ ๋ถˆ๋ฆฌ๋˜ ๊ทธ๋“ค, ์ด์ œ ์ง„์งœ ์‹ค๋ ฅ์„ ๋ณด์—ฌ์ค„ ๋•ŒโŸซ