As GenAI adoption surges, organizations face new security risks. Learn to protect your AI systems from prompt hacking and other emerging threats.

Protecting Systems in the Age of Generative AI - DZone

생성형 AI(GenAI)와 대규모 언어 모델(LLM)의 빠른 도입은 전례 없는 속도로 산업을 변화시키고 있습니다. 거의 90%에 가까운 조직이 이러한 혁신적인 기술의 힘을 활용하기 위해 LLM 사용 사례를 적극적으로 구현하거나 탐색하고 있습니다. 그러나 이러한 열정은 보안에 대한 준비 부족이라는 우려스러운 상황과 맞물려 있습니다. Lakera의 최근 GenAI 준비도 보고서에 따르면 약 5%의 조직만이 GenAI 보안 프레임워크에 자신감을 갖고 있는 것으로 나타났습니다.

프롬프트 해킹의 부상
GenAI가 광범위하게 도입되면서 잠재적으로 파괴적인 새로운 위협인 프롬프트 해킹이 등장했습니다. 광범위한 코딩 지식이 필요한 기존의 해킹 방법과 달리, 프롬프트 해킹은 AI 시스템을 악용할 수 있는 능력을 대중화합니다. 초보자도 몇 마디만 잘 익히면 AI 모델을 조작할 수 있어 의도치 않은 행동과 잠재적인 데이터 유출로 이어질 수 있습니다.

무료 LLM 해킹 시뮬레이션 게임인 Lakera의 간달프는 이러한 위협을 극명하게 보여줍니다. 현재까지 기록된 100만 명의 간달프 플레이어와 총 5천만 건의 프롬프트 및 추측 중 무려 20만 명이 게임 전체를 해킹하는 데 성공했습니다. GenAI가 얼마나 쉽게 조작될 수 있는지를 보여주는 이 사례는 적절한 보안 조치 없이 이러한 기술을 서둘러 도입하려는 조직에 경각심을 불러일으킬 것입니다.
 * Gandalf: https://gandalf.lakera.ai/intro

GenAI 보안 대비 현황
간달프 시뮬레이션 데이터와 1,000명이 넘는 참가자의 설문조사 결과를 결합한 Lakera의 GenAI 준비보고서는 GenAI 보안의 현주소를 우려스럽게 보여줍니다:
 * 높은 도입률, 낮은 신뢰도: 응답자의 42%는 이미 GenAI를 적극적으로 사용하고 LLM을 구현하고 있지만, 5%만이 AI 보안 조치에 대해 확신
 * AI 전용 위협 모델링 부족: 22%만이 GenAI 전용 위협에 대비하기 위해 AI 전용 위협 모델링 도입
 * 다양한 보안 관행: 조직의 61%가 접근 제어 메커니즘을 구현했지만, 37%만이 침투 테스트를 사용하고 있으며, AI 전용 위협 모델링을 사용하는 기업은 22%에 불과
 * 취약점에 대한 느린 대응: GenAI 취약점을 발견한 조직의 20%는 이러한 문제가 아직 완전히 해결되지 않음
   
   
위험에 대한 이해
GenAI와 관련된 보안 위험은 단순한 데이터 유출 그 이상으로 사소한 운영 중단부터 중대한 데이터 유출 및 법적 결과에 이르기까지 광범위할 수 있습니다. 보고서에서 확인된 주요 취약점은 다음과 같습니다:
 * 편향된 출력: 취약점을 경험한 조직의 47%가 편향된 AI 출력 문제 보고
 * 데이터 유출: 42%는 AI 상호 작용을 통해 민감한 데이터가 노출되는 문제 경험
 * AI 결과물의 오용: 38%는 AI가 생성한 정보가 오용된 사례 보고
 * 모델 조작: 34%는 AI 모델을 변경하거나 조작하려는 시도 경험
 * 무단 액세스: 19%는 권한이 없는 사람이 GenAI 시스템에 액세스하는 문제 직면

AI 전용 위협 모델링 구현하기
조직은 GenAI가 제기하는 고유한 보안 문제를 해결하기 위해 AI 전용 위협 모델링 관행을 채택해야 합니다. 이 접근 방식에는 다음이 포함됩니다:
 * AI 전용 자산 식별: 학습 데이터, 모델 아키텍처, 추론 엔드포인트 등 AI 시스템의 고유한 구성 요소 인식
 * 공격 표면 매핑: 공격자가 입력 데이터 중독, 모델 반전 공격, 프롬프트 인젝션 등을 통해 어떻게 AI 시스템을 조작하려고 시도하는지 이해
 * 잠재적 위협 분석: 전통적인 사이버 보안 위협과 모델 도용 또는 출력 조작과 같은 AI 관련 위험 고려
 * 완화 전략 구현: 강력한 입력 유효성 검사, 출력 필터링, 지속적인 모델 모니터링 등 AI 시스템에 맞는 보안 조치 개발 및 배포
 * 정기적인 테스트 및 업데이트: 지속적인 보안 평가를 수행하고 새로운 취약점과 공격 벡터가 등장하면 위협 모델 업데이트

GenAI 시스템 보안을 위한 모범 사례
GenAI 도입과 보안 사이의 격차를 해소하기 위해 조직은 다음과 같은 모범 사례를 고려해야 합니다:
 * 강력한 액세스 제어 구현: 잠재적인 공격 경로를 제한하려면 역할 기반 액세스 제어와 최소 권한 원칙 사용
 * 민감한 데이터 암호화: 모든 AI 학습 및 추론 데이터가 전송 중이거나 미사용 상태일 때 모두 적절하게 암호화되어 있는지 확인
 * 정기적인 보안 감사 실시: 내부 및 외부 보안 감사를 수행하여 취약점을 사전에 파악하고 해결
 * 모의 침투 테스트 실시: 잠재적인 공격에 대해 정기적으로 AI 시스템을 테스트하여 취약점이 악용되기 전에 발견
 * 안전한 AI 관행 개발: 데이터 수집부터 모델 배포에 이르기까지 AI 개발 수명 주기 전반에 걸쳐 보안 고려 사항 통합
 * 최신 정보 파악: 업계 포럼, 보안 권고, 연구원과의 협업을 통해 최신 AI 보안 위협과 모범 사례 파악
 * 공식적인 AI 보안 정책 수립: 조직 내 AI 시스템과 관련된 포괄적인 보안 정책을 개발및 시행
 * AI 보안 전문 지식 투자: AI 보안에 대한 전문 지식을 갖춘 팀을 구성하거나 확보하여 이러한 시스템의 고유한 문제 해결

앞으로 나아갈 길
GenAI가 계속해서 산업을 혁신함에 따라 강력한 보안 조치의 중요성은 아무리 강조해도 지나치지 않습니다. AI에 특화된 위협 모델링을 구현하고, GenAI 보안 모범 사례를 채택하고, 지속적인 학습과 적응의 문화를 조성함으로써 조직은 안전한 AI 혁신을 위한 강력한 기반을 구축할 수 있습니다. 이 새로운 영역을 탐색할 때 성공의 열쇠는 GenAI의 혁신적 힘을 활용하는 것과 AI 시스템의 안전과 무결성을 보장하는 것 사이에서 적절한 균형을 유지하는 데 있습니다.

 * source: https://dzone.com/articles/protecting-systems-in-the-age-of-genai?utm_source=Sailthru&utm_medium=email&utm_campaign=e731_09.11.24_WednesdaySend_Spotlight_Threatconnect&utm_term=cloud-insider-active

생성형 AI(GenAI)와 대규모 언어 모델(LLM)의 빠른 도입은 전례 없는 속도로 산업을 변화시키고 있습니다. 거의 90%에 가까운 조직이 이러한 혁신적인 기술의 힘을 활용하기 위해 LLM 사용 사례를 적극적으로 구현하거나 탐색하고 있습니다. 그러나 이러한 열정은 보안에 대한 준비 부족이라는 우려스러운 상황과 맞물려 있습니다. Lakera의 최근 GenAI 준비도 보고서에 따르면 약 5%의 조직만이 GenAI 보안 프레임워크에 자신감을 갖고 있는 것으로 나타났습니다. 프롬프트 해킹의 부상GenAI가 광범위하게 도입되면서 잠재적으로 파괴적인 새로운 위협인 프롬프트 해킹이 등장했습니다. 광범위한 코딩 지식이 필요한 기존의 해킹 방법과 달리, 프롬프트 해킹은 AI 시스템을 악용할 수 있는 능력을 대중화합니다. 초보자도 몇 마디만 잘 익히면 AI 모델을 조작할 수 있어 의도치 않은 행동과 잠재적인 데이터 유출로 이어질 수 있습니다. 무료 LLM 해킹 시뮬레이션 게임인 Lakera의 간달프는 이러한 위협을 극명하게 보여줍니다. 현재까지 기록된 100만 명의 간달프 플레이어와 총 5천만 건의 프롬프트 및 추측 중 무려 20만 명이 게임 전체를 해킹하는 데 성공했습니다. GenAI가 얼마나 쉽게 조작될 수 있는지를 보여주는 이 사례는 적절한 보안 조치 없이 이러한 기술을 서둘러 도입하려는 조직에 경각심을 불러일으킬 것입니다.<ul ><li>Gandalf: https://gandalf.lakera.ai/intro</li></ul> GenAI 보안 대비 현황간달프 시뮬레이션 데이터와 1,000명이 넘는 참가자의 설문조사 결과를 결합한 Lakera의 GenAI 준비보고서는 GenAI 보안의 현주소를 우려스럽게 보여줍니다:<ul ><li>높은 도입률, 낮은 신뢰도: 응답자의 42%는 이미 GenAI를 적극적으로 사용하고 LLM을 구현하고 있지만, 5%만이 AI 보안 조치에 대해 확신</li><li>AI 전용 위협 모델링 부족: 22%만이 GenAI 전용 위협에 대비하기 위해 AI 전용 위협 모델링 도입</li><li>다양한 보안 관행: 조직의 61%가 접근 제어 메커니즘을 구현했지만, 37%만이 침투 테스트를 사용하고 있으며, AI 전용 위협 모델링을 사용하는 기업은 22%에 불과</li><li>취약점에 대한 느린 대응: GenAI 취약점을 발견한 조직의 20%는 이러한 문제가 아직 완전히 해결되지 않음 </li></ul>위험에 대한 이해GenAI와 관련된 보안 위험은 단순한 데이터 유출 그 이상으로 사소한 운영 중단부터 중대한 데이터 유출 및 법적 결과에 이르기까지 광범위할 수 있습니다. 보고서에서 확인된 주요 취약점은 다음과 같습니다:<ul ><li>편향된 출력: 취약점을 경험한 조직의 47%가 편향된 AI 출력 문제 보고</li><li>데이터 유출: 42%는 AI 상호 작용을 통해 민감한 데이터가 노출되는 문제 경험</li><li>AI 결과물의 오용: 38%는 AI가 생성한 정보가 오용된 사례 보고</li><li>모델 조작: 34%는 AI 모델을 변경하거나 조작하려는 시도 경험</li><li>무단 액세스: 19%는 권한이 없는 사람이 GenAI 시스템에 액세스하는 문제 직면</li></ul> AI 전용 위협 모델링 구현하기조직은 GenAI가 제기하는 고유한 보안 문제를 해결하기 위해 AI 전용 위협 모델링 관행을 채택해야 합니다. 이 접근 방식에는 다음이 포함됩니다:<ul ><li>AI 전용 자산 식별: 학습 데이터, 모델 아키텍처, 추론 엔드포인트 등 AI 시스템의 고유한 구성 요소 인식</li><li>공격 표면 매핑: 공격자가 입력 데이터 중독, 모델 반전 공격, 프롬프트 인젝션 등을 통해 어떻게 AI 시스템을 조작하려고 시도하는지 이해</li><li>잠재적 위협 분석: 전통적인 사이버 보안 위협과 모델 도용 또는 출력 조작과 같은 AI 관련 위험 고려</li><li>완화 전략 구현: 강력한 입력 유효성 검사, 출력 필터링, 지속적인 모델 모니터링 등 AI 시스템에 맞는 보안 조치 개발 및 배포</li><li>정기적인 테스트 및 업데이트: 지속적인 보안 평가를 수행하고 새로운 취약점과 공격 벡터가 등장하면 위협 모델 업데이트</li></ul> GenAI 시스템 보안을 위한 모범 사례GenAI 도입과 보안 사이의 격차를 해소하기 위해 조직은 다음과 같은 모범 사례를 고려해야 합니다:<ul ><li>강력한 액세스 제어 구현: 잠재적인 공격 경로를 제한하려면 역할 기반 액세스 제어와 최소 권한 원칙 사용</li><li>민감한 데이터 암호화: 모든 AI 학습 및 추론 데이터가 전송 중이거나 미사용 상태일 때 모두 적절하게 암호화되어 있는지 확인</li><li>정기적인 보안 감사 실시: 내부 및 외부 보안 감사를 수행하여 취약점을 사전에 파악하고 해결</li><li>모의 침투 테스트 실시: 잠재적인 공격에 대해 정기적으로 AI 시스템을 테스트하여 취약점이 악용되기 전에 발견</li><li>안전한 AI 관행 개발: 데이터 수집부터 모델 배포에 이르기까지 AI 개발 수명 주기 전반에 걸쳐 보안 고려 사항 통합</li><li>최신 정보 파악: 업계 포럼, 보안 권고, 연구원과의 협업을 통해 최신 AI 보안 위협과 모범 사례 파악</li><li>공식적인 AI 보안 정책 수립: 조직 내 AI 시스템과 관련된 포괄적인 보안 정책을 개발및 시행</li><li>AI 보안 전문 지식 투자: AI 보안에 대한 전문 지식을 갖춘 팀을 구성하거나 확보하여 이러한 시스템의 고유한 문제 해결</li></ul> 앞으로 나아갈 길GenAI가 계속해서 산업을 혁신함에 따라 강력한 보안 조치의 중요성은 아무리 강조해도 지나치지 않습니다. AI에 특화된 위협 모델링을 구현하고, GenAI 보안 모범 사례를 채택하고, 지속적인 학습과 적응의 문화를 조성함으로써 조직은 안전한 AI 혁신을 위한 강력한 기반을 구축할 수 있습니다. 이 새로운 영역을 탐색할 때 성공의 열쇠는 GenAI의 혁신적 힘을 활용하는 것과 AI 시스템의 안전과 무결성을 보장하는 것 사이에서 적절한 균형을 유지하는 데 있습니다. <ul ><li>source: https://dzone.com/articles/protecting-systems-in-the-age-of-genai?utm_source=Sailthru&amp;utm_medium=email&amp;utm_campaign=e731_09.11.24_WednesdaySend_Spotlight_Threatconnect&amp;utm_term=cloud-insider-active</li></ul>

dzone.com

[DZone] AI 보안 격차: 생성 AI 시대의 시스템 보호

Disasters can happen to business IT systems at any time and at any place. IT failures and malfunctions can never be completely ruled out. This applies not only to natural disasters but also to simple human errors or cyber-attacks. Any of these situations significantly affect business operations, so a company's ability to withstand emergencies depends on its disaster recovery plan.

7 tiers of disaster recovery

재해 복구(DR)는 조직의 중요한 IT 시스템을 백업하고 다시 실행하는 프로세스입니다.

재해 복구 계획(DRP)은 데이터 복구 단계가 포함된 문서로, 담당 직원 목록과 역할 및 책임, IT 인프라를 보호하고 복구하기 위한 일련의 조치를 포함합니다. 잘 설계된 DRP를 통해 조직은 예기치 않은 중단에도 고객, 파트너, 직원에게 서비스를 계속 제공할 수 있을 뿐만 아니라 데이터 손실을 크게 줄일 수 있습니다.

1980년대 후반, SHARE 기술 운영 위원회는 재해 복구를 위한 서비스 계층을 설명했습니다. 이들은 0~6계층을 사용하는 모델을 개발했습니다. 나중에 일곱 번째 계층이 추가되었습니다. 비즈니스 연속성을 위한 7단계는 현재 서비스 수준과 관련 위험을 결정하는 방법입니다.

< 재해 복구 서비스 수준 >
 * 레벨 0: 오프사이트 데이터 없음(No off-site data)
 * 이 경우 복구가 전혀 불가능할 수 있습니다.
 * 이 회사는 저장된 정보, 문서, 백업 장비, 비상 계획 등 비즈니스 연속성 계획이 전혀 없습니다. 따라서 복구에 필요한 시간을 예측할 수 없습니다.

 * Tier 1: 핫 사이트가 없는 데이터 백업(Data backups with no hot site)
 * 특정 간격으로 데이터를 백업한 다음 물리적으로 오프사이트 시설로 백업을 전송하여 저장합니다.
 * 백업 생성 빈도에 따라 조직은 며칠 또는 몇 주 동안의 데이터 손실에 대비해야 합니다.
 * 이 수준에서는 백업이 오프사이트에서 안전하게 보호되지만 데이터 복구를 위한 시스템이 없습니다.

 * Tier2: : 핫 사이트를 통한 데이터 백업(Data Backup with a Hot Site)
 * 티어 1과 동일한 재해 복구 조항을 제공하지만, 일반적으로 핫 사이트라고 하는 원격 위치에 백업 시스템을 추가로 제공합니다.
 * 이 시스템은 주 시스템과 동일한 데이터 프로세스를 처리합니다.
 * 재해가 발생하면 이 백업 시스템에서 백업을 복원할 수 있습니다.
 * 이 방식은 시스템 자체가 아닌 데이터만 복원하면 되므로 시스템 복구 속도가 빠릅니다.

 * Tier3: 전자 볼트(Electronic vaulting)
 * 계층 2 구성 요소를 기반으로 하지만 중요한 데이터는 전용 채널을 통해 원격 서버(전자 금고)에 영구적으로 백업해야 한다는 추가 조항이 있습니다.
 * 이러한 채널의 대역폭이 제한되어 있으므로 미리 정의된 중요 데이터에 대해서만 백업을 수행할 수 있습니다.
 
 
 * Tier4: 특정 시점 사본(Point-in-Time Copies)
 * 하위 계층보다 더 높은 데이터 무결성과 빠른 복구가 필요한 조직을 위해 설계되었습니다.
 * 솔루션에는 하드 드라이브가 포함됩니다.
 * 데이터는 기본 사이트와 보조 사이트 간에 복사되며, 각 사이트는 서로를 백업합니다.

 * Tier5: 트랜잭션 무결성(Transaction Integrity)
 * 데이터 일관성이 필요한 기업에서 사용하는 솔루션입니다.
 * 데이터는 사이트(프로덕션 데이터 센터와 데이터 복구 센터) 간에 지속적으로 전송되므로 데이터 손실이 없습니다.
 
 
 * Tier6: 데이터 손실이 없거나 거의 없음(Zero or near-zero data loss)
 * 데이터 손실이 거의 또는 전혀 없는 최고 수준의 데이터 무결성을 입증합니다.
 * 데이터 복구가 최우선 순위입니다. 이러한 솔루션에는 종종 어떤 형태의 디스크 미러링이 필요합니다.

 * Tier7: 고도로 자동화된 비즈니스 통합 솔루션
 * 가장 높은 수준의 DR 시나리오.
 * 티어 6 솔루션에 사용되는 모든 구성 요소에 추가 자동화가 포함됩니다.
 * 데이터 복구가 자동화되어 시스템과 애플리케이션을 빠르고 안정적으로 복구할 수 있습니다.

 * source: https://www.cloud4u.com/blog/seven-tiers-of-disaster-recovery/

재해 복구(DR)는 조직의 중요한 IT 시스템을 백업하고 다시 실행하는 프로세스입니다. 재해 복구 계획(DRP)은 데이터 복구 단계가 포함된 문서로, 담당 직원 목록과 역할 및 책임, IT 인프라를 보호하고 복구하기 위한 일련의 조치를 포함합니다. 잘 설계된 DRP를 통해 조직은 예기치 않은 중단에도 고객, 파트너, 직원에게 서비스를 계속 제공할 수 있을 뿐만 아니라 데이터 손실을 크게 줄일 수 있습니다. 1980년대 후반, SHARE 기술 운영 위원회는 재해 복구를 위한 서비스 계층을 설명했습니다. 이들은 0~6계층을 사용하는 모델을 개발했습니다. 나중에 일곱 번째 계층이 추가되었습니다. 비즈니스 연속성을 위한 7단계는 현재 서비스 수준과 관련 위험을 결정하는 방법입니다. &lt; 재해 복구 서비스 수준 &gt;<ul ><li>레벨 0: 오프사이트 데이터 없음(No off-site data)<ul ><li>이 경우 복구가 전혀 불가능할 수 있습니다. </li><li>이 회사는 저장된 정보, 문서, 백업 장비, 비상 계획 등 비즈니스 연속성 계획이 전혀 없습니다. 따라서 복구에 필요한 시간을 예측할 수 없습니다.</li></ul></li></ul> <ul ><li>Tier 1: 핫 사이트가 없는 데이터 백업(Data backups with no hot site)<ul ><li>특정 간격으로 데이터를 백업한 다음 물리적으로 오프사이트 시설로 백업을 전송하여 저장합니다. </li><li>백업 생성 빈도에 따라 조직은 며칠 또는 몇 주 동안의 데이터 손실에 대비해야 합니다. </li><li>이 수준에서는 백업이 오프사이트에서 안전하게 보호되지만 데이터 복구를 위한 시스템이 없습니다.</li></ul></li></ul> <ul ><li>Tier2: : 핫 사이트를 통한 데이터 백업(Data Backup with a Hot Site)<ul ><li>티어 1과 동일한 재해 복구 조항을 제공하지만, 일반적으로 핫 사이트라고 하는 원격 위치에 백업 시스템을 추가로 제공합니다. </li><li>이 시스템은 주 시스템과 동일한 데이터 프로세스를 처리합니다. </li><li>재해가 발생하면 이 백업 시스템에서 백업을 복원할 수 있습니다. </li><li>이 방식은 시스템 자체가 아닌 데이터만 복원하면 되므로 시스템 복구 속도가 빠릅니다.</li></ul></li></ul> <ul ><li>Tier3: 전자 볼트(Electronic vaulting)<ul ><li>계층 2 구성 요소를 기반으로 하지만 중요한 데이터는 전용 채널을 통해 원격 서버(전자 금고)에 영구적으로 백업해야 한다는 추가 조항이 있습니다. </li><li>이러한 채널의 대역폭이 제한되어 있으므로 미리 정의된 중요 데이터에 대해서만 백업을 수행할 수 있습니다. </li></ul></li><li>Tier4: 특정 시점 사본(Point-in-Time Copies)<ul ><li>하위 계층보다 더 높은 데이터 무결성과 빠른 복구가 필요한 조직을 위해 설계되었습니다. </li><li>솔루션에는 하드 드라이브가 포함됩니다. </li><li>데이터는 기본 사이트와 보조 사이트 간에 복사되며, 각 사이트는 서로를 백업합니다.</li></ul></li></ul> <ul ><li>Tier5: 트랜잭션 무결성(Transaction Integrity)<ul ><li>데이터 일관성이 필요한 기업에서 사용하는 솔루션입니다. </li><li>데이터는 사이트(프로덕션 데이터 센터와 데이터 복구 센터) 간에 지속적으로 전송되므로 데이터 손실이 없습니다.</li></ul> </li><li>Tier6: 데이터 손실이 없거나 거의 없음(Zero or near-zero data loss)<ul ><li>데이터 손실이 거의 또는 전혀 없는 최고 수준의 데이터 무결성을 입증합니다. </li><li>데이터 복구가 최우선 순위입니다. 이러한 솔루션에는 종종 어떤 형태의 디스크 미러링이 필요합니다.</li></ul></li></ul> <ul ><li>Tier7: 고도로 자동화된 비즈니스 통합 솔루션<ul ><li>가장 높은 수준의 DR 시나리오. </li><li>티어 6 솔루션에 사용되는 모든 구성 요소에 추가 자동화가 포함됩니다. </li><li>데이터 복구가 자동화되어 시스템과 애플리케이션을 빠르고 안정적으로 복구할 수 있습니다.</li></ul></li></ul> <ul ><li>source: https://www.cloud4u.com/blog/seven-tiers-of-disaster-recovery/</li></ul>

www.cloud4u.com

[Cloud4U] 7단계 재해 복구

In this issue: A more strategic way of prompting Closing the open source gap for MoE models The most powerful small code model… yet Vectors are everywhere these days and Superlinked is the compute framework for all your vector needs. In partnership with Redis and MongoDB, they’ve just launched their

🧠 The Next Level of CoT Prompting

CoT(Chain-of-Thought) 기법은 사용자의 프롬프트에 대해 AI가 단순히 최종 답변을 제시하는 것이 아니라, 중간 단계의 사고 과정을 보여주는 것을 목표로 합니다. 이를 통해 AI의 추론 과정을 투명하게 만들고, 사용자가 AI의 답변을 더욱 신뢰할 수 있게 합니다.

1. 전략적 CoT(Strategic Chain-of-Thought): 전략 도출을 통해 LLM에서 정확한 추론 유도하기
-- Paper: https://arxiv.org/abs/2409.03271v1
 * 어떤 문제를 해결하나요?
   * 생각의 연쇄(CoT) 프롬프트는 대규모 언어 모델(LLM)에서 다단계 추론 능력을 이끌어내는 데 널리 사용되는 기법이 되었습니다.
   * CoT는 중간 추론 단계를 제공함으로써 LLM이 복잡한 문제를 보다 효과적으로 해결할 수 있게 해줍니다. 그러나 생성된 추론 경로의 품질과 일관성이 불안정하여 추론 작업에서 최적의 성능을 발휘하지 못할 수 있습니다.
 * 이 문제를 어떻게 해결하나요?
   * 전략적 사고 연쇄(SCoT)는 전략적 지식을 CoT 프로세스에 통합하여 불안정성 문제를 해결합니다.
   * SCoT는 중간 추론 단계를 생성하기 전에 전략적 지식을 통합함으로써 보다 일관되고 신뢰할 수 있는 추론 성능을 보장합니다.
   * SCoT는 단일 프롬프트 내에서 2단계 접근 방식을 사용합니다.
     * 먼저, LLM에서 효과적인 문제 해결 전략을 도출합니다.
     * 그런 다음, 이 전략을 사용하여 고품질의 CoT 경로와 최종 답변을 생성하도록 안내합니다.
 * 다음 단계는 무엇인가요?
   * LLM이 더 복잡한 작업에 계속 사용됨에 따라 전략적 지식을 통합하고 추론 경로의 일관성을 개선하는 것이 중요해질 것입니다. SCoT는 이러한 방향의 향후 연구를 위한 유망한 프레임워크를 제공합니다.
     
     
2. OLMoE(Open Mixture-of-Experts Language Models): 개방형 전문가 혼합 언어 모델
-- Paper: https://arxiv.org/abs/2409.02060
-- Code: https://github.com/allenai/OLMoE
 * 어떤 문제를 해결하나요?
   * 전문가 혼합(MoE)은 보다 효율적이고 확장 가능한 언어 모델을 구축하기 위한 유망한 접근 방식입니다.
   * 전문화된 '전문가' 모델 세트와 게이트 메커니즘을 사용하여 입력을 가장 관련성이 높은 전문가에게 라우팅함으로써 MoE는 밀집 모델에 비해 더 적은 매개변수로 더 나은 성능을 달성할 수 있습니다.
   * 그러나 MoE 아키텍처에 대한 지속적인 연구와 개선에도 불구하고 Llama와 같은 대부분의 최신 언어 모델은 여전히 밀도 아키텍처에 의존하고 있습니다.
 * 이 문제를 어떻게 해결하나요?
   * 최초의 완전 오픈 소스, 최첨단 믹스 오브 엑스퍼트 언어 모델인 OLMOE-1B-7B가 소개되었습니다.
   * 1B개의 활성 파라미터와 7B개의 총 파라미터를 갖춘 OLMOE-1B-7B는 DeepSeekMoE-16B 및 Llama2-13B-Chat과 같은 대규모 고밀도 모델보다 뛰어난 성능을 발휘합니다.
 * 다음 단계는 무엇인가요?
   * OLMOE-1B-7B의 완전한 오픈 소스 릴리스는 최첨단 MoE 모델에 대한 접근성을 높이고 이 분야에 대한 추가 연구를 장려하기 위한 중요한 단계입니다.
   * 이 분야에서 MoE의 잠재력을 계속 탐구함에 따라, 프론티어 모델과 완전 개방형 모델 간의 성능 격차를 줄이기 위한 OLMOE 및 기타 오픈 소스 MoE 모델의 새로운 반복을 볼 수 있을 것으로 예상됩니다.
   
   
3. Yi-Coder: 작지만 강력한 코드용 LLM
-- Code: https://github.com/01-ai/Yi-Coder
 * 어떤 문제를 해결하나요?
   * Yi-Coder는 100억 개 미만의 파라미터로 최첨단 코딩 성능을 제공하는 일련의 오픈 소스 코드 LLM입니다.
   * 긴 컨텍스트 모델링을 처리하고 코드 생성, 편집, 완성, 수학적 추론 등 다양한 코딩 작업에서 탁월한 성능을 발휘하는 효율적이고 고성능의 코드 LLM에 대한 필요성을 해결합니다.
   * Yi-Coder는 소규모 코드 LLM의 한계를 뛰어넘어 소프트웨어 개발을 가속화하고 혁신할 수 있는 사용 사례를 발굴하는 것을 목표로 합니다.
 * 어떻게 문제를 해결하나요?
   * Yi-Coder는 인상적인 성능을 달성하기 위해 여러 기술을 조합하여 활용합니다.
   * 52개 주요 프로그래밍 언어에 걸쳐 2조 4천억 개에 달하는 방대한 리포지토리 수준의 코드 코퍼스와 CommonCrawl에서 필터링된 코드 관련 데이터를 기반으로 학습합니다.
   * 또한 Yi-Coder는 최대 128K 토큰의 긴 컨텍스트 모델링을 사용하여 프로젝트 수준의 코드를 이해하고 생성할 수 있습니다. 비교적 작은 크기(1.5억 및 9억 매개변수)에도 불구하고 Yi-Coder는 다양한 코딩 벤치마크 및 작업에서 대형 모델보다 뛰어난 성능을 발휘합니다.
 * 다음 단계는 무엇인가요?
   * 기본 버전과 채팅 버전 모두에서 Yi-Coder 1.5B/9B의 오픈 소스 릴리스는 커뮤니티가 이 강력한 코드 LLM을 탐색하고 프로젝트에 통합할 수 있는 흥미로운 기회를 제공합니다.
   * 개발자는 Yi-Coder의 기능을 활용하여 소프트웨어 개발 프로세스를 개선하고, 코딩 작업을 자동화하며, 소규모 코드 LLM이 달성할 수 있는 한계를 뛰어넘을 수 있습니다.
   * Yi-Coder 팀은 개발자가 Yi-Coder README와 같은 제공된 리소스를 살펴보고 Discord 또는 이메일을 통해 커뮤니티에 참여하여 문의 및 토론을 할 것을 권장합니다.

 * 참고: 프롬프트 엔지니어링 Thought 시리즈(https://aiheroes.ai/community/153)
 * 출처: The Next Level of CoT Prompting(https://www.linkedin.com/pulse/next-level-cot-prompting-pascal-biese-e08pf/)

CoT(Chain-of-Thought) 기법은 사용자의 프롬프트에 대해 AI가 단순히 최종 답변을 제시하는 것이 아니라, 중간 단계의 사고 과정을 보여주는 것을 목표로 합니다. 이를 통해 AI의 추론 과정을 투명하게 만들고, 사용자가 AI의 답변을 더욱 신뢰할 수 있게 합니다. 1. 전략적 CoT(Strategic Chain-of-Thought): 전략 도출을 통해 LLM에서 정확한 추론 유도하기-- Paper: https://arxiv.org/abs/2409.03271v1<ul ><li>어떤 문제를 해결하나요? <ul ><li>생각의 연쇄(CoT) 프롬프트는 대규모 언어 모델(LLM)에서 다단계 추론 능력을 이끌어내는 데 널리 사용되는 기법이 되었습니다. </li><li>CoT는 중간 추론 단계를 제공함으로써 LLM이 복잡한 문제를 보다 효과적으로 해결할 수 있게 해줍니다. 그러나 생성된 추론 경로의 품질과 일관성이 불안정하여 추론 작업에서 최적의 성능을 발휘하지 못할 수 있습니다.</li></ul></li><li>이 문제를 어떻게 해결하나요? <ul ><li>전략적 사고 연쇄(SCoT)는 전략적 지식을 CoT 프로세스에 통합하여 불안정성 문제를 해결합니다. </li><li>SCoT는 중간 추론 단계를 생성하기 전에 전략적 지식을 통합함으로써 보다 일관되고 신뢰할 수 있는 추론 성능을 보장합니다.</li><li>SCoT는 단일 프롬프트 내에서 2단계 접근 방식을 사용합니다. <ul ><li>먼저, LLM에서 효과적인 문제 해결 전략을 도출합니다. </li><li>그런 다음, 이 전략을 사용하여 고품질의 CoT 경로와 최종 답변을 생성하도록 안내합니다. </li></ul></li></ul></li><li>다음 단계는 무엇인가요? <ul ><li>LLM이 더 복잡한 작업에 계속 사용됨에 따라 전략적 지식을 통합하고 추론 경로의 일관성을 개선하는 것이 중요해질 것입니다. SCoT는 이러한 방향의 향후 연구를 위한 유망한 프레임워크를 제공합니다. </li></ul></li></ul>2. OLMoE(Open Mixture-of-Experts Language Models): 개방형 전문가 혼합 언어 모델-- Paper: https://arxiv.org/abs/2409.02060-- Code: https://github.com/allenai/OLMoE<ul ><li>어떤 문제를 해결하나요? <ul ><li>전문가 혼합(MoE)은 보다 효율적이고 확장 가능한 언어 모델을 구축하기 위한 유망한 접근 방식입니다. </li><li>전문화된 '전문가' 모델 세트와 게이트 메커니즘을 사용하여 입력을 가장 관련성이 높은 전문가에게 라우팅함으로써 MoE는 밀집 모델에 비해 더 적은 매개변수로 더 나은 성능을 달성할 수 있습니다. </li><li>그러나 MoE 아키텍처에 대한 지속적인 연구와 개선에도 불구하고 Llama와 같은 대부분의 최신 언어 모델은 여전히 밀도 아키텍처에 의존하고 있습니다. </li></ul></li><li>이 문제를 어떻게 해결하나요? <ul ><li>최초의 완전 오픈 소스, 최첨단 믹스 오브 엑스퍼트 언어 모델인 OLMOE-1B-7B가 소개되었습니다. </li><li>1B개의 활성 파라미터와 7B개의 총 파라미터를 갖춘 OLMOE-1B-7B는 DeepSeekMoE-16B 및 Llama2-13B-Chat과 같은 대규모 고밀도 모델보다 뛰어난 성능을 발휘합니다. </li></ul></li><li>다음 단계는 무엇인가요? <ul ><li>OLMOE-1B-7B의 완전한 오픈 소스 릴리스는 최첨단 MoE 모델에 대한 접근성을 높이고 이 분야에 대한 추가 연구를 장려하기 위한 중요한 단계입니다. </li><li>이 분야에서 MoE의 잠재력을 계속 탐구함에 따라, 프론티어 모델과 완전 개방형 모델 간의 성능 격차를 줄이기 위한 OLMOE 및 기타 오픈 소스 MoE 모델의 새로운 반복을 볼 수 있을 것으로 예상됩니다. </li></ul> </li></ul>3. Yi-Coder: 작지만 강력한 코드용 LLM -- Code: https://github.com/01-ai/Yi-Coder<ul ><li>어떤 문제를 해결하나요? <ul ><li>Yi-Coder는 100억 개 미만의 파라미터로 최첨단 코딩 성능을 제공하는 일련의 오픈 소스 코드 LLM입니다. </li><li>긴 컨텍스트 모델링을 처리하고 코드 생성, 편집, 완성, 수학적 추론 등 다양한 코딩 작업에서 탁월한 성능을 발휘하는 효율적이고 고성능의 코드 LLM에 대한 필요성을 해결합니다. </li><li>Yi-Coder는 소규모 코드 LLM의 한계를 뛰어넘어 소프트웨어 개발을 가속화하고 혁신할 수 있는 사용 사례를 발굴하는 것을 목표로 합니다.</li></ul></li><li>어떻게 문제를 해결하나요? <ul ><li>Yi-Coder는 인상적인 성능을 달성하기 위해 여러 기술을 조합하여 활용합니다. </li><li>52개 주요 프로그래밍 언어에 걸쳐 2조 4천억 개에 달하는 방대한 리포지토리 수준의 코드 코퍼스와 CommonCrawl에서 필터링된 코드 관련 데이터를 기반으로 학습합니다.</li><li>또한 Yi-Coder는 최대 128K 토큰의 긴 컨텍스트 모델링을 사용하여 프로젝트 수준의 코드를 이해하고 생성할 수 있습니다. 비교적 작은 크기(1.5억 및 9억 매개변수)에도 불구하고 Yi-Coder는 다양한 코딩 벤치마크 및 작업에서 대형 모델보다 뛰어난 성능을 발휘합니다.</li></ul></li><li>다음 단계는 무엇인가요? <ul ><li>기본 버전과 채팅 버전 모두에서 Yi-Coder 1.5B/9B의 오픈 소스 릴리스는 커뮤니티가 이 강력한 코드 LLM을 탐색하고 프로젝트에 통합할 수 있는 흥미로운 기회를 제공합니다. </li><li>개발자는 Yi-Coder의 기능을 활용하여 소프트웨어 개발 프로세스를 개선하고, 코딩 작업을 자동화하며, 소규모 코드 LLM이 달성할 수 있는 한계를 뛰어넘을 수 있습니다. </li><li>Yi-Coder 팀은 개발자가 Yi-Coder README와 같은 제공된 리소스를 살펴보고 Discord 또는 이메일을 통해 커뮤니티에 참여하여 문의 및 토론을 할 것을 권장합니다.</li></ul></li></ul> <ul ><li>참고: 프롬프트 엔지니어링 Thought 시리즈(https://aiheroes.ai/community/153)</li></ul><ul ><li>출처: The Next Level of CoT Prompting(https://www.linkedin.com/pulse/next-level-cot-prompting-pascal-biese-e08pf/)</li></ul>

www.linkedin.com

[AI] 다음 단계의 CoT 프롬프팅

Thank you for reading my latest article The AI-Driven Truth Crisis. Here at LinkedIn and at Forbes I regularly write about management and technology trends.

20 Generative AI Tools For Creating Synthetic Data

현재 우리가 겪고 있는 AI 혁명은 인사이트를 얻기 위해 채굴하고 분석할 수 있는 데이터의 양이 폭발적으로 증가한 데 따른 직접적인 결과입니다. 하지만 현실 세계에서 데이터를 수집하는 것은 쉽지 않은 일입니다. 개인 데이터를 저장하고 작업할 때 개인정보 보호 및 보안 문제가 발생하며, 다른 유형의 데이터는 비용이 많이 들거나 위험할 수도 있습니다.

그렇다면 시간, 비용, 위험 측면에서 훨씬 적은 비용으로 많은 동일한 목적에 사용할 수 있을 만큼 실제 데이터에 가까운 인공 데이터를 생성하는 것은 어떨까요? 이것이 바로 합성 데이터의 가능성이며, 제너레이티브 AI가 빠르게 가치 있는 도구로 자리 잡고 있는 또 다른 분야입니다.

합성 데이터를 생성을 지원하는 20가지 생성 AI 도구를 소개합니다.

 1. Mostly- https://mostly.ai/
 * 대부분 실제 세계와 매우 유사한 데이터를 생성하기 위한 잘 정립된 합성 데이터 플랫폼
 * 금융, 소매, 통신, 의료 등의 산업에서 사용
 * 가트너에서 쿨 벤더로 선정
 * 개인정보 보호를 보장하는 데이터 세트를 생성하고 GDPR 및 CCPA와 같은 데이터 보호 규정을 준수
 * 자연어 중심의 사용자 인터페이스
 * 생성되는 합성 데이터에 편견이 개입되지 않도록 보호하는 가드 레일도 포함
   
 2. Gretel - https://gretel.ai/
 * 누구나 모든 유형의 분석 또는 머신러닝 워크플로우에 사용할 수 있는 표 형식의 비정형 및 시계열 데이터를 생성 용이
 * 코딩 경험이 거의 없어도 합성 데이터 생성 지원
 * 수많은 커넥터와 API 통합을 통해 대부분의 클라우드 및 데이터 웨어하우스 인프라와 호환
 * 사용자 커뮤니티에서 지원

 3. Synthea - https://synthetichealth.github.io/synthea/
 * 의료 분석에 사용할 가상 환자를 생성하기 위해 특별히 설계된 무료 오픈 소스 도구
 * 까다로운 의료 문제를 해결할 수 있는 단서가 될 수 있는 환자의 전체 의료 기록 생성 가능
   
   
 4. Tonic - https://www.tonic.ai/
 * 현실적이고 규정을 준수하며 안전한 합성 데이터 개발을 위한 종합 플랫폼
 * 주로 소프트웨어 및 AI 개발을 위해 구축
 * 합성 데이터 생성 외에도 실제 데이터의 익명화를 위한 비식별화 기능 제공
 * 온프레미스에 배포하거나 클라우드 환경에서 액세스할 수 있으며, 일반적으로 사용되는 모든 데이터베이스와 통합되도록 설계
   
   
 5. Faker - https://fakerjs.dev/
 * 파이썬과 자바스크립트 및 기타 여러 언어에서 사용할 수 있는 라이브러리로 코딩 지식 필요
 * 이커머스 구매 습관에서 금융 거래에 이르기까지 다양한 가짜 데이터를 생성하려는 사용자들에게 인기 있는 도구
 * 실제 데이터를 사용할 때 발생하는 개인정보 침해의 위험 없이 추천 엔진에서 사기 탐지 알고리즘에 이르기까지 모든 것을 훈련하는 데 사용 가능
   
   
 6. Broadcom CTA 테스트 매니저 - https://www.broadcom.com/products/software/app-dev/test-data-manager
 * 매우 기술적이고 복잡한 데이터 세트 생성 가능
   
   
 7. BizData X - https://bizdatax.com/
 * 비즈니스용 합성 데이터 생성을 통해 데이터 마스킹 및 익명화 간소화

 8. Cvedia - https://www.cvedia.com/
 * 합성 데이터로 구동되는 컴퓨터 비전 및 비디오 분석.

 9. Datomize - https://datawizz.ai/
 * 동적 유효성 검사 도구로 데이터 세트를 생성하여 최대한 사실적인 데이터 세트 생성 지원

 10. Edgecase - https://www.edgecase.ai/
 * 레이블이 지정된 합성 데이터를 서비스 생성

 11. GenRocket - https://www.genrocket.com/
 * 엔터프라이즈 확장성을 갖춘 동적 데이터 생성으로 소프트웨어 테스트를 위한 데이터 생성 목표

 12. Hazy - https://hazy.com/
 * 최근 세계 최초의 합성 데이터 마켓플레이스로 재출시

 13. K2View - https://www.k2view.com/solutions/synthetic-data-generation-tools/
 * 머신 러닝 모델 학습을 목적으로 데이터 생성

 14. KopiKat - https://www.kopikat.co/
 * 개인 정보 보호를 강화하고 신경망의 성능을 향상하도록 설계된 노코드 데이터 증강

 15. MDClone - https://www.mdclone.com/
 * 의료 전문가를 대상으로 하는 합성 데이터

 16. Simerse - https://www.simerse.com/
 * 컴퓨터 비전 애플리케이션을 위한 합성 훈련 데이터 생성기

 17. Sogeti - https://www.sogeti.com/services/artificial-intelligence/artificial-data-amplifier/
 * '데이터 증폭기'로 불리는 이 도구는 기존 데이터의 특성과 상관관계를 일치시켜 실제 데이터 세트를 모방

 18. 합성 데이터 볼트(Synthetic Data Vault) - https://sdv.dev/
 * 대용량 합성 데이터 생성을 위한 오픈 소스 머신 러닝 모델

 19. Syntho - https://www.syntho.ai/
 * 인사이트와 의사 결정을 위한 셀프 서비스 데이터 생성

 20. YData - https://ydata.ai/
 * 생산성과 AI 모델 성능을 향상하기 위한 자동화된 합성 데이터 생성

 * 출처: https://www.linkedin.com/pulse/20-generative-ai-tools-creating-synthetic-data-bernard-marr-efswe/

현재 우리가 겪고 있는 AI 혁명은 인사이트를 얻기 위해 채굴하고 분석할 수 있는 데이터의 양이 폭발적으로 증가한 데 따른 직접적인 결과입니다. 하지만 현실 세계에서 데이터를 수집하는 것은 쉽지 않은 일입니다. 개인 데이터를 저장하고 작업할 때 개인정보 보호 및 보안 문제가 발생하며, 다른 유형의 데이터는 비용이 많이 들거나 위험할 수도 있습니다. 그렇다면 시간, 비용, 위험 측면에서 훨씬 적은 비용으로 많은 동일한 목적에 사용할 수 있을 만큼 실제 데이터에 가까운 인공 데이터를 생성하는 것은 어떨까요? 이것이 바로 합성 데이터의 가능성이며, 제너레이티브 AI가 빠르게 가치 있는 도구로 자리 잡고 있는 또 다른 분야입니다. 합성 데이터를 생성을 지원하는 20가지 생성 AI 도구를 소개합니다. <ol ><li>Mostly- https://mostly.ai/</li></ol><ul ><li>대부분 실제 세계와 매우 유사한 데이터를 생성하기 위한 잘 정립된 합성 데이터 플랫폼</li><li>금융, 소매, 통신, 의료 등의 산업에서 사용</li><li>가트너에서 쿨 벤더로 선정</li><li>개인정보 보호를 보장하는 데이터 세트를 생성하고 GDPR 및 CCPA와 같은 데이터 보호 규정을 준수</li><li>자연어 중심의 사용자 인터페이스</li><li>생성되는 합성 데이터에 편견이 개입되지 않도록 보호하는 가드 레일도 포함 </li></ul><ol start="2"><li>Gretel - https://gretel.ai/</li></ol><ul ><li>누구나 모든 유형의 분석 또는 머신러닝 워크플로우에 사용할 수 있는 표 형식의 비정형 및 시계열 데이터를 생성 용이</li><li>코딩 경험이 거의 없어도 합성 데이터 생성 지원</li><li>수많은 커넥터와 API 통합을 통해 대부분의 클라우드 및 데이터 웨어하우스 인프라와 호환</li><li>사용자 커뮤니티에서 지원</li></ul> <ol start="3"><li>Synthea - https://synthetichealth.github.io/synthea/</li></ol><ul ><li>의료 분석에 사용할 가상 환자를 생성하기 위해 특별히 설계된 무료 오픈 소스 도구</li><li>까다로운 의료 문제를 해결할 수 있는 단서가 될 수 있는 환자의 전체 의료 기록 생성 가능 </li></ul><ol start="4"><li>Tonic - https://www.tonic.ai/</li></ol><ul ><li>현실적이고 규정을 준수하며 안전한 합성 데이터 개발을 위한 종합 플랫폼</li><li>주로 소프트웨어 및 AI 개발을 위해 구축</li><li>합성 데이터 생성 외에도 실제 데이터의 익명화를 위한 비식별화 기능 제공</li><li>온프레미스에 배포하거나 클라우드 환경에서 액세스할 수 있으며, 일반적으로 사용되는 모든 데이터베이스와 통합되도록 설계 </li></ul><ol start="5"><li>Faker - https://fakerjs.dev/</li></ol><ul ><li>파이썬과 자바스크립트 및 기타 여러 언어에서 사용할 수 있는 라이브러리로 코딩 지식 필요</li><li>이커머스 구매 습관에서 금융 거래에 이르기까지 다양한 가짜 데이터를 생성하려는 사용자들에게 인기 있는 도구</li><li>실제 데이터를 사용할 때 발생하는 개인정보 침해의 위험 없이 추천 엔진에서 사기 탐지 알고리즘에 이르기까지 모든 것을 훈련하는 데 사용 가능 </li></ul><ol start="6"><li>Broadcom CTA 테스트 매니저 - https://www.broadcom.com/products/software/app-dev/test-data-manager</li></ol><ul ><li>매우 기술적이고 복잡한 데이터 세트 생성 가능 </li></ul><ol start="7"><li>BizData X - https://bizdatax.com/</li></ol><ul ><li>비즈니스용 합성 데이터 생성을 통해 데이터 마스킹 및 익명화 간소화</li></ul> <ol start="8"><li>Cvedia - https://www.cvedia.com/</li></ol><ul ><li>합성 데이터로 구동되는 컴퓨터 비전 및 비디오 분석.</li></ul> <ol start="9"><li>Datomize - https://datawizz.ai/</li></ol><ul ><li>동적 유효성 검사 도구로 데이터 세트를 생성하여 최대한 사실적인 데이터 세트 생성 지원</li></ul> <ol start="10"><li>Edgecase - https://www.edgecase.ai/</li></ol><ul ><li>레이블이 지정된 합성 데이터를 서비스 생성</li></ul> <ol start="11"><li>GenRocket - https://www.genrocket.com/</li></ol><ul ><li>엔터프라이즈 확장성을 갖춘 동적 데이터 생성으로 소프트웨어 테스트를 위한 데이터 생성 목표</li></ul> <ol start="12"><li>Hazy - https://hazy.com/</li></ol><ul ><li>최근 세계 최초의 합성 데이터 마켓플레이스로 재출시</li></ul> <ol start="13"><li>K2View - https://www.k2view.com/solutions/synthetic-data-generation-tools/</li></ol><ul ><li>머신 러닝 모델 학습을 목적으로 데이터 생성</li></ul> <ol start="14"><li>KopiKat - https://www.kopikat.co/</li></ol><ul ><li>개인 정보 보호를 강화하고 신경망의 성능을 향상하도록 설계된 노코드 데이터 증강</li></ul> <ol start="15"><li>MDClone - https://www.mdclone.com/</li></ol><ul ><li>의료 전문가를 대상으로 하는 합성 데이터</li></ul> <ol start="16"><li>Simerse - https://www.simerse.com/</li></ol><ul ><li>컴퓨터 비전 애플리케이션을 위한 합성 훈련 데이터 생성기</li></ul> <ol start="17"><li>Sogeti - https://www.sogeti.com/services/artificial-intelligence/artificial-data-amplifier/</li></ol><ul ><li>'데이터 증폭기'로 불리는 이 도구는 기존 데이터의 특성과 상관관계를 일치시켜 실제 데이터 세트를 모방</li></ul> <ol start="18"><li>합성 데이터 볼트(Synthetic Data Vault) - https://sdv.dev/</li></ol><ul ><li>대용량 합성 데이터 생성을 위한 오픈 소스 머신 러닝 모델</li></ul> <ol start="19"><li>Syntho - https://www.syntho.ai/</li></ol><ul ><li>인사이트와 의사 결정을 위한 셀프 서비스 데이터 생성</li></ul> <ol start="20"><li>YData - https://ydata.ai/</li></ol><ul ><li>생산성과 AI 모델 성능을 향상하기 위한 자동화된 합성 데이터 생성</li></ul> <ul ><li>출처: https://www.linkedin.com/pulse/20-generative-ai-tools-creating-synthetic-data-bernard-marr-efswe/</li></ul>

합성 데이터 생성을 위한 20가지 생성 AI 도구

SQL을 처음부터 제대로 공부하고 싶지만, 어떻게 공부해야 할지 망설이고 있나요?

아래의 SQL 마인드맵으로 초보 단계부터 고급 단계까지 차근차근 공부해봐요.

 1. 초보 단계 (Basic)
    * SELECT
    * FROM
    * WHERE
    * ORDER BY
    * AGGREGATE
    * GROUP BY
    * LIMIT
 2. 중급 단계 (Intermediate)
    * LEFT JOIN
    * INNER JOIN
    * LIKE
    * IN
    * CASE WHEN
    * HAVING
    * UNION ALL
 3. 고급 단계 (Advanced)
    * SUBQUERY
    * CTE (WITH)
    * STORED PRECEDURE
    * TRIGGER
    * WINDOW FUNCTION
 4. 연습 단계 (Practice)
    * BASIC SQL PROJECT (SQL 기초 프로젝트)
    * INTERMEDIATE SQL PROJECT(SQL 중급 프로젝트)
    * ADVANCED SQL PROJECT(SQL 고급 프로젝트)

#데이터리차드 #SQL #로드맵

SQL을 처음부터 제대로 공부하고 싶지만, 어떻게 공부해야 할지 망설이고 있나요? 아래의 SQL 마인드맵으로 초보 단계부터 고급 단계까지 차근차근 공부해봐요. <ol ><li>초보 단계 (Basic)<ul ><li>SELECT</li><li>FROM</li><li>WHERE</li><li>ORDER BY</li><li>AGGREGATE</li><li>GROUP BY</li><li>LIMIT</li></ul></li><li>중급 단계 (Intermediate)<ul ><li>LEFT JOIN</li><li>INNER JOIN</li><li>LIKE</li><li>IN</li><li>CASE WHEN</li><li>HAVING</li><li>UNION ALL</li></ul></li><li>고급 단계 (Advanced)<ul ><li>SUBQUERY</li><li>CTE (WITH)</li><li>STORED PRECEDURE</li><li>TRIGGER</li><li>WINDOW FUNCTION</li></ul></li><li>연습 단계 (Practice)<ul ><li>BASIC SQL PROJECT (SQL 기초 프로젝트)</li><li>INTERMEDIATE SQL PROJECT(SQL 중급 프로젝트)</li><li>ADVANCED SQL PROJECT(SQL 고급 프로젝트)</li></ul></li></ol> #데이터리차드 #SQL #로드맵

SQL 학습 로드맵

한국 LLM 오픈소스의 희망 Upstage에서 22B 모델인 Solar Pro 프리뷰 버전을 출시했습니다. Open Weight 모델로 MIT 라이센스이니 편하게 사용 할 수 있겠습니다.

모델 성능은, 22B 의 중간 규모 사이즈이지만 MMLU-Pro, IFEval, HellaSwag 성능에 있어서 Llama 3.1 70B Instruct 모델에 육박하거나 약간 더 좋은 성능을 보여줍니다.

ARC나 GSM8K 등의 추론 능력을 평가하는 벤치에서는 상대적으로 낮은 수준이지만, 언어 능력은 70B에 육박하는 수준이기 때문에 일반적인 챗봇 시스템에 적용한다면 가성비가 뛰어난 모델로 보입니다.

특히 크기가 22B이어서 A100 80GB 단일 GPU에 양자화 없이 사용할 수 있기 때문에, 시스템 구성이 용이해서 특히 운영면에 있어서 성능 대비 가성비가 좋을 것 같습니다.

아쉬운 점은 한국 회사임에도 불구하고 영어 버전부터 공개하였다는 것인데요.(역시 조단위 투자를 받으려면 천조국으로 가긴 해야겠죠.. 🥹) 다행히 정식 버전에서는 일본어/한국어 포함를 포함하고 context length도 확장된다고 합니다.

아무튼 한국 회사가 다시 한 번 세계적으로 뛰어난 모델을 발표해서 기쁩니다. 앞으로 OpenAI를 뛰어넘는 모델도 속속 발표해주시길 기원하겠습니다. (개인적으로.. Groq에도 올려서 초빠른 API를 사용할 수 있게 해 주시면 좋겠..) 😎🍿🥤

한국 LLM 오픈소스의 희망 Upstage에서 22B 모델인 Solar Pro 프리뷰 버전을 출시했습니다. Open Weight 모델로 MIT 라이센스이니 편하게 사용 할 수 있겠습니다. 모델 성능은, 22B 의 중간 규모 사이즈이지만 MMLU-Pro, IFEval, HellaSwag 성능에 있어서 Llama 3.1 70B Instruct 모델에 육박하거나 약간 더 좋은 성능을 보여줍니다. ARC나 GSM8K 등의 추론 능력을 평가하는 벤치에서는 상대적으로 낮은 수준이지만, 언어 능력은 70B에 육박하는 수준이기 때문에 일반적인 챗봇 시스템에 적용한다면 가성비가 뛰어난 모델로 보입니다. 특히 크기가 22B이어서 A100 80GB 단일 GPU에 양자화 없이 사용할 수 있기 때문에, 시스템 구성이 용이해서 특히 운영면에 있어서 성능 대비 가성비가 좋을 것 같습니다. 아쉬운 점은 한국 회사임에도 불구하고 영어 버전부터 공개하였다는 것인데요.(역시 조단위 투자를 받으려면 천조국으로 가긴 해야겠죠.. 🥹) 다행히 정식 버전에서는 일본어/한국어 포함를 포함하고 context length도 확장된다고 합니다. 아무튼 한국 회사가 다시 한 번 세계적으로 뛰어난 모델을 발표해서 기쁩니다. 앞으로 OpenAI를 뛰어넘는 모델도 속속 발표해주시길 기원하겠습니다. (개인적으로.. Groq에도 올려서 초빠른 API를 사용할 수 있게 해 주시면 좋겠..) 😎🍿🥤

📰 Upstage, 22B 모델 Solar Pro 출시

데이터 직무 별로 어떤 포트폴리오를 만들어야 하는지 궁금하신가요?
아래의 마인드 맵을 통해 데이터 직무별 포트폴리오용 주제들을 살펴보세요 :)

데이터 과학자
↳ 탐색적 데이터 분석 (EDA)
↳ A/B 실험 (A/B testing)
↳ 머신러닝 (Machine Learning)
↳ 인과 추론 (Causal Inference)

머신러닝 엔지니어
↳ 머신러닝 프로젝트 (ML project)
↳ 데이터 전처리 프로젝트 (Preprocessing)
↳ 모델 평가 및 튜닝 (Modeling evaluation & fine-tuning)
↳ 빅데이터 처리 기술 (Spark & Hadoop)

데이터 엔지니어
↳ ETL 개발
↳ 데이터베이스 관리 (DBA)
↳ 데이터 파이프라인 자동화 (Data Pipeline)
↳ 클라우드 데이터 플랫폼 (Cloud Data Platform)

데이터 분석가
↳ SQL
↳ 고급 엑셀 (Advanced Excel)
↳ 데이터 시각화 (Data Visualization)
↳ 지표 정의 및 보고 (KPI metrics)

#데이터리차드 #데이터직무 #포트폴리오 #프로젝트

데이터 직무 별로 어떤 포트폴리오를 만들어야 하는지 궁금하신가요?아래의 마인드 맵을 통해 데이터 직무별 포트폴리오용 주제들을 살펴보세요 :) 데이터 과학자↳ 탐색적 데이터 분석 (EDA)↳ A/B 실험 (A/B testing)↳ 머신러닝 (Machine Learning)↳ 인과 추론 (Causal Inference) 머신러닝 엔지니어↳ 머신러닝 프로젝트 (ML project)↳ 데이터 전처리 프로젝트 (Preprocessing)↳ 모델 평가 및 튜닝 (Modeling evaluation &amp; fine-tuning)↳ 빅데이터 처리 기술 (Spark &amp; Hadoop) 데이터 엔지니어↳ ETL 개발↳ 데이터베이스 관리 (DBA)↳ 데이터 파이프라인 자동화 (Data Pipeline)↳ 클라우드 데이터 플랫폼 (Cloud Data Platform) 데이터 분석가↳ SQL↳ 고급 엑셀 (Advanced Excel)↳ 데이터 시각화 (Data Visualization)↳ 지표 정의 및 보고 (KPI metrics) #데이터리차드 #데이터직무 #포트폴리오 #프로젝트

데이터 직무별 포트폴리오용 프로젝트 주제들

A collection of (mostly) technical things every software developer should know about - mtdvio/every-programmer-should-know

GitHub - mtdvio/every-programmer-should-know: A collection of (mostly) technical things every software developer should know about

개발자라면 찜 해놔야하는 GitHub 저장소들

모든 프로그래머가 알아야하는 지식 모음
https://github.com/mtdvio/every-programmer-should-know
JS 프로젝트 50일동안 50개만들기
https://github.com/bradtraversy/50projects50days

모오던 웹개발
https://github.com/dexteryy/spellbook-of-modern-webdev

30초면 배울 수 있는 코드 스니핏들
https://github.com/Chalarangelo/30-seconds-of-code

개발 면접 핸드북
https://github.com/yangshun/tech-interview-handbook

개발자라면 찜 해놔야하는 GitHub 저장소들 모든 프로그래머가 알아야하는 지식 모음https://github.com/mtdvio/every-programmer-should-knowJS 프로젝트 50일동안 50개만들기https://github.com/bradtraversy/50projects50days 모오던 웹개발https://github.com/dexteryy/spellbook-of-modern-webdev 30초면 배울 수 있는 코드 스니핏들https://github.com/Chalarangelo/30-seconds-of-code 개발 면접 핸드북https://github.com/yangshun/tech-interview-handbook

GitHub

YouTube에서 마음에 드는 동영상과 음악을 감상하고, 직접 만든 콘텐츠를 업로드하여 친구, 가족뿐 아니라 전 세계 사람들과 콘텐츠를 공유할 수 있습니다.

 - YouTube

AutoParams 덕분에 3년 이상을 Spring Boot 앱 개발에 TDD를 덜 힘들게 적용했습니다. 누군가에게 조금이라도 더 도움이 되길 바라며 올해 스프링 캠프에서 AutoParams의 목적과 아키텍처, 사용법을 설명하는 자리를 가졌습니다.

AutoParams 덕분에 3년 이상을 Spring Boot 앱 개발에 TDD를 덜 힘들게 적용했습니다. 누군가에게 조금이라도 더 도움이 되길 바라며 올해 스프링 캠프에서 AutoParams의 목적과 아키텍처, 사용법을 설명하는 자리를 가졌습니다.

youtu.be

AutoParams를 사용한 Spring Boot 응용프로그램 테스트

지난 주말, 끈이론의 대가인 미치오 카쿠 교수가 쓴 책 <단 하나의 방정식> (원제: The God Equation)을 주문해 받았습니다. 한쪽 구석에 두었다가 오늘에서야 다 읽었네요. 교양 물리학을 흥미롭게 공부한 경험이 있는 사람이라면 누구나 쉽게 이해할 수 있도록 쓰였으며 3~4시간이면 읽을 수 있는 분량입니다. 그동안 일반 대중을 대상으로 한 저자의 다양한 활동 덕분인지 그의 전문성과 함께 친절함이 글 속에 고스란히 담겨 있습니다.

우리가 사는 세상에는 네 가지 힘, 즉 강력, 약력, 전자기력, 그리고 중력이 존재합니다. 하지만 현대 물리학의 대표 주자인 양자역학은 이 중 중력이란 무엇인지에 대한 명확한 답을 제시하지 못하고 있습니다. 그래서 정통 물리학계에서는 아직까지 이 네 가지 힘을 하나의 이론으로 통합하는 데 많은 어려움을 겪고 있죠. 아인슈타인도 이것에 남은 인생을 바쳤지만 끝내 이루어내질 못했습니다. 책의 초반부는 이 네 가지 힘에 대한 역사적 의미와 발견 과정을 차근차근 설명합니다. 후반부에서는 중력이 끈이론을 통해 자연스럽게 설명되며, 나아가 모든 것을 통합할 수 있는 하나의 방정식이 나올 가능성이 높다는 주장을 펼칩니다. 그 이유는 현재 끈이론이 10차원 혹은 11차원(M이론)의 개념으로 확장되며, 그 작동 원리를 온전히 이해하고 있지는 못하지만 수학적으로 모든 힘을 하나로 설명할 수 있는 유일한 이론이기 때문입니다. 그것은 대칭을 이루며 아름답기까지 합니다.

2021년 말 발간된 이 책을 통해 끈이론이 현재 어느 정도 진전되었는지, 앞으로 어떻게 발전해 나갈지에 대한 미래를 간접적으로나마 엿볼 수 있어 좋았습니다. 또한 이 책을 읽으며, 일상에서 겪는 크고 작은 문제들이 얼마나 부질없고 작은 것인지 다시 한번 깨닫게 됩니다. 특히 책 중반부에 나오는 양자역학의 불확정성 원리에서, 관측자에 의해 관측되는 순간 상태가 결정된다는 내용을 읽으면서, 우주적 관점에서 우린 티끌처럼 보잘것없는 존재일지라도, 의식을 가진 관측자로서 각자의 고유한 우주에서 중요한 존재가 될 수 있지 않을까 하는 생각이 들었습니다.

이 책은 잠시나마 삶의 무게를 내려놓고 생각할 수 있게 해 주는, 저에게는 마치 휴양지 같은 힐링 서적처럼 느껴지네요

지난 주말, 끈이론의 대가인 미치오 카쿠 교수가 쓴 책 &lt;단 하나의 방정식&gt; (원제: The God Equation)을 주문해 받았습니다. 한쪽 구석에 두었다가 오늘에서야 다 읽었네요. 교양 물리학을 흥미롭게 공부한 경험이 있는 사람이라면 누구나 쉽게 이해할 수 있도록 쓰였으며 3~4시간이면 읽을 수 있는 분량입니다. 그동안 일반 대중을 대상으로 한 저자의 다양한 활동 덕분인지 그의 전문성과 함께 친절함이 글 속에 고스란히 담겨 있습니다. 우리가 사는 세상에는 네 가지 힘, 즉 강력, 약력, 전자기력, 그리고 중력이 존재합니다. 하지만 현대 물리학의 대표 주자인 양자역학은 이 중 중력이란 무엇인지에 대한 명확한 답을 제시하지 못하고 있습니다. 그래서 정통 물리학계에서는 아직까지 이 네 가지 힘을 하나의 이론으로 통합하는 데 많은 어려움을 겪고 있죠. 아인슈타인도 이것에 남은 인생을 바쳤지만 끝내 이루어내질 못했습니다. 책의 초반부는 이 네 가지 힘에 대한 역사적 의미와 발견 과정을 차근차근 설명합니다. 후반부에서는 중력이 끈이론을 통해 자연스럽게 설명되며, 나아가 모든 것을 통합할 수 있는 하나의 방정식이 나올 가능성이 높다는 주장을 펼칩니다. 그 이유는 현재 끈이론이 10차원 혹은 11차원(M이론)의 개념으로 확장되며, 그 작동 원리를 온전히 이해하고 있지는 못하지만 수학적으로 모든 힘을 하나로 설명할 수 있는 유일한 이론이기 때문입니다. 그것은 대칭을 이루며 아름답기까지 합니다. 2021년 말 발간된 이 책을 통해 끈이론이 현재 어느 정도 진전되었는지, 앞으로 어떻게 발전해 나갈지에 대한 미래를 간접적으로나마 엿볼 수 있어 좋았습니다. 또한 이 책을 읽으며, 일상에서 겪는 크고 작은 문제들이 얼마나 부질없고 작은 것인지 다시 한번 깨닫게 됩니다. 특히 책 중반부에 나오는 양자역학의 불확정성 원리에서, 관측자에 의해 관측되는 순간 상태가 결정된다는 내용을 읽으면서, 우주적 관점에서 우린 티끌처럼 보잘것없는 존재일지라도, 의식을 가진 관측자로서 각자의 고유한 우주에서 중요한 존재가 될 수 있지 않을까 하는 생각이 들었습니다. 이 책은 잠시나마 삶의 무게를 내려놓고 생각할 수 있게 해 주는, 저에게는 마치 휴양지 같은 힐링 서적처럼 느껴지네요

단 하나의 방정식

개발자라면 찜 해놔야하는 GitHub 저장소들

모든 프로그래머가

AutoParams를 사용한 Spring Boot 응용프로그램 테

1. 찰스 다윈은 하루에 90분씩 3번 일했고, 나머지 시간에는 긴 산책을 하거나 낮잠을 자거나 상념에 잠겼다. (그러면서도 그는 <종의 기원>을 포함해 19권의 책을 집필했다)

2. 엄청난 다작가이자 사상가로 알려진 앙리 푸앵카레는 오전 10시부터 정오까지 첫 번째 작업을 한 뒤, 오후 5시부터 7시까지 두 번째 작업을 했다. (그는 하루 4시간만 일했다)

3. 마찬가지로, 수학자 고드프리 해럴드 하디는 ‘의식적 작업은 하루 4시간이 최대치’이며, 나머지 시간을 너무 많은 바쁜 일로 채우면 오히려 비생산적이라고 믿었다.

4. 다윈, 푸앵카레, 하디는 모든 같은 이야기를 하고 있다. 제대로 초점을 맞추고, 진짜 집중력을 (제대로) 발휘하면, 그리고 양질의 휴식으로 집중하는 시간을 잘 뒷받침하면, 위대한 성취를 이루는 데 필요한 시간은 하루 4시간이면 충분하다고. 이는 바쁨을 추구하는 우리의 문화와 정면으로 충돌하는 발상이다.

5. 위대함을 낳는 ‘1만 시간의 법칙’은 앤더스 에릭슨과 동료들의 공동 연구로 탄생한 이래로, 말콤 글래드웰이 책 <아웃라이어>에 소개하며 대중의 큰 주목을 받았다. 말콤 글래드웰은 1만 시간의 법칙을 소개하며 ‘어떤 분야에서든 전문가 수준에 도달하려면 1만 시간의 의도적 연습이 필요하다’고 주장했다.

6. 그리고 이는 바쁨과 스트레스와 과로를 미덕으로 여기는 세상에서 큰 환영을 받았고, 아직도 많은 사람들이 이 법칙을 마치 교리처럼 신봉한다.

7. 그런데 에릭슨의 실제 연구에는 ‘매일 의도적 연습이 효과적인 수준을 넘지 않도록 제한해야 한다’는 내용도 담겨 있으며, 연구에서는 ‘하루에 투입해야 할 이상적인 시간은 4시간’이라고도 제안한다.

8. 이 연구에서 더 흥미로운 부분은 ‘정상급 연주자와 평균적 연주자는 쉬는 방식부터 다르다’는 점이다. 정상급 연주자는 평균적 연주자들에 비해 더 체계적이고 계획적으로 여가 시간을 보냈다.

9. 정상급 연주자들은 연습만 의도적으로 하는 게 아니라, 휴식도 의도적으로 취했다. 그들은 평균적 연주자보다 1시간 가량 더 잠을 찾다. (탁월한 퍼포먼스 = 의식적 연습+의식적 휴식)

10. 흔히 휴식을 일의 반대라고 생각하지만, 일과 휴식의 엄격한 분리는 현대의 그릇된 통념이다. 오랫동안 사람들은 쉴 때 뇌의 활동력이 떨어진다고 생각했다. 하지만 날로 발전하는 뇌 영상 기술에 힘입어 뇌과학자들은 ‘쉬는 동안에도 뇌의 전반적인 활동량이 감소하지 않는다’는 것을 발견했다.

11. 활동성은 단지 뇌의 다른 영역으로 옮겨갔다. 그리고 연구자들은 쉬는 동안 활성화되는 뇌의 영역을 ‘디폴트 모드 네트워크(DMN)’라고 칭하게 되었다.

12. 그리고 추가 연구를 통해, 디폴트 모드 네트워크는 고도로 활동적일 뿐 아니라, 정신 건강과 정서에 있어 굉장히 중요하다는 점이 발견됐다.

13. 특히 창의적이고 혁신적인 유형의 일을 할 땐 일하는 시간만큼, 휴식과 긴장 풀기가 필요하다. 디폴트 모드 네트워크가 활성화되면, 우리의 직관이 주도권을 가지고, 창의성은 멀리 있는 요소와 연관점을 찾기 시작한다.

14. 산책을 하거나 샤워 도중에 강력한 생각이나 통찰이 떠올렸다면, 디폴트 모드 네트워크에 감사해야 한다.

15. 그러나 당신이 휴식 때 텔레비전 앞에서 멍하게 있거나 유튜브에서 고양이 동영상을 본다면 디폴트 모드 네트워크가 활성화되는 데는 차질이 생긴다. (TV를 보거나 동영상을 보는 건 좋은 휴식 방법은 아니라는 얘기다)

16. (게다가) 창의적인 사람의 뇌는 디폴트 모드 네트워크가 더 강력하게 개발되어 휴식 시간에도 더 효과적으로 일을 한다는 연구 결과도 있다.

17. (고로 올바른 방식으로) 더 많은 시간을 휴식에 쓰면, 창의력과 행복감이 증진될 뿐 아니라, 일하는 시간의 능률마저 올라간다.

18. (그러니 숏폼 중독 등 주의력을 탕진해 일에 부정적인 영향을 미치는 휴식이 아니라, 자신에게 맞는 올바른 휴식법을 찾아라. 그러면 일의 능률을 올라갈 수밖에 없다)

- 존 피치 외, <이토록 멋진 휴식> 중

1. 찰스 다윈은 하루에 90분씩 3번 일했고, 나머지 시간에는 긴 산책을 하거나 낮잠을 자거나 상념에 잠겼다. (그러면서도 그는 &lt;종의 기원&gt;을 포함해 19권의 책을 집필했다) 2. 엄청난 다작가이자 사상가로 알려진 앙리 푸앵카레는 오전 10시부터 정오까지 첫 번째 작업을 한 뒤, 오후 5시부터 7시까지 두 번째 작업을 했다. (그는 하루 4시간만 일했다) 3. 마찬가지로, 수학자 고드프리 해럴드 하디는 ‘의식적 작업은 하루 4시간이 최대치’이며, 나머지 시간을 너무 많은 바쁜 일로 채우면 오히려 비생산적이라고 믿었다. 4. 다윈, 푸앵카레, 하디는 모든 같은 이야기를 하고 있다. 제대로 초점을 맞추고, 진짜 집중력을 (제대로) 발휘하면, 그리고 양질의 휴식으로 집중하는 시간을 잘 뒷받침하면, 위대한 성취를 이루는 데 필요한 시간은 하루 4시간이면 충분하다고. 이는 바쁨을 추구하는 우리의 문화와 정면으로 충돌하는 발상이다. 5. 위대함을 낳는 ‘1만 시간의 법칙’은 앤더스 에릭슨과 동료들의 공동 연구로 탄생한 이래로, 말콤 글래드웰이 책 &lt;아웃라이어&gt;에 소개하며 대중의 큰 주목을 받았다. 말콤 글래드웰은 1만 시간의 법칙을 소개하며 ‘어떤 분야에서든 전문가 수준에 도달하려면 1만 시간의 의도적 연습이 필요하다’고 주장했다. 6. 그리고 이는 바쁨과 스트레스와 과로를 미덕으로 여기는 세상에서 큰 환영을 받았고, 아직도 많은 사람들이 이 법칙을 마치 교리처럼 신봉한다. 7. 그런데 에릭슨의 실제 연구에는 ‘매일 의도적 연습이 효과적인 수준을 넘지 않도록 제한해야 한다’는 내용도 담겨 있으며, 연구에서는 ‘하루에 투입해야 할 이상적인 시간은 4시간’이라고도 제안한다. 8. 이 연구에서 더 흥미로운 부분은 ‘정상급 연주자와 평균적 연주자는 쉬는 방식부터 다르다’는 점이다. 정상급 연주자는 평균적 연주자들에 비해 더 체계적이고 계획적으로 여가 시간을 보냈다. 9. 정상급 연주자들은 연습만 의도적으로 하는 게 아니라, 휴식도 의도적으로 취했다. 그들은 평균적 연주자보다 1시간 가량 더 잠을 찾다. (탁월한 퍼포먼스 = 의식적 연습+의식적 휴식) 10. 흔히 휴식을 일의 반대라고 생각하지만, 일과 휴식의 엄격한 분리는 현대의 그릇된 통념이다. 오랫동안 사람들은 쉴 때 뇌의 활동력이 떨어진다고 생각했다. 하지만 날로 발전하는 뇌 영상 기술에 힘입어 뇌과학자들은 ‘쉬는 동안에도 뇌의 전반적인 활동량이 감소하지 않는다’는 것을 발견했다. 11. 활동성은 단지 뇌의 다른 영역으로 옮겨갔다. 그리고 연구자들은 쉬는 동안 활성화되는 뇌의 영역을 ‘디폴트 모드 네트워크(DMN)’라고 칭하게 되었다. 12. 그리고 추가 연구를 통해, 디폴트 모드 네트워크는 고도로 활동적일 뿐 아니라, 정신 건강과 정서에 있어 굉장히 중요하다는 점이 발견됐다. 13. 특히 창의적이고 혁신적인 유형의 일을 할 땐 일하는 시간만큼, 휴식과 긴장 풀기가 필요하다. 디폴트 모드 네트워크가 활성화되면, 우리의 직관이 주도권을 가지고, 창의성은 멀리 있는 요소와 연관점을 찾기 시작한다. 14. 산책을 하거나 샤워 도중에 강력한 생각이나 통찰이 떠올렸다면, 디폴트 모드 네트워크에 감사해야 한다. 15. 그러나 당신이 휴식 때 텔레비전 앞에서 멍하게 있거나 유튜브에서 고양이 동영상을 본다면 디폴트 모드 네트워크가 활성화되는 데는 차질이 생긴다. (TV를 보거나 동영상을 보는 건 좋은 휴식 방법은 아니라는 얘기다) 16. (게다가) 창의적인 사람의 뇌는 디폴트 모드 네트워크가 더 강력하게 개발되어 휴식 시간에도 더 효과적으로 일을 한다는 연구 결과도 있다. 17. (고로 올바른 방식으로) 더 많은 시간을 휴식에 쓰면, 창의력과 행복감이 증진될 뿐 아니라, 일하는 시간의 능률마저 올라간다. 18. (그러니 숏폼 중독 등 주의력을 탕진해 일에 부정적인 영향을 미치는 휴식이 아니라, 자신에게 맞는 올바른 휴식법을 찾아라. 그러면 일의 능률을 올라갈 수밖에 없다) - 존 피치 외, &lt;이토록 멋진 휴식&gt; 중

일을 못하는 사람들은 대부분 잘 쉬지도 못해요ㅠ

회사의 대표 옆에서 일해볼 수 있다는 점인 것 같아요.

가까이 있으면 그 사람의 사고방식을 배울 수 있어요. 회사를 세울 정도의 사람이라면 분명 배울 점이 있어요.

제가 만난 분들은 관점이 남달랐어요. 시장을 보는 관점, 제품을 대하는 관점에서 정말 많이 배울 수 있었죠. 개발자로서 조금 더 큰 그림을 볼 수 있는 기회가 되었어요.

누군가는 불편한 일이라고 할지도 몰라요. 하지만 조금 불편한 그 순간에 우리는 성장할 수 있다고 믿어요.

회사의 대표 옆에서 일해볼 수 있다는 점인 것 같아요. 가까이 있으면 그 사람의 사고방식을 배울 수 있어요. 회사를 세울 정도의 사람이라면 분명 배울 점이 있어요. 제가 만난 분들은 관점이 남달랐어요. 시장을 보는 관점, 제품을 대하는 관점에서 정말 많이 배울 수 있었죠. 개발자로서 조금 더 큰 그림을 볼 수 있는 기회가 되었어요. 누군가는 불편한 일이라고 할지도 몰라요. 하지만 조금 불편한 그 순간에 우리는 성장할 수 있다고 믿어요.

작은 회사에 일하면 좋은 점

Elastic announces the return of open source licensing for Elasticsearch and Kibana, adding AGPL as an option alongside existing licenses. This change reinforces our long-standing commitment to open so...

Elasticsearch is Open Source, Again

https://www.elastic.co/kr/blog/elasticsearch-is-open-source-again

AWS와의 갈등으로 3년전 Apache 라이센스를 버리고 SSPL 라이센스를 도입하면서 오픈소스가 아니게 되었다가 이번에 다시 AGPL 라이센스를 도입해서 오픈소스가 되었습니다.

오픈소스는 오픈소스 이니셔티브에서 사용 권한을 가지고 있어서 오픈소스 이니셔티브에서 인정한 라이센스가 아니라면 오픈소스라는 말을 사용할 수 없습니다. 오픈소스 이기는 하지만 엘라스틱 같은 회사는 클라우드 사업을 하기 때문에 AWS같은 클라우드 업체에서 elasticsearch를 서비스로 내놓으면서 갈등이 생기고 결국 오픈소스 라이센스를 버리고 클라우드 업체가 elasticsearch를 사용할 수 없게하는 SSPL을 도입해서 이를 막았습니다.

그동안의 과정이 고통스럽긴 했지만 3년이 지난 지금 AWS와의 파트너쉽이 견고해졌고 AWS도 OpenSearch에 충분한 투자를 했기 때문에 다시 오픈소스로 돌아와도 되겠다고 생각하고 AGPL을 도입하기로 했다고 합니다.

엘리스틱은 이렇게 얘기하고 사람들의 의견은 다양하게 있는거 같습니다. 엘라스틱의 의도를 그대로 믿을 수도 있고 오픈소스를 버린게 결과적으로 안좋았다고 판단했기에 번복했다는 얘기도 있습니다.

오픈소스였다가 아니었다가 혼란스럽고 앞으로 그러면 OpenSearch는 어떻게 되는건지 궁금하기도 하지만 앞으로 시장이 어떻게 흘러갈지 봐야될 것 같습니다.

https://www.elastic.co/kr/blog/elasticsearch-is-open-source-again AWS와의 갈등으로 3년전 Apache 라이센스를 버리고 SSPL 라이센스를 도입하면서 오픈소스가 아니게 되었다가 이번에 다시 AGPL 라이센스를 도입해서 오픈소스가 되었습니다. 오픈소스는 오픈소스 이니셔티브에서 사용 권한을 가지고 있어서 오픈소스 이니셔티브에서 인정한 라이센스가 아니라면 오픈소스라는 말을 사용할 수 없습니다. 오픈소스 이기는 하지만 엘라스틱 같은 회사는 클라우드 사업을 하기 때문에 AWS같은 클라우드 업체에서 elasticsearch를 서비스로 내놓으면서 갈등이 생기고 결국 오픈소스 라이센스를 버리고 클라우드 업체가 elasticsearch를 사용할 수 없게하는 SSPL을 도입해서 이를 막았습니다. 그동안의 과정이 고통스럽긴 했지만 3년이 지난 지금 AWS와의 파트너쉽이 견고해졌고 AWS도 OpenSearch에 충분한 투자를 했기 때문에 다시 오픈소스로 돌아와도 되겠다고 생각하고 AGPL을 도입하기로 했다고 합니다. 엘리스틱은 이렇게 얘기하고 사람들의 의견은 다양하게 있는거 같습니다. 엘라스틱의 의도를 그대로 믿을 수도 있고 오픈소스를 버린게 결과적으로 안좋았다고 판단했기에 번복했다는 얘기도 있습니다. 오픈소스였다가 아니었다가 혼란스럽고 앞으로 그러면 OpenSearch는 어떻게 되는건지 궁금하기도 하지만 앞으로 시장이 어떻게 흘러갈지 봐야될 것 같습니다.

Elastic Blog

https://www.elastic.co/kr/blog/elast

국내 개발자로서 자부심을 불어넣는 오픈소스 생태계가 있습니다. 바로 토스(Toss)가 주도하는 오픈소스 생태계 인데요.

es-hangul
이라고 하는 한글을 다루기 위한 라이브러리는 이미 1,000개가 넘는 GitHub 스타를 획득했습니다. 또한
lodash
보다 2배 더 빠른 유틸리티 라이브러리인
es-toolkit
은 이미 6,100개의 스타를 받고 국내를 넘어 세계적으로 많은 개발자들의 관심을 받고 있는데요. 이번 토스 모닥불 EP.4 영상에서는 토스에서 오픈소스 생태계를 운영하는 개발자들의 이야기를 만나볼 수 있습니다.

특히나 주목할 만한 점은, 패널로 참여한 토스의 오픈소스
suspensive
를 운영하고 계시는 분인데요. 이 개발자분은 요즘은 필수로 사용되고 있는
TanstackQuery
의 최상위 기여자입니다.
Jotai
외에도 토스 오픈소스에도 적극적으로 기여를하고 결국에는 토스에 합류하신게 참 대단하게 느껴지네요.

또한 오픈소스 생태계 구축을 통해 기술 커뮤니티에 긍정적인 영향을 미치고자 하는 토스의 노력도 대단한것 같습니다. 한국 개발 생태계의 경쟁력을 높이고, 개발자들에게 새로운 도전과 성장의 기회를 제공하는데 있어서, 토스의 이러한 행보를 응원합니다.

https://www.youtube.com/watch?v=SdBL-p597Dw

국내 개발자로서 자부심을 불어넣는 오픈소스 생태계가 있습니다. 바로 토스(Toss)가 주도하는 오픈소스 생태계 인데요. <code >es-hangul</code>이라고 하는 한글을 다루기 위한 라이브러리는 이미 1,000개가 넘는 GitHub 스타를 획득했습니다. 또한 <code >lodash</code>보다 2배 더 빠른 유틸리티 라이브러리인 <code >es-toolkit</code>은 이미 6,100개의 스타를 받고 국내를 넘어 세계적으로 많은 개발자들의 관심을 받고 있는데요. 이번 토스 모닥불 EP.4 영상에서는 토스에서 오픈소스 생태계를 운영하는 개발자들의 이야기를 만나볼 수 있습니다. 특히나 주목할 만한 점은, 패널로 참여한 토스의 오픈소스 <code >suspensive</code> 를 운영하고 계시는 분인데요. 이 개발자분은 요즘은 필수로 사용되고 있는 <code >TanstackQuery</code> 의 최상위 기여자입니다. <code >Jotai</code> 외에도 토스 오픈소스에도 적극적으로 기여를하고 결국에는 토스에 합류하신게 참 대단하게 느껴지네요. 또한 오픈소스 생태계 구축을 통해 기술 커뮤니티에 긍정적인 영향을 미치고자 하는 토스의 노력도 대단한것 같습니다. 한국 개발 생태계의 경쟁력을 높이고, 개발자들에게 새로운 도전과 성장의 기회를 제공하는데 있어서, 토스의 이러한 행보를 응원합니다. https://www.youtube.com/watch?v=SdBL-p597Dw

www.youtube.com

토스의 오픈소스 생태계: 한국을 넘어 글로벌로

최고의 자동완성 플러그인 타입스크립트를 사용하여 개발자를 속이고 코드를 최적화한 경험을 공유합니다.

타입스크립트스럽게 성능과 생산성 두 마리 토끼 모두 잡기

이름만 보고 프론트엔드인줄 알았는데요. 살펴보니 백엔드였습니다!

2021년 1월에 출시한 쿠키런:킹덤에 운영 도구는 어마어마하군요!

https://tech.devsisters.com/posts/typescript-ish-way-to-improve-performance/

이름만 보고 프론트엔드인줄 알았는데요. 살펴보니 백엔드였습니다! 2021년 1월에 출시한 쿠키런:킹덤에 운영 도구는 어마어마하군요! https://tech.devsisters.com/posts/typescript-ish-way-to-improve-performance/

DevTech - 데브시스터즈 기술블로그

TypeScript하면 프론트만?!

Vite는 기존 자바스크립트 번들러의 만성적인 성능 문제를 해결하고 개발자 경험을 향상시키기 위해서 등장한 차세대 번들러입니다. 브라우저에서 지원하는 ESM(ES Modules)를 적극적으로 활용하고, 자바스크립트 대신에 컴파일 언어인 Go로 작성된 현대적인 자바스크립트 개발 도구이죠.

Vite은 예전부터 널리 사용되던 번들러인 Webpack보다 설정이 훨씬 쉽고 간단하며, 설정이 필요 없기로 유명하던 번들러인 Parcel보다도 훨씬 빠릅니다. 이로 인해서 기존 번들러보다 뛰어난 개발자 경험을 제공하여 많은 개발자로부터 사랑을 받고 있는 번들러입니다.

2023년 Sate of JavaScript 설문 결과를 보시면 빌드 도구 부분에서 Vite(73%)가 Parcel(30%)을 아득히 넘고 Webpack(90%)에 이어서 사용률 2위를 기록하고 있습니다. 2021년에 20% 사용률로 처음 그래프에 등장했는데 무서운 성장세가 아닐 수 없습니다.

더욱 고무적인 부분은 바로 Vite를 써본 응답자들의 만족도입니다. 88%로 압도적인 1위를 차지하고 있으며, Webpack의 만족도는 45%까지 곤두박질 친 것을 볼 수 있습니다.

참고로 많은 분들이 영문 철자만 보시고 Vite를 “바이트”라고 발음해야 하는 걸로 오해하시는데요. 사실 Vite라는 이름은 “빠름”을 의미하는 프랑스어에서 유래되었고 그래서 정확한 발음은 “비트”라고 합니다. 한국 개발자들 사이에서는 우스갯 소리로 빛처럼 빠르다고 “빛”이라고도 많이 부르는 것 같습니다. 😄

이번 포스팅에서는 Vite를 처음 사용하시는 분들의 위해서 Vite를 시작하는 방법을 안내해드리겠습니다.

📝 포스팅: https://www.daleseo.com/vite/

Vite는 기존 자바스크립트 번들러의 만성적인 성능 문제를 해결하고 개발자 경험을 향상시키기 위해서 등장한 차세대 번들러입니다. 브라우저에서 지원하는 ESM(ES Modules)를 적극적으로 활용하고, 자바스크립트 대신에 컴파일 언어인 Go로 작성된 현대적인 자바스크립트 개발 도구이죠. Vite은 예전부터 널리 사용되던 번들러인 Webpack보다 설정이 훨씬 쉽고 간단하며, 설정이 필요 없기로 유명하던 번들러인 Parcel보다도 훨씬 빠릅니다. 이로 인해서 기존 번들러보다 뛰어난 개발자 경험을 제공하여 많은 개발자로부터 사랑을 받고 있는 번들러입니다. 2023년 Sate of JavaScript 설문 결과를 보시면 빌드 도구 부분에서 Vite(73%)가 Parcel(30%)을 아득히 넘고 Webpack(90%)에 이어서 사용률 2위를 기록하고 있습니다. 2021년에 20% 사용률로 처음 그래프에 등장했는데 무서운 성장세가 아닐 수 없습니다. 더욱 고무적인 부분은 바로 Vite를 써본 응답자들의 만족도입니다. 88%로 압도적인 1위를 차지하고 있으며, Webpack의 만족도는 45%까지 곤두박질 친 것을 볼 수 있습니다. 참고로 많은 분들이 영문 철자만 보시고 Vite를 “바이트”라고 발음해야 하는 걸로 오해하시는데요. 사실 Vite라는 이름은 “빠름”을 의미하는 프랑스어에서 유래되었고 그래서 정확한 발음은 “비트”라고 합니다. 한국 개발자들 사이에서는 우스갯 소리로 빛처럼 빠르다고 “빛”이라고도 많이 부르는 것 같습니다. 😄 이번 포스팅에서는 Vite를 처음 사용하시는 분들의 위해서 Vite를 시작하는 방법을 안내해드리겠습니다. 📝 포스팅: https://www.daleseo.com/vite/

Vite 처음 시작하기

원문 : Good Refactoring vs Bad Refactoring thumbnail…

(번역) 좋은 리팩터링 vs 나쁜 리팩터링

오늘 소개해드릴 글은 42dot의 유경상님이 번역해주신 글입니다.

많은 개발자들이 리팩터링의 중요성을 알고 리팩터링을 하지만, 적절하지 않은 리팩터링으로 오히려 코드 베이스에 악영향을 준다는 것을 간과하는 경우가 많습니다. 이 글에서는 저자가 지금까지 겪어온 경험을 기반으로 어떤 리팩터링이 잘못된 리팩터링이고, 어떤 식으로 리팩터링하는 것이 바람직한지에 대해 구체적인 코드 예시와 함께 설명합니다. 이에 더해서 올바른 리팩터링 방법과 더 나은 리팩터링을 위한 도구도 함께 소개하고 있습니다. 이 글을 통해 현재 적절한 리팩터링을 하고 있는지 점검해 보시는 기회가 되시면 좋을 것 같습니다 :)

> 글 링크 : https://ykss.netlify.app/translation/good_refactoring_vs_bad_refactoring/

오늘 소개해드릴 글은 42dot의 유경상님이 번역해주신 글입니다. 많은 개발자들이 리팩터링의 중요성을 알고 리팩터링을 하지만, 적절하지 않은 리팩터링으로 오히려 코드 베이스에 악영향을 준다는 것을 간과하는 경우가 많습니다. 이 글에서는 저자가 지금까지 겪어온 경험을 기반으로 어떤 리팩터링이 잘못된 리팩터링이고, 어떤 식으로 리팩터링하는 것이 바람직한지에 대해 구체적인 코드 예시와 함께 설명합니다. 이에 더해서 올바른 리팩터링 방법과 더 나은 리팩터링을 위한 도구도 함께 소개하고 있습니다. 이 글을 통해 현재 적절한 리팩터링을 하고 있는지 점검해 보시는 기회가 되시면 좋을 것 같습니다 :) &gt; 글 링크 : https://ykss.netlify.app/translation/good_refactoring_vs_bad_refactoring/

ykss.netlify.app

좋은 리팩터링 vs 나쁜 리팩터링

전략적 계획 수립을 위한 3가지 핵심 요소를 알고 있다면 안 보셔도 괜찮아요.

🚀 전략적 계획 수립을 위한 3가지 핵심 요소 (실제 사례 포함)

Product lab에서 공유한 내용으로, 세계에서 가장 영향력 있는 경영이론가이자 경영전략 연구자로 하버드 경영대학원, 인시아드를 거쳐 현재 UCLA 앤더슨경영대학원의 명예교수인 리처드 루멜트(Richard Rumelt)의 'Good Strategy, Bad Strategy'에 대한 내용입니다.

짧지만 인사이트 있는 글로 프러덕트 매니저/오너이거나 관심있는분들은 참고하시면 좋을거 같습니다.^^

1. 전략이란 문제를 해결하기 위한 구체적인 행동이다.
 * 명확한 진단 
 * 현재 직면한 가장 큰 문제는 무엇인가?
 * 가이드라인 정책 
 * 문제를 해결하기 위해 어떤 방향으로 나아갈 것인가?
 * 일관된 행동 
 * 문제 해결에 기여하는 실행 가능한 행동들을 일관성있게 실행해야 합니다.

2. 전략이란 어려움에서부터 시작한다.
 * 먼저 어려움에 초점을 맞추고, 그 다음 어려움을 해결하는 방법에 집중하라
 * 예) 일론 머스크는 "왜 로켓을 재사용하는 게 그렇게 어려울까?"에 초점을 맞췄다.
 
 
3. 성공적인 전략 수립 사례
 * 사례 1: 넷플릭스의 스트리밍 서비스 전환
 * DVD대여 모델 -> 스트리밍 서비스: 콘텐츠 라이선스를 확보하고 사용자 경험을 최적화
 * 사례 2: 애플의 아이폰 개발 및 출시
 * 간단하고 직관적인 인터페이스를 중심으로 하드웨어와 소프트웨어의 완벽한 통합을 목표로 시장의 차별화 및 선도
 * 사례 3: 구글의 검색 엔진 최적화
 * 단순한 키워드 매칭 방식 -> PageRank 알고리즘을 통해 웹 페이지의 중요성을 평가하는 방법 도입하여, 검색 결과의 정확성과 관련성을 높이는 데 중점

< 참고 >
 * https://www.lennysnewsletter.com/p/good-strategy-bad-strategy-richard
 * 출처: https://maily.so/productlab/posts/0e99fe84?from=email&mid=c17e3e15

Product lab에서 공유한 내용으로, 세계에서 가장 영향력 있는 경영이론가이자 경영전략 연구자로 하버드 경영대학원, 인시아드를 거쳐 현재 UCLA 앤더슨경영대학원의 명예교수인 리처드 루멜트(Richard Rumelt)의 'Good Strategy, Bad Strategy'에 대한 내용입니다. 짧지만 인사이트 있는 글로 프러덕트 매니저/오너이거나 관심있는분들은 참고하시면 좋을거 같습니다.^^ 1. 전략이란 문제를 해결하기 위한 구체적인 행동이다.<ul ><li>명확한 진단&nbsp;<ul ><li>현재 직면한 가장 큰 문제는 무엇인가? </li></ul></li><li>가이드라인 정책&nbsp;<ul ><li>문제를 해결하기 위해 어떤 방향으로 나아갈 것인가? </li></ul></li><li>일관된 행동&nbsp;<ul ><li>문제 해결에 기여하는 실행 가능한 행동들을 일관성있게 실행해야 합니다.</li></ul></li></ul> 2. 전략이란 어려움에서부터 시작한다.<ul ><li>먼저 어려움에 초점을 맞추고, 그 다음 어려움을 해결하는 방법에 집중하라</li><li>예) 일론 머스크는 "왜 로켓을 재사용하는 게 그렇게 어려울까?"에 초점을 맞췄다. </li></ul>3. 성공적인 전략 수립 사례<ul ><li>사례 1: 넷플릭스의 스트리밍 서비스 전환<ul ><li>DVD대여 모델 -&gt; 스트리밍 서비스: 콘텐츠 라이선스를 확보하고 사용자 경험을 최적화</li></ul></li><li>사례 2: 애플의 아이폰 개발 및 출시<ul ><li>간단하고 직관적인 인터페이스를 중심으로 하드웨어와 소프트웨어의 완벽한 통합을 목표로 시장의 차별화 및 선도</li></ul></li><li>사례 3: 구글의 검색 엔진 최적화<ul ><li>단순한 키워드 매칭 방식 -&gt; PageRank 알고리즘을 통해 웹 페이지의 중요성을 평가하는 방법 도입하여, 검색 결과의 정확성과 관련성을 높이는 데 중점</li></ul></li></ul> &lt; 참고 &gt; <ul ><li>https://www.lennysnewsletter.com/p/good-strategy-bad-strategy-richard</li><li>출처: https://maily.so/productlab/posts/0e99fe84?from=email&amp;mid=c17e3e15</li></ul>

PRODUCT LAB. 프로덕트랩

오락까락끼리까락하는 개발자

홍성준

데이터

거늬

한국레드햇 솔루션 아키텍트

이명진

세상을 변화시키는 오픈소스 세계에서 재미있게 일 하고 있습니다.
세계 시민으로서의 삶을 살아가고자 노력하고 있습니다. (Being lived as global citizenship.)
#끊임없이배우기 #도전적인 #소프트웨어엔지니어 #애자일개발

[프러덕트랩] 전략적 계획 수립을 위한 3가지 핵심 요소

플랫폼

머신 러닝

데이터 분석

리더십

문제 정의하기

커뮤니케이션

프로젝트 매니징

Head of SE

- 투자사 - IT스타트업 매칭 프로젝트


AI/ CAIO(Chief of AI Officer)

HoJ Kim

Linkedin

- Sr. IT Guy(INFP)
- OpenSource, Cloud, PreSales, AI/Data/LLM
- Tech Trend, Leadership, Tech review and Research

[프러덕트랩] 전략적 계획 수립을 위한 3가지 핵심 요소

댓글 0

비슷한 게시물

주간 인기 TOP 10

추천 프로필