#postgresql

[사이드 프로젝트] 패션 이커머스 플랫폼 '푸츠(PUTS)' 앱 개발팀 모집

프로젝트 소개: ‘푸츠(PUTS)_Pick Up The Style!’서비스는 패션 디자이너 브랜드를 중심으로 BM특허까지 보유한 혁신적인 패션 커머스 플랫폼서비스 입니다. 데모버전까지 외주개발을 통해 개발이 완료되었지만 현시점에서 리뉴얼하여 새롭게 런칭버전을 개발하고자 역량있는 팀원을 모집합니다. <참고> 본 서비스의 시장성은 2024년 약 19조 5천억원(캐주얼) 정도의 시장성을 예상하고 있으며 연간 약 3.5%씩 지속적으로 성장 중에 있습니다. 3-5년이내 시장의 10%이상 점유를 목표하고 있으며 시장을 장악 가능한 비즈니스 모델과 마케팅 능력을 보유하고 있습니다. (참조: https://global.fashionseoul.com/2023-11-10/Korean-Fashion-Market-Size-Anticipated-Highest-Growth-Ever) 우리는 패션과 기술을 접목해 사용자와 소비자에게 최상의 쇼핑 경험과 정보 공유, 소득을 제공하는 서비스로 패션산업의 큰 파도를 함께 일으킬 분들을 모집합니다. 사이드 프로젝트 형태로 진행되며, 유연한 근무 환경에서 협업을 지향합니다. 3-5년이내 엑싯을 목표로 진행됨으로 임금지급 방식이 아닌 지분분배 방식으로 진행됩니다. 프로젝트 완료시 파트별 기여도에 따라 지분설정이 되며 관련 내용은 프로젝트 진행 전 협의를 통해 산정하여 계약진행 예정.(급여를 제공 받고자 하시는 분은 정중히 사양합니다.) 모집 직군: 1. 프론트엔드 개발자 (1~2명) o 주요 업무: 모바일 앱 UI/UX 구현, 웹 랜딩페이지, 사용자 인터페이스, 어드민 프론트엔드 개발 o 기술 스택: React Native 또는 Flutter, JavaScript/TypeScript, HTML/CSS o 우대 사항: 모바일 퍼포먼스 최적화 경험, 패션 커머스 개발 경험 2. 백엔드 개발자 (1~2명) o 주요 업무: 서버 및 데이터베이스 설계, API 개발, 어드민 백엔드 개발 o 기술 스택: Node.js, Django, AWS, PostgreSQL, RESTful API o 우대 사항: 대용량 트래픽 처리 경험, 보안 및 결제 시스템 개발, 이커머스 어드민개발 경험, 포인트관리 및 쿠폰설정 관리 등 3. UI/UX 디자이너 (1명) / 대표자와 함께 진행 또는 대표자가 진행 o 주요 업무: 모바일 앱 디자인, 사용자 경험 설계 o 필수 스킬: Figma 또는 Photoshop, Illustrator o 우대 사항: 패션 브랜드 디자인 경험, 사용성 테스트 및 피드백 반영 경험 근무 형태: • 프로젝트 기반 협업 (파트타임 가능) • 원격 근무 가능 (주 1회 온라인 미팅) • 유연한 일정과 주도적인 업무 환경 우대 사항: • 사이드 프로젝트 경험 • 패션, 커머스에 대한 관심과 열정 • 스타트업 문화에 익숙한 분 • 책임감 강하신 분 지원 방법: • 이력서와 포트폴리오를 [dcode00@naver.com]로 제출 • 지원 시 사이드 프로젝트 경험 및 참여 가능 시간을 명시해 주세요. 문의: • 이메일: [dcode00@naver.com] • 카카오톡/오픈채팅방: [https://open.kakao.com/o/gi5ixgVe] • 회사주소: 경기도 안산시 상록구 한양대학로55 제2과학기술관 지하2층 B210호 (한양대학교 에리카캠퍼스 소재) 지원 마감일: [채용 완료시까지] 로켓펀치 참여링크 https://www.rocketpunch.com/jobs/139647 문의: • 이메일: [dcode00@naver.com] • 카카오톡/오픈채팅방: [https://open.kakao.com/o/gi5ixgVe]

기술 스택이 진짜 난잡하게 됬는데 이럴땐 어떻게 해야될까요...

저는 8년차 개발자 입니다. 첫회사에서 7년 다음 회사에서 1년의 경력을 가지고 있습니다. 첫회사에서 Spring Framework를 다뤘구요, 웹팀에서 화면 구현에 더 중점을 두고 개발을 하느라 제품에 사용된 spring기술을 전부 파악하니깐 5년차가 되어있었습니다. 그때쯤 되니깐 팀장부터 말단 직원까지 저한테 다 물어보러 오더라구요... 그래서 더이상 성장을 못한다고 판단하고 혼자서 SpringBoot로 이것저것 만들어보고 python도 배우고 node.js도 배워보고 React.js도 배워보고 그러면서 지냈습니다. 그러다가 이직 제안을 받게 되어서 바로 이직하게 되었어요. 두번째 회사는 클라우드, AI 등 최신기술을 사용하는 스타트업 회사였어요. 여기서 내부 서비스를 유지보수하면서 지내다가 회사에 돈이 없어서 SI 프로젝트를 몇개 진행하게 되었는데 제가 총괄을 맡아서 시스템설계, DB 설계, React.js, Flask 전부다 맡아서 진행하게 되었습니다. 이 프로젝트 진행하면서 AWS 서비스를 직접 구축하게 되었는데 그제야 진짜 성장한다고 느껴졌습니다. (VPC, LB, EC2, S3, Amplify, API Gateway 등등등) 직접 하나하나 구축하면서 클라우드서비스 파악도 되고 참 뿌듯했습니다. DB는 왠만한 RDBMS는 다 다뤄본거 같습니다. Mysql/MariaDB, 오라클, PostgreSQL, Cubrid, MS-SQL 까지요 근데 이 DB들 설치하고 쿼리 날려본게 큰 장점은 또 아닌 거 같고.. 그리고 impala, Redis, Elastic Search, InfluxDB 도 해봤구요... 그리고 DB 테이블 설계하고 쿼리 튜닝하는것도 할수는 있는데 이건뭐 짬차면 다 할 줄 아는거라 메리트도 없구요. 이렇다보니 뭐 하나 잘한다는 느낌이 안듦니다... 뭔가 할줄 아는건 많은데 알맹이가 빠져있는 느낌이에요.. 몇군데서 불합격통보를 받으니 좀 답답하네요

이력서에 첨삭할 진행했던 프로젝트들 내용을 보다 더 잘 적고 싶어요.

이력서에 첨삭할 지금까지 진행했던 프로젝트들 내용을 적고 있는데 한눈에 보기 쉽게 큰 범주로 적기에는 너무 포괄적으로 적는것 같고 개발한 기능들을 세부적으로 적거나 해당 프로젝트 진행 후 낸 성과들을 다 나열하면 내용이 너무 길어지는것 같아서 어느정도로 구체화해서 적어야될지 헷갈려서 조언을 구해 봅니다. 아래는 지금 작성된 내용입니다. 현재는 프로젝트별로 포괄적으로 적거나 좀 더 디테일하게 적거나 기준점을 못찾은 상황입니다. [ 2022. 12 ~ 2022. 01 • 프로젝트 명 : 집 클릭 • 주요 설명 : 전세임대 지원 사이트로 권리분석을 의뢰할 수 있는 사이트 • 담당 업무 : 자사 서비스 웹 크롤링 기능 개발 -puppeteer 사용 등기부등본 발급 자동화 웹 크롤링 작업 • 기술 스택 : Node.js 2023. 06 ~ 2023. 07 • 프로젝트 명 : 브릭 인프라 • 주요 설명 : 자사 서비스 종합 관리 사이트 • 담당 업무 : 자사 어드민 프론트엔드 개발 • 기술 스택 : React 2023. 08 ~ 2024. 06 • 프로젝트 명 : 키오 솔루션 • 주요 설명 : QR 주문 결제로 보다 편리한 결제 시스템을 이용할 수 있는  솔루션 • 담당 업무 : 자사 솔루션 "키오" 활용 서비스 개발 및 운영 유지 보수 - 메뉴형 결제 서비스 "키오브릭" 프론트엔드 유지 보수 - 금액입력형 결제 서비스 "스마트 노점" 프론트엔드 개발 및 - 해당 서비스 관련 어드민 풀스택 유지 보수 - 자사 어드민 풀스택 유지 보수 • 기술 스택 : React, GraphQL, Node.js, MySQL 2023. 09 ~ 2024. 06 • 프로젝트 명 : 오늘 우리 가게 • 주요 설명 : 자영업자 대상 매출, 리뷰, 주문 현황, 광고 현황 분석 앱 • 담당 업무 : 자사 서비스 오늘 우리 가게 기능 개발 및 운영 유지 보수 - React Native 앱 메인 화면 개발 - 전체 React Native 앱 기반 프로젝트 WebView 기반 프로젝트로 전환 작업 진행 - 리뉴얼 된 WebView 구성 화면 프론트엔드 개발 - 우리 가게 리뷰 듣기 TTS 하이브리드 기능 개발 - 네이버 클라우드 이용 카카오 알림톡 서비스 벡앤드 유지 보수 - 앱 테스트 및 배포, CodePush 작업 진행 • 기술 스택 : React Native, MobX, React, Redux, TypeScript, Next.js, Node.js, MySQL 2023. 11 ~ 2024. 02 • 프로젝트 명 : 빌딩 CAS • 주요 설명 : 건물 내 입주사들을 위한 공지, 관리비 결제 및 장터 커뮤니티 기능을 제공하는 앱 • 담당 업무 : 외주 서비스 빌딩 CAS 프론트엔드 및 앱 개발 - WebView 기반 프로젝트 초기 환경 구축 및 아키텍처 설계 - React Native 앱 메인 화면 개발 - WebView 주요 기능 프론트엔드 개발(소셜로그인, 회원 정보 관리, 관리비 결제, 문의하기, 중고장터 게시판) - 앱 테스트 및 배포, CodePush 작업 진행 • 기술 스택 : React Native, React, MobX, Node.js, PostgreSQL *** 포트폴리오 링크를 통해 더 자세한 내용을 확인 하실 수 있습니다. ]

arrayfield 와 many=True

django에서 postresql 을 쓸 때 arrayfield 와 many=True 의 차이가 무엇인가요? 각각 어떤 경우에 쓰게 되는지 궁금합니다. arrayfield 는 postgresql의 특징 중 하나라고 생각하는데, 실제로는 many=True를 선호하는 경향이 있는 거 같은데 그럼 postgresql은 왜 쓰나요?

COPY(PG) GC 오버헤드 에러

안녕하세요. 대용량의 텍스트 파일을 postgreSql에 적재하는 모듈을 개발하고 있습니다. copy 함수를 활용하여 텍스트 파일('|'으로 구분되어 있는)을 테이블에 insert 하는데 헤더 스킵을 위해 csv로 parsing하려고 합니다. 근데 파일이 커서 그런가(8GB정도) 'OutOfMemoryError : gc overhead limit exceeded' 에러가 계속 발생합니다.. (어떨 땐 에러 없이 잘 들어가기도 합니다) 코드 중에 불필요한 구문이 있는 건지 판단이 잘 안됩니다... 또 csv로 파싱하지 않고 텍스트 파일의 첫째 줄을 지우고 copy로 밀어 넣는 방법이 있을까요? --------구현 코드-------- try ( BaseConnection c = dataSource.getConnection().unwrap(BaseConnection.class)) { try ( PGCopyOutputStream os = new PGCopyOutputStream(c, "COPY " + tableName + " FROM STDIN WITH (FORMAT CSV)"); CSVPrinter writer = new CSVPrinter(new OutputStreamWriter(os, StandardCharsets.UTF_8), CSVFormat.POSTGRESQL_CSV); CSVParser reader = new CSVParser(new InputStreamReader(inputStream, charset), CSVFormat.INFORMIX_UNLOAD.withFirstRecordAsHeader())) { for (CSVRecord row : reader) { for (String col : row) { if (col != null && StringUtils.hasText(col.trim())) { writer.print(col.trim()); } else { writer.print(null); } } writer.println(); } } } *inputStream은 해당 파일 BufferedInputStream 객체입니다.

PostgreSQL 공부 입문하고싶습니다.

데이터 공부 입문으로 PostgreSQL 공부를 하고싶은데, 교재나 강의 추천을 받고 싶어서 글 써봅니다. 추천 부탁드립니다!

클라이언트, 서버 두 DB의 데이터를 동시에 수정할 때 무결성 보장

안녕하세요 어플리케이션을 만드는 도중 문제가 생겼습니다. indexedDB( 클라이언트 ), postgreSql( 서버 ) 2곳의 데이터를 동일하게 수정해야할 때 ( 추가, 삭제, 수정 등 ) 한 곳의 api 가 실패하는 순간 이미 수정이 된 곳의 트랜잭션을 롤백 ( abort ) 하여 연동된 두 곳의 데이터가 동일 하도록 무결성을 보장하고자 합니다. 그런데 2가지 문제를 발견하였습니다. 1. indexedDB 의 트랜잭션 도중 다른 api 의 await를 쓰는 순간 indexedDB 는 트랜잭션을 즉시 종료시켜 서버 데이터 수정이 실패해도 abort() 가 불가능하다. 2. postgreSql 의 트랜잭션은 next.js 의 서버사이드 api에서 쿼리를 날리기에 중간에 클라이언트 사이드의 indexedDB 수정 api 사용이 불가능하다. indexedDB는 idb, postgreSql 은 pg 라이브러리를 사용중입니다. 수정 되기 전 상태를 임의로 기록 > 2번째 api 실패? > 기록된 상태로 수정하는 api 요청 이라는 단순한 방법도 생각해봤지만 결국 마지막 상태로 수정하는 것도 별도의 api 요청이기에 이 것또한 실패할 시 무결성 보장이 되지않기에 포기하였습니다... 선배님들은 서버와 클라이언트 데이터를 연동할때 무결성 보장을 어떻게 하시나요? next.js 14 환경입니다.

postgresql이랑 인텔리제이 연결

자바 스프링부트를 사용해서 게시판을 만들고 있는데 postgresql를 어떻게 연결하고 어떻게 쓰는지 모르겠어서요.. 참고할 내용이나 방법 있을까요?!

Docker compose 컨테이너 구성을 어떻게 될까요?

저는 prisma nextjs postgresql을 사용하고 있습니다 Docker compose에서 컨테이너를 local용postgresql, deploy용postgresql, nextapp 이렇게 3개로 구성하려고 합니다 이렇게 해서 npm run dev로 app을 local로 실행한다고 하면 local용 postgresql과 연결되게 하고 Build를 하고 deploy된것은 deploy용postgresql과 연결되게 하려고합니다 해당 프로젝트가 포폴용이라 상관은 없지만, 정말 서비스를 진행하려고하면 서버를 늘리는 일이 일어날텐데 이런경우 위에서 생성했던 docker이미지를 이용해서 docker compose up을 할텐데요 그러면 새로운 서버가 생길때마다 local용 db를 생성할 수 밖에 없을 것 같은데 제가 아직 배포도 안해보고 프론트라서 제가 지금 생각하는 방식이 맞는지 잘 모르겠습니다 혹시 제가 말한게 맞나요?

고졸 전공자, 경력 4년차 입니다.

만 4년이 되지 못한 상태에서 JAVA 기반 웹 개발자로 재직중이던 회사를 퇴사한 23살 고졸 전공자입니다. 대학과 일을 병행 중이었고, 일은 그만뒀지만 대학은 그대로 재학 중입니다. 그러던 중 최근에 대학교에서 부트캠프 모집 공고를 보고 취업 연계가 된다는 말에 혹하여 신청하게 되었는데요. 아무리 기다려도 결과가 전달되지 않아 마음을 접고, 가고 싶은 기업과 해당 기업이 사용하는 스택에 대해 공부할 계획을 짜고 독학할 마음을 굳게 잡았는데 뒤늦게 부트캠프 1차에 합격했다고 문자가 왔습니다. 그런데.. 부트캠프에서 가르치는 기술 스택은 Linux, c/c++, python과 자료구조 알고리즘 등이었고, 제가 가고 싶은 기업에서 사용하는 기술 스택은 JPA, PostgreSQL이며 배우고자 하는 방향이 많이 다른 느낌이었습니다. 또한.. 부트캠프에서 다양한 사람들과 멘토분들과의 경험, 프로젝트 경험도 매우 중요할 것 같지만 정작 제가 가고 싶은 기업이 정해진 이상 이게 의미가 있는 걸까 싶으면서도 독학으로 무슨 그럴싸한 성과를 낼 수 있을까라는 불안감이 들기도 합니다.. 물론 독학을 하면서 스터디 등에 참여할 생각도 있지만 이게 부트캠프만큼의 성과를 낼 수 있을까요? 그리고 부트캠프를 하면 다른 사람들과 너무 똑같아지는 것 같아서 두렵기도 합니다ㅠㅠ 여러모로 고민이 많이 드는데, 다른분들 생각은 어떠신지 궁금해서 글 남겨봐요

RDBMS를 제대로 공부하려고 하는데 어떤 제품을 공부하는 것이 좋을까요?

안녕하세요, 기존에 Back-end 엔지니어로써 RDBMS가 무엇이고 SQL Query 날리는 정도로 사용을 해왔는데 더 크고 나은 설계를 위해서 깊게 공부를 해보려고 합니다. 어떤 것을 해도 기본 개념은 비슷할 수 있지만 DB 엔진, Index 설계, 버퍼 풀 설정, 옵티마이저 등 깊게 하다보면 제품에 따라 다를 거 같아 제품의 선정이 중요하다고 생각됩니다. back-end Application을 위해서 Java+Spring이 가성비가 좋은 것 처럼 RDBMS도 output이 도움이 되는 제품이 있을 것이라고 생각됩니다. 제가 후보로 선정한 것은 아래와 같은데 - Mysql: 근본? 근데 MariaDB가 나와서 뭘로 할지 고민입니다... - MariaDB: Mysql FORK 라고 하긴 하지만 따로 문서와 책도 있고 하니 Mysql과 비교해서 어떤 것을 중점으로 해야하는지 고민 - PostgreSQL: 오픈소스 진형이고 요즘 많이 쓰고 있다고 하길래 미래지향적이라고 생각 의견 주시면 감사하겠습니다! P.S. 오라클 DB는 유료이기도 하고 금융 업계 혹은 DBA가 아니면 건드릴 일이 있나 싶어서 제외하긴 했습니다.

PostgreSQL 특정 테이블의 데이터에 따라서 동적 컬럼 설정 방법

현재 통계 쿼리를 작성하고 있는데, 특정 테이블의 데이터에 따라서 쿼리 결과의 컬럼이 동적으로 변했으면 좋겠습니다! 예를 들면, 학생별로 성적을 뽑는 쿼리를 작성한다고 해보겠습니다. - 원하는 쿼리 결과 student_id | student_name | 국어 | 영어 | 수학 | --------------------------------------------------- 1 | 홍길동 | 60 | 50 | 40 | 이런식으로 결과가 나왔으면 좋겠습니다. - 과목 테이블 subject_id | subject_name | ----------------------------- 1 | 국어 | 2 | 영어 | 3 | 수학 | 이러한 과목 테이블이 하나 있고, 여기에 만약 '한국사' 과목 하나를 추가하게 되면 위의 쿼리 결과에 한국사 컬럼이 생기게 되는 것입니다. - 학생 성적 테이블 student_id | subject_id | score | ----------------------------------- 1 | 1 | 60 | 1 | 2 | 50 | 1 | 3 | 40 | 학생과 과목, 과목당 점수 정보가 있는 테이블입니다. - 학생 정보 테이블 student_id | student_name | ...생략 ------------------------------------- 1 | 홍길동 | 학생 정보 테이블입니다. pivot을 사용하려고 했지만, 결국 as 부분에 컬럼명을 명시해 줘야 하더라구요. 이해가 잘 되실지는 모르겠지만.. 도와주세요!!

lambda에서 DB Connection 관리는 어떻게 하고 계신가요?

현재 서비스에서 1분 주기로 도는 배치가 약 5개 정도 있고, 각각의 배치마다 약 500 ~ 8000건 정도의 데이터를 update 하고 있습니다. 사용하고 있는 DB는 AWS 의 RDS는 아니고, 온프레미스 환경의 PostgreSQL 을 사용중입니다. 문제는 커넥션이 과하게 할당되어 DB가 가끔 죽는 불상사가 일어난다는 점인데, 다른 분들은 lambda 에서 DB Connection 관리를 어떻게 하고 계신지가 궁금합니다. 현재 Connection 은 DB Connection Pool 내에서 맺어지고 있습니다. 만약 RDS 를 사용했다면 RDS Proxy 같은 서비스를 이용해서 커넥션 관리를 했을텐데, DB를 옮길 수는 없는 상황입니다. 차선책으로 생각나는 방법은 EC2 인스턴스를 띄워 람다는 해당 인스턴스에서 Connection 을 할당받아 쿼리를 수행하고, 반납하는 형태의 방법인데... 혹시 다른 좋은 방안이 있을지 궁금합니다!

php 사용하는 금융솔루션 커리어에서 같은 도메인 Java로 이직하기 힘들까요?

이제 6개월 정도다닌 신입입니다. 현재 상황을 정리하면 다음과 같습니다. 도메인 : 대부업체 위주의 금융권 주업무 : 자사 금융솔루션(대출심사 및 채권관리) 유지보수 기술스택 : 레거시 php(라라벨X, MVC패턴 X), Linux, Mysql, PostgreSQL 희망하는 점 - 현 회사에서 금융 도메인과 여신업무 프로세스 숙지 후, Java/Spring 사용하는 핀테크 it기업으로 이직 걱정되는 점 - 사금융(대부업체) 위주의 고객사 - 매우매우 오래된 php 코드 사용 - Java/Spring을 공부했고, 이 기술스택으로 이직하고 싶지만 현재는 php를 사용한다는 점 보시다시피 금융권이긴 한데 사금융 위주 회사들이라 이게 추후 같은 금융권 이직에 도움이 될지 걱정입니다. 또한 라라벨을 사용하는 업무도 있고 가끔 신규 개발 프로젝트도 있긴 하지만 당장 제가 맡은 업무는 레거시 php를 유지보수하는 일입니다. 솔루션의 주 기능은 전반적인 대출업무와 채권관리입니다. 정리하면 현 회사를 다니면서 쌓는 도메인 지식 및 비즈니스 로직이 일반적인 금융권에서 요구하는 지식이 맞는지 판단이 안 서는 것이 걱정입니다. 또한 php를 사용하고 있다는 것도 당연히 이직 시 불리할 것 같구요. 가장 마음에 안 드는 점은 개발문화 자체가 코드에 대한 고민이 전혀 없어서 프로그래밍 측면에서는 성장하기 어려울 것 같다는 점입니다. 코드 가독성 및 유지보수, 객체지향 등등 당연시되는 것들이 전혀 없습니다. 클래스나 인터페이스 없이 그냥 if, for, include 뿐입니다. 그냥 돌아기기만 하면 되는거고, 오히려 경영진에서 노코드를 강조하며 언어들 보다는 요구사항 파악이 더 중요하다고 합니다. 물론 회사입장에서는 그럴 수 있지만 당장 몸값를 올리기 위해 성장해야 하는 개인 입장에서는 다르다고 생각합니다. 그래서 현재 이 회사를 쭉다니면서 금융권 커리어를 쌓는게 맞는지 아니면 지금이라도 빨리 금융권과 상관없이 이직할 회사를 구하는게 맞는지 고민입니다. 금융권에 흥미가 없었다면 고민도 안 했을 문제지만 제가 금융권으로 커리어를 쌓고 싶은 마음이 있어 매우 고민되는 상황입니다.

자바와 파이썬 공부중인 취준생입니다.

이제 겨우 대학 졸업을 하게되면서 취준을 시작하게 되었는데 정말 막막합니다... 웹개발 관련 전공을 했지만 전공을 살리겠다는 뜻이 크게 없어서 마음 놓고 있다가 휴학하면서 국비교육 듣고 다시 전공 살려보려고 생각하고 다시 시작하려고 하는데 어디서부터 해야할지 막막합니다... 1. 전공 과정중에서는 리액트를 배운 적이 없었어서 따로 공부를 하면서 스택을 쌓고 싶은데 학원을 다닐지 아님 사이드 프로젝트로 직접 독학할지가 고민입니다!! 2. 현재 제가 할 줄 아는 기술은 파이썬, 자바, jpa, jsp, spring, springboot, mybatis, postgreSQL, oracle 등인데 혹시 더 보완해야할 기술이 있을지 조언 부탁드립니다!!

PostgreSQL web ui

PostgreSQL ui, interface로써 pgadmin4를 주로 사용하는데, v5.0이후 웹이 아닌 단일 프로그램으로 실행이 되더라고요. 혹시 v5.0이전을 사용할지 phppgadmin을 사용할지 아니면 더 좋은 다른게 있는지 질문드립니다 (DBMS를 웹으로써 사용하는)

데이터 엔지니어가 되기 위한 여정 관련 조언을 구합니다!

안녕하세요. 최근 취업 및 진로에 관련된 고민을 겪고 있는 4학년 소프트웨어학과 전공생입니다. 최근 데이터 엔지니어 커리어에 관심이 생겼는데 주변에 이와 관련해서 조언을 구할 분들이 없더군요... 주된 고민은 '데이터 엔지니어로서 커리어를 시작하려면 어떻게 해야 하는가?' 인데 제 백그라운드를 고려한 조언은 아닌지라 저에게 맞는 조언을 받으면 좋을 것 같아 글을 남기게 되었습니다. [활동이력 및 계획] - 대학교 2학년 때, 연구에 흥미가 생겨 데이터 마이닝 관련 연구에 참여했었고 3학년 때는 해외 연구도 관심이 생겨 1~2개월 정도 해외 대학에서 진행하는 NLP 관련 연구에 참여해 보기도 했었습니다. - 개발 경험도 해보고 싶어 작년 겨울 기회가 되어 인공지능 관련 AI 스타트업에서 퍼블릭 클라우드 서비스 구현 관련 프로젝트의 백엔드 인턴으로 활동했습니다. - 최근 계획으로는 학교에서 지원해주는 단기 부트캠프에 참가하려고 합니다.(데이터 관련 부트캠프는 아니라서 다른 기회가 생기면 어떨지는 모르겠습니다) 그리고 관심이 가는 오픈소스 SQL, DB 프로젝트를 발견해 여유가 되면 기여를 해보려고 합니다. [사용 가능한 기술 스택] - 언어: python, rust - DB: MySQL, PostgreSQL - 개발환경: Ubuntu - 인프라: docker, aws - 프레임워크: Django, Serverless, 더 있긴 하지만 자신이 없거나 프로젝트 및 실무에 적용해본 경험은 없어서 이 정도네요... 위와 같은 상황에서 다음과 같은 의문 및 고민들이 생기더군요. 1. 데이터 엔지니어가 되기 위해서는 어떤 활동을 해야 하고 어떻게 포트폴리오를 준비해야는지 2. 4학년 졸업과 동시에 취업을 하는 것을 목표로 하고 있는데 현실적으로 어려운 것인지 3. 시니어 엔지니어가 주니어들에게 요구하는 가장 중요한 역량이 무엇인지 4. 데이터 엔지니어는 일에 관점에서 주로 어느 부분에서 어려움을 느끼는지 5. 차후 데이터 사이언티스트로 커리어를 이직하는 케이스가 있는지 그리고 많이 어려운지 6. 어느 정도 연구의 성격도 띄는 일이 존재하는지(사실 개발도 하면서 연구 느낌의 일도 해볼 수 있다고 생각되어 관심을 갖게 된건데 만약 아니라면 음....) 현재 저와 같이 데이터 엔지니어가 되기 위해 고군분투 중이신 분들의 조언도 좋고 현직에 계신 엔지니어의 분들의 조언은 해주시면 정말 감사하겠습니다!

대학교 4학년 현장실습 질문입니다.

안녕하세요. 대학교 4-1에 재학중이고 스프링 백엔드 개발자를 희망하여 김*한님 강의를 들으며 공부를 하고 있습니다. 11월 까지 스프링 공부를 하고 싸피 부트캠프를 하며 프로젝트를 한 뒤 취업을 하겠다는 목표를 가지고 있습니다. 이번 여름 방학에 학교에서 기업연계 현장실습 인턴이 있어서 몇개 추스려봤는데, 1. 한국포스증권 : 모바일 금융 웹뷰 개발(자바기반인걸 보니 현업에서 스프링을 공부할 수 있고, 클라우드 기반 공동인증서 솔루션 개발에 참여해볼 수 있다.) 2. 링커리어 : 자사 서비스 백엔드 개발 지원/담당. 자사 서비스 개발 및 운영. 개발 언어 학습 (TypeScript, Nest.js, REST API, GraphQL, MySQL, PostgreSQL). AWS를 사용한 배포. AWS 등등 클라우드에 대해서도 현업에서 어떻게 쓰이는지도 배우고싶습니다. 둘 중 고민이 됩니다. 2번은 spring을 배우지 못한다는 단점이 있지만 월급이 50~60 정도 차이가 있습니다. 스프링 개발자를 희망하고 공부하는 학생으로써 Nest.js를 배우는 것이 시간낭비이고, 도움이 되지 않을까요? (TypeScript나 REST API 등등은 도움이 될거라 생각했습니다.)

데이터 수집 시스템 조언 부탁드립니다..

안녕하세요. 현재 데이터분석가 인턴으로 회사에 들어간지가 한달이 조금 넘었습니다. 현재 회사에서 분석이 아닌, 직접 데이터를 수집하는 작업을 하고 있습니다. 제가 분석만 하다보니, 데이터를 수집하고 저장하는 작업을 처음해보고 사수도 따로 없다보니 조언을 구할 곳이 없어서 이렇게 게시물로 조언을 요청드립니다.. 지식이 부족해 다소 어렵게 설명을 드려도 이해 부탁드리며, 제 글을 보고 “저 친구는 왜 저렇게 비효율적으로 하지? 이렇게 하면 좋을텐데”라는 생각이 드신다면 바로 댓글이나 쪽지 부탁드립니다. 제가 처음 올려봐서 쪽지 기능이 있나 모르겠네요.. 먼저, 간단하게 제가 진행하고 있는 데이터 수집 절차를 설명드리겠습니다. 1. 컬럼이 한개인 4GB가 조금 넘는 데이터를 수집 코드에 불러와야 한다. 해당 데이터에는 도메인 주소가 담겨 있다. 2. 내 수집 코드는 불러온 데이터를 한행씩 조회하면서 수집을 진행한다. 3. 한 행에 있는 도메인 주소에 순서대로 http 접속을 해서 해당 도메인 주소가 사전에 설정한 특정 조건을 만족하면, 해당 도메인 주소와 사이트에 접속해서 추출한 정수형 값을 DB에 저장한다. 4. 즉, 4기가의 데이터를 불러와 한 행씩 조회해가면서 실시간으로 데이터를 db에 수집하는 코드다. 5. 24시간 동안 코드를 돌리는 수집 예상 기간은 3개월 정도이다. 다음으로는 조금 구체적인 진행 사항을 말하겠습니다. 밑에서부터 길어지니, 바쁘신 분들은 위에 주요 절차만 보시고 조언 주시면 감사하겠습니다. 1. 파이썬만 사용할 줄 알기 때문에, 파이썬을 사용하여 class로 만들어 수집 코드를 짰다. 2. 데이터의 양이 많아서 메모리 부족 오류가 빈번하게 나타나, 하둡과 아파치 스파크를 이용해봤다. 내가 조회할 데이터 파일을 하둡 HDFS에 업로드 한다음에, 아파치 스파크 클러스터를 구축했다. 그리고, pyspark 모듈을 이용해 파티션을 나눠 데이터를 불러왔다. 파티션으로 받아온 값을 리스트로 변환하여 순서대로 해당 도메인 주소로 접속하는 반복문을 진행하면서 데이터를 수집했다. 즉 파티션으로 데이터를 쪼개서 1번 파티션부터 n번 파티션까지 각각 파티션 내부에 도메인 주소 리스트가 반복문을 진행된다고 보면 된다. 각 파티션이 다른 파티션으로 전환되는 과정도 반복문으로 처리했다. 하나의 파티션 마다 내가 만든 class(도메인 리스트를 인자로 받는다)가 한번씩 실행된다고 보면 된다. 3. 수집 속도가 너무 느려서 class에 있는 수집 메소드를 멀티 스레드 방식을 이용해서 수정해주었다. 수집 속도가 매우 빨라졌다. 4. 기존에는 aws의 클라우드 db(dynamo db)를 사용했지만, 과금 문제로 인해 로컬에 db를 설치하기로 했다. 쓰기 속도가 매우 빠른 redis db를 선택했다 5. 위에서 설명한 반복문을 돌면서 조건에 일치한 도메인 주소와 정수 값은 한 행씩 redis db에 key(도메인주소) value(정수값) 형식으로 저장하도록 코드를 만들었다. 이 과정도 class 내부에 포함되어 있다. 6. redis는 on memory db이기 때문에 대용량 데이터를 영구적으로 저장하고 분석하기에 적합하지 않다고 판단해서 1시간마다 redis에 있는 데이터를 postgresql db로 옮겨주는 코드를 따로 만들었다. postgresql db에 미리 redis에서 옮겨갈 테이블을 생성해두었다. redis의 key였던 도메인 이름을 첫 번째 필드에 프리이머리 키로 저장했고 value인 정수 값을 2번 째 필드에 값으로 넣어줬다. 그리고, 마지막 필드에는 자동으로 데이터가 저장될 때, 현재 시간이 넣어지게 테이블을 만들었다. 총 3개의 열로 구성된 테이블에 1시간에 한번씩 redis에 저장해두었던 데이터가 옮겨간다고 생각하면 된다. 7. 처음 redis에 데이터를 저장할 때 ttl을 설정해서 1시간 10분이 지나면 redis db에서 데이터가 자동으로 소멸되도록 설정했으며, 만약 postgresql에 중복된 데이터가 들어간다면 자동으로 무시하고 다음 작업을 진행하도록 테이블 설정을 해줬다. 즉, 실시간으로 데이터가 수집되고 자동으로 시간이 지나면 데이터가 소멸되는 redis db에서 1시간마다 한번 postgresql로 옮겨주는 코드를 따로 만들었다. 8. 수집 코드를 spark-submit 명령문으로 실행해주었다. spark-submit 명령어 앞에 nohup을 해줘서 백그라운드에서 코드가 실행되게 해줬고, 로그 결과를 따로 파일을 만들어 저장되도록 했다. 그리고 파이썬 실행 파일 내에서도 로그를 입력하는 코드를 만들어서, 도메인의 http 접속이 성공했는지의 여부를 로그 파일에 실시간으로 입력되도록 했다. 예를 들어, http 접속이 잘 된 도메인 주소는 로그에 “INFO 도메인 주소: success” 이렇게 기록하고, 타임아웃 에러, 접속 에러, redirect 오류, db 저장 오류는 모두 종류별로 예외 처리해서 로그에서 기록되도록 코드를 구성했다. 파이썬에서 자체적으로 로그를 기록한 파일은 수집코드를 실행하면서 파티션이 전환될 때마다 하나씩 생성된다. 이제 이렇게 제가 실행할 코드는 24시간 내내 수집을 진행하는 코드 하나와 1시간에 한번 데이터를 옮겨주는 스케줄러 코드로 총 2개가 됩니다. 저는 이 코드와 수집 환경을 만들기 위해 모두 도커를 활용하였으며, 사용한 컨테이너와 부가 설명은 다음과 같습니다. spark-master: 하둡과 스파크 클러스터를 구축하는 컨테이너로 standalone모드로 spark-summit 명령어로 파이썬 파일을 실행해주었다. --conf 옵션으로 메모리, 하트비트 간격, 파티션 수 를 지정해주었다. 스파크와 하둡을 처음 사용해봐서 약간의 개념만 있는 상태에서 돌려보니 아직도 세부 설정을 제대로 이해하지 못했다. 결국 worker를 1개 생성해서 파이썬 파일을 처리하도록 하였다. 현재 대다수의 오류가 이 컨테이너에서 발생한다. redis: spark-master에서 실시간으로 실행되고 있는 수집 코드에서 선별된 데이터들이 redis 컨테이너에 있는 redis db에 저장된다. postgresql: 1시간에 한번 redis에 있는 데이터를 옮기기 위해 postgresql 컨테이너를 생성했다. schduler: 1시간에 한번 postgresql 컨테이너에서 작동하고 있는 postgresql db에 redis 데이터를 옮겨주기 위한 스캐줄러 코드를 실행할 컨테이너다. redis-monitor: 실시간으로 redis db를 모니터링 하기 위해 redis-monitor 컨테이너를 생성하여 웹에서 모니터링 툴인 Redis-Stat에 접속한다. postgre-monitor: 마찬가지로, 실시간으로 postgresql db를 모니터링 하기 위해 생성한 컨테이너로 웹에서 Pgadmin4를 사용할 수 있다. 이렇게 총 6개의 컨테이너를 생성하여 내 수집 코드를 실행했는데, 여기서 많은 문제가 발생했습니다. 제가 가진 의문과 문제를 나열하자면 다음과 같습니다. 1. 먼저, 수집 코드를 실행한 다음에 스케줄러 코드를 실행해주었는데, (서로 독립된 컨테이너에서 실행) 두 코드가 DB에 동시에 접속할 때, 충돌이 일어날 가능성이 있지 않을까? 2. 수집 코드를 실행하고 몇분이 지나면 터미널이 먹통이 되고, 코드가 더 이상 실행이 안되는 일이 빈번하게 발생한다. 너무 많은 자원을 사용하고 있어서 그런건가.. 컴퓨터 사양이 안좋아서 그런건가 원인을 잘 모르겠다.. 3. spark-submit 로그를 보면 내 노트북에서는 안그러는데, 대용량 파일을 불러오는 과정에서 파티션 별로 데이터를 정리할 때 오류가 빈번하게 발생한다 . executor가 통신이 안된다는 경고 메세지도 자주 나오고, 특히, Remote RPC client disassociated 라는 오류가 가장 많이 나온다. 내 컴퓨터보다 높은 사양의 클러스터를 구축하려고 해서 그런가. 검색해보니 네트워크 문제이거나, 컨테이너에 할당한 자원을 초과해서 그런거라고 한다. 대용량 데이터를 불러오는 다른 방법을 강구해봐야되나 고민하고 있다. “그래서 요점이 뭐야” 라고 물어보신다면, 저는 현직에서 활동하고 계신 데이터 엔지니어, 백앤드 개발자 분들이 제 글을 본다면 “아니 굳이 왜 그렇게 하지? 이렇게 쉬운 방법이 있는데” 또는 “저기서 이렇게도 해봤나?, 이러면 안정적으로 코드를 돌릴 수 있을텐데”라는 반응으로 갈릴 것 같다고 생각합니다.

postgreSQL Sequence Error 원인이 무엇인가요?

현재 postgreSQL DB, 시퀀스를 사용하고 있는 상태입니다. 에러 내용 : currval of sequence "시퀀스명" is not yet defined in this session select nextval('시퀀스명'); 현재 쿼리를 실행후 select currval('시퀀스명'); 쿼리를 실행하면 정상적으로 쿼리가 실행됩니다. 하지만 nextval로 시퀀스를 올리지않고 currval 현재 시퀀스를 조회하면 위와 같은 에러가 발생합니다. 왜 에러가 발생하는 건가요? 선배님들 도와주세요!

영화관 처럼 좌석 예약 기능은 어떻게 구현하나요?

개인 프로젝트 중에 영화관 좌석 예약처럼 한 사용자가 고른 값을 다른 사용자가 동시간에 사용하지 못하게 하려면 백엔드를 어떻게 구현해야하나요? 단순히 좌석을 선택했을때 백엔드로 요청을 보내서 좌석 상태 (예약됨, 예약안됨)를 바꿔주면 되나요? 동시에 예약하기 페이지를 진입하면 사용자 A와 B 모두 a 좌석 상태가 예약 안됨일때인데, 사용자 A가 a 좌석 상태를 예약됨으로 변경하면 사용자 B에게는 여전히 a 좌석이 예약안됨으로 보일 것 같아서요. 제가 원하는건 사용자 A,B가 동시에 접속해서 좌석 a가 빈 자리여도 둘 중 아무나 a 좌석을 예약하면 나머지 한명에게는 a 좌석이 예약됨을 보여주고 싶습니다. 참고로 사용하고 있는 DB는 postgresql입니다. 서버는 노드구요. 이런 기능은 어떻게 구현하는지 궁금해서 질문 남깁니다.

스타트업 1년차 커리어 조언 부탁드립니다!! (주니어개발자, 오버스펙등)

- 경력 스타트업 1년 4개월정도 재직 중인 주니어 개발자 - 개발팀 인원 cto, 개발팀장, 팀원 5명(백4, 프론트1) - 사용한 기술 스택 spring mvc, jpa, spring webflux, r2dbc, postgresql, mongodb,kafka, elasticsearch, logstash, docker, rabbitmq, redis - 현재까지의 상황 사내에 기술적으로나 커리어적 방향성을 물어볼 사람이 없어서 질문 올립니다. 어플리케이션 90 프로가 웹플럭스로 개발이 되었으며 mvc개발에 대해서는 작은 어플리케이션 개발이 전부였습니다. cto는 전적으로 개발팀장에게 전적으로 의존해서 기술스택 모두 팀장이 정했습니다. 팀원으로 기술 선택에 의견을 내기도 했지만 권위적인 태도거나 저의 지식이 부족해서 근거 없이 받아들이기도했습니다. 또한 일방적인 개발 팀장의 기술 선택에 cto도 크게 반발 없이 받아들였습니다. 매 프로젝트마다 팀원 모두가 사용 경험이 없는 새로운 기술스택이 도입되었고, 심지어 러닝커브를 고려한 일정을 잡아주지 않았습니다. 기술을 깊게 탐구해가며 쓰지 못하고 다음 프로젝트 하기 바쁜 일정이어서 이직 준비하기는 현실적으로 힘들었습니다. 사용한 기술 스택은 맞지만 딥다이브한 기술이 없으며, 이직을 위한 기술스택 (mvc, jpa 등)을 현재 업무에서 사용할 여지는 없어 보여서 아래와 같이 계획을 짰습니다. 제가 생각한 방향성이 맞는지 선배님들 조언 부탁드립니다. 1. 이력서에는 깊게 사용하지않은 기술스택은 뺀다. 2. 이직을 위한 기술 스택(mvc, jpa등) 사이드 프로젝트로 실제 사용자에게 출시한다는 생각으로 공부해서 포트폴리오화 한다.