#공공데이터

DBA, 데이터엔지니어

안녕하세요 현재 통계 전공 컴퓨터공학 복수전공인 막학기 휴학생입니다. 공기업 전산직을 희망했어서 자격증(adsp, sqld 등 정량 스펙만 쌓아왔습니다. 경험으로는 공공데이터 전처리 및 시각화 그리고 약간의 분석기법을 해본것이 전부입니다. 그러다 데이터베이스를 다루는것에 관심이 생겨 직무 탐색을 하던중 dba 와 데이터엔지니어를 준비해보고자 하는데, 이 두 직무의 전망이 궁금합니다. 또한 교육, 프로젝트 등 직무 경험과 로드맵이 궁금합니다.

졸업을 하고 무엇을 해야할까요..?

현재 졸업을 앞둔 정보통신공학과 학생입니다. 원래 지방에 있는 학교를 다니다가(학과는 비전공) 교양 수업으로 C++ 언어를 듣고 코딩이 하고 싶어져서 수도권에 있는 정보통신공학과로 편입을 했습니다. 편입 후 다니다가 어찌어찌 취업할 시기가 왔는데 제 스펙이 너무 볼 것도 없고 형편이 없습니다. 가지고 있는거라곤 학점 3.7,토익 810,졸업 작품,정처기 필기 합(실기 X),혼자 스프링 공부하고 공공데이터를 활용해서 형편없는 숙소 예약 플랫폼,지역 커뮤니티 사이트(그냥 커뮤니티 게시판,지역 화폐 가맹점,뉴스 볼 수 있는 사이트) 밖에 없습니다. 백엔드 개발자로 협업을 하고 싶은데 학교 동아리는 편입할 때부터 고학년이라 받아주지도 않고 다른 교외 동아리는 저 같은 스펙으로는 잘 받아주지도 않더라구요...졸업이 이제 며칠 안남았는데 진짜 막막합니다...저는 가장 먼저 무엇을 해야할까요...?분명 학교 열심히 다니고 뭔가 공부를 하긴 했는데 계획이 안잡혀 있어 버리는 시간이 너무 많은거 같습니다...요

프론트엔드 공공데이터포탈 사용법 질문있습니다.

안녕하세요 현재 프론트엔드로 취업을 위해 공부중이고 공공데이터포탈 사이트를 통해서 간단한걸 한번 만들어볼려고 하고 있습니다. 공공데이터포탈 사이트에 있는 한국관광공사_국문 관광정보서비스라는 API를 가지고 제가 살고 있는 대구지역에 있는 관광정보의 이미지, 설명, 해당장소 지도표시 등 간단하게 만들어 볼려고 하는데 활용 메뉴얼을 보니 아래이미지에 있는 주소에 api_key를 넣어서 우선 자바스크립트로 fetch를 이용해서 데이터가 들어오는지 확인해봤는데 데이터가 잘 나오긴 하지만 데이터 내용이 이미지처럼 저렇게 밖에 데이터가 들어오지 않는데, 지역 장소들, 위치, 이미지등이 나오게 할려면 어떻게 하면 되나요?

공공데이터포탈에 대해 질문있습니다.

안녕하세요 프론트엔드 개발자 취업을 위해 현재 계속 공부하고 있습니다. 포트폴리오를 하나 만들어볼려고 하는데 공공데이터포탈 사이트에 있는 api를 이용해서 만들어볼려고 하는데 아직 사용해 본적도 없고 또 코드적인 부분에 대해서도 조금 부족한데 공공데이터포탈 사이트에 있는 api를 이용하여 자바스크립트 또는 리액트를 이용한 강의가 있나요? 있다면 추천 부탁드리겠습니다.

공공데이터 활용시 이미지는 어떻게 하시나요

공부중인데 공공데이터를 들고오는거까지 성공했는데 들고오는 데이터중에 이미지가 있어서 선택했는데 이미지값이 ="" 빈값이더라고요. 데이터포털사이트에 문의를 했는데 빈값이라면 이미지가 없는게 맞다고 하는데, 활용사례보면 이미지를 넣어서 작업한것도 있더라고요. 다른분들은 어떻게 하는지 궁금합니다.

공공openAPI웹 개발스택 질문

최근 공공쪽 데이터개방사업이 많아서 공공openAPI로 공공데이터를 이용한 정보취합이나 가공한 형태의 웹앱을 만들까합니다. nextjs를 쓸까했는데 개인개발인만큼 가볍고 단순했으면 좋겠고 공공데이터를 가공하는 만큼 데이터처리에 장점을 가졌으면 합니다. Nextjs로도 달성가능한지 혹은 적정기술 소개차원에서 추천할만한게 있는지 문의드립니다.

데이터분석가는 공공데이터는 다루지않나요?

안녕하세요.데이터 관련 학과에 재학중인 대학생입니다. 데이터 사이언티트스가 되고 싶긴 했지만 대학원은 갈 자신이 없어서 데이터 분석가가 되기로 결정했는데요. 제가 궁금한건, 데이터분석가는 매출관련 로그데이터만 거의 다루는것같은데.. 맞나요? 저는 공공데이터를 다루는게 재미있어서 관련공부를 해왔는데, 막상 매출,마케팅 관련 데이터를 보니 적성과 맞지 않는다는 생각이 듭니다. 또, 공공데이터나 다른 데이터를 다루는 곳은 없을까요..? 데이터로 매출이나 회사의 실적에 도움을 주는것 보다는 공공데이터로 실생활에 도움을 주는 일을 하고싶네요.. 이 말이 역설적인것 같기도 해서 고민입니다. 결국은 돈을 위해 분석을 해야하는것일 테니까요.. 그렇다면 , 데이터 분석가 라는 직무에 잘 맞지 않는걸까요? 진로 고민에 조언 부탁드립니다~

API 사용법에 대해 질문있습니다.

안녕하세요 프론트엔드 개발자로 취업을 위해 공부중입니다. API 사용법에 대해 질문이 있습니다. 제가 인강을 보고 공부중인데 인강에서 tmdb영화 API, openWeather API 를 사용해서 강의를 하는데 인강에 나온 Api 사이트를 들어가서 어떻게 사용한다 알겠는데 제가 혼자 연습으로 공공데이터포털Api사이트나 다른 Api를 제공해주는 사이트를 가니 어떻게 사용을 해야되고 이런 사용설명서가 어렵더라구요. 어느 Api 사이트를 가도 쉽게 사용할 수 있는 방법이 있을까요?

오픈 api 사용 할 때 cors 에러 어떻게 해결하시나요?

공공데이터 포털에서 오픈 api를 사용하고 있는데 cors 에러가 떠서 해결하고 싶은데, 직접 서버를 건드릴 수 없어서 어떻게 해결해야 할지 모르겠습니다..ㅠㅠ 배포 이후에도 그대로 동작할 수 있는 방법을 찾고 있습니다! 오류 내용 : Access to fetch at '<endpoint url>' from origin 'http://localhost:3000' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. If an opaque response serves your needs, set the request's mode to 'no-cors' to fetch the resource with CORS disabled. 현재 아래 사이트를 통해 막아보긴 했는데 중간중간 cors에러가 계속 뜨더라구요 https://allorigins.win/

데이터 엔지니어 취업 관련 질문드립니다.

안녕하세요. 데이터 분야 직무를 희망하고 있는 대학교 3학년 1학기차 컴퓨터공학과 전공생입니다. 먼저 시간내어 글 읽어주셔서 정말 감사합니다. 공공데이터 API등을 사용해 혼자 간단한 프로젝트들을 경험해보면서 데이터를 수집하고 활용할 수 있도록 정제하는 것에 흥미를 느꼈습니다. 이에 데이터 엔지니어와 데이터 사이언티스트에 대해 더 조사해보면서 관련 직무로 취업하고 싶다는 생각을 하게 되었습니다. 하지만 지금까지 해온 경험과 지식이 데이터 엔지니어가 되기 위해 많이 부족하다고 생각해 제가 부족한 부분들과 앞으로 노력해야 할 부분들에 대해 질문드리고 싶습니다. ##현재 상황 1. 프로젝트 경험 - 데이터 엔지니어링(데이터 파이프라이닝 등) 관련 프로젝트 경험 없음 - AWS를 활용해 cloud server와 edge server를 구축하고, 공공데이터 application과의 API 통신을 통해 content caching을 구현하는 프로젝트를 진행했었습니다. 2. 알고리즘 - 백준 골드 4(C++)입니다. 반년 전 컴퓨터 알고리즘 수업을 들은 이후 꾸준히 풀고 있습니다. 3. 오픈소스 경험 - git과 github사용법만 알고, 진행했던 간단한 프로젝트들만 깃허브에 올려놓았는데, 크게 의미가 없는 것 같습니다. 오픈소스에 기여해본적은 없습니다. 4. 학과 공부 인서울 상위권 대학교 다니고 있고, 전체평점 3.97/4.5, 전공평점 4.08/4.5 입니다. 5. 언어 - python은 library 잘 활용하는 정도로만 이해하고 있고, SQL, Go 등의 언어에는 지식이 전무한 상태입니다. 이러한 제 상황을 바탕으로 앞으로의 계획에 대해 질문드리고 싶습니다. 1. 데이터 엔지니어로 취업하기 위해 어떠한 역량과 경험을 더 키워야 할 지 궁금합니다. 2. 프로젝트 경험을 쌓고 싶은데, 관련된 기술 스택을 어느 정도로, 또 어떤 방식으로 공부해야 효율적일지 감이 잘 잡히지 않습니다. 전문가분들께서 추천해주실 만한 책이나 강의가 있을까요? 3. 데이터 엔지니어 채용 공고를 살펴보면, 빅테크나 대기업의 경우 경력 n년 이상을 자격 요건에 걸어두는 경우도 종종 확인할 수 있었습니다. 신입으로 데이터 엔지니어 채용은 많이 힘든가요? (4). 데이터 엔지니어 관련해서 열심히 찾아보고 더 나아가 기여해 볼 만한 오픈소스들이 어떤게 있을지 궁금합니다. 꼭 모든 질문에 대한 답변이 아니더라도, 한두개 정도의 질문에 길지 않은 분량으로 답변 주셔도 저에게는 큰 도움이 될 것 같습니다. 전문가분들의 답변을 토대로 앞으로 더 열심히 노력해보겠습니다. 이상 긴 글 읽어주셔서 감사합니다.

공공데이터 API 호출 및 렌더링 과정에서 고민이 있습니다..

공공데이터api 관련 프로젝트를 진행 하고 있습니다. 기획, 디자인 전부 저를 비롯한 팀원과 함께하고 있는데, api를 불러와 정보 데이터를 표시하는데 <p><span style="color: rgb(13, 13, 13); font-family: Roboto, Noto, sans-serif; font-size: 15px; white-space-collapse: preserve; background-color: rgb(255, 255, 255);">덕순이.. 이상하게 보자마자 덕순이란 이름이 떠올랐어요.</span></p><p><span style="color: rgb(13, 13, 13); font-family: Roboto, Noto, sans-serif; font-size: 15px; white-space-collapse: preserve; background-color: rgb(255, 255, 255);"><br></span></p><p><span 이런식으로 스트링 값으로 불러와집니다. 문자열로만 추출하니 개행, 문장 이음새 등등이 가독성이 아래사진 처럼 매우 떨어지게 됩니다 다음 상황에서 어떤 방법이 좋을까요? 위와 같은 태그로 표시되기에 이를 React에서 그대로 태그 형식으로 출력하는 방법을 생각해보고 있지만, 컬러,폰트 크기 같은 속성은 제외하고 <p> <span>등의 태그만 유지하도록 필터링해야하는 것인가요? 혹시 그렇다면 그 필터되 값을 문자열 형식말고 태그형식으로 적용할 수 있을까요? (추가) 현재 gpt 도움으로 아래의 방법으로 진행하여 성공하게 되었는데 이방법보다 효율적인 방법이 있을까요? 또한 이방법으로는 폰트 사이즈, 굵기가 임의 조절이 되지않는 단점이 있어서 이를 해결하고 싶습니다.

대규모 프로젝트를 짜고 싶은데 어떻게 해야 할까요

코린이인대요 저는 먼저 기상 빅테이터를 이용한 앱을 만들고 싶은데 공공데이터 OPEN API를 이용해서 구현을 하고 싶은데 좋은 정보나 코드가 있으면 알려주세요

앱(Flutter)에서 JSON데이터를 검색하려고 합니다

안녕하세요 Flutter를 이용하여 식단 및 체성분 관리 앱을 개발 중인 대학생입니다! json형식의 식품영양성분 공공데이터 안에서 사용자가 입력한 식품명 검색어를 기준으로 데이터를 불러오려고 합니다. DB는 Google Firebase를 사용 중이며, 위와 같은 목적으로 데이터를 사용 할 때에 적합하지 않다면 다른 DB를 사용 할 의향도 있습니다. 사용자의 검색어로 시작하는 특정 데이터만이 아니라, 검색어를 "포함"하는 데이터도 불러오고 싶습니다. 현재 어느 정도 그려 본 방법입니다. 영양성분 JSON 다운로드 ↓ Python을 이용하여 필요한 데이터만 가공 ↓ Firebase Realtime Database / Storage에 저장 ↓ 저장된 JSON을 API 호출을 통해 String으로 불러옴 / 앱 내부에 .json 파일로 저장 ↓ Map으로 변환 후 캐싱 ↓ 사용자가 검색어 입력 ↓ 검색어를 포함하는 데이터만 별도 리스트에 추가 여기서 데이터를 불러오는 과정에서 필터링을 거치지 않는 이유는 Firebase Realtime Database에서는 검색어를 "포함"하는 것이 아닌, 사전 순으로 검색어 기준 뒤에 있는 데이터만 가능하다고 합니다.. 그래서 결국 JSON파일로 직접 사용하기로 했습니다 혹시나 저의 부족함이 보이시는 분들의 조언과 피드백을 듣고 싶습니다! 더 나은 방법이 있다면 무차별 폭격 및 질문 부탁드립니다! 미리 감사드립니다 (_ _)

여러가지로 궁금한 점이 있어서 남겨봅니다.

3월에 국비지원 수업 다 끝나고 세미프로젝트 진행겸 자격증 준비하면서 이력서 지원하기 시작했는데 자격증에 대해 궁금한 점이 있어서 남겨봅니다. 제가 자바 풀스택으로 공공데이터포털 이용한 api 수업을 듣고 나서 자격증 그래도 있으면 좋겠다해서 검색하다가 우연히 온라인 강의 듣는곳에서 sqld 관한 강의 한다해서 듣기 시작했는데 sqld 자격증 준비하다가 같이 프로젝트 한 팀원들은 정보처리기사 시험본다고 하더라고요.. 조건상 저는 전문대 2년제라 정보처리 산업기사를 보려하는데 정보처리 산업기사를 봐야할지, sqld를 봐도 될지, 만약 두개 한번에 못할경우 대비해서 어떤걸 자격증 공부하는게 맞을지.. 두번째는 코드리뷰를 하는데 어제 처음 하는데 저희가 맡은 파트부분을 설명하면서 의문제기나 조언을 하는데 보통 코드리뷰를 어떻게 하나요? 자신이 한 코드를 설명하고 설명하다가 중간에 의문제기나 조언을 하는게 맞는걸까요..? 또.. 많은 질문이라 죄송합니다.. 세미프로젝트는 대체로 어떻게 시작하는걸까요..? 개인 프로젝트를 하려하는데 참고할만한 무언가가 있을지.. 아니면 보통 어떻게 시작하는지 조언을 듣고 싶습니다.. 이제 막 수료 다하고 그래서 취업은 해야하는데 뭔가 준비가 덜 된 기분이여서요..

공공데이터를 가져오고 싶은데 open api와 CSV파일의 차이점이뭔가요?

구글링 해보니까 open api를 가져와 CSV로 저장하던데 CSV파일을 포털에서 다운 가능하면 그냥 첨부터 CSV파일로 가져오면 되는거 아닌가요?

졸업 작품 질문...

제가 지금 졸업 작품으로 공공데이터를 활용해서 스타트업 투자 플랫폼을 만들어보고 싶다는 생각이 들었는데 괜찮을까요? 그냥 벤처기업 명단 가지고와서 모의로 투자해보고 투자 받는 시스템을 만들고 싶은데 법적으로 문제가 발생할까 고민입니다…그리고 졸작으로 허접할까 고민입니다…주제는 이렇게 제출했는데 막막하네요… 실제 투자는 이뤄지지 않고 모의로 시뮬레이션하고 투자 받는 형식으로 할 예정입니다.

앱에서 공공데이터를 이용하려고 할 때 api가 아닌 json을 이용하는게 좋을까요?

졸업 프로젝트로 식단, 체성분 관리 앱을 개발하고 있는 대학생입니다. "전국통합식품영양성분정보표준데이터"를 이용하여 사용자가 섭취한 식품의 영양소를 제공하려고 합니다. api를 사용하면 사용자가 식품 이름을 검색할 때마다 요청을 보내야 하므로 요청이 많아질 경우 제한에 걸리고, api서버 속도의 영향도 받고, 위와 같은 이유로 api요청 보다는 json 데이터를 다운받아서 DB에 저장하고 사용하는 방식을 생각 중입니다. 비슷한 경우에는 어떻게 처리하는지 알고 싶습니다! 조언 부탁드리겠습니다!

4학년 전공자 졸작 준비하는데 보통 웹만 으로는 잘 안하나요?

저희 학과 다른 팀을 보니까 거의 다 앱이거나 인공지능 쪽으로 많이 하더라구요... 저는 그냥 공공데이터를 활용하여 웹 사이트 하나 배포할려고 생각중이었는데 저희만 웹이여서 많이 걱정이 됩니다.

공공데이터 api 활용 관련

안녕하세요 대학교 4학년 학생입니다 이번에 졸업작품 겸 개인 프로젝트로 식품 영양정보 공공데이터 api를 활용해서 식단 관리 어플을 제작하고 있습니다! 근데 제가 사용하는 데이터가 식품관련 정보라서 날씨와 같이 업데이트 빈도가 높은 데이터가 아니잖아요? 업데이트가 거의 없다고 봐야겠죠.. 그래서 요청 트래픽이 제한되어있는 공공데이터를 앱 사용자가 필요할 때마다 호출하는 것이 아닌 firebase와 같은 데이터베이스에 따로 코딩으로 데이터를 저장해놓고 사용해도 괜찮겠다는 생각이 들더라구요 근데 또 걸리는 점이 카테고리가 식품인지라 데이터의 양이 어마어마할텐데 어떻게 처리하는게 효율적일까 고민이 되더라구요.. 혹시나 식품영양정보 공공데이터를 처리해보신 분이 나 비슷힌 고민이 있으셨던 분들의 조언을 듣고싶습니다ㅠㅜ 1. 대량의 데이터를 firebase데이터베이스에 저장하고 앱 안에서 불러쓰는게 좋을까요? VS 2. 공공데이터 api를 앱 사용자가 필요할 때마다 요청해서 쓰게하는게 좋을까요? (사용자가 api를 요청하는 상황은 식단에 음식을 추가하려고 검색 할 때로 가정했습니다!)

안드로이드 스튜디오 공공 데이터 api 사용 질문

안녕하세요, 이런 질문 글을 여기에 적어도 되는진 모르겠지만 문제가 된다면 삭제하겠습니다. 현재 안드로이드 스튜디오 내 구글 지도와 연동을 하여 저의 위치를 띄우는 거까지는 하였습니다. 동물병원 공공 데이터 api를 받아 구글 지도와 연동을 하고 싶은데, 활용 신청까지 하였지만 이해가 잘 안 가서 글을 남기게 되었습니다. 언어는 java를 사용 중입니다. 1. 동물병원 공공 데이터 api를 json 파일로 다운로드 받아 안드로이드 스튜디오 내에서 asset로 파일을 따로 만들어서 그 안에 json 파일을 넣어야 하나요? 2. 공공데이터 api 사용하기 위해 따로 클래스를 만들어야 할까요? 3. 구글 지도를 연동한 클래스 소스 코드 아래에 추가적인 소스 코드를 작성해야 하나요? 제가 사용하려는 api는 링크와 같습니다. 링크: https://www.data.go.kr/data/15075937/fileData.do#tab-layer-openapi 한 번만 알려주신다면 정말 감사하겠습니다..

백엔드의 개인프로젝트

안녕하세요 개인 토이 프로젝트를 하려고 하는데 많은 데이터를 다뤄서 쿼리나 로직의 성능향상을 중점으로 학습하려고 합니다. DB가져오려면 공공데이터밖에 없을까요?