"메타데이터 레이크"라는 개념을 소개한 글입니 | 커리어리

"메타데이터 레이크"라는 개념을 소개한 글입니다. 데이터의 양이 지나치게 늘어나 데이터의 의미를 파악하는 것이 쉽지 않다는 문제에서 데이터 레이크가 출현했으며, 현재는 메타데이터가 이러한 상태입니다. 메타데이터 레이크를 이용해 데이터 품질 관리를 자동화하고, 데이터 파이프라인을 자동적으로 최적화 할 수 있습니다. 메타데이터 레이크는 3가지 조건을 충족할 수 있어야 합니다. * 오픈 API와 인터페이스 - 다양한 솔루션과 어플리케이션에서 이 정보를 쉽게 사용할 수 있어야 합니다. * Knowledge Graph로 표현 - 서로 다른 소스의 메타데이터의 연결관계가 중요하기 때문에 Graph로 저장하는 것이 가장 효과적입니다. * 인간과 시스템 모두에 적용되는 가용성 - 인간은 이를 통해 컨텍스트를 이해하고 기계는 자동화 도구로 효율을 올립니다. 사실 개념 정도의 글이라서 그래서 뭘 어떻게 하자는 건가 싶기도 하지만, 적어도 메타데이터의 관계성을 저장하고 이를 효율적으로 활용할 필요가 있다는 것은 분명하며, 이 분야가 데이터 엔지니어링 영역에서 더 발전할 가능성도 충분할 것으로 생각합니다. --- '신상마켓'을 운영하는 딜리셔스에서는 동대문 패션 생태계를 기술을 통하여 더 나은 모습으로 디지털화하고, 함께 성장하여 글로벌까지 연결하는 꿈을 갖고 있습니다. B2B 뿐만 아니라 풀필먼트 및 글로벌향의 다양한 제품을 개발/운영 중이며, 주도적으로 오너십을 갖고 자율적으로 일하는 환경을 지향합니다. 저희 팀과 함께 할 실력있는 분들을 적극적으로 모시고 있습니다. 많은 지원 부탁드려요! 🚀 딜리셔스 채용 더 알아보기 >> https://www.notion.so/e8747fb16efe4f1ba7747e7f96f9d373 👩‍💻 딜리셔스 개발팀 소개 >> https://dealicious-inc.github.io/2021/06/14/dev-team-chronicle.html

The Rise of the Metadata Lake

Medium

2021년 7월 6일 오전 3:44

댓글 0

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 개발자를 위한 커리어 SNS