[나는 리뷰어다] 견고한 데이터 엔지니어링

출시된 이후 굉장히 읽어보고 싶었던 책이었는데, 이번에 좋은 기회로 해당 책을 읽게 되었다.

 

책은 총 3부로 구성되어 있으며, 1부에서는 데이터 엔지니어링 기반 구축하기, 2부에서는 데이터 엔지니어링 수명 주기 심층 분석, 3부에서는 보안, 개인정보보호 및 데이터 엔지니어링의 미래를 다루고 있다.

 

현재 나는 주니어 데이터 엔지니어로 일하고 있는데, 이 책을 읽으면서 조금 더 빨리 번역되어서 출간이 되었으면 좋지 않았을까 하는 생각이 가장 먼저 들었다.

 

데이터 엔지니어는 다른 개발 분야에 비해 늦게 등장한 직무이기 때문에 회사별로 정의하는 데이터 엔지니어의 역할과 업무들이 굉장히 다양하다. 이 책은 조직의 데이터 성숙도에 따라 데이터 엔지니어가 어떤 업무들을 하고 어떤 책임을 지게 되는지 소개하고 있는데,  이런 것들을 미리 알았더라면 내가 어떤 정도의 데이터 성숙도를 지닌 조직에서 어떤 것들을 만들어나가고 싶은지 미리 고민을 하는 시간을 가질 수 있었을 것 같다.

 

또한 데이터 분야는 현재도 관련 기술의 발전 및 변화가 빠르게 일어나고 있는 분야이다. 현재 출간된 데이터 엔지니어링과 관련된 책들 중 프레임워크에 치우쳐서 설명된 책들이 있는데, 이런 경우 프레임워크에서 outdated된 기능들을 써서 더 이상 해당 책을 참고하여 실습을 하기 어려운 경우도 있고 책이 출간된 당시와 다르게 현재의 흐름이 바뀌어서 해당 프레임워크가 거의 쓰이지 않는 경우도 있다. 그러나 이 책은 데이터 엔지니어링에 대한 전체적인 큰 그림을 담고 있기 때문에 시간이 지나서도 충분히 참고할만한 내용들을 다루고 있다. 그래서 이 책을 조금 더 빨리 읽었더라면 데이터 엔지니어링에서 많이 쓰이는 특정 프레임워크를 어떻게 사용하는지 공부하는 대신 현재 어떤 상태에 있는지 파악한 후 문제를 해결할 수 있는 기술들을 비교해보고, 어떻게 해결해나가야 제일 쉽고 요구하는 상황에 따라 어떤게 제일 이점이 큰지에 초점을 맞추는 등 데이터 엔지니어링을 공부했던 방향이 바뀌지 않았을까 싶다. 

 

특정 기술이 아닌 데이터 엔지니어링 자체에 초점을 두고 있는 책이어서 더욱 좋은 책이라고 느껴진다. 여타 다른 책들과 달리 데이터 엔지니어링의 각 단계에서 어떤 것들을 고려할 수 있는지와 어떤 상황에서 어떤 기술을 선택하는 것이 좋은지 등이 서술되어 있으며, 일반적으로 알려져있는 ETL 파이프라인을 구축하는 것 외에도 데이터 엔지니어가 겉으로는 드러나지 않지만 보안, 데이터옵스, 오케스트레이션 등 어떤 것들을 어떻게 신경써야하는지, 많이 알려져 있는 데이터 분석가와 데이터 과학자와의 관계 외에도 소프트웨어 엔지니어, SRE, 데이터 아키텍트 등과의 협업도 어떻게 이루어지는지도 잘 서술되어있다. 

 

직접 실무를 해보며 몸으로 부딪혀서 깨달았던 내용들이 많이 서술되어 있고, 이 책을 읽지 않았더라면 앞으로 더 많이 몸을 부딪혀서 깨달았어야 했을 내용들이 굉장히 가득하다. 아직은 이해가 어려운 내용들도 있고, 그렇구나 정도로 읽고 넘어가는 부분도 있지만 앞으로 새로운 업무를 진행하고, 데이터 파이프라인을 설계하고 구축할 때 좋은 길라잡이가 되어줄 것 같다. 나처럼 주니어 데이터 엔지니어이거나, 혹은 데이터 엔지니어로 꿈을 꾸고 있는 분들이라면 꼭 읽어보는 것을 추천한다.

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."