https://daydreamx.tistory.com/ 개발자를 향해, 공부하는 여정을 기록하는 블로그. ko Mon, 13 Apr 2026 05:15:24 +0900 TISTORY 100 자윰 https://tistory1.daumcdn.net/tistory/2892308/attach/b5aaea902f3f460fb55f2881b816b615 https://daydreamx.tistory.com https://daydreamx.tistory.com/entry/%EB%B2%A1%ED%84%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4-%ED%86%BA%EC%95%84%EB%B3%B4%EA%B8%B0 회사에서 벡터 데이터베이스 도입한 것은 알고 있었는데, 인공지능 쪽에 쓰이는 데이터베이스인 것만 알고 정확히 뭔지 잘 모르고 있었다.  점차 팀 내에서 MLOps 관련된 프로젝트가 늘어나는 것을 보며 나도 알고 있어야 언젠가 관련 업무를 할당받았을 때 더 빠르게 이해할 수 있을 것 같아서 살펴보려고 한다. 1. 관계형 데이터베이스는 AI 애플리케이션에 적합하지 않다 우리는 일반적으로 데이터를 저장할 때 관계형 데이터베이스에 저장하고, 이를 기반.. Develop/Database 자윰 https://daydreamx.tistory.com/95 https://daydreamx.tistory.com/entry/%EB%B2%A1%ED%84%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4-%ED%86%BA%EC%95%84%EB%B3%B4%EA%B8%B0#entry95comment Sun, 5 Nov 2023 19:48:26 +0900 https://daydreamx.tistory.com/entry/Network-%EC%9B%B9%EC%82%AC%EC%9D%B4%ED%8A%B8%EC%97%90-%EC%A0%91%EC%86%8D%ED%95%98%EB%8A%94-%EA%B3%BC%EC%A0%95   약 3주간 네트워크 책을 읽는 스터디를 했는데, 좀 더 하드웨어에 가까웠던 내용이었어서 소프트웨어 측면에서도 되짚으면 좋을 것 같다는 생각에 이전에 과제로 정리해두었던 글을 남긴다. Wep page를 downloading하는, 굉장히 simple한 request에서도 이를 만족하기 위해서는 많은 protocol들이 필요하다. 예를 들어보기 위해, 내가 나의 컴퓨터로 집과 연결된 ethernet switch에 연결하고, www.google... Computer Science/Computer Network 자윰 https://daydreamx.tistory.com/94 https://daydreamx.tistory.com/entry/Network-%EC%9B%B9%EC%82%AC%EC%9D%B4%ED%8A%B8%EC%97%90-%EC%A0%91%EC%86%8D%ED%95%98%EB%8A%94-%EA%B3%BC%EC%A0%95#entry94comment Sat, 21 Oct 2023 14:33:28 +0900 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-Go-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94-%EA%B0%80%EC%9D%B4%EB%93%9C   글을 쓰기에 앞서, 나는 Golang을 아주 조금밖에 다루지 못하는 사람이다. Go를 정말 잘 다루는 사람들의 경우에는 책을 읽고 난 후의 감상이 다르게 다가올 수 있기 때문에 이 부분을 참고하여 리뷰를 읽어주세요.   예전부터 Go는 나에게 배우고 싶었던 언어이다. 최근 많이 쓰이는 다양한 인프라 서비스들이 Go로 작성되어 있고, 유명한 프로그래밍 언어 - C, Java, Python 등 - 의 장점 등을 모아 사용하기 쉽다고 하.. Developer/Book 자윰 https://daydreamx.tistory.com/93 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-Go-%EC%84%B1%EB%8A%A5-%EC%B5%9C%EC%A0%81%ED%99%94-%EA%B0%80%EC%9D%B4%EB%93%9C#entry93comment Sun, 24 Sep 2023 22:09:36 +0900 https://daydreamx.tistory.com/entry/%EB%A1%9C%EA%B7%B8-%EA%B4%80%EB%A6%AC-%EB%8F%84%EA%B5%AC-loglotate 1. 들어가며 hdfs에 로그 파일이 쌓이고 있었는데, 로그가 너무 많이 쌓여서 hdfs disk full로 인해 spark를 사용할 수 없었다. 이때 팀리더께서 제안을 해주셨던 방법 중 하나가 logrotate였는데, (결국에 다른 방법으로 해결하긴 했지만) 처음 접한 도구여서 한 번 정리를 해보고자 한다. 2. logrotate란 위에서 말했듯이 DBMS, 어플리케이션 서버, 웹 서버 등을 운영하다보면 자연스레 로그가 쌓이게 된다. 이슈 등이 발생했.. Develop/Linux 자윰 https://daydreamx.tistory.com/92 https://daydreamx.tistory.com/entry/%EB%A1%9C%EA%B7%B8-%EA%B4%80%EB%A6%AC-%EB%8F%84%EA%B5%AC-loglotate#entry92comment Fri, 22 Sep 2023 00:39:27 +0900 https://daydreamx.tistory.com/entry/OSError-Too-many-open-files 며칠 전에 운영하던 서버에서 Too many open files 에러로 인해 노트북을 사용할 수 없다는 이슈가 있었다. 만약 내가 백엔드 직무였고 서비스와 직접 맞닿아 있는 부분을 운영하고 있었다면 이미 마주쳐봤을 것 같지만, 나는 사내 대상으로 운영하는 서버여서 접속자 수나 커넥션 등에 대해서는 신경을 쓰지 않다가 이번에 처음으로 만나게 된 에러라 잊지 않기 위해 기록한다. 1. 원인 최대로 열 수 있는 파일 디스크립터의 수를 NOFILE이라고 부른다.. Develop 자윰 https://daydreamx.tistory.com/91 https://daydreamx.tistory.com/entry/OSError-Too-many-open-files#entry91comment Sun, 17 Sep 2023 01:40:32 +0900 https://daydreamx.tistory.com/entry/Hadoop-YARN-capacity-scheduler-%EC%82%AC%EC%9A%A9-%EA%B8%B0%EB%A1%9D 본 글은 쓰기에 앞서, 정보 전달의 목적을 띈 글이라기보다 내가 사용했던 capacity-scheduler에 대해 기록을 남기기 위함을 알린다. 1. YARN 하둡의 클러스터 자원 관리 시스템인 YARN은 Hadoop2에서 맵리듀스의 성능을 높이기 위해 처음 도입되었다. YARN은 클러스터 전체 자원의 사용량을 관리하는 리소스 매니저와 컨테이너를 구동하고모니터링하는 역할을 하는 노드 매니저 등 두 가지 유형의 장기 실행 데몬을 통해 핵심 서비스를 제공한.. Data Engineering 자윰 https://daydreamx.tistory.com/90 https://daydreamx.tistory.com/entry/Hadoop-YARN-capacity-scheduler-%EC%82%AC%EC%9A%A9-%EA%B8%B0%EB%A1%9D#entry90comment Sat, 9 Sep 2023 16:24:59 +0900 https://daydreamx.tistory.com/entry/Trino%EC%99%80-Presto-%ED%86%BA%EC%95%84%EB%B3%B4%EA%B8%B0 1. 들어가며 presto는 이전부터 많이 들었던 서비스이자 자주 사용하는 AWS Athena가 presto기반 문법을 사용하고 있기 때문에 익숙했다. Trino는 최근에 많이 언급되는 것을 보았는데, 어디선가 presto가 trino로 바뀌었다~ 정도로 들어서 둘이 이름이 같구나 정도로 이해하고 있었는데 datahub ingestion guide 읽어보니까 presto랑 trino랑 다르게 취급을 하고 있어서 혼란이 왔다. 그래서 이번에 둘에 대해서 .. Data Engineering 자윰 https://daydreamx.tistory.com/89 https://daydreamx.tistory.com/entry/Trino%EC%99%80-Presto-%ED%86%BA%EC%95%84%EB%B3%B4%EA%B8%B0#entry89comment Sat, 2 Sep 2023 02:18:56 +0900 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%EA%B2%AC%EA%B3%A0%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81 출시된 이후 굉장히 읽어보고 싶었던 책이었는데, 이번에 좋은 기회로 해당 책을 읽게 되었다.   책은 총 3부로 구성되어 있으며, 1부에서는 데이터 엔지니어링 기반 구축하기, 2부에서는 데이터 엔지니어링 수명 주기 심층 분석, 3부에서는 보안, 개인정보보호 및 데이터 엔지니어링의 미래를 다루고 있다.   현재 나는 주니어 데이터 엔지니어로 일하고 있는데, 이 책을 읽으면서 조금 더 빨리 번역되어서 출간이 되었으면 좋지 않았을까 하는 생.. Developer/Book 자윰 https://daydreamx.tistory.com/88 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%EA%B2%AC%EA%B3%A0%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81#entry88comment Sun, 27 Aug 2023 23:07:53 +0900 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%ED%85%8C%EB%9D%BC%ED%8F%BC%EC%9C%BC%EB%A1%9C-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-IaC 나는 테라폼에 대해서 이야기를 들어보기만 하고, 실제로 사용해보기는 커녕 테라폼을 사용하기 위해 작성된 코드조차 한 번도 봤던 적이 없던 사람이다. 테라폼이 굉장히 핫하다는건 알고있었으나 테라폼까지 사용해보기에는 다른 것들을 습득하느라 바쁘기도 했고, 프로젝트를 진행할 때도 도커, 쿠버네티스, CI/CD 등 기본적인 인프라만 구축하는데에도 버거워서 테라폼을 공부해서 적용해보는건 엄두도 내지 못했었다.   그러던 중 좋은 기회로 '테라폼으로 시작.. Developer/Book 자윰 https://daydreamx.tistory.com/87 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%ED%85%8C%EB%9D%BC%ED%8F%BC%EC%9C%BC%EB%A1%9C-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-IaC#entry87comment Sun, 25 Jun 2023 21:33:32 +0900 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%92%88%EC%A7%88%EC%9D%98-%EB%B9%84%EB%B0%80 데이터를 다루는 사람들이라면 데이터 품질에 대해 고민하는 순간들이 끊임없이 있을 것이다. 나 또한 데이터 품질에 대해 고민하는 순간들이 많고, 또 더 나은 데이터 품질을 위해 여러가지 작업을 진행하고 있는데, 그런 나에게 있어 작업을 진행하기 전에 봤으면 얼마나 좋았을까 하는 생각이 드는 책이었다.   책은 데이터 품질이 무엇인지부터 시작하며, 일반적으로 데이터를 다루는 사람들이라면 한번 쯤 다 들어보았을 데이터 웨어하우스와 데이터 레이크, 배.. Developer/Book 자윰 https://daydreamx.tistory.com/86 https://daydreamx.tistory.com/entry/%EB%82%98%EB%8A%94-%EB%A6%AC%EB%B7%B0%EC%96%B4%EB%8B%A4-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%92%88%EC%A7%88%EC%9D%98-%EB%B9%84%EB%B0%80#entry86comment Sun, 28 May 2023 19:17:59 +0900