1. 관심을 가져보자.

아직은 모르는 것이 많아서, 기업에 들어가 자격요건 및 우대사항을 보기로 했다.

---

 

(1) Data Scientist

[자격요건]

-Linear Algebra, Calculus, Probability/Statistics

-Machine Learning

-Python/R/Spark

 

[우대사항]

-Deep Learning

-Convex Optimization

-Causal Inference

-Bayesian Statistics

 

(2) Data Platform 개발

[자격요건]

-Java

-데이터 구조, 알고리즘, 복잡도 분석 등의 컴퓨터 과학의 기초적 소양

-Concurrent/multi-threaded 시스템 개발

-Linux/Unix환경에서 개발 및 시스템 운용

 

[우대사항]

-Kafka & Hadoop 등을 이용한 분석 및 디버깅, 최적화 하는 지식 또는 기술

-분산 데이터 파이프 라인에서 'at-leart-once', 'exactly-once'등의 개념을 이해하고, 시스템을 구축

-Elasticsearch, Hadoop, Spark등의 데이터 분석 엔진에 대한 이해

-HDFS Federation 구축 및 운영 경험

-Kerberos를 적용한 Secured Hadoop 클러스터 구축 및 운영 경험

-RDB와 관련된 지식

-24시간 동작하는 시스템을 제공한 경험

-JVM GC와 관련된 트러블 슈팅 및 튜닝 경험

-Maven, Git 이용 경험

-영어, 일본어 업부 진행 가능

 

(3) 분석 데이터 설계/ETL

[담당업무]

- DW(Data Warehouse) 설계/구축

- 정형, 비정형 데이터 분석/서비스를 위한 데이터 모델링

- 빅데이터 수집/처리/제공에 이르는 전반적인 데이터 ETL 프로세스 설계/구현

- Data Processing Tool 개발/운영

[자격요건]

- Data Warehouse 설계/구축 경험이 있고 데이터 흐름에 대한 이해가 있는 자

- 다양한 소스에서 데이터를 추출, 가공, 적재하실 수 있는 자

- SQL 활용이 능숙한 자

 

[우대사항]

- DW 구축관련 Project를 리딩 경험이 있는 자

- BI 서비스 환경에 익숙한 자

- Hadoop eco-system에서 DW 설계/ETL 업무 경험이 있는 자

- 프로그램 개발(Java, Scala, python 등) 기술을 보유한 자

 

(4) Machine Learning Platform 개발

[담당업무]

- 다양한 ML 모델 개발부터 학습, 평가 및 서비스를 위한 통합 플랫폼 개발

- 고가용 서비스 제공을 위한 시스템 자동화 및 신뢰성 높은 시스템 설계 및 구축

- 다양한 모델의 성능을 측정하고 비교할 수 있는 자동화된 A/B 테스트 플랫폼 개발

- GPU/CPU 자원의 효율적인 제공을 위한 Docker 클러스터 시스템 구축 및 운영

 

[자격요건]

- 데이터구조, 알고리즘, OS, DB, 네트워크 관련 기초가 탄탄한 자

- 머신러닝, 딥러닝에 대한 기본적인 지식이 있는 자

- 리눅스 환경에서의 시스템 개발 및 운영 경험이 있는 자

 

[우대사항]

- 로그 수집부터 머신러닝/딥러닝 모델링, 서빙까지 풀스택으로 설계하고 개발해본 경험 

- Hive, HBase, Kafka 등 Hadoop Ecosystem 사용 경험 

- Kubernetes를 사용하여 서비스를 배포, 운영해본 경험

- Airflow, Luigi, Azkaban 등 Workflow 적용 및 운영 경험 

- 병목 지점을 찾기 위한 Profiling 경험 

- 오픈 소스 개발 및 협업 경험 

 

(5) Machine Learning Engineer / Data Analyst

[담당업무]

- 컨텐츠와 사용자의 활동 정보를 구조화된 정보로 담을 수 있는 빅데이터 플랫폼 구축

- 실용적인 관점으로 AI를 활용하여 데이터를 분석하고,  인사이트 발굴 및 모델 개발

- AI와 데이터에 기반한 가설/모델 수립과 이를 검증하기 위한 시각화

 

[자격요건]

 - Deep Neural Network, Convolutional NN, Recurrent NN, Deep Q-Networks

 - Multi-Armed Bandit, Collaborative Filtering, Content-based, Filtering, Matrix Factorization

 - 데이터 분석을 통한 가설 수립 및 검증에 도전 하고 싶은 자

 

[우대사항]

- 딥러닝/머신러닝 관련 기술 및 개발 경험 (Keras, TensorFlow, PyTorch 등)

- AI/데이터 분석을 통해 도출된 아이디어를 기반으로 한 서비스 개발 경험

- 대용량 데이터 처리 및 시각화 관련 기술/개발 경험 (Hive, Spark, Hadoop, Jupyter, Zeppelin, Tableau 등)

- AI 관련 최신 논문의 구현 또는 활용 경험

- 한가지 이상의 프로그래밍 언어에 대한 능숙한 활용

 

(6) SNS(Timeline) 서버 개발

[담당업무]

- 영구 보관 데이터를 다루므로 효과적인 컨텐츠 저장과 조회에 대하여 많은 노력을 기울임

- 다루는 분야: Contents Delivery, Storing, Recommendation and Curation / Social Graph

- 업무 범위: Social Network Service(Timeline, Home) Development & Sustaining

 

[자격요건]

- Java 언어에 능숙하고, Java Framework 기반 개발에 익숙한 자

- Data structure, Algorithm, Distributed Service 를 이해하여 적용 가능자

 

(7) 빅데이터 플랫폼 운영

[담당업무]

- HDFS와 같은 데이터 저장소와 LINE의 Product 서비스 사이의 데이터 파이프라인 디자인 및 가이드

- Hadoop 클러스터 구축을 위한 용량 산정, 디자인, Config 조정

- Hadoop 클러스터 모니터링, 장애 대응, 성능 튜닝, 버전 업그레이드 지원

- 빅데이터 플랫폼 운영에 필요한 자동화 도구 및 모니터링 도구 개발

- HBase 용량 산정, 로우키 설계, 구축 , 운영

 

[자격요건]

- 2년 이상의 Hadoop 클러스터 구축, 운영 및 활용 경험자

- Cloudera Manager 또는 Ambari를 통한 Hadoop 에코시스템 유지보수, 모니터링 및 트러블슈팅 경험

- 자동화/운영 도구 개발을 위한 Python등의 스크립트 언어 작성 능력

- HDFS, YARN, Zookeeper, M/R, Hive, Spark, Oozie 등 비교적 대중화된 Hadoop 에코시스템에 대한 이해

 

[우대사항]

- 대용량 또는 다수의 Hadoop 클러스터 구축 및 운영 경험자

- Hadoop 보안(Kerberos 등)에 대한 이해와 경험

- 일본어 혹은 영어 가능자

- Kafka, Flume을 이용한 스트리밍 데이터 처리 경험자

- MySQL 구축 및 운영 경험자

- NoSQL(MongoDB, Accumulo 등) 구축 및 운영 경험자​

 

(8) Fintech 개발

[자격요건]

- Java 언어, Java Framework(Spring, Spring boots, JPA) 기반 개발이 능숙 자 

- Restful API 디자인 능숙 자 

- 대용량 트래픽 서비스 시스템 개발 및 운영에 능숙한 자 

- 페어프로그래밍, 코드리뷰에 거부감이 없고 테스트코드 작성 가능 자 

- 사업, 기획, 개발, UX등 유관부서와 원활한 커뮤니케이션이 가능한 자 

 

[우대사항]

- MSA 기반 개발 경험 

- Spring Cloud 기반의 Ecosystem 경험 

- 모바일 금융 서비스에 익숙하고 관련 최신 트렌드에 대한 관심 

- 모바일 환경을 고려하여 서비스를 개발한 경험 

- Network / System programming에 대한 경험 

- 외국어(영어·일어·중국어) 가능

 

(9) Commerce Platform 서버/웹 개발

[자격요건]

- Java 언어에 능숙하고, Java Framework 기반 개발에 익숙한 자

- Javascript, JQuery 사용에 능숙하고, Javascript Framework 기반 개발에 익숙한 자

​- Oracle 또는 MySQL등의 RDBMS 및 NoSQL 적용 개발 경험을 보유한 자

- 페어프로그래밍, 코드리뷰에 거부감이 없고 테스트코드 작성의 필요성을 알고 있는 자

 

[우대사항]

- Network / System programming에 대한 경험

​- 모바일 환경을 고려한 서비스 개발 경험

- Hadoop, HBase, Kafka, ELK 등을 활용한 대용량 데이터 처리 운영/구축 경험

- 쇼핑 분야에서의 개발 경험​​- 가벼운 백앤드 서비스(Spring , java) 개발 경험 및 Database에 대한 이해도(Oracle)

​​- Node.js 관련 지식

- 외국어(영어,일어,중국어)가능

 

 

 

---

2019.05.26

내가 가야 할 방향, 공부해야 할 것들이 대충 눈에 그려진다.

모르는 용어들은 많지만 말이다!

그래도 앞으로 공부해나가다보면 점점 무엇인지 알 수 있겠지.

 

먼저, 느낀 것은 언어를 정복할 것.

무조건 영어! 영어는 할 수 있게 하자. +가능하다면 일본어도.

아직은 일학년이고, 컴퓨터 관련하여 공부하기에는 기초적인 부분이 많이 부족하기 때문에

올해는 컴퓨터 언어와 영어에 집중하자.

 

내가 4년 살면서 확실하게 다룰 줄 알아야 하는 컴퓨터 언어 또한 보인다.

 

-Python

-R

-Spark

-Java

 

지금은 프로그래밍에 입문하였을 때 배우는 기초언어, C를 배우는 중이다.

이번학기, 그리고 방학, 다음학기에 걸쳐 C에 대해 이해하고, 방학부터 Python공부를 시작하자!

 

컴퓨터과학의 중요성 또한 매우 크게 느꼈다.

좋은 개발자는 단순히 코딩만 잘하는 것이 아니라, 컴퓨터에 대한 기본 지식이 탄탄해야 하는 것 같다.

지금은 이산수학을 배우고 있는 중이다.

중간고사 때는 단순히 시험을 치기 위해 공부를 했다.

지금이라도, 이산수학을 나중에 실용적으로 써먹을 수 있게 제대로 공부하자.

(그리고, 교수님께 자주 질문을 드리도록 하자!)

 

앞으로 중요하게 공부할 것.

<학교 공부>

-1학년 2학기: Python, 디지털 회로

-2학년 1학기: Java, C++, 자료구조, 컴퓨터구조, 확률과 통계

-2학년 2학기: 확률과 통계, 선형대수학, 알고리즘, 컴퓨터네트워크, 시스템 소프트웨어

-그 후: 운영체제, 기계학습 및 데이터마이닝, 도메인 부석 및 SW설계, 데이터베이스,

오픈소스SW, 계산이론, 소프트웨어공학, 웹시스템설계, 기계학습 및 데이터마이닝, 모델링 시뮬레이션,

모바일 네트워크, 컴퓨터 비젼, 인공지능, 컴퓨터 그래픽스, 분산시스템, HCI 등

 

<따로 공부>

-Linux

-R

-Spark

-Hadoop(사실 뭔지는 잘 모르겠다...!)

 

일단 나에게 주어진 것을 열심히 하자.

C언어와 친해지는 것을 목표로!