http://www.analyticsvidhya.com/blog/2015/11/infographic-rise-machine-learning-year-2015/
1월 30

데이터와 관련하여 기업들이 공개한 기술은 어떤게 있을까?

Posted by Wonjun Hong

작년에는 필요한 알고리즘은 직접 개발하여 사용했었는데 회사가 발전해감에 따라서 점점 시스템을 구축할 필요를 느끼고 있어서 기존에 다른 기업들이 공개한 데이터와 관련된 기술들을 찾아보았다. 우선 트위터 에서는 2011년에 Bootstrap 외에도 실시간 분석 분산 시스템 인 Storm 을 공개했다. (2011.08.04)A Storm is coming: more details and plans for release (2013.09.06)트위터 Storm 소개 2013년에는 Storm 과…

Read More

Data Machines
1월 27

Python 에서 Tajo 사용하기

Posted by Wonjun Hong

라인웍스에서는 정적인 데이터를 분석하는 경우 데이터레이크(Data Lake) 로 TAJO 를 사용하고 있다. 회사 내에서 분석하고 서비스로 만들어내는 모든 데이터는 여기에서 시작된다. 우선 TAJO 에 Query 를 이용하여 데이터를 쪼개보고, 붙여보고, 나열해본 후에는 이를 csv 파일로 만든 후 에 Python 으로 load 하여 그래프를 그리거나 머신러닝 알고리즘을 수행하는 형식이다. (Python 의 경우 직접 실행하는…

Read More