Data/Processing

빅데이터 프로세싱이란 .

빅데이터에서 돈이 될 만한 것을 뽑아내는 기술로 정의 되어있다. 빅데이터분석이 쉬워진것은 하둡(Hadoop)이 개발되면서 부터이다. 하둡은 대용량 데이터를 적은비용으로 더 빠르게 분석할 수 있는 소프트웨어이며, 빅데이터 처리와 분석을 위한 플랫폼 중 사실상 표준으로 자리잡고 있다. 여러대의 컴퓨터로 데이터를 분석하고 저장하는 방식으로 분석에 필요했던 많은 비용과 시간을 단축 할수 있게 되었다. 페이스북의 자동 이미지검색, 금융거래 내역 분석을 통한 사기방지, 검색 패턴을 통한 광고타켓 및 마케팅 등 여러분야에서 활용 될수 있다. 국내외를 막론하고 빅데이터를 다루는 개발자는 하둡 생태계를 통해 빅데이터를 보다 원활하고 효율적으로 분석할 수있다. 하둡은 여러개의 컴퓨터를 하나로 묶어 대용량데이터를 처리하는 ..

Hadoop이란 ?-정의편

정의 Apache Hadoop 으로 분산 파일시스템과 빅데이터를 처리하기 위한 분산 처리 시스템을 제공하는 아파치 소프트에어 재단의 오픈 소스 프레임워크이다. JAVA로 개발되었으며 원래 목적은 검색엔진을 만들기 위해서 만들어 졌다. 마스코트는 코끼리로 아들이 놀던 장난감을 보고 지었다고 한다. 구성? -Hadoop HBase: NoSQL 데이터베이스로 만들어짐 -HDFS:Hadoop Distributed File System, 분산파일 시스템 -Hadoop Map Reduce: 분산처리 시스템 구글의 논문을 보고 오픈소스로 구현한 것