상단
  • 서비스 소개
    • 서비스 소개
    • 공지 사항
  • HDFS Architecture
  • HDFS 설치
  • HDFS 가이드
  • HDFS 2.0
  • 참고 문헌
    • HDFS 1.0 참고 문헌
    • HDFS 2.0 참고 문헌

HDFS를 정리 합니다.

 

HDFS Architecture

[700px](파일:Hadoop architecture02.png.md)

 

HDFS 설치

  • [CentOS에서 Hadoop 설치](Hadoop.md#CentOS에서 Hadoop 설치.md)

 
 

HDFS 가이드

  • HDFS : Hadoop Distributed File System <- GFS (Global File System)

    • NameNode : Stores metadata (이중화 문제 있음)

    • DataNodes : 파일을 64MB 단위로 나누어 저장, 디폴트로 3개의 복사본을 저장

     

  • File System(FS) shell

    • URI : hdfs://namenodehost/parent/child, file:///file3

    • /user/user001/ : Linux user user001의 default 폴더

 
 hadoop dfs -명령어 옵션
 

  • hadoop dfs 명령

 
 -ls, -lsr          : 파일 목록 보기
 -cat ~             : 파일 내용 보기
 

  • Safe Mode에서 빠져나오기

 
 hadoop dfsadmin -safemode leave
 

  • 데이터 복사

 
 hadoop distcp ~ ~
 

  • 휴지통 설정

    • /user/$User/.Trash : 사용자별 휴지통 폴더

 
 fs.trash.interval = 1440           //--- 24 시간 동안 휴지통에 저장
 

  • HDFS port

 
 44983                    
 50010                    
 50075                    
 43964                    
 50020                    
 53991                    
 tcp        0      0 ::ffff:127.0.0.1:9000       
 50090
 

  • MapReduce port

 
 50060                    
 50030                    
 50070                      
 56253                    
 41344                    
 tcp        0      0 ::ffff:127.0.0.1:9001       
 tcp        0      0 ::ffff:127.0.0.1:51434
 
 
 

HDFS 2.0

 

참고 문헌

HDFS 1.0 참고 문헌

HDFS 2.0 참고 문헌

 
 

분류: BigData

최종 수정일: 2024-09-30 12:26:18
이전글 :
다음글 :