데이터 엔지니어/hadoop
hadoop 구축 4.구축과정에서의 에러와 해결방법
콜리킴
2023. 12. 17. 23:39
가장 중요 - 모든 에러는 log를 확인하는 습관을 들여야하며, log안에서 해결가이드를 얻을 수 있었습니다.
1. ERROR : Cannot set priority of datanode process xxxx
-> /dfs/journalnode/의 모든 파일을 삭제하고 초기화를 진행한뒤 namenode를 실행하니 정상적으로 namenode가 실행되었습니다.
설정을 변경하면서 namenode를 초기화 하는 과정에 있어서 기존의 폴더들에 파일이 존재하면 이미 실행되고 있다고 인식할 수 있습니다.
namenode를 초기화 하기위해서는 하위 폴더들의 파일을 정리해주는 과정이 필요합니다.
2. hdfs-site.xml에서 rpc-adress의 port를 8020으로 설정했을때의 hdfs 실행 방법
hdfs dfs -ls hdfs:://nn01:8020/(주소 직접입력 필요)
저는 core-site.xml에 port를 9000으로 설정하여 알수 없는 충돌이 일어난것으로 보입니다.
되도록 기본port를 수정하지 않는 선에서 xml파일들을 설정하면 충돌을 피할 수 있습니다.
xml 폴더들의 설정을 변경하기 전에 기본port를 파악하고있으면, port에 대한 충돌을 피할 수 있습니다.