sql hadoop 결과값이 중복으로 출력될 때 해결방법

아래와 같은 테이블이 있을 경우, 중복된 결과를 제외한 결과값만 확인하고 싶을 때는 아래와 같이 sql을 수정합니다.

SELECT * 
FROM table1;

colY   colZ
A      B
A      C
A      B
A      D

 

728x90

 

select 뒤에 distinct를 붙여주는 간단한 방법입니다.

SELECT DISTINCT colY, colZ 
FROM table1;

colY   colZ
A      B
A      C
A      D

SELECT colY, colZ 
FROM table1
GROUP BY colY, colZ;

colY   colZ
A      B
A      C
A      D

위의 두 방법은 기능적으로 동일한 쿼리라고 합니다.