중복 줄 제거
Duplicate Line Remover
중복된 줄을 지우거나, 중복만 남기거나, 각 줄이 몇 번 나왔는지 셉니다.
목록에서 겹치는 줄을 지우거나, 겹치는 줄만 보여 줍니다. 비교 규칙을 짐작하지 않고 화면에 드러냅니다. 똑같아 보이는 두 줄이 보통의 중복 제거에서 둘 다 살아남는 이유는 끝의 공백과 유니코드 정규화, 이 둘입니다.
줄
비교 규칙
같은 줄은 처음 것만 남깁니다. 중복을 없앤 목록입니다.
한글은 유니코드 정규화를 거쳐 비교하므로, 맥에서 복사한 이름과 윈도우에서 입력한 같은 이름이 일치합니다. 보기에는 같지만 바이트로는 다른 문자열입니다.
결과
입력 줄
6
서로 다른 줄
3
겹친 줄
2
출력 줄
3
사용 방법
목록을 붙여 넣습니다
한 줄에 값 하나씩. 메일 주소든 주문번호든 스프레드시트 열에서 복사한 이름이든 됩니다.
무엇을 남길지 고릅니다
중복을 없앤 목록, 딱 한 번 나온 값만, 또는 겹친 값만 고를 수 있습니다. 중복 자체가 문제일 때는 마지막 것이 필요합니다.
비교 규칙을 정합니다
답을 가장 크게 바꾸는 둘은 대소문자 구분과 앞뒤 공백입니다. 개수 보기를 켜면 값마다 몇 번 나왔는지 나오는데, 다른 질문이지만 실은 그것이 필요한 경우가 많습니다.
자주 묻는 질문
똑같은 이름 둘이 다 남았습니다
먼저 끝의 공백을 의심하고 "앞뒤 공백 무시"를 켜 보세요. 그게 아니라면 보기에만 같고 바이트로는 다른 두 문자열입니다. 유니코드 정규화가 그것을 위한 것이고, 이 도구는 정규화한 뒤에 비교하므로 맥에서 친 이름과 윈도우에서 친 이름이 일치합니다.
원래 순서가 유지되나요?
유지됩니다. 각 값의 첫 번째는 원래 자리에 남고 뒤의 것들이 사라집니다. 정렬 도구로 넘기지 않는 한 순서를 건드리지 않습니다.
CSV의 한 열 기준으로 중복을 지울 수 있나요?
여기서는 안 됩니다. 이 도구는 줄 전체를 비교합니다. CSV 중복 제거 도구가 키 열 기준으로 지우면서 나머지 열을 그대로 남겨 주고, 표 형태 데이터에는 그쪽이 맞습니다.
이 도구로 이어지는 것
줄 정렬·섞기
Line Sorter & Shuffler
줄을 사전순·숫자순·길이순으로 정렬하거나 무작위로 섞으며 역순과 대소문자 옵션을 지원합니다.
공백 정리
Whitespace Cleaner
줄 끝 공백을 없애고 연속 공백을 하나로 줄이며 탭을 변환하고 빈 줄을 제거합니다.
목록 형식 변환
List Formatter
여러 줄을 쉼표 목록·따옴표가 붙은 SQL IN 절·JSON 배열·불릿 목록으로 바꾸고 되돌립니다.
패턴 추출
Pattern Extractor
텍스트 덩어리에서 이메일·URL·숫자·날짜나 직접 지정한 정규식과 맞는 부분을 모두 목록으로 뽑습니다.
다음 단계
이 도구의 결과를 그대로 받을 수 있는 도구들입니다.
CSV 중복 제거
CSV Deduplicator
전체 또는 선택한 키 열 기준으로 중복 행을 제거하고 첫 행·마지막 행·가장 값이 많은 행을 남깁니다.
목록 형식 변환
List Formatter
여러 줄을 쉼표 목록·따옴표가 붙은 SQL IN 절·JSON 배열·불릿 목록으로 바꾸고 되돌립니다.
줄 정렬·섞기
Line Sorter & Shuffler
줄을 사전순·숫자순·길이순으로 정렬하거나 무작위로 섞으며 역순과 대소문자 옵션을 지원합니다.
단어 빈도 분석
Word Frequency
단어와 n-그램의 출현 빈도를 세며, 한국어 토큰 분리와 불용어 목록을 지원합니다.
찾아 바꾸기
Find & Replace
문자열·단어·정규식으로 치환하며 캡처 그룹을 쓰고 바뀔 부분을 미리 보여 줍니다.
마크다운 편집기
Markdown Editor
마크다운을 실시간 미리보기로 편집하고 렌더링된 HTML을 내보내며 GFM 표와 체크리스트를 지원합니다.