명시적인 토큰 분리 규칙

Unicode 문자와 숫자를 유지합니다. 소문자에서 대문자, 약어에서 일반 단어, 문자와 숫자 사이에서 나눕니다. 문장 부호, 기호, 결합 문자, Unicode 공백 등 다른 문자는 구분자입니다. 연속 구분자는 합치고 빈 토큰은 제거합니다.

대소문자와 숫자 처리

각 토큰에 JavaScript Unicode 소문자 변환을 적용합니다. Ä와 Ж 같은 문자는 유지하며 대소문자 변환이 없는 문자는 바꾸지 않습니다. 브라우저에서 처리하며 업로드하거나 저장하지 않습니다.

자주 묻는 질문

숫자는 어떻게 처리하나요?

문자 옆의 숫자는 별도 토큰입니다. version2Parser는 version-2-parser가 됩니다.

문장 부호와 공백은 어떻게 되나요?

토큰을 나눕니다. 연속 구분자는 하이픈 하나로 합치며 앞뒤 구분자는 빈 하이픈을 만들지 않습니다.

Unicode를 음역하거나 대문자 약어를 유지하나요?

음역하지 않습니다. Unicode 문자와 숫자는 유지하지만 소문자 변환으로 API 같은 대문자 약어는 유지하지 않습니다.