Tagasuri ng Pagkakatulad ng Teksto

Maglagay ng teksto sa mga kinakailangang patlang.

Pagkakapatong ng mga salita sa pangungusap: Ang token ay magkakasunod na titik o numero sa Unicode, ginawang maliliit na titik matapos ang normalisasyong NFKC. Hinahati ang pangungusap sa . ! ? 。 ！ ？ o bagong linya, pati sa daglat at desimal. Maaaring maging mahahabang token ang tekstong Tsino, Hapones at Koreano na walang espasyo; walang paghahati ayon sa wika o paghahambing ng kahulugan.

Paraan: Inihahambing ng Dice ang bilang ng paglitaw ng mga n-gram, gamit ang tig-isang salita kapag mas maikli sa n ang alinmang teksto. Kinukuha ng paraan ng pangungusap ang pinakamataas na Jaccard sa mga pangkat ng salita ng pinagmulan at ipinapakita ang bahagi ng mga pangungusap na umabot sa hangganan. Zero ang walang-lamang pangkat at hindi ito minamarkahang tugma. Ipinapakita sa istatistika ang natatangi/kabuuang token, natatangi/kabuuang pangkat na tig-apat na token, at pamantayang paglihis ng populasyon ng haba ng pangungusap sa token na hinati sa karaniwan. Hindi naaangkop ang resulta kung walang denominator o kulang sa dalawang pangungusap para sa CV.

Istatistika ng isang teksto: Bawat teksto: 50,000 karakter na UTF-16, 500 pangungusap at 5,000 token. Paraan ng pangungusap: 250,000 pares at konserbatibong badyet na 5,000,000 para sa gawain sa mga token ng pangkat, na may pakikipagtulungang pagkansela. Resulta: 500 hilera ng pangungusap, 100 tugma sa Dice at 1,000,000 karakter.

Tagasuri ng Pagkakatulad ng Teksto: Istatistika ng bokabularyo lamang ito, hindi pagkakatulad ng kahulugan, pagtukoy ng pangongopya o AI, o patunay ng pagkaorihinal. Walang API, pag-upload, paghahanap sa web o permanenteng pag-iimbak.