§
    €zIfi  ã                   óî  — d dl Z d dlmZ d dlmZ d dlmZ  eddg¬¦  «        Z e j        e¬¦  «         e j	        ¦   «         d	„ ¦   «         ¦   «         Z
e
                     d
¦  «         e j        dddd¬¦  «         e j        ddddd¬¦  «         e j        dddd¬¦  «         e j        dddd¬¦  «         e j        dddd¬¦  «        d „ ¦   «         ¦   «         ¦   «         ¦   «         ¦   «         ¦   «         ZdS )!é    N)Útqdm)Úword_tokenize)Úparallelize_preprocessz-hz--help)Úhelp_option_names)Úcontext_settingsc                  ó   — d S )N© r	   ó    ú</var/www/piapp/venv/lib/python3.11/site-packages/nltk/cli.pyÚclir      s	   € ð 	€Dr
   Útokenizez
--languagez-lÚenz1The language for the Punkt sentence tokenization.)ÚdefaultÚhelpz--preserve-lineTzIAn option to keep the preserve the sentence and not sentence tokenize it.)r   Úis_flagr   z--processesz-jé   zNo. of processes.z
--encodingz-eÚutf8zSpecify encoding of file.z--delimiterz-dú z%Specify delimiter to join the tokens.c           
      ó  — t          j        d|¬¦  «        5 }t          j        d|¬¦  «        5 }|dk    rWt          |                     ¦   «         ¦  «        D ]4}t	          |                     t          |¦  «        ¦  «        d|¬¦  «         Œ5nRt          t          |                     ¦   «         |d¬¦  «        D ]'}t	          |                     |¦  «        d|¬¦  «         Œ(d	d	d	¦  «         n# 1 swxY w Y   d	d	d	¦  «         d	S # 1 swxY w Y   d	S )
z;This command tokenizes text stream using nltk.word_tokenizeÚstdin)ÚencodingÚstdoutr   ú
)ÚendÚfileT)Úprogress_barN)ÚclickÚget_text_streamr   Ú	readlinesÚprintÚjoinr   r   )	ÚlanguageÚpreserve_lineÚ	processesr   Ú	delimiterÚfinÚfoutÚlineÚoutlines	            r   Útokenize_filer*      s½  € õ* 
Ô	˜w°Ð	:Ñ	:Ô	:ð H¸cÝÔ" 8°hÐ?Ñ?Ô?ð 
	HÀ4ð ˜AŠ~ˆ~Ý  §¢¡¤Ñ1Ô1ð Tð T�DÝ˜)Ÿ.š.­°tÑ)<Ô)<Ñ=Ô=À4ÈdÐSÑSÔSÐSÐSðTõ  6Ý! 3§=¢=¡?¤?°IÈDð ñ  ô  ð Hð H�Gõ ˜)Ÿ.š.¨Ñ1Ô1°tÀ$ÐGÑGÔGÐGÐGð
	Hð 
	Hð 
	Hñ 
	Hô 
	Hð 
	Hð 
	Hð 
	Hð 
	Hð 
	Hð 
	Høøøð 
	Hð 
	Hð 
	Hð 
	HðHð Hð Hñ Hô Hð Hð Hð Hð Hð Hð Hð Høøøð Hð Hð Hð Hð Hð Hs5   —D®B0C*ÃDÃ*C.	Ã.DÃ1C.	Ã2DÄDÄ	D)r   r   Únltkr   Ú	nltk.utilr   ÚdictÚCONTEXT_SETTINGSÚgroupÚversion_optionr   ÚcommandÚoptionr*   r	   r
   r   ú<module>r3      s¤  ðð €€€Ø Ð Ð Ð Ð Ð à Ð Ð Ð Ð Ð Ø ,Ð ,Ð ,Ð ,Ð ,Ð ,à�4¨4°Ð*:Ð;Ñ;Ô;Ð ð €„Ð.Ð/Ñ/Ô/Ø€ÔÑÔð	ð 	ñ Ôñ 0Ô/ð	ð ‡‚ˆZÑÔØ€„ØØØØ	<ð	ñ ô ð €„ØØØØØ	Tðñ ô ð €„ˆm˜T¨1Ð3FÐGÑGÔGØ€„ˆl˜D¨&Ð7RÐSÑSÔSØ€„Ø�4 Ð+Rðñ ô ðHð Hñô ñ TÔSñ HÔGñô ñô ñ Ôð&Hð Hð Hr
   