subword-nmtで語彙を作成
自然言語関連の処理の際、文字を形態素解析で分解し機械学習など実施すると思う。有名な形態素解析ツールはMecabやjumanかと思うが、膨大なテキストデータを形態素解析で分解し、ユニークな単語一覧を作成すると膨大な単語数のvocabがで ...
Tech Blog
自然言語関連の処理の際、文字を形態素解析で分解し機械学習など実施すると思う。有名な形態素解析ツールはMecabやjumanかと思うが、膨大なテキストデータを形態素解析で分解し、ユニークな単語一覧を作成すると膨大な単語数のvocabがで ...