(論文まとめ)ELECTRA : Pre-training Text Encoders As Discriminators Rather than Generators
簡易的に読んだ論文についてのメモを垂れ流していく。 掲載する図や表は特筆がない限り、元の論文から引っ張ってきた 続きを読む…
作者別: leck_3328
Word2VecをTensorFlowとSentencepieceで実装してみる
「ゼロから作るDeep Learning 2 自然言語処理編」を読んで、Word2Vecのモデルをsenten 続きを読む…
(論文)新しい音声認識のSOTAであるTransformerモデルベースが出た
今回紹介論文は音声認識のデータセットであるLibriSpeechでつい最近までSOTAを達成していたモデルにつ 続きを読む…
NMFの実装(Python, NumPy)
前回、NMF(非負値行列因子分解)について理論面でのまとめをした。 今回はその内容を踏まえてPythonでの実 続きを読む…
非負値行列因子分解（NMF; Nonnegative Matrix Factorization)のまとめ
今回は非負値行列因子分解(NMF)についてまとめていく。 非負値行列因子分解は、音声の音源分離や、多次元のデー 続きを読む…
CTCを用いたビームサーチデコーダであるCTC Beam Search Decoderのまとめ
今、インターン先の業務で音声認識のモデルを組んでいる。調べてみると、発話内容を予測する時にCTCを使ったBea 続きを読む…
日本語Wikipediaデータを使ったsentencepieceを学習させる
環境は Ubuntu 18.04 (LTS) Python 3.7.3 Wikipediaデータの準備 以下の 続きを読む…
ガウス過程回帰についてまとめてみる(Python, gaussian process regression)
ガウス過程と機械学習という本を読み進めたので、そのメモ。 丸写しする訳ではない上、全部載せる気力もないので重要 続きを読む…
Homebrewを再インストールした後の復旧方法(Mac OS Mojave, zsh)
brew installのオプションがうまく使えない？と思ったので試しに再インストールしてみたら色々壊れてしま 続きを読む…