ニュース
会議の字幕も話者分離も社内PCだけで、オープンソース「早耳」が示す選択肢
社内の会議データを外部に出さずに字幕化したい企業にとって、CPUだけで動く音声認識は現実的な選択肢になります。GitHubで公開された「早耳(Hayamimi)」は、まさにその条件を満たすオープンソースのシステムです。
何が起きたか
GPUやクラウドAPIを一切使わず、CPUだけで動くリアルタイム多言語音声認識システム「早耳(Hayamimi)」がGitHubで公開されました。GitHubアカウント「oboroge0」名義で公開されており、メモリ使用量2GB未満の環境でもライブ字幕表示・話者のラベル付け・翻訳字幕の生成までこなす軽量さが特徴です。
発話の途中から字幕がドラフト表示され、話し終えてから約100ミリ秒で確定文が出るため、会議の進行を止めずに字幕を追えます。実際のテレビ放送の日本語音声を使った検証では文字誤り率(CER)3.8%という結果が出ており、6コアのデスクトップCPUでは実時間の10〜50倍の速度で処理できるといいます。
対応言語は日本語・中国語・韓国語・広東語・英語の5言語と欧州24言語を専用モデルで処理し、それ以外の約1600言語はMeta Omnilingual ASRに自動で切り替わる仕組みです。会議中の話者を自動でラベル付けする機能や、字幕を別言語へリアルタイム翻訳する機能、ブラウザからダッシュボードで字幕を確認できる仕組みも備えています。OBSの配信画面に字幕を重ねて表示するオーバーレイ機能も用意されており、社内の録画配信や記録作業にも使える構成になっています。
背景・解説
リアルタイム音声認識とは、話した内容をほぼ同時に文字へ変換する技術を指します。話者分離は、複数人が話す会議の音声から「誰がいつ話したか」を自動で区別する処理で、文字誤り率(CER)は文字単位でどれだけ誤りがあったかを示す指標です。数値が小さいほど精度が高いことを意味します。
従来のCPUベースの音声認識は一つのモデルで全言語をまかなうことが多く、精度と速度の両立が課題でした。早耳は発話ごとに言語を判定し、あらかじめ用意した言語別の専用モデルに振り分ける方式を採っています。使用モデルはINT8量子化されたONNX形式で、sherpa-onnxという推論エンジンの上で動くため、PyTorchやCUDAといった従来必要とされてきた環境を用意する必要がありません。
さらに、発話後2秒の無音を検知すると直前の発話を再デコードして「清書」版のトランスクリプトを作る二段パス補正という仕組みも持っています。この補正により、日本語のCERは15.5%から12.0%まで改善するとされています。クラウドに依存しない構成でここまでの機能をそろえている点が、他のCPUベース音声認識との違いといえます。
仕事や業務への影響 — AI Topicaの見方
会議を録音・録画して社外に出せない業種ほど、早耳の価値は大きくなります。例えば、顧客の商談記録をクラウドに上げる運用を避けたい地方銀行の営業企画部が、支店会議の議事録作成に早耳を使えば、通信環境やセキュリティ審査を気にせず社内PCだけで字幕と話者ラベル付きの記録を残せます。従業員30人規模の製造業で海外拠点との多言語会議が月に数回ある総務担当者であれば、翻訳字幕機能を使って議事録のたたき台を5言語分、会議当日のうちに用意できます。
導入のハードルも低く見えます。Python環境とffmpegさえあれば、リポジトリをクローンしてモデルをダウンロードするだけで動かせるため、情シス部門が1台の検証機で試すのに大きな投資は要りません。GPU購入やクラウドAPIの従量課金を避けたい中小企業にとって、まず社内の既存PCで字幕化の効果を確かめる選択肢として十分です。
一方で、精度を本番運用の品質基準まで求める場合は注意が必要です。会議で複数人が同時に発言する場面では話者分離ができないため、発言の重なりが多い会議体には向きません。議事録の下書きや聞き取りの補助として使い、最終確認は人が行う運用を前提にすべきです。
不確かな点・注意
記事作成時点での制限として、1文の中に複数言語が混在する発話には対応していません。効果音やBGM直後の短い発話では言語判定を誤ることがあるとされ、同時に話す2人の話者は分離できません。翻訳品質は小型モデルに依存しており、中国語・韓国語への翻訳では数値や金額を取り違える可能性があるとされています。
オープンソースソフトウェアであるため、今後のアップデートで仕様や精度が変わる可能性があります。導入を検討する場合は、自社の会議の発話スタイル(発言の重なりの多さや専門用語の量など)で実際の精度を確かめたうえで、議事録の正式版に使うかどうかを判断することが望ましいといえます。