学校現場で広く活用いただくことを想定しているSKYMENUでは、キーボードを使うのが苦手な子どもやキーボードを使うのが難しい環境でも文字入力を行えるよう一部テキスト入力機能において「手書き入力」機能を搭載しています。
「手書き入力」機能では指やペンで書いた手書きの文字を認識し、テキストデータとして入力できるようにする機能です。UI上から簡単に呼び出すことができ、認識処理はSKYMENUで行うため利用している環境ごとに動作が異なることもありません。
本記事ではこの手書き文字の認識とSKYMENUでの実現方法についてご紹介します。
文字認識の方法
画像中の文字を認識する方法としてはいわゆる「OCR（光学文字認識）」が一般的です。
パターンマッチングや特徴検出などの技術を使って文字を識別する仕組みですが、この方式で認識する対象は活字に対するものが一般的で手書きしたものに対しては多くの場合、うまくいきません。
近年では機械学習（AI）を用いることで手書きの文字に対する認識精度も大きく向上してきましたが、計算コストも大きいです。
そのため、SKYMENUでは手書きの文字認識を行う方法として「オンライン文字認識」と呼ばれる方法を採用しています。
これは文字を構成する線の方向と位置（ストローク）の組み合わせから認識するものです。
ユーザーが手書き文字を書く操作を記録しておく必要がありますが、少ない計算量で認識できるため学校現場における同時・多数の認識要求に素早く対応できます。
認識方法の工夫
手書き文字の認識では、連続的に書かれたストローク全体を一連の文字列として全体的に認識する方法があり、この方式であれば少々読みづらい文字でも前後の文字のつながりから予測（補完）することで認識精度を高めるようなことができるのですが、SKYMENUではあえて一文字ずつ認識するようにしています。
これはそのような「補完」を行うことは学校現場では求められておらず、むしろ子どもたちに一文字ずつしっかり書いてもらった文字を認識していく方が望ましいだろうとの考えからです。
その一方で、一文字ずつになることで入力効率を下げるようなことはないよう入力枠を複数設けることでひとつ前に書いた文字の認識完了を待たずに次の文字が書けるよう工夫しました。
以上、SKYMENUの「手書き入力」機能における手書き文字認識処理のご紹介でした。
これからも、現場のニーズを理解したうえで使いやすい機能を実現していきたいと思います。
