AI・自然言語解析~はじめに~

はじめに

本コラムの特集として、これから定期的に発信していく予定のお知らせです。
ツールとしてのRPAは、この数年で大きく普及が進み、国内大手企業では約4割の企業が導入済みとのことです。
当社が事業として扱っているRPAツールも、Class1からClass2、Class3に進化する上で、AIによる判断は必須であるため、特に注目しています。

※RPAの進化過程

このコラム記事の特集の中では、幅広いAI適用分野の中でも特に自然言語解析と、それらを利用・応用したサービスについて、記事にしていきます。

自然言語解析とは

自然言語を処理・解析するための技術は非常に幅広く、日進月歩で新しいサービスや製品が生まれています。
以下に、自然言語処理で使われている技術要素をまとめてみました。


1行目はどちらかというとAIの手前の、コンピュータによる計算量やシミュレーションといったいわゆるアルゴリズム中心の領域です。
2行目あたりから、学習や類推といった要素が含まれるようになり、情報の相関や学習エンジンの利用が見られます。
3行目からは応用・サービス利用の領域です。他のソリューションとの組合せや特定業務に特化した学習により、様々なサービス・製品が世に出始めています。

自然言語処理、機械学習では、多くのバリエーション豊富な良質の文章(コーパス)を集めること、集めた文章から良質な辞書データを作成することがキモだと言われていますが、それらの作業を自動化し、翻訳サービスから収集するという試みも行われています。

具体的な製品サービスの例

例えば私たちがお仕事でお客様に導入しているAI-OCRも、手書き文字の認識にはとても高度な意味解析、文脈解析が使われています。
従来のOCRでは、単純に個別の文字の特徴から単語や文字を判別することしかできませんでしたが、現在では、次の例のように実際に導入できる製品レベルで、適切な形で読み取ることができます。

これらのサービスがどのような技術要素によって成立しているのか興味深いですよね。
本コラムではサービスを構成している技術要素や仕組みについて理解を深められるよう、順を追って説明していきます。

今後のコラム

前半では、自然言語解析の仕組みを基本技術的な観点から、実際にライブラリを試してみる結果より考察してみます。後半では自然言語解析の技術を利用・応用した様々なサービスへの展開や、使用レポートを中心に記事にしてみたいと思います。

以下、予定している記事内容です。

 

自動要約とは
現代社会では膨大な量のテキスト情報にアクセスすることが可能となりました。
その反面必要な情報を的確に抽出することは困難となっています。
この問題に対処する方法として、自動要約という処理が存在します。
今回はこの自動要約という技術について、これまでの歴史と現在ホットな応用サービスについて記事にしていきます。
テキストマイニングによる自然言語文章の解析
音声自動応答やチャットボットなどに代表される、AIによる自然言語処理の活用形態のさらに先の活用法として、AIとテキストマイニングを掛け合わせる動きが活発化しています。
テキストマイニングによる、自然言語文章の解析と統計的な分析の仕組みを、フリーソフト「KH Coder」を用いて見ていきます。
自然言語処理ライブラリを使ってみよう
昨今様々な企業や研究機関で、自然言語処理に関するライブラリが開発されています。
果たしてどのような違いがあるのか、各ライブラリごとのアルゴリズムの違い、得手不得手は何かといったところに踏み込んでいきます。
フリーライブラリで始める自然言語処理
機械翻訳や日本語入力を行う”かな変換”で使用されている自然言語処理。
我々もスマホやパソコンでなじみの深いこの処理が、どのような手順でコンピュータが認識できるようにし、いかにして処理可能なデータにしているのか。
処理の流れをフリーライブラリ(janome、gensim等)を使い、順を追って説明します。
チャットボットの実地での利用事例と成果について
自然言語解析を利用した身近な例として、近年さまざまな業種・サービスでチャットボットを利用する事例が増えています。
・どんな業務・サービスがチャットボット利用に向いているのか
・チャットボットでサービス向上や、業務改善を実現した事例
・逆に導入してみたもののイマイチ利用されていない例
などを調査・紹介し、チャットボットがどのような仕組みで応答を学習しいくのかといったAI利用のしくみなどについても踏み込んでみたいと思います。

まだまだ続く予定です、どうぞご期待ください。

ページトップ