【検証編】古いBlue PrismでもEdge操作したーい(IEモードも)

お疲れ様です。渡部です。
前回の続きです。スキーに行きたいです。

前提環境説明

  • Blue Prism 6.4
  • Windows Server 2019 Datacenter 10.0.117763
  • Microsoft Edge 95.0

AA/UIAでEdgeの要素認識できる

実はEdgeは特にオプションを付けなくても、Edge拡張機能(HTMLモード)が利用できない場合でも、AAモード・UIAモードで要素認識ができます。
Chromeの場合は「--force-renderer-accessibility」パラメーターを付けないとAAモードが利用できないので、同じChromiumベースのブラウザでもGoogleとMicrosoftで方針が違うんですね。
もともと、AA(Active Accessibility)はMicrosoftが「身体的または認知的困難を持つ障碍者が、対応アプリケーションをより使いやすくするよう支援する機能」として開発したものなので、Edgeでも同じようにという考えがあるのかもしれません。(RPAに係る人はWikipediaのMicrosoft Active Accessibilityページを見てみるのもいいかと思います。RPAがどういう技術の下実現できるのか理解が深まるので)

まあ、実際のところHTMLモードに比べると認識できる情報は弱いのですが、自動化フローの内容によっては十分に自動化できるかと思います。
さらに言えば、Edge(IEモード)の場合は、Edge拡張機能が無くてもHTMLモードで取得が可能です。
それぞれSPYパラメーターがどのように認識されるかSalesforceのログイン画面をサンプルとして見ていきましょう。

Edgeネイティブ+UIAモード

Edgeネイティブ+AAモード

Edge(IEモード)+HTMLモード

Edge(IEモード)+UIAモード

Edge(IEモード)+AAモード

この組み合わせの場合だけ、うまく要素認識ができません。

他のサンプル

画面内の値

Match Indexを使わないと特定できないところがイケてない。

同じくMatch Indexを使わないと特定できないところがイケてない。

入力ボックス

印刷画面

印刷画面はHTMLではなくEdgeアプリケーション自身が出してますが、UIA/AAで普通に操作可能です。

注意点

AAモードでのWindow Text

表示されているタブの数によって、Value値が変わってしまうので、ワイルドカードを利用して指定する必要があります。

まとめ

これで古いBlue Prismを使っていてもEdge操作の自動化が「ある程度」実現できることが分かりました。
もともとIE11でHTMLモードで認識していた時と比べると、認識できているパラメーター数が少ないので、どこまでIE11で出来ていたことが再現できるかは不明です。
そのため、この方式自体はやはりサブプランの位置づけで、もしできるのであればBlue Prismをバージョンアップして、Edgeネイティブ+HTMLモードで操作できるようにしておくことをお勧めします。
たしかにBlue Prismのバージョンアップは結構大変です。(別環境を作って、1つずつプロセスを移行してテストして切り替え。。。。)お手伝いします。

また、ブラウザ関連であれば、各RPAベンダーが移行ツールを作成しているので、どのように使うのかなどまた紹介したいですね。

ではまた次回お楽しみに(^^♪

もっと知りたい方はこちら


ページトップ