鴻蒙OS 多模輸入開發(fā)指導(dǎo)

場(chǎng)景介紹

多模輸入使 HarmonyOS 的 UI 控件能夠響應(yīng)多種輸入事件，事件來源于用戶的按鍵、點(diǎn)擊、觸屏、語(yǔ)音等。例如用戶希望通過語(yǔ)音操作UI控件，那么開發(fā)者可以通過多模輸入在智慧屏產(chǎn)品上提供的語(yǔ)音事件達(dá)到“可見即可說”的效果。

接口說明

多模輸入的接口設(shè)計(jì)是基于多模事件基類（MultimodalEvent），派生出操作事件類（ManipulationEvent）、按鍵事件類（KeyEvent）、語(yǔ)音事件（SpeechEvent）等，詳細(xì)見[圖1]。

圖1 多模輸入事件類的派生關(guān)系

• MultimodalEvent 是所有事件的基類，該類中定義了一系列高級(jí)事件類型，這些事件類型通常是對(duì)某種行為或意圖的抽象。

• CompositeEvent 處理常用設(shè)備對(duì)應(yīng)的事件，目前暫時(shí)只有 MouseEvent 事件繼承該類。

• RotationEvent 處理由旋轉(zhuǎn)器件產(chǎn)生的事件，比如智能穿戴上的數(shù)字表冠。

• SpeechEvent 處理語(yǔ)音事件，開發(fā)者可以通過該類獲取語(yǔ)音識(shí)別結(jié)果。

• ManipulationEvent 操作類事件主要包括手指觸摸事件等事件，是對(duì)這些事件的一個(gè)抽象。該事件會(huì)持有事件發(fā)生的位置信息和發(fā)生的階段等信息。通常情況下，該事件主要是作為操作回調(diào)接口的入?yún)ⅲ_發(fā)者通過回調(diào)接口捕獲及處理事件。回調(diào)接口將操作分為開始、操作過程中、結(jié)束。例如對(duì)于一次手指觸控，手指接觸屏幕作為操作開始，手指在屏幕上移動(dòng)作為操作過程，手指抬起作為操作結(jié)束。

• KeyEvent 對(duì)所有按鍵類事件的定義，該類繼承 MultimodalEvent 類，并對(duì)按鍵類事件做了專屬的 Keycode 定義以及方法封裝。

• TouchEvent 處理手指觸控相關(guān)事件。

• KeyBoardEvent 處理鍵盤類設(shè)備的事件。

說明

NoncharacterKey 為除了文本可見字符（A-Z，0-9，空格，逗號(hào)，句號(hào)等）以外的按鍵碼，例如：Ctrl，Alt，Shift 等。

• MouseEvent 處理鼠標(biāo)的事件。

• MmiPoint處理在指定給定的坐標(biāo)系中的 x,y 和 z 坐標(biāo)。

開發(fā)步驟

處理按鈕事件

1. 參考 HarmonyOS 的 Component 的 API 創(chuàng)建 KeyEventListener；

1. 重寫實(shí)現(xiàn) KeyEventListener 類中的onKeyEvent(Component component, KeyEvent event)方法；

1. 開發(fā)者根據(jù)自身需求處理存在按鍵被按下以及 KEY_DPAD_CENTER、KEY_DPAD_LEFT 等按鍵被按下后的具體實(shí)現(xiàn)。

   private Component.KeyEventListener onKeyEvent = new Component.KeyEventListener() 
   {
       @Override
       public boolean onKeyEvent(Component component, KeyEvent keyEvent) {
           if (keyEvent.isKeyDown()) {
               ... // 檢測(cè)到按鍵被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
           }
           int keycode = keyEvent.getKeyCode();
           switch (keycode) {
               case KeyEvent.KEY_DPAD_CENTER:
                   ... // 檢測(cè)到KEY_DPAD_CENTER被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
                   break;
               case KeyEvent.KEY_DPAD_LEFT:
                   ... // 檢測(cè)到KEY_DPAD_LEFT被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
                   break;
               case KeyEvent.KEY_DPAD_UP:
                   ... // 檢測(cè)到KEY_DPAD_UP被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
                   break;
               case KeyEvent.KEY_DPAD_RIGHT:
                   ... // 檢測(cè)到KEY_DPAD_RIGHT被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
                   break;
               case KeyEvent.KEY_DPAD_DOWN:
                   ... // 檢測(cè)到KEY_DPAD_DOWN被按下，開發(fā)者根據(jù)自身需求進(jìn)行實(shí)現(xiàn)
                   break;
               default:
                   break;
           }
           ... 
       }
   };

處理語(yǔ)音事件

使用多模輸入的語(yǔ)音事件實(shí)現(xiàn)“可見即可說”的效果簡(jiǎn)易開發(fā)樣例參考可見即可說開發(fā)指導(dǎo)。