2022年3月31日，春至。

實在智慧召開RPA行業2022年首場產品釋出會。如同007系列電影一樣，“AI你所愛 新益求新”的釋出會結束語中已悄然埋下伏筆：

“不說再見，下一次釋出會，與您在更高峰相見！

2022年12月7日，大雪。

春去冬來，實在的承諾如約而至，憋足勁兒的“蝶變·新番”實在智慧2022冬季新品釋出會重磅登場：

“這是一場震撼行業的RPA釋出會！

打破傳統，變革模式。

本次釋出會從功能和體驗兩個維度帶來了實實在在的“科技與狠活”，一言以蔽之：

“一款真正人人可用的RPA。”

實在智慧CEO孫林君、產品負責人周春照、演算法負責人歐陽小剛釋出新產品和新技術

本次釋出會已在實在RPA IPA影片號上進行全程回放，歡迎大家觀看。

敲黑板，劃重點，以下為乾貨滿滿的精華實錄。

實實在在的理念，實實在在的產品，實實在在的技術，與您分享：

創業四年，作為國內人工智慧行業準獨角獸的實在智慧始終秉持“AI賦能商業”的初心，堅定相信人機協同及超自動化時代的美好未來。

凡事必作於細，也必成於實，實在智慧一直致力於不斷突破傳統RPA的天花板，降低大眾人群上手數字化工具的門檻，提升使用者體驗。

12月7日，實在智慧2022冬季新品釋出會，以“蝶變·新番”為主題，帶來了RPA行業顛覆性、重量級、首創首發的：

新模式：沉浸式搭建超自動化流程的IPA模式

新技術：智慧螢幕語義理解技術（ISSUT）

1、一款新模式：真正人人可用的沉浸式IPA模式

相信大家正在用手機閱讀這篇文章，那麼不知您是否還記得2007年蘋果公司的iPhone首次釋出會。

觸屏手機的發明徹底改變了手機和消費電子產品行業，大幅降低手機的使用門檻，讓手機全面普及，推動了移動網際網路時代的爆發。

這是一個用技術顛覆行業，並讓全社會受益的經典案例。

傳統RPA軟體，其實是一種“專家模式”。即，使用者如果想配置自動化操作，必須要先學會如何使用RPA軟體，進而才能在RPA軟體與業務軟體之間不斷切換，逐步以“拖拉拽”或“寫程式碼”的方式，完成自動化流程配置。

而實在RPA的IPA模式，則完全不同，簡言之這是一種“小白模式”。使用者不需要額外學習使用實在RPA，也完全不需要“拖拉拽”或“寫程式碼”，按照正常流程直接操作業務軟體即可。

每當滑鼠懸停，實在RPA會自動推薦（並可線上學習最佳化推薦）此處可以/可能進行的自動化操作。

每當滑鼠點選，該步操作自動轉為自動化流程中的一步。由此迭代，任何新手都可以迅速搭建自己的數字員工。

傳統RPA“專家模式” vs 實在RPA“IPA模式/小白模式”

實在RPA的IPA模式，類似觸屏手機的顛覆式創新，徹底推平了橫亙在使用者面前，導致傳統RPA學習成本大、使用門檻高的三座大山——“拾取、元素和變數”，帶來了真正的人人可用，實現“開啟就能用、入門就上手”。

不妨來聽聽行業專家、專業使用者提前嚐鮮體驗的反饋集錦：

震撼一：沉浸式的超自動化體驗，識別一切，操作一切

不再需要傳統RPA軟體的“流程畫布”，把“更大，更寬，更全面”的電腦螢幕留給使用者。

不再需要傳統RPA軟體的“拖拉拽”，滑鼠懸停+滑鼠點選，即可完成自動化流程配置。

不再需要傳統RPA軟體與應用軟體之間所必須的頻繁切換，基於對所有螢幕元素的識別和理解，以及頂部“靈動島” + 側邊“流程窗”的輕盈互動，實現在超自動化的元宇宙中快速打造數字員工。

震撼二：所見即所得的操作，一看就會，一用就對

無需學習：不用理解和記憶“元件/元素/變數”，不用“拖拉拽”，不用“寫程式碼”。

無需思考：

·滑鼠懸停，馬上彈出可能的自動化操作推薦列表

·滑鼠框選任意影象區域後，馬上彈出可能的AI能力推薦列表（文字識別等）

支援基於場景和動作的線上學習，用得越多越“聰明”，推薦越準。

無需轉化：滑鼠點選，馬上在“流程窗”中自動生成自動化流程。

自動理解上千種圖示含義複雜頁面結構並預測推薦自動化操作

為了更清晰、更全面地展示IPA模式的強大功能，這裡用日常工作中最常見、使用頻率最高的Excel資料處理做個簡單演示。

·任何直接對資料表的操作

不僅包括，插入行或列，寫入單元格或區域內容，自動填充、資料篩選、複製行列、插入新的sheet、重新命名sheet、表格裡內容的查詢替換等

甚至是，複雜的資料透視操作。

都會在右側“流程窗”中自動生成自動化流程，並自動忽略無效步驟，且可以直接執行。

這種所見即所得的數字員工搭建方式，大幅提升資料採集和處理效率，降低了資料自動化處理門檻。

對Excel的人工操作自動生成簡潔可執行的自動化流程

基於以上模式，以某客戶真實場景的Excel自動化操作需求為例：

·使用傳統RPA

相對資深的RPA開發工程師需花4個多小時，透過50多個元件才能完成搭建。

·使用實在RPA的IPA模式

無需RPA開發工程師，業務人員自身只需短短6分鐘左右即可完成，“流程窗”中生成的動作只有32個，前所未有地提升了工作效率。

同時，IPA模式還支援對複雜頁面資料結構的自動分析，實現一鍵採集整個表格資料。

自動一鍵採集抖音後臺管理頁面的整體資料

2、一款新技術：國產自研，行業首創的智慧螢幕語義理解技術

被需要的智慧才是實在的智慧。

實在RPA創新IPA模式的實現，得益於在AI領域的快速持續自研迭代。

目前，實在智慧已累計獲得近40項發明專利授權、獲得軟體著作權登記近200項，在RPA行業中實授發明專利數長期位居TOP1。

產品是表，技術是裡。

用心最佳化，用AI改變。

本次釋出會上，實在智慧同時重磅釋出了IPA模式背後的全自研創新技術——智慧螢幕語義理解技術（ISSUT：Intelligence Screen Semantics Understanding Techonology）。

看到這裡，相信大家已經領略了IPA模式的神奇和驚豔，下面我們就抽絲剝繭、正式拆解一下IPA模式背後“變戲法的帽子”：

Action 1：識別螢幕

1、融合拾取3。0技術：使得“元素”皆可拾取

RPA行業中提到的“元素”，指的是螢幕上的圖示、文字或區域。RPA要首先識別它們，然後才能自動地點選和操作它們。

基於CV技術的融合拾取，支援無差別識別各類軟體

實在智慧在2022年3月31日“AI你所愛 新益求新”釋出會中全行業首發了“融合拾取3。0”技術，高效精準地解決了複雜元素的識別和操作。

融合拾取技術持續快速迭代，精度速度大幅提升

在前期工作基礎上，本次釋出的ISSUT技術，解決了“何為元素、能否識別”等問題，只需滑鼠輕輕一移、輕輕一點就能完成拾取元素這個動作。

這是實現智慧螢幕語義理解的第一步，

也是實現RPA真正人人可用的第一步！

2、動態元素匹配技術：使得“元素”一鍵適配

RPA行業中提到的“元素”，指的是螢幕上的圖示、文字或區域。RPA要首先識別它們，然後才能自動地點選和操作它們。

當文字內容或圖示外觀發生了改變時， RPA機器人有可能會找不到之前的元素。

這時就是動態元素匹配技術的用武之地：

·藉助AI演算法，輕鬆處理元素變化情況

·一次識別，永久適配

Action 2：理解螢幕

頁面結構分析技術：既能檢得更小，也能看得更大

舉個栗子：

當我們使用聊天軟體的時候，人可以輕鬆理解軟體介面（電腦螢幕），知道哪裡是訊息列表，哪裡是對話輸入框……

那麼問題來了，

RPA機器人如何準確、快速、更好地模擬人工操作呢？

為此，我們引入了頁面結構分析技術，使得實在RPA在“認識螢幕”之外，更可以“理解螢幕”，並可自適應頁面拉伸/移動/及文字填充/位移等各種變化情況。其中包含多項獨創技術亮點：

·頁面圖神經網路分析

·動態縮放自適應

·區域內容填充識別

透過頁面結構分析技術智慧理解聊天軟體介面

2、螢幕語義抽取技術：隔屏取物，懂你所見

這項技術，使得IPA模式真正像人一樣理解螢幕的每一個部分，將我們的辦公直覺投射到螢幕上，實現真正的所見即所得：

在VR中，我們可以隔空取物；

在實在RPA的IPA模式中，我們可以隔“屏”取物——

即，滑鼠的每一次滑動，背後的AI演算法都將瞬間完成一次計算，分析出螢幕中元素和區域的含義並且推薦相應的自動化操作：

·當滑鼠滑過一個瀏覽器圖示，AI就知道它能用來開啟網頁和搜尋新聞；

·當滑鼠滑過一個對話方塊，AI就判斷可以輸入文字併發送訊息；

·當滑鼠框選一個包含各種文字的區域，AI就知道可以進行文字識別及抽取。

透過螢幕語義抽取技術理解介面並推薦自動化操作

Action 3：操作預測

多模態意圖預測從“頭禿想想想”到“自如點點點”

·對於傳統RPA（“專家模式”）

RPA開發工程師往往需要從一堆的元件中找到一個想要的元件，透過“想想想+拖拉拽”完成自動化流程配置；

·對於實在RPA（“IPA模式/小白模式”）

多模態意圖預測技術，可以支援透過多模態識別和序列上下文挖掘等方法，精準預測使用者的每一個操作意圖，抹平了從業務場景操作到RPA元件之間的理解鴻溝：

使用者的每一次點選就是一次拾取；

使用者的每一步操作都在配置流程。

應用軟體操作回到臺前，RPA開發退回到幕後，實現二者的真正分離。

2、業務感知推薦：理解場景，操作業務

結合表格檢測、場景預測和自然語言處理技術，實在RPA的IPA模式。

不僅可以，自動推薦原子級操作（點選圖示、輸入文字、滑鼠移動）；還可以，基於業務場景理解，自動推薦業務級操作：

·開啟網站登入頁面，滑鼠劃過登入區域，自動推薦「智慧登入」操作；

·開啟商品列表頁面，滑鼠劃過任何帶有資料區域，自動推薦「資料採集」操作。

透過多模態意圖預測技術，感知業務場景並推薦自動化操作

Action 4：線上學習

本次釋出會還有一個功能彩蛋：

實在RPA的IPA模式支援線上學習和迭代最佳化。

這也正是AI產品的魅力之所在！

根據使用者的反饋，演算法模型將透過線上學習技術和自動最佳化機制，能夠記住選擇和喜好，用的越多，推薦越準。

值得一提的是，所有模型演算法都內建在使用者本地辦公環境，操作習慣和資料均不會透過網路上傳，並且配置有防護機制，最大限度地保護使用者資料隱私安全。

從這個意義而言，實在RPA的IPA模式：

不僅是人人可用的沉浸式超自動化流程配置模式，更是千人千面的個性化數字員工搭建工具。

透過技術的“儀式感”，讓每個人都擁有專屬的、尊重資料隱私的超級自動化產品。

“蝶變”意味著破繭而出，羽化成蝶。

本次釋出會選此作為主題，寓意著快速大量的產品創新和功能迭代為實在RPA帶來的破繭成蝶，也標誌著實在智慧超級自動化平臺正式躍入“新、廣、信、強”的階段。

越過山丘，IPA模式引領超自動化全新時代。

開啟IPA模式的實在RPA產品，疊加實在智慧全國產、全自研、全面支援信創的AI產品矩陣，可以透過靈活式組合，輕鬆搭建各種超級自動化鏈路，助力千行百業使用者打造泛場景的數字員工。同時，安全、穩定、持續創新的技術產品，也會為客戶帶來實實在在的服務和支援。

這是實在智慧的一小步，卻是RPA行業發展的一大步！