<progress id="rrzp7"></progress>
        <big id="rrzp7"><meter id="rrzp7"></meter></big>
          <progress id="rrzp7"><menuitem id="rrzp7"></menuitem></progress>

            <big id="rrzp7"><menuitem id="rrzp7"></menuitem></big>

            <progress id="rrzp7"></progress>

              • / 48
              • 下載費用:20 金幣  

              運動圖像壓縮裝置、圖像處理裝置、運動圖像壓縮方法、圖像處理方法、以及運動圖像壓縮文件的數據結構.pdf

              摘要
              申請專利號:

              CN201280070242.7

              申請日:

              2012.10.24

              公開號:

              CN104137548A

              公開日:

              2014.11.05

              當前法律狀態:

              實審

              有效性:

              審中

              法律詳情: 實質審查的生效IPC(主分類):H04N 19/59申請日:20121024|||公開
              IPC分類號: H04N19/59(2014.01)I; H04N19/124(2014.01)I; H04N19/186(2014.01)I; H04N19/176(2014.01)I 主分類號: H04N19/59
              申請人: 索尼電腦娛樂公司
              發明人: 稻田徹悟; 大場章男; 勢川博之
              地址: 日本東京都
              優先權: 2011.12.27 JP 2011-286969
              專利代理機構: 北京市柳沈律師事務所 11105 代理人: 史新宏
              PDF完整版下載: PDF下載
              法律狀態
              申請(專利)號:

              CN201280070242.7

              授權公告號:

              |||

              法律狀態公告日:

              2014.12.10|||2014.11.05

              法律狀態類型:

              實質審查的生效|||公開

              摘要

              將運動圖像數據的幀序列劃分成貼片圖像序列(250),并轉換貼片圖像序列(250)的色空間,從而生成YCbCr圖像序列(252)(S10)。通過將其長度和寬度乘以1/2縮小(S12)然后壓縮每個幀,從而生成參考圖像的壓縮數據(260)(S14)。與圖像顯示時間類似地解碼和解壓縮參考圖像的壓縮數據(260),從而將YCbCr圖像重構成參考圖像,生成原始YCbCr圖像序列(252)與參考圖像之間差值圖像序列(262)(S16)。然后,生成差值圖像的壓縮數據(266),并每四個貼片圖像幀地生成將參考圖像的壓縮數據(260)與差值圖像的壓縮數據(266)耦合獲得的壓縮數據(268)(S20)。

              權利要求書

              1.  一種運動畫面壓縮裝置,包含:
              貼片圖像序列生成部分,配置成生成通過按圖像平面劃分構成運動畫面數據的幀序列構成的貼片圖像序列;
              參考圖像壓縮部分,配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數據;
              差值圖像生成部分,配置成生成由差值圖像構成的差值圖像序列,該差值圖像代表構成貼片圖像序列的貼片圖像、與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;
              差值圖像壓縮部分,配置成以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據;以及
              壓縮數據生成部分,配置成以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置。

              2.
                按照權利要求1所述的運動畫面壓縮裝置,
              其中該參考圖像壓縮部分以通過按圖像平面和時間軸劃分參考圖像獲得的數據塊為單位壓縮參考圖像;
              當在壓縮處理中通過按預定放大率縮小一次然后放大包括在數據塊中的圖像獲得的圖像、與原始圖像之間的像素值的差值的總和等于或低于預定閾值時,該參考圖像壓縮部分和該差值圖像壓縮部分按相關放大率縮小包括在數據塊中的圖像;以及
              該壓縮數據生成部分將使貼片圖像中的每個數據塊的位置和與該位置相對應的參考圖像和差值圖像的壓縮數據相互聯系的指針信息包括到運動畫面壓縮數據中。

              3.
                按照權利要求2所述的運動畫面壓縮裝置,
              其中當在壓縮處理中通過每預定個地對包括在數據塊中的圖像序列求平均獲得的圖像與原始圖像之間的像素值的差值的總和等于或低于預定閾值時,該參考圖像壓縮部分和該差值圖像壓縮部分用平均圖像取代原始圖像以減少圖像的數量。

              4.
                按照權利要求1到3的任何一項所述的運動畫面壓縮裝置,
              其中當構成每個數據塊的像素值的絕對值等于或低于預定閾值時,該差值圖像壓縮部分確定該數據塊的所有像素值以便變成零;以及
              該壓縮數據生成部分將數據塊和壓縮數據相互聯系,以便像素值是零的壓縮數據被運動畫面壓縮數據中的多個數據塊共享。

              5.
                按照權利要求1到4的任何一項所述的運動畫面壓縮裝置,
              其中該參考圖像壓縮部分為通過按圖像平面和時間軸劃分參考圖像獲得的參考圖像的數據塊的每預定個像素,生成保存像素值當中作為代表性值的兩個值的調色板、和取代像素值保存指定通過線性內插代表性值確定的多個中間值和代表性值之一的信息的索引,以便量化像素值。

              6.
                按照權利要求1到5的任何一項所述的運動畫面壓縮裝置,
              其中該差值圖像壓縮部分為差值圖像的數據塊的每預定個像素生成保存將像素的像素值當中作為代表性值的四個值乘以1/N(N是自然數)獲得的四個值的調色板、和取代像素值保存指定調色板保存的四個值之一的信息的索引,以便量化像素值。

              7.
                按照權利要求6所述的運動畫面壓縮裝置,
              其中該差值圖像壓縮部分通過調色板保存的四個值當中存儲在前半地址中的兩個值之間的幅度關系和存儲次序、和存儲在后半地址中的兩個值之間的幅度關系和存儲次序,表示代表要乘以調色板保存的值以便恢復代表性值的放大率N的標識號。

              8.
                按照權利要求5到7的任何一項所述的運動畫面壓縮裝置,
              其中該參考圖像壓縮部分和該差值圖像壓縮部分通過相應調色板的存儲在前半地址中的值和存儲在后半地址中的值之間的幅度關系,表示指定該索引與原始數據塊的像素的位置之間的對應關系的標識號。

              9.
                按照權利要求5到8的任何一項所述的運動畫面壓縮裝置,
              其中當該差值圖像生成部分在解碼參考圖像的壓縮數據的處理中放大圖像時,該差值圖像生成部分以等于或小于作為生成調色板和索引時的單位的由預定個像素構成的圖像中的像素的陣列的單位進行內插和外推以便生成新像素。

              10.
                一種圖像處理裝置,包含:
              信息處理部分,配置成相繼計算構成運動畫面數據的幀序列當中要顯示 的幀和該幀中要顯示的區域;
              裝載部分,配置成根據該信息處理部分計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;
              顯示圖像處理部分,配置成從裝載在存儲器中的運動畫面壓縮數據當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像;以及
              顯示部分,配置成依次顯示渲染的圖像。

              11.
                按照權利要求10所述的圖像處理裝置,
              其中參考圖像的壓縮數據和差值圖像的壓縮數據是以通過按圖像平面和時間軸劃分壓縮數據獲得的數據塊為單位,以可變長度壓縮的數據;以及
              該顯示圖像處理部分參考包括在運動畫面壓縮數據中、和將貼片圖像中的每個數據塊的位置和與該位置相對應的參考圖像的壓縮數據和差值圖像的壓縮數據相互聯系的指針信息,以便指定與要顯示的區域相對應的數據塊的參考圖像的壓縮數據和差值圖像的壓縮數據。

              12.
                按照權利要求10或11所述的圖像處理裝置,
              其中對于每預定個像素,差值圖像的壓縮數據由調色板和索引構成,該調色板保存將像素的像素值當中作為代表性值的四個值乘以1/N(N是自然數)獲得的四個值,以及該索引取代像素值保存指定調色板保存的四個值之一的信息;以及
              該顯示圖像處理部分從調色板保存的四個值當中存儲在前半地址中的兩個值之間的幅度關系和存儲次序、以及存儲在后半地址中的兩個值之間的幅度關系和存儲次序中指定代表要乘以調色板保存的值的放大率N的標識號以便恢復代表性值。

              13.
                按照權利要求12所述的圖像處理裝置,
              其中該顯示圖像處理部分從相應調色板的存儲在前半地址中的值和存儲在后半地址中的值之間的幅度關系中指定差值圖像的壓縮數據中指定該索引與原始像素的位置之間的對應關系的標識號,并根據指定的標識號指定構成 要顯示的區域的像素的索引。

              14.
                按照權利要求10到13的任何一項所述的圖像處理裝置,
              其中參考圖像的壓縮數據和差值圖像的壓縮數據是每預定個像素地量化像素值獲得的數據;以及
              當在解碼參考圖像的壓縮數據和差值圖像的壓縮數據的處理中要放大圖像時,該顯示圖像處理部分以等于或小于作為進行量化時的單位的由預定個像素構成的圖像中的像素的陣列的單位進行內插和外推以便生成新像素。

              15.
                一種運動畫面壓縮方法,包含:
              由運動畫面壓縮裝置執行:
              生成通過按圖像平面劃分存儲在存儲裝置中和構成運動畫面數據的幀序列構成的貼片圖像序列的步驟;
              壓縮該貼片圖像序列以生成參考圖像的壓縮數據的步驟;
              生成由差值圖像構成的差值圖像序列的步驟,該差值圖像代表構成貼片圖像序列的貼片圖像與通過解碼所生成參考圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;
              以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據的步驟;以及
              以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置的步驟。

              16.
                一種圖像處理方法,包含:
              由圖像處理裝置執行:
              相繼計算構成運動畫面數據的幀序列當中要顯示的幀和該幀中要顯示的區域的步驟;
              根據該計算步驟計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中的步驟,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;
              從裝載在存儲器中的運動畫面壓縮數據當中讀出通過計算步驟計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖 像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像的步驟;以及
              依次顯示渲染圖像的步驟。

              17.
                一種使計算機實現如下功能的計算機程序:
              生成通過按圖像平面劃分構成運動畫面數據的幀序列構成的貼片圖像序列的功能;
              壓縮該貼片圖像序列以生成參考圖像的壓縮數據的功能;
              生成由差值圖像構成的差值圖像序列的功能,該差值圖像代表構成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;
              以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據的功能;以及
              以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置的功能。

              18.
                一種使計算機實現如下功能的計算機程序:
              相繼計算構成運動畫面數據的幀序列當中要顯示的幀和該幀中要顯示的區域的功能;
              根據該信息處理部分計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中的功能,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;
              從裝載在存儲器中的運動畫面壓縮數據當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像的功能;以及
              依次顯示渲染的圖像的功能。

              19.
                一種記錄計算機程序的記錄介質,該計算機程序使計算機實現如下功能:
              生成通過按圖像平面劃分構成運動畫面數據的幀序列構成的貼片圖像序 列的功能;
              壓縮該貼片圖像序列以生成參考圖像的壓縮數據的功能;
              生成由差值圖像構成的差值圖像序列的功能,該差值圖像代表構成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;
              以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據的功能;以及
              以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置的功能。

              20.
                一種記錄計算機程序的記錄介質,該計算機程序使計算機實現如下功能:
              相繼計算構成運動畫面數據的幀序列當中要顯示的幀和該幀中要顯示的區域的功能;
              根據該信息處理部分計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中的功能,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;
              從裝載在存儲器中的運動畫面壓縮數據當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像的功能;以及
              依次顯示渲染的圖像的功能。

              21.
                一種運動畫面壓縮文件的數據結構,其中以預定個幀的貼片圖像為單位相互聯系通過以按圖像平面和時間軸劃分貼片圖像序列獲得的數據塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數據、和通過以按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮由差值圖像構成的差值圖像序列獲得的差值圖像的壓縮數據,該貼片圖像構成通過按圖像平面劃分構成運動畫面數據的幀序列獲得的貼片圖像序列,該差值圖像代表通過解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值;以及
              在圖像處理裝置中,解碼和相加根據要顯示的幀和該幀中要顯示的區域的信息以貼片圖像為單位裝載和與要顯示的幀當中要顯示的區域相對應的數據塊的參考圖像的壓縮數據和差值圖像的壓縮數據,以便用于依次渲染要顯示的區域的圖像。

              22.
                一種記錄具有按照權利要求21所述的數據結構的運動畫面壓縮文件的記錄介質。

              說明書

              運動圖像壓縮裝置、圖像處理裝置、運動圖像壓縮方法、圖像處理方法、以及運動圖像壓縮文件的數據結構
              技術領域
              本發明涉及顯示包括運動畫面的圖像的圖像處理技術。
              背景技術
              人們已經提出了不僅執行游戲程序,而且可以渲染運動畫面的家用娛樂系統。在該家用娛樂系統中,GPU(圖形處理單元)使用多邊形生成三維圖像(參照,例如,PTL 1)。
              如何與圖像是運動畫面還是靜止圖像無關地有效顯示圖像一直是一個重要問題。因此,在像圖像數據的壓縮技術、傳輸技術、圖像處理技術和顯示技術那樣的各種領域中已經開發出了各種技術并付諸于實際應用,在多種狀況下無拘無束地欣賞高清晰度圖像已經成為可能。
              [引用列表]
              [專利文獻]
              [PTL 1]US 6,563,999 A
              發明內容
              技術問題
              一直存在對用戶移動視點或游戲的進展引起的視角的變化等高響應度地顯示高清晰度圖像的需求。例如,為了像以放大尺度顯示整個顯示圖像當中用戶希望關注的區域,或轉去高響應度地顯示不同區域那樣,實現具有與視點有關的自由度的圖像顯示,還有必要在短時間處理大規模圖像數據的同時,使隨機訪問大規模圖像數據成為可能。
              具體地說,在隨著時間的流逝依次顯示大量幀的運動畫面的情況下,由于數據規模增大,所以一般說來優先考慮壓縮率。但是,隨著壓縮率升高,解碼時的算術運算成本增大,以及數據訪問的粒度也往往增大。其結果是,即使希望只顯示有限區域,也可能必需解碼幀的整個區域或將整個區域部署 在存儲器中。就算術運算成本和存儲成本而言,這是不利的。
              本發明就是在考慮了像上述那樣的問題之后作出的,本發明的目的在于提供可以以滿足各種需求的高響應度顯示運動畫面的圖像處理技術。
              問題的解決方案
              本發明的一種具體方式涉及運動畫面壓縮裝置。該運動畫面壓縮裝置包括:貼片圖像序列生成部分,配置成生成通過按圖像平面劃分構成運動畫面數據的幀序列構成的貼片圖像序列;參考圖像壓縮部分,配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數據;差值圖像生成部分,配置成生成由差值圖像構成的差值圖像序列,該差值圖像代表構成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;差值圖像壓縮部分,配置成以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據;以及壓縮數據生成部分,配置成以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置。
              本發明的另一種方式涉及數據圖像處理裝置。該圖像處理裝置包括:信息處理部分,配置成相繼計算構成運動畫面數據的幀序列當中要顯示的幀和該幀中要顯示的區域;裝載部分,配置成根據該信息處理部分計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;顯示圖像處理部分,配置成從裝載在存儲器中的運動畫面壓縮數據當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像;以及顯示部分,配置成依次顯示渲染的圖像。
              本發明的進一步方式涉及運動畫面壓縮方法。該運動畫面壓縮方法包括:由運動畫面壓縮裝置執行:生成通過按圖像平面劃分存儲在存儲裝置中和構成運動畫面數據的幀序列構成的貼片圖像序列的步驟;壓縮該貼片圖像序列以生成參考圖像的壓縮數據的步驟;生成由差值圖像構成的差值圖像序列的步驟,該差值圖像代表構成貼片圖像序列的貼片圖像與通過解碼所生成參考 圖像的壓縮數據獲得和與貼片圖像相對應的圖像之間的差值;以通過按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮差值圖像序列,以便生成差值圖像的壓縮數據的步驟;以及以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的運動畫面壓縮數據,并將該運動畫面壓縮數據輸出到存儲裝置的步驟。
              本發明的更進一步方式涉及圖像處理方法。該圖像處理方法包括:由圖像處理裝置執行:相繼計算構成運動畫面數據的幀序列當中要顯示的幀和該幀中要顯示的區域的步驟;根據該計算步驟計算的信息,以貼片圖像為單位將運動畫面壓縮數據從存儲運動畫面壓縮數據的存儲裝置裝載到存儲器中的步驟,該運動畫面壓縮數據包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數據、和代表解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數據;從裝載在存儲器中的運動畫面壓縮數據當中讀出通過計算步驟計算和包括要顯示的幀當中要顯示的區域的運動畫面壓縮數據,并解碼和相加參考圖像的壓縮數據和差值圖像的壓縮數據,以便依次渲染要顯示的區域的圖像的步驟;以及依次顯示渲染圖像的步驟。
              本發明的再進一步方式涉及運動畫面壓縮文件的數據結構。在該數據結構中,以預定個幀的貼片圖像為單位相互聯系通過以按圖像平面和時間軸劃分貼片圖像獲得的數據塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數據、和通過以按圖像平面和時間軸劃分差值圖像序列獲得的數據塊為單位壓縮由差值圖像構成的差值圖像序列獲得的差值圖像的壓縮數據,該貼片圖像構成通過按圖像平面劃分構成運動畫面數據的幀序列獲得的貼片圖像序列,該差值圖像代表通過解碼參考圖像的壓縮數據獲得的圖像與相應貼片圖像之間的差值。在圖像處理裝置中,解碼和相加根據要顯示的幀和該幀中要顯示的區域的信息以貼片圖像為單位裝載和與要顯示的幀當中要顯示的區域相對應的數據塊的參考圖像的壓縮數據和差值圖像的壓縮數據,以便用于依次渲染要顯示的區域的圖像。
              要注意的是,作為本發明的方式,上述的組件和通過方法、裝置、系統、計算機程序等的不同幾種之間的轉換獲得的本發明的表示的任意組合也是有效的。
              本發明的有益效果
              按照本發明,可以進行可以隨機訪問和呈現高吞吐量的三維數據輸出
              附圖說明
              圖1是描繪按照一個實施例的圖像處理裝置的配置的視圖;
              圖2是例示本實施例中的運動畫面數據的處理單元的視圖;
              圖3是具體描繪本實施例中具有運動畫面數據壓縮功能的控制部分的配置和硬盤驅動器的配置的視圖;
              圖4是示意性地例示本實施例中包括控制部分的圖像處理裝置執行的運動畫面數據的壓縮過程的視圖;
              圖5是例示本實施例中參考圖像壓縮部分執行的生成參考圖像的壓縮數據的處理過程的流程圖;
              圖6是示意性地例示本實施例中通過冗余判定壓縮空間劃分貼片圖像序列的過程的視圖;
              圖7是例示本實施例中進一步劃分進行壓縮判定之后的數據塊形成量化單元以便量化像素值的方式的視圖;
              圖8是例示本實施例中從Y圖像的量化單元中生成調色板和索引的數據的方法的視圖;
              圖9是例示本實施例中從CbCr圖像的量化單元中生成調色板和索引的數據的方法的視圖;
              圖10是例示本實施例中要存儲到劃分模式存儲部分中以便形成由16個像素構成的量化單元的劃分模式的變種的視圖;
              圖11是例示本實施例中在未進行通過冗余的壓縮的情況下從數據塊中生成量化單元時的劃分模式的視圖;
              圖12是例示本實施例中從利用冗余進行壓縮的數據塊中生成量化單元時的劃分模式的視圖;
              圖13是例示本實施例中從利用冗余進行壓縮的數據塊中生成量化單元時的劃分模式的視圖;
              圖14是示意性地例示本實施例中參考圖像的壓縮數據的數據結構的視圖;
              圖15是例示本實施例中以調色板的形式表示代表壓縮模式和劃分模式的標識號的方法的視圖;
              圖16是示意性地例示本實施例中差值圖像生成部分執行的生成差值圖像的過程的視圖;
              圖17是示意性地例示本實施例中解碼參考圖像時的圖像的放大處理的視圖;
              圖18是例示本實施例中通過調色板表示解碼存儲在調色板中的數值時的放大率的標識號的方法的視圖;
              圖19是例示本實施例中通過差值圖像的Y圖像表示代表壓縮模式和劃分模式的標識號的方法的視圖;
              圖20是示意性地例示本實施例中生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的最終壓縮數據的處理過程的視圖;
              圖21是具體描繪本實施例中具有圖像顯示功能的控制部分的配置的視圖;
              圖22是例示本實施例中解碼部分執行的解碼處理的過程的流程圖;以及
              圖23是概念性地例示本實施例中運動畫面由分層數據構成的數據結構的視圖。
              具體實施方式
              在本實施例中,不增加算術運算成本和存儲成本地按圖像平面和隨著時間軸為對其的隨機訪問顯示運動畫面。這里取作顯示目標的運動畫面可以是本身構成主要內容的電影、動畫或用戶拍攝的運動畫面等,或可以是表示成像映射在游戲等的計算機圖形中的視頻紋理那樣的圖像構件的運動畫面。
              在靜止圖像的情況下,作為壓縮方法,JPEG(聯合圖像專家組)、S3TC(S3紋理壓縮)等已經付諸于實際應用。前者呈現高壓縮率,但存儲成本相對較高,因為在顯示時需要將解碼目標的數據部署在存儲器中。后者的壓縮率相對較低。但是,由于不需要部署解碼數據,尤其在局部顯示圖像的情況下,所以存儲成本較低。于是,可以響應取決于顯示環境等的壓縮率和存儲負載的優先次序適當選擇壓縮方法之一。
              同時,傳統上,運動畫面的壓縮方法引起了像如下面所述那樣的問題,因為MPEG(運動圖像專家組)、AVC(高級視頻編碼)等都強調提高壓縮率。尤其,在運動畫面被用作視頻紋理的情況下,即使只映射運動畫面的一部分,也需要將整個區域部署在存儲器中,這需要無用的存儲成本。這類似地不僅 適用于視頻紋理,而且適用于這樣以放大尺度只顯示運動畫面的一部分的情況。
              尤其,在幀間預測編碼方法的情況下,也需要將參考圖像部署在存儲器中的整個區域上。進一步,源于高壓縮率,解碼整個區域上的數據的算術運算成本也很高。更進一步,甚至在視頻紋理表達的區域在視角之外的時段內,也必須繼續解碼,為隨后進入視角內作準備。因此,甚至從這一點來看,也無用地需要解碼的處理成本和存儲成本。
              因此,在本實施例中,壓縮運動畫面的數據以便,即使在保持在壓縮狀態下的同時將運動畫面的數據存儲到存儲器中,也可以只提取必要區域中的數據,并獨立地解碼和顯示數據,從而降低算術運算成本和存儲成本。此時,考慮到幀中或幀間冗余地壓縮運動畫面的數據,以便考慮到圖像的內容地實現高畫面質量和高壓縮率。
              首先,描述本實施例中生成運動畫面的壓縮數據的技術。圖1描繪了本實施例的圖像處理裝置的配置。圖像處理裝置10包括無線接口40、輸入裝置20、顯示處理部分44、顯示裝置12、硬盤驅動器50、記錄介質安裝部分52、盤驅動器54、主存儲器60和控制部分100。
              顯示裝置12包括像液晶顯示單元、EL(電致發光)顯示單元和等離子顯示單元那樣的一般顯示單元之一。顯示裝置12可以與圖像處理裝置10的一些其它模塊集成地配備,或可以使用線纜、無線LAN(局域網)等通過有線或無線連接來連接。顯示處理部分44含有緩存要顯示在顯示裝置12的顯示單元上的數據的幀存儲器(未示出)。
              無線接口40被配置成通過依照預定無線通信協議將無線接口40與外部裝置或網絡連接,可以從服務器接收像圖像數據那樣各種類型的數據。輸入裝置20由像操縱桿、觸摸面板、鼠標、鍵盤、按鈕等那樣的普通輸入裝置構成。輸入裝置20包括接受像選擇處理目標的圖像數據、開始生成壓縮數據等那樣用戶的請求的操作部件。將用戶輸入到輸入裝置20中的各種請求信號供應給控制部分100。
              硬盤驅動器50起存儲數據的存儲裝置的作用。將從服務器接收的各種類型數據一次性存儲到硬盤驅動器50中。當像存儲卡那樣的可換式記錄介質安裝在上面時,記錄介質安裝部分52從可換式記錄介質中讀出數據。當用于只讀的ROM盤安裝在上面時,盤驅動器54驅動ROM盤,并識別它以便讀出 數據。ROM盤可以是光盤、磁光盤等。可以將像圖像數據那樣各種類型的數據存儲在那些記錄介質中。
              控制部分100包括多核CPU,在一個CPU中配備一個通用處理器核心和多個簡單處理器核心。通用處理器核心被稱為PPU(PowerPC處理器單元),而其余處理器核心的每一個被稱為SPU(協同處理器單元)。PPU含有寄存器,包括作為進行算術運算的實體的主處理器以及有效地將作為要執行的應用的其余處理單元的任務分配給SPU。要注意的是,PPU本身也可以執行任務。每個SPU都含有寄存器,以及包括作為進行算術運算的實體的分處理器和作為本地存儲區的本地存儲器。
              主存儲器60是存儲裝置,被配置成RAM(隨機訪問存儲器)。每個SPU都含有專門用作控制單元的DMA(直接存儲器訪問)控制器,并且可以實現顯示處理部分44的幀存儲器與主存儲器60之間的高速數據傳送。本實施例中的控制部分100通過使多個SPU相互并行地工作實現高速圖像處理功能。顯示處理部分44與顯示裝置12連接,輸出菜單屏幕圖像的屏幕數據等。
              圖2是例示本實施例中的運動畫面數據的處理單元的視圖。在本實施例中,將構成壓縮目標的運動畫面的圖像幀80的每一個劃分成預定尺寸,以便生成多個貼片圖像(例如,貼片圖像(tile image)82)。由于運動畫面的圖像幀80隨著在圖2中沿著垂直方向表示的時間軸構成圖像序列,所以貼片圖像也構成與該圖像序列相對應的圖像序列(例如,貼片圖像序列84)。在本實施例中,將貼片圖像序列用作處理單元地生成壓縮數據。在圖像顯示時,隨機應變地相互連接解碼的貼片圖像來顯示圖像。要注意的是,在如下描述中,構成貼片圖像序列的貼片圖像的每一個也被稱為“幀”。要注意的是,在原始圖像幀的像素的數量小于預定數量的情況下,或在類似情況下,可以將整個圖像幀當作一個貼片地不進行貼片圖像劃分。
              圖3具體描繪了本實施例中具有運動畫面數據壓縮功能的控制部分100a的配置和硬盤驅動器50的配置。控制部分100a包括貼片圖像序列生成部分120、參考圖像壓縮部分122、差值圖像生成部分124、差值圖像壓縮部分126、和壓縮數據生成部分128。貼片圖像序列生成部分120從壓縮目標的運動畫面數據中生成貼片圖像序列,并將色空間從RGB色空間轉換成YCbCr色空間。參考圖像壓縮部分122減少轉換之后的幀,并將幀壓縮成參考圖像。差值圖像生成部分124根據參考圖像生成幀的差值圖像。差值圖像壓縮部分126 壓縮差值圖像。壓縮數據生成部分128生成包括參考圖像的壓縮數據和差值圖像的壓縮數據的最終壓縮數據。
              參照圖3和下文所述的圖21,描述成進行各種處理的功能塊的組件在硬件上可以由CPU(中央處理單元)、存儲器和其它LSI(大規模集成電路)構成,在軟件上可以用裝載在存儲器等中的程序來實現。如下文所述,控制部分100含有一個PPU和多個SPU,PPU和SPU可以單個地或組合地分別構成功能塊。于是,本領域的普通技術人員可以認識到,功能塊可以只通過硬件,只通過軟件,或通過硬件和軟件的組合件地以各種形式實現,它們不局限于硬件、軟件和組合件之一。
              硬盤驅動器50包括運動畫面數據存儲部分130、劃分模式存儲部分132和壓縮數據存儲部分134。運動畫面數據存儲部分130含有存儲在其中的壓縮目標的運動畫面數據。劃分模式存儲部分132存儲參考圖像壓縮部分122和差值圖像壓縮部分126形成量化單元的劃分模式。壓縮數據存儲部分134存儲壓縮數據生成部分128生成的壓縮數據。
              貼片圖像序列生成部分120從輸入裝置20獲取用戶指定和與壓縮目標的運動畫面數據有關的信息,并從運動畫面數據存儲部分130中依次讀出構成運動畫面數據的幀的數據。然后,貼片圖像序列生成部分120將幀劃分成預定尺寸,以便生成貼片圖像序列,并將作為像素值的RGB值轉換成亮度Y和色差Cb和Cr,以便生成具有作為像素值的YCbCr值的YCbCr圖像。色空間從RGB色空間到YCbCr色空間的轉換可以應用現有方法來實現。
              參考圖像壓縮部分122以預定比率縮短貼片圖像序列生成部分120生成的貼片圖像序列,然后壓縮縮短的貼片圖像序列。尤其,參考圖像壓縮部分122沿著空間和時間方向將貼片圖像序列劃分成預定尺寸,并且在劃分之后量化數據塊。在量化時,參考圖像壓縮部分122利用存儲在劃分模式存儲部分132的劃分模式之一進一步對每個數據塊進行空時劃分,以便形成由預定個像素的數據構成的量化單元。盡管下文描述其細節,但由于最佳劃分模式隨圖像的內容而異,參考圖像壓縮部分122從存儲在劃分模式存儲部分132中的多種劃分模式當中選擇一種最佳模式。
              然后,參考圖像壓縮部分122通過為每個量化單元生成代表兩個代表性值的調色板和將兩個代表性值和通過代表性值的線性內插獲得的多個中間值之一指定成像素值的索引進行量化。分別為預定個量化單元收集每一個由調 色板和索引構成的數據,以便形成一個存儲單元。
              差值圖像生成部分124分別為每個相應像素計算貼片圖像序列生成部分120生成的貼片圖像序列的每個幀與通過解碼參考圖像壓縮部分122壓縮的參考圖像的數據恢復的相應幀之間的差值,以便生成貼片圖像序列的差值圖像。差值圖像壓縮部分126壓縮差值圖像生成部分124生成的貼片圖像序列的差值圖像。
              該壓縮處理的大致流程與參考圖像壓縮部分122進行的上述壓縮處理的大致流程類似。但是,由于參考圖像的像素值的范圍是有限的,所以將該壓縮處理配置成使其特點作為優點反映在渲染處理的數據尺寸或效率上。尤其,只由絕對值等于或低于預定閾值的像素值構成的數據塊的所有像素值被認為是0。進一步,關于量化時的調色板,減少分層的數量,以便代表四個具體值,以便在圖像顯示時不進行線性內插。下面描述細節。
              壓縮數據生成部分128以預定單元收集參考圖像壓縮部分122壓縮的參考圖像的數據和差值圖像壓縮部分126壓縮的差值圖像的數據,然后將指針加入每個數據中生成壓縮數據,以便在圖像顯示時可以引用數據。將生成的壓縮數據存儲到壓縮數據存儲部分134中。
              圖4示意性地描繪了包括控制部分100a的圖像處理裝置10執行的運動畫面數據的壓縮過程。首先,由貼片圖像序列生成部分120將從運動畫面數據存儲部分130中讀出的運動畫面數據的幀序列劃分成貼片圖像序列250。這里,貼片圖像具有256×256個像素的尺寸,以及每次對貼片圖像的四個幀進行后面的壓縮處理。盡管下面根據剛才所述的例子描述壓縮處理,但可以各種各樣地改變貼片圖像的像素的數量、處理單元的幀的數量和在隨后級上進行的處理的單元。
              然后,貼片圖像序列生成部分120將貼片圖像序列250的色空間從RGB色空間轉換到YCbCr色空間,以便生成具有256×256個像素的YCbCr圖像序列252(S10)。然后,參考圖像壓縮部分122通過沿著垂直和水平方向將它們乘以1/2縮小YCbCr圖像序列的幀,以便生成具有128×128個像素的YCbCr圖像序列256(S12)。進一步,參考圖像壓縮部分122以像下文詳細所述那樣的方式進行壓縮處理,并相繼地收集量化單元形成存儲單元,以便生成參考圖像的壓縮數據260(S14)。
              另一方面,差值圖像生成部分124像在圖像顯示時的情況那樣類似地解 碼和解壓參考圖像的壓縮數據260,以便恢復具有256×256個像素的YCbCr圖像作為參考圖像。然后,差值圖像生成部分124計算參考圖像與具有256×256個像素和貼片圖像序列生成部分120生成的YCbCr圖像序列252的相應幀的差值,以便生成256×256個像素的YCbCr的差值圖像序列262。
              然后,差值圖像壓縮部分126以像下文詳細所述那樣的方式相繼進行壓縮處理,并收集量化單元形成存儲單元,以便生成差值圖像的壓縮數據266(S18)。然后,壓縮數據生成部分128生成通過連接參考圖像的壓縮數據260和差值圖像的壓縮數據266獲得的壓縮數據268,并將生成的壓縮數據存儲到壓縮數據存儲部分134中(S20)。
              在壓縮數據268中,包括指針信息作為首標269,以便在圖像顯示時可以找到原始運動畫面的幀中數據塊的位置與壓縮數據的對應關系。對圖像序列的整個其余部分的四個幀重復進行圖4中的處理。進一步,通過隨后每次對四個幀重復進行上述處理,壓縮整個運動畫面數據。
              接著參考圖5到15描述參考圖像的壓縮數據生成處理。圖5是例示圖4的步驟S14中參考圖像壓縮部分122生成參考圖像的壓縮數據260的處理過程的流程圖。首先,沿著空間方向將在圖4的步驟S12中縮小的四個幀的YCbCr圖像序列256劃分成預定尺寸,以便生成處理單元的數據塊(S30)。這里,空間方向對應于圖像的平面。另一方面,時間方向對應于幀的數量。
              然后,對每個數據塊確認沿著空間方向和時間方向是否存在某種冗余,并且,如果判定存在冗余,則沿著判定存在冗余的方向壓縮數據(S32)。尤其,如果沿著空間方向存在冗余,則縮小圖像。如果沿著時間方向存在冗余,則對多個相繼圖像求平均以減少幀的數量。然后,利用存儲在劃分模式存儲部分132中的劃分模式之一進行時間-空間劃分,以形成由相等數量的像素構成的量化單元并量化數據(S34)。
              此時,將YCbCr圖像分解成亮度Y是像素值的Y圖像和具有作為一個元素的色差(Cb,Cr)的矢量值是像素值的CbCr圖像,并通過預定放大率縮小CbCr圖像。然后,像上述的方式那樣類似地由Y圖像和CbCr圖像形成量化單元,以便分別量化圖像。如上文所述,量化是通過調色板和索引表示包括在量化單元中的像素值的處理。
              其結果是,為每個數據塊生成包括Y圖像的調色板和索引的量化單元的一個或多個數據和包括與Y圖像相對應的CbCr圖像的調色板和索引的量化 單元的一個或多個數據。這里,構成一個數據塊的那些量化單元的數量隨步驟S32中的壓縮量而不同。通過每次對預定數量的量化單元收集以像上述那樣的方式生成的數據形成存儲單元,生成原始貼片圖像的四個幀的參考圖像的壓縮數據(S36)。
              圖6示意性地例示了通過步驟S32中的冗余判定壓縮在圖5的步驟S30中空間劃分的貼片圖像序列的過程。在圖6的例子中,在步驟S30中將YCbCr圖像序列劃分成8×8個像素以形成數據塊。尤其,沿著垂直和水平兩個方向將具有128×128個像素的四個幀的YCbCr圖像劃分成16個塊。在圖6中,在每個數據塊下面以“水平方向的像素數量×垂直方向的像素數量×幀數”的形式指示數據尺寸。這也類似地適用于隨后畫面。
              對以像上述那樣的方式形成的每個數據塊272判定冗余。在圖6中,首先進行沿著空間方向的冗余判定(S32a)。尤其,沿著預定方向通過預定放大率縮小圖像,以及針對每個幀相互比較使縮小圖像的尺寸返回到原始尺寸獲得的圖像和縮小之前的圖像。如果像素值之間的差值的總和等于或低于閾值,則判定在空間方向存在一些冗余。然后,通過按總和等于或低于閾值的那些縮小放大率當中縮小量比較大的放大率縮小圖像來壓縮圖像。在圖6的例子中,將沿著垂直方向的1/2、沿著水平方向的1/2、和沿著垂直和水平方向的1/2設置成縮小放大率的候選者。
              于是,如圖6所描繪,取決于步驟S32a中的判定,出現在原始圖像中沒有冗余和8×8個像素的圖像保持原樣的情況和將圖像縮小成8×4個像素、4×8個像素或4×4個像素的不同情況。由于每四個幀為一組地進行判定,所以可以確定,如果當針對每個幀將像素值之間的差值的總和與閾值相比較時,發現對于所有四個幀該總和都等于或低于閾值,則可以縮小原始圖像。可替代地,可以針對四個幀的像素值之間的差值的總和進行閾值判定。
              接著,對設置在上文所述的四種狀態之一下的圖像進行沿著時間方向的冗余判定(S32b)。尤其,通過對預定數量的相繼幀求平均生成圖像,將生成的圖像與原始幀的圖像相比較。如果像素值之間的差值的總和等于或低于閾值,則判定在時間方向存在冗余。在這種情況下,由于等效地判定可以用一個平均圖像總體表示多個幀,所以用總和等于或低于閾值的平均圖像當中可以收集到最大數量的幀的平均圖像取代這些幀以便壓縮圖像。在圖6的例子中,設置了每兩個幀進行平均以生成兩個平均圖像的一種情況和每四個幀進 行平均以生成一個平均圖像的另一種情況。
              但是,由于不要求未滿足下文所述的一個存儲單元的程度的壓縮,所以在圖6的例子中,對具有8×8個像素的圖像只設置用一個平均圖像表示四個幀的圖像的情況。進一步,不對具有4×4個像素的圖像進行沿著時間方向的壓縮。作為S32b中的判定的結果,如圖6所描繪,存在也包括不進行沿著時間方向的壓縮的情況、出現8×8個像素×4個幀、8×8個像素×2個幀、8×8個像素×1個幀、8×4個像素×4個幀、8×4個像素×2個幀、4×8個像素×4個幀、4×8個像素×2個幀和4×4個像素×4個幀的八種類型數據結構的情況。
              與有關沿著空間方向的冗余的判定類似,可以進行這樣的判定,即針對原始圖像的每個幀將像素值之間的差值的總和與閾值相比較,并在對于所有四個幀該總和都等于或低于閾值的條件下允許壓縮。可替代地,可以針對四個幀的像素值之間的差值的總和進行閾值判定。要注意的是,縮小放大率和減少幀數的選擇不局限于描繪在圖6中的那些,而是可以,例如,響應原始數據塊的尺寸、存儲單元的數據尺寸等適當確定。此外,沿著空間方向的冗余判定和沿著時間方向的冗余判定的次序可以與描繪在圖6中的次序相反。可替代地,通過以各種組合一次性地進行幀的縮小和幀數的減少,可以同時進行兩種判定。可替代地,可以只進行一種判定。
              圖7示意性地例示了在圖5的步驟S34中進一步劃分像上述那樣的壓縮判定之后的數據塊形成量化單元以便量化像素值的方式。每個量化單元是沿著空間方向、沿著時間方向、或沿著空間和時間方向兩者劃分數據塊獲得的一組預定數量像素。為每個量化單元生成代表兩個代表性值的一對調色板和將指示調色板和調色板之間的中間值之一的標識信息與像素相聯系的索引。該調色板和索引基本上類似于在S3TC紋理壓縮方法中從RGB圖像中生成的那些。另一方面,在本實施例中,參數的維數不同于一般S3TC的維數。
              要注意的是,在進行上文所述的量化之前,將YCbCr圖像劃分成Y圖像和CbCr圖像,然后縮小CbCr圖像。在如下描述中的例子中,假設沿著垂直和水平方向兩者將CbCr圖像縮小到1/2。在圖7的左側,一個矩形代表Y圖像的量化單元280或CbCr圖像的量化單元282。在如下描述中,假設量化單元包括16個像素。可替代地,雖然在圖7中象征性地將量化單元表示成4×4個像素的圖像,但取決于劃分模式,在量化單元中可能混合著不同幀的一些像素。
              通過量化,從Y圖像的量化單元280中生成調色板284和索引286,而從CbCr圖像的量化單元282中生成調色板288和索引290。由于CbCr圖像相對于Y圖像具有1/4尺寸,所以Y圖像的四個量化單元對應于CbCr圖像的一個量化單元。于是,如圖7所描繪,收集從相應量化單元中生成的調色板和索引以生成一個存儲單元292。在顯示時,可以將一個存儲單元的數據用于恢復相應區域中的像素值。
              圖8是例示從Y圖像的量化單元中生成調色板和索引的數據的方法。如上文所述,一個量化單元包括16個像素。在圖8中,用一個圓圈示意性地表示每個像素。在將通過每個像素保存成像素值的亮度Y的值表示在有關亮度Y的軸上的情況下,獲得像描繪在圖8中那樣的分布300。從標繪在分布300上的16個像素值當中選擇兩個代表性值。例如,選擇最小值(min)和最大值(max)作為代表性值,并將保存兩個所選值的數據確定為調色板。
              進一步,在將亮度Y的軸上最小值與最大值之間的線段內分成1:2的亮度Y的值確定為第一中間值(mid1)和將該線段內分成2:1的亮度Y的值確定為第二中間值(mid2)的情況下,將為每個像素保存指定最小值、第一中間值、第二中間值和最大值的四個值之一的信息的數據確定為索引。其結果是,關于Y圖像的量化單元,該調色板是代表亮度Y的8個位×2個值=2個字節的數據,該索引是將四個值的標識號表示成0到3的信息的2個位×16個像素=4個字節的數據。
              圖9是例示從CbCr圖像的量化單元中生成調色板和索引的數據的方法。與Y圖像的量化類似,一個量化單元包括16個像素。但是,每個像素保存的值是具有作為元素的(Cb,Cr)的二維矢量值。在將像素值表示在具有色差Cb和Cr的軸的二維平面上的情況下,獲得像描繪在圖9中那樣的分布302。
              從標繪在分布302上的16個像素值當中選擇兩個代表性值。例如,在用直線近似表示分布302的情況下,分別將直線左端和右端的色差確定為最小值(min)和最大值(max),并確定為代表性值。將保存兩個計算值的數據確定為調色板。此時,每個代表性值是具有作為元素的(Cb,Cr)的矢量值。
              進一步,在將近似直線上最小值與最大值之間的線段內分成1:2的色差確定為第一中間值(mid1)和將該線段內分成2:1的色差確定為第二中間值(mid2)的情況下,將為每個像素保存指定最小值、第一中間值、第二中間值和最大值的四個值之一的信息的數據確定為索引。其結果是,關于CbCr 圖像的量化單元,該調色板是色差Cb和Cr的2個元素×代表色差的8個位×2個值=4個字節的數據,而該索引是將四個值的標識號表示成0到3的信息的2個位×16個像素=4個字節的數據。
              如果以像上述那樣的方式壓縮數據,則由于描繪在圖7中的存儲單元292包括Y圖像的調色板的2個字節×4個量化單元=8個字節、Y圖像的索引的4個字節×4個量化單元=16個字節、CbCr圖像的調色板的4個字節和CbCr圖像的索引的4個字節,所以存儲單元292是總共32個字節的數據。由于一個存儲單元292保存16個像素×4個量化單元=64個像素的數據,所以量化之后的數據中的一個像素對應于0.5個字節。
              如上所述,在本實施例中,在將原始RGB圖像分解成保存一維參數的Y圖像和保存二維參數的CbCr圖像之后,生成調色板和索引。因此,在一維Y圖像的情況下,所有樣本值分布在直線上,此外,在二維CbCr圖像中,只在相關近似直線的法線方向存在偏移近似直線的樣本。于是,與用直線近似表示然后量化保存三維參數的RGB圖像的一般S3TC方法相比,可以將量化誤差抑制得很小。
              圖10例示了要存儲到劃分模式存儲部分132中以便形成由16個像素構成的量化單元的劃分模式的變種。圖10中的變種從左側開始,稱為模式(A)、模式(B)、模式(C)和模式(D),對于上級的Y圖像和下級的CbCr圖像,用直線表示空間劃分的分界線,以及用陰影部分代表性地表達一個量化單元。要注意的是,在圖10中,例示了對于Y圖像和CbCr圖像兩者,劃分不受通過冗余的壓縮支配的數據塊,即,8×8個像素×4個幀的Y幀和4×4個像素×4個幀的CbCr圖像的方式。
              在模式(A)中,每4×4個像素×1個幀地劃分圖像。在模式(B)中,每4×2個像素×2個幀地劃分圖像。在模式(C)中,每2×4個像素×2個幀地劃分圖像。在模式(D)中,每2×2個像素×4個幀地劃分圖像。從模式(D)到模式(A)進行更詳細時間劃分,從模式(A)到模式(D)進行更詳細空間劃分。準備好像上述那樣的劃分模式,并依照有關圖像沿著空間方向存在冗余還是沿著時間方向存在冗余的圖像特性選擇劃分模式之一。
              尤其,在像包括很大像天空或草坪那樣顏色接近一種顏色的區域的情況那樣圖像具有空間冗余的情況下,該區域中的像素值有可能在空間方面變得更加一致。因此,即使空間劃分數減少了,也較不可能包括量化引起的誤差, 因此選擇接近模式(A)的劃分模式。另一方面,在像通過定點觀察來觀察包括較不運動的風景的情況或類似情況那樣圖像具有時間冗余的情況下,像素值有可能沿著時間方向變得一致。因此,即使時間劃分數減少了,也由于較不可能包括量化引起的誤差,所以選擇接近模式(D)的劃分模式。
              由于劃分之前的數據塊的數據結構實際上是例示在圖6中的八種類型之一,所以可以取的劃分模式可以隨數據結構而不同。圖11例示了當未進行通過冗余的壓縮時從8×8個像素×4個幀的數據塊中生成量化單元時的劃分模式。
              在這種情況下,由于生成8×8個像素×4個幀的Y圖像和4×4個像素×4個幀的CbCr圖像,所以可以從如圖10所描繪的所有劃分模式(A)、(B)、(C)和(D)當中選擇劃分模式。在所有劃分模式中,每一個數據塊生成四個存儲單元(例如,存儲單元304a、304b、304c和304d)。對這種情況下的劃分模式分別應用標識號“0”、“1”、“2”和“3”。
              圖12例示了作為進行使用冗余的壓縮時的結果,當數據塊是8×4個像素×4個幀時,當數據塊是4×8個像素×4個幀時,以及當數據塊是8×8個像素×2個幀時生成量化單元的劃分模式。首先,在數據塊是8×4個像素×4個幀的情況下,由于生成8×4個像素×4個幀的Y圖像和4×2個像素×4個幀的CbCr圖像,所以選擇劃分模式(B)和(D)之一。在數據塊是4×8個像素×4個幀的情況下,生成4×8個像素×4個幀的Y圖像和2×4個像素×4個幀的CbCr圖像。因此,選擇劃分模式(C)和(D)之一。
              在數據塊是8×8個像素×2個幀的情況下,生成8×8個像素×2個幀的Y圖像和4×4個像素×2個幀的CbCr圖像。因此,選擇劃分模式(A)、(B)和(C)之一。在圖12的所有劃分模式中,每一個數據塊形成兩個存儲單元(例如,存儲單元306a和306b)。對這種情況下的劃分模式分別應用標識號“4”、“5”、“6”、“7”、“8”、“9”和“10”。
              圖13例示了作為進行使用冗余的壓縮時的結果,當數據塊是4×4個像素×4個幀時,當數據塊是4×8個像素×2個幀時,當數據塊是8×4個像素×2個幀時,以及當數據塊是8×8個像素×1個幀時生成量化單元的劃分模式。首先,在數據塊是4×4個像素×4個幀的情況下,生成4×4個像素×4個幀的Y圖像和2×2個像素×4個幀的CbCr圖像。因此,該選擇局限于模式(D)。在數據塊是4×8個像素×2個幀的情況下,生成4×8個像素×2個幀的Y圖像和2×4 個像素×2個幀的CbCr圖像。因此,該選擇局限于模式(C)。
              在數據塊是8×4個像素×2個幀的情況下,生成8×4個像素×2個幀的Y圖像和4×2個像素×2個幀的CbCr圖像。因此,該選擇局限于模式(B)。在數據塊是8×8個像素×1個幀的情況下,生成8×8個像素×1個幀的Y圖像和4×4個像素×1個幀的CbCr圖像。因此,該選擇局限于模式(A)。在所有劃分模式中,每一個數據塊形成一個存儲單元(例如,存儲單元308)。對這種情況下的劃分模式分別應用標識號“11”、“12”、“13”和“14”。
              如果以像上述那樣的方式應用標識號,則每個標識號最終包括利用冗余的壓縮模式和形成量化單元的劃分模式作為信息。將四種類型的劃分模式(A)到(D)和標識它們的信息事先以相互聯系的關系存儲到劃分模式存儲部分132中。參考圖像壓縮部分122根據壓縮模式和所選劃分模式的組合確定與每個數據塊相對應的標識號。使標識號包括到壓縮數據中并加以引用,以便在圖像顯示時在顯示區中指定像素值的數據。
              在對量化單元的劃分模式可作多種選擇的情況下,應用所有劃分模式對每個數據塊進行量化然后加以解碼。然后,選擇解碼結果相對于原始圖像指示最小誤差的那一種劃分模式。可替代地,可以使用含有相似內容的測試圖像為每個區域事先設置劃分模式。
              現在,描述參考圖像壓縮部分122生成的參考圖像的壓縮數據的數據結構。與S3TC的紋理壓縮方法類似,在本實施例中生成的壓縮數據由調色板和索引構成。因此,可以按原樣使用常見GPU的加陰影功能進行解碼處理。
              為此,優選的是可以與普通紋理圖像類似地讀出和解碼通過量化Y圖像的數據生成的索引和調色板和通過量化CbCr圖像的數據生成的索引和調色板。因此,當存儲壓縮數據時,如上所述地將代表相同區域的Y圖像的量化數據和CbCr圖像的量化數據收集成單個存儲單元,以便可以通過少數幾次數據訪問恢復像素。
              圖14示意性地例示了參考圖像的壓縮數據的數據結構。圖14中的左側代表一個存儲單元314,其中如圖14的右側所描繪地存儲著代表相同區域的Y圖像的壓縮數據310和CbCr圖像的壓縮數據312。Y圖像的壓縮數據310當中用“I”表示的每個長方體代表一個量化單元的索引,用“P”表示的每個長方體代表一個量化單元的調色板。這也類似地適用于CbCr圖像的壓縮數據312。如上文所述,Y圖像的索引和調色板分別是每個量化單元四個字節 和兩個字節的數據。CbCr圖像的索引和調色板兩者都是每個編碼單元四個字節的數據。
              因此,如圖14所描繪,將代表相同區域的Y圖像的四個量化單元和CbCr圖像的一個量化單元的數據集體排列成深度為四個字節的存儲區。這里,由于Y圖像的壓縮數據310當中的調色板是兩個字節的數據,所以如圖14所描繪將兩個調色板沿著深度方向布置。其結果是,一個存儲單元314包括4×2×4個字節的數據。
              如果以這種方式收集數據,則可以將一個存儲單元314按原樣存儲到存儲4×2個像素的RGBA圖像的數據的存儲區中。由于從8×8個像素×4個幀的數據塊中最多形成四個存儲單元,所以一個數據塊的數據尺寸變成最多等于4×2個像素×4=32個像素的RGBA圖像的數據尺寸。如果將冗余用于壓縮,則數據量進一步減少到1/2或1/4。
              這里,描述將代表壓縮模式和劃分模式的標識號包括到上文所述的壓縮數據中的方法。該標識號是四個位的信息,因為它是如上所述的“0”到“14”的15種類型之一。同時,如圖14所例示將Y圖像的四個調色板存儲到一個存儲單元中。在每個調色板中,存儲著代表亮度Y的數值的兩個值。因此,通過四個調色板的每一個保存的兩個值的存儲次序和它們之間的幅度的關系表示四個位的標識信息。
              圖15是例示通過調色板表示標識號的方法的視圖。如果將作為如圖14所描繪的Y圖像的四個調色板之一的調色板315取作例子,則從圖15的這一側的最高地址開始依次存儲兩個代表性值“P0”和“P1”。此時,用數值“P0”和“P1”的幅度的關系表示一個位的信息。事先設置成,例如,如果P0>P1,則這代表1,而“P0”和“P1”的幅度的任何其它關系都代表0。
              由于一個存儲單元包括Y圖像的四個調色板,所以如果利用所有四個調色板以及事先確定了與位序列相對應的調色板的次序,則可以表示四個位的信息。與將值的哪一個存儲到前一個地址中無關,取決于值的幅度的關系,調色板保存的兩個值的哪一個是最小值或最大值是顯而易見的,因此,該次序不影響解碼處理。因此,如果從每個數據塊的壓縮模式和劃分模式中確定了一個標識號,則參考圖像壓縮部分122響應該標識號確定要將每個調色板的較高值存儲到哪一個地址。
              要注意的是,當一個數據塊形成多個存儲單元時,所有存儲單元表示相 同標識信息。這使得不必與壓縮數據的主體分開地生成壓縮模式和/或劃分模式的信息,可以整體地縮小數據尺寸。進一步,由于為相應區域的每個壓縮數據嵌入壓縮模式和劃分模式的信息,所以引用該信息的效率是高的。
              現在,參考圖16到19描述差值圖像的壓縮數據生成處理。圖16示意性地例示了差值圖像生成部分124在圖4的步驟S16中生成差值圖像的過程。在圖16中,與圖4中的那些相同的數據用相同標號表示。首先,將貼片圖像序列生成部分120生成的256×256個像素的YCbCr圖像序列252和參考圖像壓縮部分122使用YCbCr圖像序列252生成的參考圖像的壓縮數據260用作輸入數據。
              差值圖像生成部分124首先解碼參考圖像的壓縮數據260(S40)。尤其,差值圖像生成部分124讀出構成包括在相同貼片圖像序列中的數據塊的存儲單元的所有數據,并從調色板和索引中恢復Y圖像和CbCr圖像。此時,可以通過獲取Y圖像的調色板所代表的標識號指定像素的陣列。
              尤其,由于從每個數據塊的標識號中識別利用冗余的壓縮模式和形成量化單元時的劃分模式,所以根據壓縮模式和劃分模式通過與劃分處理相反的處理連接包括在量化單元中的數據。然后,沿著垂直和水平方向將CbCr圖像放大成兩倍,然后與Y圖像合成以生成YCbCr圖像。接著,增加幀數或通過與例示在圖6中的壓縮處理相反的處理擴大圖像。進一步連接以像上述那樣的方式恢復的數據塊,以生成128×128個像素×4個幀的YCbCr圖像序列400。
              然后,沿著垂直和水平方向將128×128個像素×4個幀的YCbCr圖像序列400放大成兩倍,以生成256×256個像素×4個幀的YCbCr貼片圖像序列402(S42)。然后,計算YCbCr貼片圖像序列402的像素值與貼片圖像序列生成部分120生成的原始貼片圖像的YCbCr圖像序列252的那些像素值的差值,以生成差值圖像序列262(S44)。
              步驟S40和S42中的處理基本上是與例示在圖4和5中的參考圖像的壓縮處理的過程的那些相反的處理。但是,由于這個壓縮處理是進行圖像縮小、通過求平均和量化的幀數減少的不可逆處理,所以存在恢復的貼片圖像序列402可能包括誤差的可能性。將這個誤差表示成差值圖像,以滿足壓縮率和畫面質量兩者的要求。
              差值圖像是當在圖像顯示時解碼和解壓縮參考圖像的壓縮數據時彌補壓縮引起的誤差的圖像。于是,有必要使差值圖像生成部分124在步驟S40和 S42中解碼和解壓縮參考圖像的壓縮數據260的處理與圖像顯示時的那些相同。另一方面,在本實施例中,以量化單元收集壓縮數據260,使以量化單元的數據訪問成為可能,因此不進行無用數據裝載或解碼地沿著空間方向和時間方向實現隨機訪問。
              于是,在圖像顯示時,必須引用不同量化單元以便解碼或解壓縮某個量化單元不是優選的。因此,當在步驟S40中在連接了量化單元的數據之后在沿著垂直和水平方向將CbCr圖像擴大成兩倍的處理、依照壓縮模式擴大圖像以便將數據塊的尺寸改變到原始尺寸的處理、和在步驟S42中沿著垂直和水平方向將通過連接數據塊形成的YCbCr圖像序列400擴大成兩倍的處理中在像素之間生成新像素時,獨立于量化單元的劃分模式地在相關量化單元內完成擴大處理。
              尤其,將擴大目標的圖像劃分成2×2個像素,并通過內插計算像素之間的像素的像素值,而2×2個像素之外的像素值通過外推來計算。圖17示意性地例示以這種方式擴大圖像的處理。在圖17中的左側,用白色圓圈指示將擴大之前的圖像劃分成2×2個像素的區域404中的每個像素。當將這些像素用于生成由4×4個像素構成的擴大區域406時,通過內插白色圓圈的像素的像素值獲取原來具有像素值的白色圓圈之間的像素(陰影圓圈)的像素值。
              通過使用白色圓圈的像素及其內插值進行外推獲取原來具有像素值的白色圓圈的外側的像素(黑色圓圈)的像素值。由于量化單元與量化單元具有的劃分模式無關地包括2×2個像素的區域,所以如果以這種方式進行擴大處理,則與劃分模式無關地在量化單元內完成擴大處理。于是,當差值圖像生成部分124如上所述擴大CbCr圖像或擴大YCbCr圖像時,也以這種方式進行擴大處理。要注意的是,對于外推值,取決于像素值的灰度級地設置下限值和上限值,以便將像素值調整成不超過灰度級范圍。由于參考圖像的解碼處理的細節與進行圖像顯示的裝置中的解碼處理的那些類似,所以下文對它們加以描述。
              差值圖像壓縮部分126壓縮以像上述那樣的方式生成的差值圖像(圖4中的S18)。這種處理基本上類似于例示在圖5中的參考圖像的壓縮處理。在下文中,把注意力放在與參考圖像的差值上地加以描述。首先,與圖5的步驟S30類似,沿著空間方向將差值圖像序列262劃分成與參考圖像的尺寸相同的尺寸,以形成處理單元的數據塊。這里,如圖6所例示,一個數據塊由 8×8個像素×4個幀構成。但是,與參考圖像不同,差值圖像仍然是256×256個像素的圖像,因此,沿著垂直和水平方向兩者將差值圖像劃分成32個部分。
              進一步,針對差值圖像,每個數據塊地進行是否認為像素值是0的判定,并將認為像素值是0的數據塊確定為NULL(空)塊。例如,對于構成數據塊的所有像素值,進行像素值的絕對值與事先確定的閾值之間的比較。如果所有像素值的絕對值都等于或低于閾值,則將該數據塊確定為NULL塊。
              在圖像顯示時的解碼中處理確定為NULL塊的數據塊,以便使所有像素值都是0。例如,事先生成所有像素值都是0的一個存儲單元,以及當生成最終壓縮數據時,將確定為NULL塊的所有數據塊和該存儲單元相互聯系。在也可以與其它塊類似地處理NULL塊的情況下,使圖像顯示時的解碼處理得到簡化并使處理效率得到提高。
              由于差值圖像是如上文所述代表壓縮參考圖像引起的誤差的圖像,所以像素值可能接近0的可能性很高。在像,例如,藍天或草坪那樣圖像頻率低的區域中,較不可能出現像上述那樣的誤差。如果通過上述的處理找出這樣的圖像性質,并將差值圖像的像素值處理成0,則可以提高圖像顯示時的處理效率以及可以提高數據壓縮率。
              然后,差值圖像壓縮部分126與圖5的步驟S32類似地確認每個數據塊沿著空間方向和時間方向是否存在冗余,并且當判定數據塊具有冗余時,沿著一個或多個方向壓縮數據。這種處理可能類似于對參考圖像的處理。差值圖像壓縮部分126然后與圖5的步驟S34類似地將YCbCr圖像分解成Y圖像和CbCr圖像。差值圖像壓縮部分126縮小CbCr圖像并利用劃分模式之一在時間-空間上劃分縮小的CbCr圖像,以形成由數量相等的像素構成的量化單元,然后量化該數據。
              此時的劃分處理可能類似于對參考圖像的處理。另一方面,由于差值圖像具有如上所述像素值的范圍比參考圖像更受限制的性質,所以將這種性質用于使信息由相互不同的調色板保存。具體地說,取代降低調色板保存的數值的灰度級,不是將兩個值而是將四個值保存成代表性值。尤其,雖然參考圖像的調色板每個元素由8個位×2個值=2個字節構成,但差值圖像的調色板同等地利用兩個字節表示4個位×4個值。索引保存為每個像素指定四個值之一的信息。這樣在圖像顯示時的解碼中就不用進行確定第一中間值和第二中間值的線性內插,提高了處理效率。進一步,消除了在最大值和最小值之間 將第一中間值和第二中間值選成2:1和1:2的內插值的限制。因此,可以更靈活地選擇第一中間值和第二中間值,并且可以預計畫面質量會有所提高。
              調色板要保存的四個值根據例示在圖8和9中的Y圖像和CbCr圖像的最小值、最大值、第一中間值和第二中間值來確定。尤其,如果每個元素可以用四個位的數據尺寸來表示四個值,則將四個值按原樣存儲到調色板中。另一方面,如果用四個位不能充分表示表示四個值所需的灰度級,則相繼地將所有數值乘以1/2、1/4和1/8,以確定可以用四個位表示的放大率,然后將四個值乘以確定的放大率并存儲到調色板中。要注意的是,由于CbCr圖像的調色板是由(Cb,Cr)的兩個元素構成的矢量值,所以用八個位表示四個值的每一個。
              在圖像顯示時,將四個位的數值轉換成并用作八個位的數值。此時,為了從調色板的數值中恢復最小值、最大值、第一中間值和第二中間值,需要為每個調色板指示要相乘的放大率。在要將以像上述那樣的方式乘以1、1/2、1/4或1/8獲得的數值存儲到調色板中的情況下,一倍、兩倍、四倍和八倍的四種選擇可用作恢復的放大率。因此,將代表標識四種選擇的標識號“0”到“3”的兩個位的信息嵌入壓縮數據中。圖18是例示通過調色板表示放大率的標識號的視圖。
              在圖18中,從圖18的這一側的最高地址開始依次將Y圖像的四個位的四個值“P0”、“P1”、“P2”和“P3”、或CbCr圖像的兩個元素的總共八個位的四個值“P0”、“P1”、“P2”和“P3”存儲到調色板中。此時,通過包括取決于前兩個值“P0”和“P1”之間的幅度關系的一個位和取決于后兩個值“P2”和“P3”之間的幅度關系的另一個位的總共兩個位表示標識號。事先設置這樣的規則,例如,如果P0>P1,則這代表1,而數值P0和P1之間的任何其它關系都代表0,以及如果P2>P3,則這代表1,而數值P2和P3之間的任何其它關系都代表0。
              要注意的是,在CbCr圖像的情況下,將通過位序列連接作為矢量值(Cb,Cr)的元素的Cb的四個位的值和Cr的四個位的值時的八個位的信息確定為“P0”、“P1”、“P2”和“P3”。于是,如果可以從(Cb,Cr)對中獲取八個位的值,則可以不將這些值存儲在八個位的相繼區域中。由于有關CbCr圖像的四個值用矢量值表示,所以如果對總共八個位的信息進行比較,則即使元素之一具有相等值,八個位的值也不會變成相等。
              對于每個調色板可以通過上述的總共兩個位的信息表示標識號“0”到“3”。調色板保存的四個值不影響解碼處理,因為最小值、最大值、第一中間值和第二中間值可以與存儲次序無關、取決于值之間的幅度關系地決定。在圖像顯示時的解碼中,首先指定標識號(S50),然后當將四個值P0、P1、P2和P3從四個位轉換成八個位時,將它們乘以通過標識信息表示的放大率,以確定P0′、P1′、P2′和P3′,以便恢復最小值、最大值、第一中間值和第二中間值(S52)。
              這樣,在差值圖像的Y圖像的調色板中,存儲四個位的四個值。在參考圖像的調色板中,通過八個位的兩個值的存儲次序和它們之間的幅度關系表示每一個代表壓縮模式和劃分模式的15個不同標識號“0”到“14”。圖19是例示通過差值圖像的Y圖像的調色板進一步表示15個不同標識號的方法的視圖。如上文參考圖18所述,將四個值“P0”、“P1”、“P2”和“P3”存儲到一個調色板408中。這里,通過由連接“P0”和“P1”的位序列形成的八個位的值(在圖19中表示成“P01”)和由連接“P2”和“P3”的位序列形成的八個位的值(在圖19中表示成“P23”)之間的幅度關系表示一個位的信息。
              事先設置這樣的規則,例如,如果P01>P23,則這代表1,而數值P01和P23之間的任何其它關系都代表0。其結果是,這種處理與參考圖像的情況相同,因為將調色板的高地址的八個位的值和低地址的八個位的數值相互比較,以判定這些數值之間的幅度關系。于是,與參考圖像的情況類似,可以用四個調色板表示代表壓縮模式和劃分模式的標識號。差值圖像壓縮部分126確定要存儲到Y圖像的調色板中的四個值的存儲次序,以便使這四個值表示代表將調色板的數值恢復成原始數值的放大率的標識號和代表壓縮模式和劃分模式的標識號兩者。
              現在,描述壓縮數據生成部分128生成最終壓縮數據的處理。圖20示意性地例示了在圖4的步驟S20中生成包括參考圖像的壓縮數據260和差值圖像的壓縮數據266的最終壓縮數據268的處理過程。如上文所述,參考圖像的壓縮數據和差值圖像的壓縮數據分別以數據塊為單位形成。
              尤其,在上文所述的例子的情況下,從通過將原始運動畫面的幀序列劃分成256×256個像素獲得的貼片圖像序列的四個幀中生成參考圖像的數據塊陣列410和差值圖像的數據塊陣列411。參考圖像的數據塊陣列410由16×16 個數據塊的壓縮數據構成,而差值圖像的數據塊陣列411由32×32個數據塊的壓縮數據構成。數據塊的壓縮數據的尺寸在長度上是可變的,對應于一個、兩個或四個存儲單元之一。要注意的是,在差值圖像中,取決于其值,將數據塊處理成NULL塊。
              每個存儲單元具有等于如上文所述的4×2個像素的RGBA圖像的數據的數據尺寸。壓縮數據生成部分128針對每個存儲單元沿著預定方向以數據塊陣列的預定次序連接數據塊的存儲單元的壓縮數據。然后,壓縮數據生成部分128加入將陣列上的數據塊的位置和存儲單元的存儲地點相互聯系的指針信息。在圖20中的壓縮數據42的例子中,參考圖像數據的指針信息414、差值圖像數據的指針信息416、參考圖像的壓縮數據418、差值圖像的NULL塊的壓縮數據420和差值圖像的壓縮數據422沿著柵格方向按這個次序并置。
              此外,在與存儲單元類似地垂直并置每一個四個字節的兩個數據的同時,水平地相繼解壓縮參考圖像數據的指針信息414和差值圖像數據的指針信息416。使這種情況下指針信息的存儲次序與陣列上的相應數據塊的次序相同,以便通過指針相互聯系陣列上的每個數據塊的位置和每個存儲單元的存儲位置。
              在以這種方式相繼生成壓縮數據的情況下,生成具有兩個像素的寬度的帶狀行沿著垂直方向相互連接的圖像平面。因此,壓縮數據412被理解成圖像平面,并且通過存儲單元與每個數據塊相對應的區域的左上角的坐標表示指針信息。例如,如果該坐標通過UV坐標表示以及U坐標和V坐標分別用一個字節表示,則一個存儲單元的指針變成總共兩個字節的信息。其結果是,在壓縮數據412是圖像平面的情況下,兩個數據塊的指針可以用一個像素來表示。
              即使原始運動畫面是8000×4000個像素等的高清晰度圖像,如果壓縮數據412本身被縮小成256×256個像素或更小,則指針信息可以用如上所述的分別一個字節的U坐標和V坐標來表示。在這種情況下,參考圖像數據的指針信息414變成代表16×16=256個數據塊的128個像素的區域,而差值圖像數據的指針信息416變成代表32×32=1024個數據塊的512個像素的區域。要注意的是,如果不能通過分別一個字節的U坐標和V坐標滿意地表示指針信息,則可以通過分別具有更大數據長度的U坐標和V坐標來表示,以便,例如,U坐標和V坐標分別用兩個字節來表示。可替代地,可以改變劃分的貼 片的尺寸,以便一個字節可以充分表示指針信息。
              例如,參考圖像數據的指針信息414的區域內通過某個像素424表示的兩個指針信息的每一個都指示包括在參考圖像的壓縮數據418中的某個存儲單元的區域的左上角的坐標。該存儲單元是構成與指針相對應的數據塊的存儲單元的頂部上的那些存儲單元。同時,在差值圖像數據的指針信息416內,通過某個像素426表示的兩個指針信息之一代表NULL塊的壓縮數據420,而兩個指針信息的另一個代表包括在差值圖像的壓縮數據422中的某個存儲單元的區域的左上角的坐標。此外,該存儲單元是構成與指針相對應的數據塊的存儲單元的頂部上的那些存儲單元。
              必要時每貼片圖像序列的四個幀一個地準備NULL塊的壓縮數據420,以便將其與多個數據塊相聯系。通過對所有貼片圖像序列每預定個幀(在上文所述的例子中,每四個幀)地生成這樣的壓縮數據,可以類似地壓縮整個原始運動畫面。將貼片圖像序列的壓縮數據按時間次序作為幀地存儲到壓縮數據存儲部分134中。進一步,事先進行原始運動畫面的幀中的貼片圖像的位置與每個貼片圖像序列的壓縮數據的聯系。例如,將代表位置的標識信息應用于貼片圖像序列的壓縮數據。這使得可以從運動畫面的整個壓縮數據中指定必要數據。
              現在,描述使用通過上文所述的方法壓縮的數據進行圖像顯示的技術。此外,本技術中進行圖像顯示的裝置可以通過與顯示在圖1中的圖像處理裝置10類似的配置來實現。在下文中,主要對控制部分100的配置加以描述。圖21具體描繪了本實施例中具有圖像顯示功能的控制部分100b的配置。包括控制部分100b的圖像處理裝置10基本上是使用以像上述那樣的方式壓縮的運動畫面數據的至少一部分進行圖像顯示的裝置。但是,對顯示運動畫面的目的或顯示模式沒有具體限制。
              例如,圖像處理裝置10可以顯示存儲在硬盤驅動器50等中的電影或撮取運動畫面、實時分發的運動畫面流、計算機圖形中的視頻紋理等的任何一種。可替代地,可以同時顯示多種運動畫面,或在顯示圖像的局部區域中可以只使用一種運動畫面。于是,在硬盤驅動器50中,不僅可以存儲像上述那樣的壓縮運動畫面,而且可以存儲像實現各種功能的程序和其它圖像數據那樣的各種數據。
              控制部分100b包括輸入信息獲取部分502、信息處理部分504、裝載部 分506和顯示圖像處理部分508。輸入信息獲取部分502從輸入裝置20獲取用戶輸入的信息。信息處理裝置504響應用戶的輸入等進行信息處理。裝載部分506裝載運動畫面的必要壓縮數據。顯示圖像處理部分508渲染圖像幀。
              輸入信息獲取部分502獲取圖像處理裝置10提供的功能的起點/終點、和用戶輸入到輸入裝置20中、該功能接受的各種類型的輸入信息。輸入信息獲取部分502將所獲信息通知信息處理部分504。圖像處理裝置10提供的功能可以是運動畫面顯示功能或游戲的各種功能的任何一種、通信等。于是,輸入信息獲取部分502獲取的輸入信息也取決于功能地多種多樣。
              在本實施例中,容易地實現了沿著空間方向和時間方向對運動畫面的隨機訪問。于是,用于接受牽涉到改變運動畫面的顯示區的操作——諸如用戶為了放大、縮小或滾動正在顯示的運動畫面而作的視點移動操作、或顯示映射視頻紋理的計算機圖形的游戲操作——的模式是特別有效的。
              信息處理部分504根據輸入信息獲取部分502獲取的輸入信息,依照信息處理裝置提供的功能進行信息處理。例如,當接受視點移動操作時,信息處理部分504根據視點移動操作的操作量,在每個時步之后確定顯示區的移動量,并依次計算下一次顯示區的坐標。在要進行游戲的情況下,信息處理部分504依照游戲的內容生成三維對象或依照游戲程序進級。由于可以應用常見技術進行處理,所以如下描述主要針對與顯示運動畫面有關的處理給出,而適當省略對其它處理的描述。
              在有必要顯示運動畫面或作為進行像上述那樣的信息處理的結果有必要改變運動畫面的顯示區的情況下,信息處理部分504計算顯示區的幀坐標。信息處理部分504然后將計算的幀坐標通知裝載部分506和顯示圖像處理部分508。在本實施例中,由于以貼片圖像為單位或以預定個幀為單位生成各種壓縮數據,所以也可以以此為單位進行從硬盤驅動器50到主存儲器60的裝載。
              因此,信息處理部分504測量從開始顯示運動畫面的時刻開始經過的時間,并與幀坐標的信息一起發出基于所經過時間的幀數的通知。因此,裝載部分506和顯示圖像處理部分508可以與相關貼片圖像直到那時是否已經是處理目標無關地指定裝載目標或解碼目標的壓縮數據。裝載部分506根據來自信息處理部分504的通知確認在主存儲器60中是否存儲著必要壓縮數據。
              這里的必要壓縮數據不僅包括下一次顯示所需的壓縮數據,而且包括為 以后需要估計的壓縮數據。以后的數據是代表在視角固定的情況下,相同顯示區和時間軸上以后的幀內圍繞相同顯示區預定范圍的區域的數據。另一方面,在作為移動視點等的結果使視角發生變化的情況下,上述以后的數據是代表從視角的變化中預測的移動目的地的顯示區和以后的幀內圍繞該顯示區預定范圍的區域的數據。如果在主存儲器60中未存儲著必要數據,則裝載部分506從硬盤驅動器50裝載壓縮數據并將壓縮數據存儲到主存儲器60中。
              顯示圖像處理部分508包括數據讀出部分510、解碼部分512和渲染部分514。數據讀出部分510根據從信息處理部分504接收的幀坐標,從壓縮數據的標識信息等中指定包括下一顯示區的數據的貼片圖像序列的壓縮數據。數據讀出部分510然后從主存儲器60中讀出指定的壓縮數據。解碼部分512根據幀坐標,從包括在讀出壓縮數據中的指針信息中指定渲染所需的數據塊的壓縮數據,并解碼指定的壓縮數據。
              盡管這種處理基本上是相反地遵循上文所述的壓縮處理的處理,但可以對代表顯示區的每個像素進行像素值的恢復。渲染部分514使用解碼的數據渲染顯示處理部分44的幀存儲器中的整個顯示圖像。這種處理可以是渲染由幀坐標所代表的區域構成的顯示圖像的處理,或可以是包括視頻紋理的映射處理的渲染處理。
              圖22是例示主要由解碼部分512執行的解碼處理的過程的流程圖。首先,解碼部分512參考包括在貼片圖像的讀出壓縮數據中的指針信息當中參考圖像數據的指針信息,以便指定包括渲染顯示區所需的參考圖像的數據的數據塊的壓縮數據(S60)。要注意的是,由于如上文所述以可變長度進行了壓縮,所以多個存儲單元可能是相關的。
              然后,解碼部分512從參考圖像的壓縮數據中讀出相關壓縮數據,并根據包括在存儲單元中的Y圖像的四個調色板的每一個所代表的兩個值的幅度關系,獲取代表壓縮模式和劃分模式的四個位的標識號(S62)。由于可以從標識號中確定構成顯示區的像素與包括在壓縮數據中的量化單元中的索引之間的對應關系,所以解碼部分512根據該對應關系指定保存必要數據的量化單元(S64)。
              然后,解碼部分512從通過線性內插調色板所代表的兩個值獲得的四個值中獲取索引所指的值,以確定每個像素的Y值、Cb值和Cr值。解碼部分512然后沿著垂直和水平方向將CbCr圖像擴大成兩倍以生成YCbCr圖像。 如果已經將壓縮模式之一用于進行壓縮,則解碼部分512沿著相反方向擴大YCbCr圖像或插入幀。幀的插入可以通過復制平均圖像來進行。然后,解碼部分512進一步沿著垂直和水平方向將YCbCr圖像擴大成兩倍,以生成原始貼片圖像尺寸的YCbCr圖像的參考圖像(S66)。此時的擴大處理通過內插和外推來進行,以便可以如上文所述以2×2個像素為單位完成處理。
              接著,解碼部分512對差值圖像進行類似處理,從差值圖像的壓縮數據中生成YCbCr圖像的差值圖像(步驟S68中的“否”,S60到S66)。但是,要注意的是,在步驟S62中,從分別連接Y圖像的四個調色板的每一個所代表的四個值的前一半的地址上的兩個值和后一半的地址上的兩個值獲得的數值的幅度關系中,獲取代表壓縮模式和劃分模式的標識信息。當在步驟S66中要確定每個像素的的Y值、Cb值和Cr值時,解碼部分512首先將調色板所代表的四個位的四個值轉換成八個位,并根據前一半地址的兩個值和后一半地址的兩個值的幅度關系的組合所代表的標識信息將八個位乘以一個放大率。然后,解碼部分512獲取每個像素的索引所指的數值,以確定Y值、Cb值和Cr值。
              如果該指針指示NULL塊的壓縮數據,則解碼部分512將相應區域中的所有像素設置成0。但是,要注意的是,由于通過使NULL塊的壓縮數據具有與其它數據塊的壓縮數據相同的結構,可以對其它壓縮數據類似地進行這種處理,所以不需要特殊處理。在成功生成分別代表顯示區的參考圖像和差值圖像的YCbCr圖像之后(S68中的“是”),解碼部分512為各自相應像素相加它們(S70),并將色空間轉換成RGB色空間,以生成顯示區的RGB圖像(S72)。
              由于在本實施例中生成的壓縮數據具有與各自數據塊相對應的數據的變長尺寸,所以需要為每個數據塊指示代表存儲單元的存儲區的指針。如上所述,對于256×256個像素的貼片圖像的四個幀,指針的數量是包括參考圖像的256個指針和差值圖像的1024個指針的總共1280個。如果一個指針用兩個字節的UV坐標表示,則指針所需的數據尺寸是(2個字節×1280)/(256×256個像素×4個幀)≈0.08個位每原始貼片圖像的一個像素,非常小。
              關于壓縮數據,四個幀的數據塊用一個、兩個或四個4×2個像素×4個字節=32個字節的存儲單元來表示。在以最高壓縮率壓縮壓縮數據的情況下,一個數據塊可以用參考圖像數據和差值圖像數據的NULL塊的壓縮數據的一 個存儲單元來表示。如果考慮到參考圖像是通過將原始圖像縮小到1/4獲得的,以及NULL塊的壓縮數據可以被其它共享,則數據尺寸是(32個字節×1×0.25+0個字節)/(8×8個像素×4個幀)=0.25個位每個像素。另一方面,在以最低壓縮率壓縮一個數據塊的情況下,一個數據塊用參考圖像數據和差值圖像數據兩者的四個存儲單元表示。于是,在這種情況下的數據尺寸是(32個字節×4×0.25+32個字節×4)/(8×8個像素×4個幀)=5個位每個像素。
              簡而言之,本實施例生成和解碼的壓縮數據具有近似0.33到5.08個位每個像素的尺寸。由于通過S3TC紋理壓縮的數據具有四個位/像素的數據尺寸,所以通過本實施例的運動畫面的壓縮數據具有等于或小于剛才所述的數據尺寸的尺寸。其結果是,可以以足夠低存儲成本顯示可以沿著空間方向和時間方向隨機訪問的運動畫面。
              要注意的是,本實施例中的壓縮數據的壓縮率隨與沿著時間-空間方向的冗余和出現量化誤差的可能性有關的實際圖像而變。另一方面,通過調整涉及起因于像剛才所述那樣的因素、是否可以沿著時間-空間方向進行壓縮或是否進行到NULL塊的轉換的判定的閾值,可以減緩起因于圖像的壓縮率的下降。通過響應裝置環境和顯示時的圖像自適應地改變閾值,可以在利用給定環境的同時以最高圖像質量顯示運動畫面。例如,可以事先準備將顯示裝置的資源量或通信環境與最佳閾值相互聯系的表格,以便使用符合實際顯示環境的閾值生成壓縮數據。
              盡管在上面的描述中確定為處理目標的運動畫面數據的數量在每個時刻是一個幀,但另一方面每個時刻的圖像可以由以不同分辨率表示的多個幀序列構成。如果依照來自用戶的視點移動請求改變要使用的幀序列,則可以在應用運動畫面的同時顯著擴大分辨率的變化范圍。此時,按分辨率次序將不同分辨率的多個幀序列分層以建立分層結構。下文將具有像剛才所述那樣的分層結構的運動畫面數據稱為“分層數據”。
              圖23概念性地例示了用分層數據表示運動畫面的數據結構。在圖23中該分層數據具有沿著從頂部到底部的z方向由第0層30、第1層32、第2層34和第3層36構成的分層結構。要注意的是,盡管在圖23中只描繪了四個層,但層數不局限于此。如上文所述,每個層由按時間次序排列通過不同分辨率表示一個運動畫面的幀的幀序列構成。在圖23中,每個層象征性地用四個幀來表示。但是,該幀數當然隨運動畫面的再生時間或幀速率而不同。
              該分層數據具有,例如,四叉樹的分層結構,假設第0層30包括一個貼片圖像;第1層32包括2×2個貼片圖像;第2層34包括4×4個貼片圖像;以及第3層36包括8×8個貼片圖像。此時,第N層(N是等于或大于0的整數)的分辨率在圖像平面上沿著向左和向右(x軸)方向和向上和向下(y軸)方向兩者是第(N+1)層的分辨率的1/2。該分層數據可以通過根據具有最高分辨率的第3層36的運動畫面將每個幀折算成多個階層或通過類似處理生成。
              如圖23所描繪,運動畫面顯示時的視點坐標和相應顯示區可以通過虛擬三維空間來表示,該虛擬三維空間由代表圖像的向左和向右方向的x軸、代表向上和向下方向的y軸和代表分辨率的z軸構成。要注意的是,由于每個層由分別代表運動畫面的幀序列構成,所以實際顯示的圖像也依賴于開始顯示之后的時間,在圖23中,為每個層表示了時間軸t。
              基本上,圖像處理裝置10以預定幀速率沿著時間軸t依次渲染一個層的幀序列。例如,將第0層30的分辨率的運動畫面顯示在參考圖像。如果在顯示的過程中,從輸入裝置20供應顯示區移動請求信號,則圖像處理裝置10從該信號中導出顯示圖像的改變量,并使用該改變量導出虛擬空間中下一個幀的四個角的坐標(幀坐標)。圖像處理裝置10然后渲染與該幀坐標相對應的圖像幀。據此,為z軸提供分層的切換邊界,以便響應幀坐標的z值適當切換要用于幀渲染的運動畫面數據的分層。
              例如,當顯示圖像所需的分辨率在第1層32與第2層34之間的切換邊界與第2層34與第3層36之間的切換邊界之間,則利用第2層34的圖像數據渲染顯示區。在第1層32與第2層34之間的切換邊界與第2層34之間的分辨率上,以縮小尺度顯示第2層34的圖像幀。在第2層34與第3層36之間的切換邊界與第2層34之間的分辨率上,以擴大尺度顯示第2層34的圖像幀。
              與上文所述類似,以貼片圖像序列為單位將分層數據壓縮成壓縮數據。要注意的是,在這種情況下,不僅將貼片圖像序列的壓縮數據與圖像平面上的位置相聯系,而且與沿著分辨率方向的位置相聯系。
              當像上述那樣的分層數據用于接受包括擴大或縮小的對正在顯示的運動畫面的顯示區的移動請求時,如果應用本實施例的數據壓縮技術,則可以只裝載必要貼片圖像的壓縮數據,并且可以只解碼必要區域。因此,與裝載或 解碼整個圖像的可替代情況相比,在裝載處理和解碼處理的成本、傳送成本和存儲成本方面減少了浪費。例如,當將第3層36的數據用于進行圖像顯示時,由于只使用數據的一小部分給出顯示區,所以成本節省效果特別好。其結果是,通常可以不依賴于顯示的分辨率地以相等成本使處理繼續下去,并且可以實現流暢的運動畫面顯示。
              進一步,當在使用分層數據顯示運動畫面期間,要依照視點移動請求切換分層時,需要針對直到那時還不是解碼目標的切換之后的分層馬上獲取下一個時刻的數據。由于本實施例中的壓縮數據對于像每四個幀那樣的每預定個幀是相互獨立的,所以它們在沿著時間方向的可隨機訪問性方面也是出眾的,這樣的分層切換可以無縫地進行。
              按照上述的本實施例,為預定個幀收集將構成運動畫面的幀劃分成預定尺寸形成的貼片圖像,以形成貼片圖像序列。進一步,以通過空間劃分貼片圖像序列獲得的數據塊為單位生成壓縮數據。這使得可以在裝載處理和圖像顯示時的解碼處理中,沿著空間方向和時間方向兩者隨機訪問壓縮數據。其結果是,降低了裝載處理和解碼處理的成本,此外,由于省去了將圖像部署在存儲器中,所以也降低了存儲成本。
              在傳統運動畫面壓縮技術中,當顯示將運動畫面映射成視頻紋理的圖像時,即使紋理區非常小或由于用戶的操作或游戲的進行位移到視角之外,為了準備下一次顯示,也需要繼續解碼不顯示的運動畫面。在本實施例中,由于可以只處理與實際顯示相對應的數據,所以可以顯著提高處理效率。于是,在希望將運動畫面合成成像體育館的廣告牌、顯示、天空或遠處的風景那樣游戲或視頻的背景的情況下,本實施例特別有效。
              進一步,不僅可以將運動畫面而且可以將像其間存在冗余那樣的圖像序列用作壓縮目標。例如,在使用攝像機陣列攝取的數據(光場數據)中,可以預計在攝像機的相鄰幾個的攝取圖像之間存在冗余。因此,可以預料能夠有效壓縮將多個攝取圖像布置在時間軸上的運動畫面。進一步,本實施例也可應用于響應觀看圖像的角度改變要顯示的紋理圖像的技術(視點相關統計量)。換句話說,將可能顯示的圖像壓縮成布置在時間軸上的運動畫面,并在渲染時,隨機訪問和顯示任意一個圖像。
              進一步,對于縮小貼片圖像序列獲得的參考圖像和代表通過解碼參考圖像的壓縮數據獲得的圖像與原始貼片圖像之間的差值的差值圖像,分開壓縮 每個貼片圖像序列。在縮小尺寸或減少幀數,沿著空間方向和時間方向確認其冗余之后,將每個圖像劃分成量化單元,然后通過用調色板和索引表示每個像素值加以量化。
              盡管調色板和索引的概念由S3TC的壓縮方法引入,但在本實施例中,調色板的兩個值保存亮度Y、色差Cb和色差Cr的任何一個的八個位,因此,畫面質量較不容易變差。進一步,由于對Y圖像序列和CbCr圖像序列分開進行量化,所以與量化RGB的三維參數的那些相比,參數的維數少,量化誤差量也小。進一步,通過在形成編碼單元時改變空間劃分數和時間劃分數的組合,所以可以靈活地提供適合沿著空間方向的冗余和沿著時間方向的冗余的數據結構。
              進一步,由于差值圖像的像素值的范圍是有限的,所以如果可以認為像素值是0,則將數據塊處理成NULL塊,以便壓縮數據由多個數據塊共享。進一步,與使用沿著空間方向和時間方向的冗余的壓縮和形成量化單元的劃分模式有關的信息通過Y圖像的調色板保存的數值的幅度的比較來表示。據此,在響應實際圖像保持畫面質量的同時,可以盡可能大的提高壓縮率。進一步,在圖像顯示時,可以與一般紋理映射的處理類似地進行渲染處理,因此,可以預計高吞吐量。其結果是,可以在抑制算術運算成本和存儲成本的同時顯示高清晰度運動畫面。
              上面結合其實施例對本發明作了描述,上述的實施例是示范性的,本領域的普通技術人員可以識別到,可以對該實施例的部件和處理過程的組合作出各種修改,并且這樣的修改仍然在本發明的范圍之內。
              例如,在本實施例中,生成和壓縮用預定放大率縮小原始圖像獲得的參考圖像,然后使其包括在最終壓縮數據中。通過按原樣使用參考圖像,可以進行兩個級別小型映射(mipmap)圖像的渲染。進一步,通過提高參考圖像的縮小率可以進一步提高壓縮率。此時,可以利用一個參考圖像構成三個或更多級別的小型映射圖像以便,例如,第一級的小型映射圖像由參考圖像構成,第二級的小型映射圖像通過擴大第一級的小型映射圖像,并將擴大的小型映射圖像加入差值圖像中構成,第三級的小型映射圖像通過進一步擴大第一級的參考圖像,并將進一步擴大的參考圖像加入差值圖像中構成,依此類推。
              在這種情況下,可以形成壓縮單元,以便可以像第一級的參考圖像、第 二級的差值圖像和第三級的差值圖像那樣,相互獨立地管理參考圖像和差值圖像。進一步,可以間接利用第一級的參考圖像,以便將第二級的圖像用作第三級的參考圖像。由此,可以在可隨機訪問狀態下以及不增大數據尺寸地實現引入小型映像的圖像渲染技術。
              標號列表
              10 圖像處理裝置;12 顯示裝置;20 輸入裝置;44 顯示處理部分;50 硬盤驅動器;60 主存儲器;100 控制部分;120 貼片圖像序列生成部分;122 參考圖像壓縮部分;124 差值圖像生成部分;126 差值圖像壓縮部分;128 壓縮數據生成部分;130 運動畫面數據存儲部分;132 劃分模式存儲部分;134 壓縮數據存儲部分;502 輸入信息獲取部分;504 信息處理部分;506 裝載部分;508 顯示圖像處理部分;510 數據讀出部分;512 解碼部分;514 渲染部分
              工業可應用性
              如上所述,本發明可以用于像計算機、圖像處理裝置、圖像顯示裝置和游戲機那樣的信息處理裝置。

              關 鍵 詞:
              運動 圖像 壓縮 裝置 處理 方法 以及 壓縮文件 數據結構
                專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
              0條評論

              還可以輸入200字符

              暫無評論,趕快搶占沙發吧。

              關于本文
              本文標題:運動圖像壓縮裝置、圖像處理裝置、運動圖像壓縮方法、圖像處理方法、以及運動圖像壓縮文件的數據結構.pdf
              鏈接地址:http://www.039244.fun/p-669934.html
              關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

              [email protected] 2017-2018 zhuanlichaxun.net網站版權所有
              經營許可證編號:粵ICP備17046363號-1 
               


              收起
              展開
              大连码头渔歌酒楼

                  <progress id="rrzp7"></progress>
                    <big id="rrzp7"><meter id="rrzp7"></meter></big>
                      <progress id="rrzp7"><menuitem id="rrzp7"></menuitem></progress>

                        <big id="rrzp7"><menuitem id="rrzp7"></menuitem></big>

                        <progress id="rrzp7"></progress>

                              <progress id="rrzp7"></progress>
                                <big id="rrzp7"><meter id="rrzp7"></meter></big>
                                  <progress id="rrzp7"><menuitem id="rrzp7"></menuitem></progress>

                                    <big id="rrzp7"><menuitem id="rrzp7"></menuitem></big>

                                    <progress id="rrzp7"></progress>