低解像度の映像や静止画像を高画質化する技術の開発について

〜ワンセグ放送の字幕などをくっきり、鮮明に〜

ＮＥＣエレクトロニクスはこのたび、ＮＥＣの中央研究所と共同で、低解像度の映像・静止画像を拡大して大画面のパネルへ表示する際、一般的に生じる画像のボケや粗さを改善する技術を開発いたしました。
今回開発された新技術は、１枚の画像データの情報を解析・処理することにより画像のボケや粗さを改善し、高画質化を実現する「１枚超解像技術」で、画像データを拡大処理する際に人物や物体の輪郭部分となる画素の表現調整を行うことにより、画質の補正や色再現性を高め、画像を鮮明に表示するアルゴリズムです。
このアルゴリズムを応用することで、映像データの解像度がＱＶＧＡ（３２０×２４０ドット）となるワンセグ地上デジタル放送を、５倍の解像度となるＷＶＧＡ（８００×４８０ドット）対応の携帯電話やカーナビゲーション（以下、カーナビ）で鮮明に表示したり、通常のテレビ放送やＤＶＤに保存したＶＧＡ（７２０×４８０ドット）の映像データを６倍の解像度となるフルハイビジョンテレビ（１９２０×１０８０ドット）で鮮明に表示したりすることができるようになります。

当社は、新技術のＩＰコアを搭載したＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け半導体製品）製品の受注を、今年度上期より開始し、２０１０年度に１００億円の受注を目指してまいります。早ければ来年夏を目処に１枚超解像技術を搭載したＡＳＩＣの出荷が可能となります。
新技術を適用したＩＰコアは、１枚の画像のみで画質の改善が可能なためデータ容量が少なく、処理に必要なメモリの外付けが不要かつリアルタイムで処理することが可能、またソフトウェアが不要であるとともにデータを出力するインタフェースには幅広く普及しているビデオインタフェースが採用されているため、既存システムへの組込みが容易、といった特長を有しております。
そのため、このＩＰコアを採用することによりユーザーは、低解像度の映像・静止画像を拡大して大画面のパネルへ表示する携帯電話、カーナビなどのワンセグ放送受信機器やフルハイビジョンテレビなどを短期間かつ低コストで容易に構築できるようになります。

映像・静止画像のデータを取り込むデジタルカメラや携帯電話、取り込んだデータを保存するパソコンやＤＶＤレコーダー、映像・静止画像を大型パネルに表示するテレビやパソコンなどのデジタル家電やパソコン機器の分野では、システムに映像や静止画像を処理する多くの機能がとりこまれる一方で、高画質な画像やフルハイビジョン映像表示など、高い性能を実現した新製品が次々と市場へ投入されており、現在では画像処理を行う製品は人々の生活に不可欠なものとなってまいりました。
このような中、２００６年４月、新たな試みとして地上デジタル放送のワンセグサービスが開始され、地上デジタル放送を携帯電話やカーナビ、携帯ゲーム機、携帯音楽プレーヤーなどといった機器でテレビ放送を受信できるようになり、映像や静止画像はより一層生活に密着したものとなってきております。ワンセグ放送は、ＱＶＧＡサイズの低解像度の映像が放送局から送信される仕組みですが、受信機器側の表示性能はＷＶＧＡサイズまで向上し、現在では送信側と受信側の解像度の差が受信機器により５倍程度まで広がってしまっています。また、一般家庭においては、昔のカメラやビデオで撮影した映像資産を最新型であるフルハイビジョンテレビで表示する場合、その解像度の差は６倍程度となっております。
低解像度の映像・静止画像を拡大して大画面のパネルへ表示する際は一般に、周囲４近傍の画素を採取・計算し、拡大時に不足する画素を補間するバイリニアや周囲１６近傍の画素を採取・計算し、３次関数を用いて拡大時に不足する画素を補間するバイキュービックなどの手法により画像の拡大処理を行いますが、これらの処理方法では、画像にボケが発生したり、人物や物体の輪郭部分が粗くなったりすることにより、拡大された画像が不鮮明になるという課題を抱えております。
一方、映像・静止画像を高画質化する技術には、連続する複数の画像情報を解析し、被写体の共通箇所を補正して高周波成分を復元していくことにより、鮮明な画像を実現する方法があります。しかしながら、この手法では、解析に使用されるデータ量が膨大なものとなってしまい、大容量の外付けメモリが必要であるため部品コストが増大、リアルタイム処理が困難、などの問題があり、民生機器への適用は不向きとされておりました。
そこで当社は、短期間かつ低コスト、容易にシステムに組込める画質改善技術の開発を目的として、１枚の画像、すなわち少ないデータ解析でも鮮明な画像を実現できるアルゴリズムを開発し、ＡＳＩＣに搭載して提供を開始することにいたしました。

今回の技術によって、ワンセグの受信画像の改善、過去の映像資産の表示の改善が図れますが、これらのほかにも、例えばデジタルカメラなどで解像度を落として撮影した写真や映像を、高画質な画像として再生できるようになります。例えば、１ギガバイトのメモリで解像度が４メガバイトの標準画質モードの場合に約３４分、同８メガバイトの高画質モードの場合約１７分長い撮影が可能になるなど、結果的に撮影できる写真の枚数や録画の時間を増やすことが可能になります。また、スキャナーへの応用においては、低解像度のセンサーでスキャンしても高画質の画像が実現でき、スキャン時間の短縮およびシステムコスト削減を図ることができます。

当社は、半導体専業メーカーとして、デジタル家電向け半導体をコア事業のひとつとして積極的な事業展開を図っておりますが、なかでも画像処理に関わる分野における製品開発、技術開発は最も注力している分野のひとつであります。今後は研究・開発を継続的に推進し、製品を市場投入することで業界をリードしていきたいと考えております。

なお、当社では本年５月１４日から１６日まで、東京ビッグサイトで開催される「第１１回組込みシステム開発技術展（Embedded System EXPO ＆ Conference：ＥＳＥＣ）」にて、新技術の展示、実演を行います。

関連リンク

• 製品情報：セルベースIC
  • 超解像技術のご紹介