本ウェブサイトでは、JavaScriptおよびスタイルシートを使用しております。
お客さまがご使用のブラウザではスタイルが未適応のため、本来とは異なった表示になっておりますが、
情報は問題なくご利用いただけます。
Volume 86 (2008/08/20)
ボケた画像を綺麗に見せる！1枚超解像技術が実現する世界
ワンセグ地上デジタル放送やデジタルカメラなどの普及によって、映像や静止画がより生活に密着したものになるとともに、高画質化のニーズが高まっています。NECエレクトロニクスでは、NEC中央研究所と共同で、低解像度の映像・静止画を拡大して表示する際に、ボケや粗さを改善する「1枚超解像技術」を開発しました。今回、超解像技術のヒミツに迫りました。
綺麗に見たい！を実現する技術が誕生
「ワンセグを綺麗に見たい」、「デジタルカメラを綺麗に見たい」、「昔撮ったビデオを綺麗に見たい」。あらゆる機器のデジタル化が進む中でユーザのニーズはさらに高まっています。そんな矢先、このニーズに答える技術がNECエレクトロニクスで誕生したとのニュースが飛び込んできました。ユーザ代表として、どのような技術でどのくらい綺麗になるのか。早速、開発者に話を聞きました。
綺麗な画像を安く、手軽に実現できる
チームマネージャー 松浦佳弘
ずばり、その技術とはNECエレクトロニクスがNEC中央研究所と共同で開発した「1枚超解像技術」です。これは、1枚の画像データの情報を解析・処理することにより画像のボケやエッジの粗さを改善し、画像を拡大する際に人物や物体の輪郭部分となる画素の表現調整を行うことにより、画質の補正や色再現性を高め、画像を鮮明にする技術です。簡単にいうと「ボケている画像を改善する技術」なのです。「画質にはとことんこだわりました」とマーケティング担当の松浦チームマネージャーが語るとおり、実際、この技術を使う前の画像と使ったあとの画像を見比べてみると、ぼやけた画像だったビー玉の透明感や後ろのアルファベットが確かにくっきり、綺麗に見えました。そのほかカラー、モノクロの画像を見ましたが被写体の輪郭や細部が鮮明になっていました。
この技術を導入することで、ワンセグの場合、解像度がQVGA（320×240ピクセル）の映像データを、5倍の解像度となるWVGA（800×480ピクセル）対応の携帯電話やカーナビゲーションの画面でも、拡大によって生じるボケ感を改善できます。ワンセグ以外にも、通常のテレビ放送やDVDに保存したVGA（640×480ピクセル）の映像データも、6倍の解像度となるフルハイビジョンテレビ（1920×1080ピクセル）の画面でより鮮明に表示することが可能です。しかし解像度を高めるわけではなく、"解像感"ともいうべきものを高めるものなので、つぶれた画像は再現できないとのことです。
「綺麗な画像を安く、手軽に実現できます」と松浦チームマネージャー。これがこの技術のコンセプトです。画質改善の手法としては、連続する複数フレーム間のデータを演算し、改善を行うアルゴリズムがすでに完成していますが、処理が非常に重く、大量のメモリリソースが必要なためリアルタイム処理が可能なハードウエア化は困難でした。今回開発した技術の最大の特徴は、1枚の画像データのみで超解像処理をリアルタイムで行うことが可能なことです。大容量の外付けメモリが不要なため、コスト削減が実現できます。また、お客様のシステム構成を変えることなく容易に接続することができます。この低コスト化と接続容易性が、既存の組み込み系システムに対しても手軽に実現ができる最大のポイントとなります。
複数枚技術をいかに1枚にするかが最大の課題だった
1枚超解像技術の開発が始まったのは、2007年になります。日本では、携帯電話を中心にワンセグが普及する中、先ほど説明したとおり、画像のソースと表示画面の解像度ギャップにより、どうしても画像が粗くなってしまう問題が出てきました。また海外では、携帯電話からのメールやゲームをＴＶやLCDモニタにつないで見ることが多く、拡大すると画像が粗いのも問題となってきました。これにどう対応するかが開発のきっかけでした。
通常、画像の拡大表示をするには、拡大時に不足する画素を補間するバイリニアやバイキュービックといった技術を使います。拡大画像に対する先鋭化処理は、一般的にシャープネス処理で行われますが、通常のシャープネスではノイズも強調され、疑似輪郭も発生しやすくなります。NECエレクトロニクスでは3年前からNEC中央研究所と連携して連続する複数の画像情報を解析し、複数フレーム間で画像の補正・復元することによって解像度を上げる「複数枚超解像技術」を開発してきました。しかし、この方法では解析するデータ量が膨大になるため、大容量のメモリなど外付け部品が必要です。実装面積やコスト、消費電流が増大するだけでなく、リアルタイムな処理が難しくなるなど携帯電話をはじめとしたコンシューマ機器に組み込むには多くの課題がありました（図1）。そこで、少ないデータ解析でも鮮明な画像を実現できるよう複数枚ではなく、1枚の画像データだけで処理する方法はないかと検討を始めました。
シニアデザインエンジニア 簗瀬亮二
チームマネージャー 高梨剛
「2007年の9月に本格的に開発がスタートしましたが、試行錯誤の連続でした」とコア開発・評価ボード開発を担当した簗瀬シニアデザインエンジニアが話すように、NEC中央研究所で新しく開発したアルゴリズムをベースに、画像拡大時に生じるボケをいかに改善し解像感が得られる画像にするか、画質のこだわりをもって評価・試験をひたすら繰り返しました。が、当初は思うような解像感が得られなかったようです。「ハード量が大きくならないようにビット幅を削りつつ画質を落とさないことが一番難しかったですね」（設計担当の高梨チームマネージャー）。改善に改善を重ね、開発が完了したのは期限の2日前。「皆に心配をかけるつもりはなかったのですが、細部の調整にこだわっていたのです。本当にギリギリの状態でした。でも画質に自信はありました」（高梨）。結果として、「お客様の反応は良く、高い評価をいただきました」。この技術は画像の出力側、受け手側のどちらに組み込んでもかまわないので、その点も大きな特徴の1つといえます。「他社ではこのようなコンセプトで開発しているところはないはずです」（簗瀬）。
まずは目標達成した。
今後も改善を進め、さらに良いものに。
「この技術に関しては、まず目標は達成できたと思っています。自信を持ってやり遂げたという実感があります」（高梨）。「チームの結束力の証だと思います。ただし、改善点はまだまだたくさんあります。今、第一歩を踏み出したところ」（簗瀬）と、今後の取り組みにも意欲を燃やしています。
このようにして開発された「1枚超解像技術」。2008年の5月に東京ビックサイトで開催された「第11回組込みシステム開発新技術展」に出展し、大きな注目を集めました。NECエレクトロニクスでは、まずこの技術をセルベースICなどASICに搭載して提供する予定とのこと。近い将来、あらゆる機器でキレイな映像が見られるようになるでしょう。そのとき、NECエレクトロニクスの「1枚超解像技術」が活躍しているのかもしれません。
皆様の声をお聞かせください！
皆様からご意見、ご要望を頂戴して、今後の製品開発に反映させていきたいと考えております。
アンケートへのご協力をお願いします。
261KB)