Real-Time Image and Video Processing:From Research to to Reality

awpking2

< Contents >
1. Real-Time Image and Video Processing Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
  1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
  1.2 Parallelism in Image/Video Processing Operations . . . . . . . . . . . . . . . . . . . . . . . . . . .1
      1.2.1 Low-Level Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
      1.2.2 Intermediate-Level Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
      1.2.3 High-Level Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
      1.2.4 Matrix–Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
  1.3 Diversity of Operations in Image/Video Processing . . . . . . . . . . . . . . . . . . . . . . . . . . 5
  1.4 Definition of “Real-Time” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
      1.4.1 Real-time in Perceptual Sense . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
      1.4.2 Real-time in Software Engineering Sense . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
      1.4.3 Real-time in Signal Processing Sense . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
      1.4.4 Misinterpretation of Concept of Real-time . . . . . . . . . . . . . . . . . . . . . . . . . . 8
      1.4.5 Challenges in Real-time Image/Video Processing . . . . . . . . . . . . . . . . . . . . 9
  1.5 Historical Perspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9
      1.5.1 History of Image/Video Processing Hardware Platforms . . . . . . . . . . . . . .9
      1.5.2 Growth in Applications of Real-time Image/Video Processing . . . . . . . 11
   1.6 Trade-Off Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
   1.7 Chapter Breakdown . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2. Algorithm Simplification Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
  2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
  2.2 Core Simplification Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
      2.2.1 Reduction in Number of Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16
      2.2.2 Reduction in Amount of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
      2.2.3 Simplified Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19
  2.3 Examples of Simplifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
      2.3.1 Reduction in Number of Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20
      2.3.2 Reduction of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
      2.3.3 Simple Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
  2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31
3. Hardware Platforms for Real-Time Image and Video Processing . . . . . . . . . . . . . . . . 33
  3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
  3.2 Essential Hardware Architecture features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
  3.3 Overview of Currently Available processors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
      3.3.1 Digital Signal Processors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
      3.3.2 Field Programmable Gate Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
      3.3.3 Multicore Embedded System-on-Chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
      3.3.4 General-Purpose Processors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
      3.3.5 Graphics Processing Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
  3.4 Example Systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41
      3.4.1 dsp-Based Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
      3.4.2 FPGA-Based Systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43
      3.4.3 Hybrid Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
      3.4.4 GPU-Based Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
      3.4.5 PC-Based Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52
   3.5 Revolutionary Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53
   3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54
4. Software Methods for Real-Time Image and Video Processing . . . . . . . . . . . . . . . . . . 55
   4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
   4.2 Elements of Software Platform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
       4.2.1 Programming Languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
       4.2.2 Software Architecture Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
       4.2.3 Real-time Operating System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60
  4.3 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
       4.3.1 Memory Performance Gap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
       4.3.2 Memory Hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
       4.3.3 Organization of Image Data in Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
       4.3.4 Spatial Locality and Cache Hits/Misses . . . . . . . . . . . . . . . . . . . . . . . . . . . .63
       4.3.5 Memory Optimization Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63
  4.4 Software Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
       4.4.1 Profiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
       4.4.2 Compiler Optimization Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
       4.4.3 Fixed-Point Versus Floating-Point Computations and Numerical Issues  . . . . . . . . .67
       4.4.4 Optimized Software Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
       4.4.5 Precompute Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
       4.4.6 Subroutines Versus In-Line Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
       4.4.7 Branch Predication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70
       4.4.8 Loop Transformations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70
       4.4.9 Packed Data Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
   4.5 Examples of Software Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71
       4.5.1 Software Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
       4.5.2 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
       4.5.3 Software Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
   4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .78
5. The Road Map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
   5.1 Recommended Road Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
   5.2 Epilog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
About the Authors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97


个人感受： 数字视频广播从技术上可划分为2部分：前面是数字通信接收部分，后面是音视频处理部分。该书对音视频处理算法的各种实现方式都有简要介绍，虽然不是非常充分，但不失为一本入门的好材料。

weixbox

good book

ql_smbj

好东西 楼主细心 。。。

plmhinc8010

good!

tao_627

多谢楼主分享，经典资料呀。

shiy-2008

hao ,ding!!!!!

crm8848a

软件名称: 豪创电话销售管理系统
软件类别：电话销售管理软件/CRM/电话营销软件
软件类别：国产软件
软件语言：简体中文
应用平台：Win2003, WinXp, Win2000
官方网站：http://www.crm8848.com
免费下载: http://www.crm8848.com/downloadcenter_ask.asp
软件简介：
    一套完全构建于电话销售实战经验基础上的电话销售管理系统。
以一条流程化、专注于细节管理和务实的销售漏斗平台为核
心,充分发挥销售漏斗模式融合销售话术支持，明确销售目标，
激发销售人员去创造更多的业绩！

主要功能模块：
销售主线 + 销售话术 + 销售文档 + 售后管理 + 综合报表
团队管理 + 电话录音 + 来电弹屏 + 自动拨号 + 短信发送

软件分单机版和团队网络版，支持多用户集中管理，支持Access，SQL Server数据库

电话销售-电话营销软件-销售管理软件-CRM-豪创电话销售管理系统
www.crm8848.com

lianghu

终于找到了，好书

fingjjjjjj

xia look ok

fingjjjjjj

xia look ok