|
|
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？注册
x
A Handbook of Time-Series Analysis, Signal Processing and Dynamics
D.S.G. POLLOCK
ACADEMIC PRESS, 1999
Contents
Preface xxv
Introduction 1
1 The Methods of Time-Series Analysis 3
The Frequency Domain and the Time Domain . . . . . . . . . . . . . . . 3
Harmonic Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Autoregressive and Moving-Average Models . . . . . . . . . . . . . . . . . 7
Generalised Harmonic Analysis . . . . . . . . . . . . . . . . . . . . . . . . 10
Smoothing the Periodogram . . . . . . . . . . . . . . . . . . . . . . . . . . 12
The Equivalence of the Two Domains . . . . . . . . . . . . . . . . . . . . 12
The Maturing of Time-Series Analysis . . . . . . . . . . . . . . . . . . . . 14
Mathematical Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Polynomial Methods 21
2 Elements of Polynomial Algebra 23
Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Linear Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Circular Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Time-Series Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
The Lag Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Algebraic Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Periodic Polynomials and Circular Convolution . . . . . . . . . . . . . . . 35
Polynomial Factorisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Complex Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The Roots of Unity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
The Polynomial of Degree n . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Matrices and Polynomial Algebra . . . . . . . . . . . . . . . . . . . . . . . 45
Lower-Triangular Toeplitz Matrices . . . . . . . . . . . . . . . . . . . . . . 46
Circulant Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
The Factorisation of Circulant Matrices . . . . . . . . . . . . . . . . . . . 50
3 Rational Functions and Complex Analysis 55
Rational Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Euclid’s Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Partial Fractions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
The Expansion of a Rational Function . . . . . . . . . . . . . . . . . . . . 62
Recurrence Relationships . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Laurent Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Analytic Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Complex Line Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
The Cauchy Integral Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 74
Multiply Connected Domains . . . . . . . . . . . . . . . . . . . . . . . . . 76
Integrals and Derivatives of Analytic Functions . . . . . . . . . . . . . . . 77
Series Expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Residues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
The Autocovariance Generating Function . . . . . . . . . . . . . . . . . . 84
The Argument Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4 Polynomial Computations 89
Polynomials and their Derivatives . . . . . . . . . . . . . . . . . . . . . . . 90
The Division Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Roots of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Real Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Complex Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
M¨uller’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Polynomial Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Lagrangean Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Divided Differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5 Difference Equations and Differential Equations 121
Linear Difference Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Solution of the Homogeneous Difference Equation . . . . . . . . . . . . . . 123
Complex Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Particular Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Solutions of Difference Equations with Initial Conditions . . . . . . . . . . 129
Alternative Forms for the Difference Equation . . . . . . . . . . . . . . . . 133
Linear Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . 135
Solution of the Homogeneous Differential Equation . . . . . . . . . . . . . 136
Differential Equation with Complex Roots . . . . . . . . . . . . . . . . . . 137
Particular Solutions for Differential Equations . . . . . . . . . . . . . . . . 139
Solutions of Differential Equations with Initial Conditions . . . . . . . . . 144
Difference and Differential Equations Compared . . . . . . . . . . . . . . 147
Conditions for the Stability of Differential Equations . . . . . . . . . . . . 148
Conditions for the Stability of Difference Equations . . . . . . . . . . . . . 151
6 Vector Difference Equations and State-Space Models 161
The State-Space Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Conversions of Difference Equations to State-Space Form . . . . . . . . . 163
Controllable Canonical State-Space Representations . . . . . . . . . . . . 165
Observable Canonical Forms . . . . . . . . . . . . . . . . . . . . . . . . . 168
Reduction of State-Space Equations to a Transfer Function . . . . . . . . 170
Controllability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Observability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
Least-Squares Methods 179
7 Matrix Computations 181
Solving Linear Equations by Gaussian Elimination . . . . . . . . . . . . . 182
Inverting Matrices by Gaussian Elimination . . . . . . . . . . . . . . . . . 188
The Direct Factorisation of a Nonsingular Matrix . . . . . . . . . . . . . . 189
The Cholesky Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . 191
Householder Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 195
The Q–R Decomposition of a Matrix of Full Column Rank . . . . . . . . 196
8 Classical Regression Analysis 201
The Linear Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . 201
The Decomposition of the Sum of Squares . . . . . . . . . . . . . . . . . . 202
Some Statistical Properties of the Estimator . . . . . . . . . . . . . . . . . 204
Estimating the Variance of the Disturbance . . . . . . . . . . . . . . . . . 205
The Partitioned Regression Model . . . . . . . . . . . . . . . . . . . . . . 206
Some Matrix Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
Computing a Regression via Gaussian Elimination . . . . . . . . . . . . . 208
Calculating the Corrected Sum of Squares . . . . . . . . . . . . . . . . . . 211
Computing the Regression Parameters via the Q–R Decomposition . . . . 215
The Normal Distribution and the Sampling Distributions . . . . . . . . . 218
Hypothesis Concerning the Complete Set of Coefficients . . . . . . . . . . 219
Hypotheses Concerning a Subset of the Coefficients . . . . . . . . . . . . . 221
An Alternative Formulation of the F statistic . . . . . . . . . . . . . . . . 2239
Recursive Least-Squares Estimation 227
Recursive Least-Squares Regression . . . . . . . . . . . . . . . . . . . . . . 227
The Matrix Inversion Lemma . . . . . . . . . . . . . . . . . . . . . . . . . 228
Prediction Errors and Recursive Residuals . . . . . . . . . . . . . . . . . . 229
The Updating Algorithm for Recursive Least Squares . . . . . . . . . . . 231
Initiating the Recursion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Estimators with Limited Memories . . . . . . . . . . . . . . . . . . . . . . 236
The Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
A Summary of the Kalman Equations . . . . . . . . . . . . . . . . . . . . 244
An Alternative Derivation of the Kalman Filter . . . . . . . . . . . . . . . 245
Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Innovations and the Information Set . . . . . . . . . . . . . . . . . . . . . 247
Conditional Expectations and Dispersions of the State Vector . . . . . . . 249
The Classical Smoothing Algorithms . . . . . . . . . . . . . . . . . . . . . 250
Variants of the Classical Algorithms . . . . . . . . . . . . . . . . . . . . . 254
Multi-step Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
10 Estimation of Polynomial Trends 261
Polynomial Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
The Gram–Schmidt Orthogonalisation Procedure . . . . . . . . . . . . . . 263
A Modified Gram–Schmidt Procedure . . . . . . . . . . . . . . . . . . . . 266
Uniqueness of the Gram Polynomials . . . . . . . . . . . . . . . . . . . . . 268
Recursive Generation of the Polynomials . . . . . . . . . . . . . . . . . . . 270
The Polynomial Regression Procedure . . . . . . . . . . . . . . . . . . . . 272
Grafted Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
B-Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Recursive Generation of B-spline Ordinates . . . . . . . . . . . . . . . . . 284
Regression with B-Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
11 Smoothing with Cubic Splines 293
Cubic Spline Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Cubic Splines and B´ezier Curves . . . . . . . . . . . . . . . . . . . . . . . 301
The Minimum-Norm Property of Splines . . . . . . . . . . . . . . . . . . . 305
Smoothing Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
A Stochastic Model for the Smoothing Spline . . . . . . . . . . . . . . . . 313
Appendix: The Wiener Process and the IMA Process . . . . . . . . . . . 319
12 Unconstrained Optimisation 323
Conditions of Optimality . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
Univariate Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
Quadratic Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
Bracketing the Minimum . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Unconstrained Optimisation via Quadratic Approximations . . . . . . . . 338
The Method of Steepest Descent . . . . . . . . . . . . . . . . . . . . . . . 339
The Newton–Raphson Method . . . . . . . . . . . . . . . . . . . . . . . . 340
A Modified Newton Procedure . . . . . . . . . . . . . . . . . . . . . . . . 341
The Minimisation of a Sum of Squares . . . . . . . . . . . . . . . . . . . . 343
Quadratic Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
The Conjugate Gradient Method . . . . . . . . . . . . . . . . . . . . . . . 347
Numerical Approximations to the Gradient . . . . . . . . . . . . . . . . . 351
Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
Rank-Two Updating of the Hessian Matrix . . . . . . . . . . . . . . . . . 354
Fourier Methods 363
13 Fourier Series and Fourier Integrals 365
Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
Fourier Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
Discrete-Time Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . 377
Symmetry Properties of the Fourier Transform . . . . . . . . . . . . . . . 378
The Frequency Response of a Discrete-Time System . . . . . . . . . . . . 380
The Fourier Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
The Uncertainty Relationship . . . . . . . . . . . . . . . . . . . . . . . . . 386
The Delta Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
Impulse Trains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
The Sampling Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
The Frequency Response of a Continuous-Time System . . . . . . . . . . 394
Appendix of Trigonometry . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
Orthogonality Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
14 The Discrete Fourier Transform 399
Trigonometrical Representation of the DFT . . . . . . . . . . . . . . . . . 400
Determination of the Fourier Coefficients . . . . . . . . . . . . . . . . . . 403
The Periodogram and Hidden Periodicities . . . . . . . . . . . . . . . . . 405
The Periodogram and the Empirical Autocovariances . . . . . . . . . . . . 408
The Exponential Form of the Fourier Transform . . . . . . . . . . . . . . 410
Leakage from Nonharmonic Frequencies . . . . . . . . . . . . . . . . . . . 413
The Fourier Transform and the z-Transform . . . . . . . . . . . . . . . . . 414
The Classes of Fourier Transforms . . . . . . . . . . . . . . . . . . . . . . 416
Sampling in the Time Domain . . . . . . . . . . . . . . . . . . . . . . . . 418
Truncation in the Time Domain . . . . . . . . . . . . . . . . . . . . . . . 421
Sampling in the Frequency Domain . . . . . . . . . . . . . . . . . . . . . . 422
Appendix: Harmonic Cycles . . . . . . . . . . . . . . . . . . . . . . . . . . 423
15 The Fast Fourier Transform 427
Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
The Two-Factor Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
The FFT for Arbitrary Factors . . . . . . . . . . . . . . . . . . . . . . . . 434
Locating the Subsequences . . . . . . . . . . . . . . . . . . . . . . . . . . 437
The Core of the Mixed-Radix Algorithm . . . . . . . . . . . . . . . . . . . 439
Unscrambling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
The Shell of the Mixed-Radix Procedure . . . . . . . . . . . . . . . . . . . 445
The Base-2 Fast Fourier Transform . . . . . . . . . . . . . . . . . . . . . . 447
FFT Algorithms for Real Data . . . . . . . . . . . . . . . . . . . . . . . . 450
FFT for a Single Real-valued Sequence . . . . . . . . . . . . . . . . . . . . 452
Time-Series Models 457
16 Linear Filters 459
Frequency Response and Transfer Functions . . . . . . . . . . . . . . . . . 459
Computing the Gain and Phase Functions . . . . . . . . . . . . . . . . . . 466
The Poles and Zeros of the Filter . . . . . . . . . . . . . . . . . . . . . . . 469
Inverse Filtering and Minimum-Phase Filters . . . . . . . . . . . . . . . . 475
Linear-Phase Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Locations of the Zeros of Linear-Phase Filters . . . . . . . . . . . . . . . . 479
FIR Filter Design by Window Methods . . . . . . . . . . . . . . . . . . . 483
Truncating the Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
Cosine Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
Design of Recursive IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . 496
IIR Design via Analogue Prototypes . . . . . . . . . . . . . . . . . . . . . 498
The Butterworth Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
The Chebyshev Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
The Bilinear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 504
The Butterworth and Chebyshev Digital Filters . . . . . . . . . . . . . . . 506
Frequency-Band Transformations . . . . . . . . . . . . . . . . . . . . . . . 507
17 Autoregressive and Moving-Average Processes 513
Stationary Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . 514
Moving-Average Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
Computing the MA Autocovariances . . . . . . . . . . . . . . . . . . . . . 521
MA Processes with Common Autocovariances . . . . . . . . . . . . . . . . 522
Computing the MA Parameters from the Autocovariances . . . . . . . . . 523
Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528
The Autocovariances and the Yule–Walker Equations . . . . . . . . . . . 528
Computing the AR Parameters . . . . . . . . . . . . . . . . . . . . . . . . 535
Autoregressive Moving-Average Processes . . . . . . . . . . . . . . . . . . 540
Calculating the ARMA Parameters from the Autocovariances . . . . . . . 545
18 Time-Series Analysis in the Frequency Domain 549
Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
The Filtering of White Noise . . . . . . . . . . . . . . . . . . . . . . . . . 550
Cyclical Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
The Fourier Representation of a Sequence . . . . . . . . . . . . . . . . . . 555
The Spectral Representation of a Stationary Process . . . . . . . . . . . . 556
The Autocovariances and the Spectral Density Function . . . . . . . . . . 559
The Theorem of Herglotz and the Decomposition of Wold . . . . . . . . . 561
The Frequency-Domain Analysis of Filtering . . . . . . . . . . . . . . . . 564
The Spectral Density Functions of ARMA Processes . . . . . . . . . . . . 566
Canonical Factorisation of the Spectral Density Function . . . . . . . . . 570
19 Prediction and Signal Extraction 575
Mean-Square Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576
Predicting one Series from Another . . . . . . . . . . . . . . . . . . . . . . 577
The Technique of Prewhitening . . . . . . . . . . . . . . . . . . . . . . . . 579
Extrapolation of Univariate Series . . . . . . . . . . . . . . . . . . . . . . 580
Forecasting with ARIMA Models . . . . . . . . . . . . . . . . . . . . . . . 583
Generating the ARMA Forecasts Recursively . . . . . . . . . . . . . . . . 585
Physical Analogies for the Forecast Function . . . . . . . . . . . . . . . . 587
Interpolation and Signal Extraction . . . . . . . . . . . . . . . . . . . . . 589
Extracting the Trend from a Nonstationary Sequence . . . . . . . . . . . . 591
Finite-Sample Predictions: Hilbert Space Terminology . . . . . . . . . . . 593
Recursive Prediction: The Durbin–Levinson Algorithm . . . . . . . . . . . 594
A Lattice Structure for the Prediction Errors . . . . . . . . . . . . . . . . 599
Recursive Prediction: The Gram–Schmidt Algorithm . . . . . . . . . . . . 601
Signal Extraction from a Finite Sample . . . . . . . . . . . . . . . . . . . 607
Signal Extraction from a Finite Sample: the Stationary Case . . . . . . . 607
Signal Extraction from a Finite Sample: the Nonstationary Case . . . . . 609
Time-Series Estimation 617
20 Estimation of the Mean and the Autocovariances 619
Estimating the Mean of a Stationary Process . . . . . . . . . . . . . . . . 619
Asymptotic Variance of the Sample Mean . . . . . . . . . . . . . . . . . . 621
Estimating the Autocovariances of a Stationary Process . . . . . . . . . . 622
Asymptotic Moments of the Sample Autocovariances . . . . . . . . . . . . 624
Asymptotic Moments of the Sample Autocorrelations . . . . . . . . . . . . 626
Calculation of the Autocovariances . . . . . . . . . . . . . . . . . . . . . . 629
Inefficient Estimation of the MA Autocovariances . . . . . . . . . . . . . . 632
Efficient Estimates of the MA Autocorrelations . . . . . . . . . . . . . . . 634
21 Least-Squares Methods of ARMA Estimation 637
Representations of the ARMA Equations . . . . . . . . . . . . . . . . . . 637
The Least-Squares Criterion Function . . . . . . . . . . . . . . . . . . . . 639
The Yule–Walker Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . 641
Estimation of MA Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 642
Representations via LT Toeplitz Matrices . . . . . . . . . . . . . . . . . . 643
Representations via Circulant Matrices . . . . . . . . . . . . . . . . . . . . 645
The Gauss–Newton Estimation of the ARMA Parameters . . . . . . . . . 648
An Implementation of the Gauss–Newton Procedure . . . . . . . . . . . . 649
Asymptotic Properties of the Least-Squares Estimates . . . . . . . . . . . 655
The Sampling Properties of the Estimators . . . . . . . . . . . . . . . . . 657
The Burg Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
22 Maximum-Likelihood Methods of ARMA Estimation 667
Matrix Representations of Autoregressive Models . . . . . . . . . . . . . . 667
The AR Dispersion Matrix and its Inverse . . . . . . . . . . . . . . . . . . 669
Density Functions of the AR Model . . . . . . . . . . . . . . . . . . . . . 672
The Exact M-L Estimator of an AR Model . . . . . . . . . . . . . . . . . 673
Conditional M-L Estimates of an AR Model . . . . . . . . . . . . . . . . . 676
Matrix Representations of Moving-Average Models . . . . . . . . . . . . . 678
The MA Dispersion Matrix and its Determinant . . . . . . . . . . . . . . 679
Density Functions of the MA Model . . . . . . . . . . . . . . . . . . . . . 680
The Exact M-L Estimator of an MA Model . . . . . . . . . . . . . . . . . 681
Conditional M-L Estimates of an MA Model . . . . . . . . . . . . . . . . 685
Matrix Representations of ARMA models . . . . . . . . . . . . . . . . . . 686
Density Functions of the ARMA Model . . . . . . . . . . . . . . . . . . . 687
Exact M-L Estimator of an ARMA Model . . . . . . . . . . . . . . . . . . 688
23 Nonparametric Estimation of the Spectral Density Function 697
The Spectrum and the Periodogram . . . . . . . . . . . . . . . . . . . . . 698
The Expected Value of the Sample Spectrum . . . . . . . . . . . . . . . . 702
Asymptotic Distribution of The Periodogram . . . . . . . . . . . . . . . . 705
Smoothing the Periodogram . . . . . . . . . . . . . . . . . . . . . . . . . . 710
Weighting the Autocovariance Function . . . . . . . . . . . . . . . . . . . 713
Weights and Kernel Functions . . . . . . . . . . . . . . . . . . . . . . . . . 714
Statistical Appendix: on Disc 721
24 Statistical Distributions 723
Multivariate Density Functions . . . . . . . . . . . . . . . . . . . . . . . . 723
Functions of Random Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 725
Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726
Moments of a Multivariate Distribution . . . . . . . . . . . . . . . . . . . 727
Degenerate Random Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 729
The Multivariate Normal Distribution . . . . . . . . . . . . . . . . . . . . 730
Distributions Associated with the Normal Distribution . . . . . . . . . . . 733
Quadratic Functions of Normal Vectors . . . . . . . . . . . . . . . . . . . 734
The Decomposition of a Chi-square Variate . . . . . . . . . . . . . . . . . 736
Limit Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739
Stochastic Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740
The Law of Large Numbers and the Central Limit Theorem . . . . . . . . 745
25 The Theory of Estimation 749
Principles of Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749
Identifiability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750
The Information Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753
The Efficiency of Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 754
Unrestricted Maximum-Likelihood Estimation . . . . . . . . . . . . . . . . 756
Restricted Maximum-Likelihood Estimation . . . . . . . . . . . . . . . . . 758
Tests of the Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761
|
|
/2 
eetop公众号
创芯大讲堂
创芯人才网
发表于 2021-2-19 14:52:08
