|
一,、一些函數(shù)包大匯總
轉(zhuǎn)載于：http://www./thread-116761-1-1.html 時(shí)間上有點(diǎn)過期,，下面的資料供大家參考
基本的R包已經(jīng)實(shí)現(xiàn)了傳統(tǒng)多元統(tǒng)計(jì)的很多功能，然而CRNA的許多其它包提供了更深入的多元統(tǒng)計(jì)方法,，下面要綜述的包主要分為以下幾個(gè)部分：
1） 多元數(shù)據(jù)可視化（Visualising multivariate data）：
繪圖方法：
基本畫圖函數(shù)（如：pairs(),、coplot()）和
lattice包里的畫圖函數(shù)（xyplot()、splom()）可以畫成對(duì)列表的二維散點(diǎn)圖,，3維密度圖,。car包里的scatterplot.matrix()函數(shù)提供更強(qiáng)大的二維散點(diǎn)圖的畫法,。
cwhmisc包集合里的cwhplot包的pltSplomT()函數(shù)類似pair()畫散點(diǎn)圖矩陣，而且可以在對(duì)角位置畫柱狀圖或密度估計(jì)圖,。
除此之外,，scatterplot3d包可畫3維的散點(diǎn)圖，aplpack包里bagplot()可畫二變量的boxplot,，spin3R()可畫可旋轉(zhuǎn)的三維點(diǎn)圖,。misc3d包有可視化密度的函數(shù)。
YaleToolkit包提供許多多元數(shù)據(jù)可視化技術(shù),，agsemisc也是這樣,。
更特殊的多元圖包括：aplpack包里的faces()可畫Chernoff’s face；MASS包里的parcoord()可畫平行坐標(biāo)圖（矩陣的每一行畫一條線,，橫軸表示矩陣的每列）,；
graphics包里的stars()可畫多元數(shù)據(jù)的星狀圖（矩陣的每一行用一個(gè)星狀圖表示）。ade4包里的mstree()和vegan包里的spantree()可畫最小生成樹,。
calibrate包支持雙變量圖和散點(diǎn)圖,，chplot包可畫convex hull圖。
geometry包提供了和qhull庫的接口,，由convexhulln()可給出相應(yīng)點(diǎn)的索引,。
ellipse包可畫橢圓，也可以用plotcorr()可視化相關(guān)矩陣,。denpro包為多元可視化提供水平集樹形結(jié)構(gòu)（level set trees）,。graphics包里的mosaicplot()和vcd包里的mosaic()函數(shù)畫馬賽克圖（mosaic plot）。
gclus包提供了針對(duì)聚類的散點(diǎn)圖和平行坐標(biāo)圖,。
rggobi包和DescribeDisplay包是GGobi的接口,，DescribeDisplay的圖可達(dá)到出版質(zhì)量的要求；
xgobi包是XGobi和XGvis的接口,，可實(shí)現(xiàn)動(dòng)態(tài)交互的圖,。
最后，iplots包提供強(qiáng)大的動(dòng)態(tài)交互圖,，尤其是平行坐標(biāo)圖和馬賽克圖,。
seriation包提供seriation方法，能重新排列矩陣和系統(tǒng)樹,。
數(shù)據(jù)預(yù)處理：
AIS包提供多元數(shù)據(jù)的初步描述函數(shù),。
Hmisc包里的summarize()和summary.formula()輔助描述數(shù)據(jù)，varclus()函數(shù)可做聚類,，而dataRep()和find.matches()找給定數(shù)據(jù)集的典型數(shù)據(jù)和匹配數(shù)據(jù),。
KnnFinder包里的nn()函數(shù)用kd-tree找相似變量的個(gè)數(shù)。 dprep包為分類提供數(shù)據(jù)預(yù)處理和可視化函數(shù)，如：檢查變量冗余性,、標(biāo)準(zhǔn)化,。
base包里的dist()和cluster包里的daisy()函數(shù)提供距離計(jì)算函數(shù)；
proxy包提供更多的距離測(cè)度,，包括矩陣間的距離,。simba包處理已有數(shù)據(jù)和缺失數(shù)據(jù)，包括相似性矩陣和重整形,。
2） 假設(shè)檢驗(yàn)（Hypothesis testing）：
ICSNP包提供霍特林（Hotellings）T2檢驗(yàn)和許多非參檢驗(yàn)方法,，包括基于marginal ranks的位置檢驗(yàn)（location test），計(jì)算空間中值和符號(hào),，形狀估計(jì),。
cramer包做兩樣本的非參檢驗(yàn)，SpatialNP可做空間符號(hào)和秩檢驗(yàn),。
3） 多元分布（Multivariate distributions）：
描述統(tǒng)計(jì)（Descriptive measures）：
stats包里的cov()和and cor()分別估計(jì)協(xié)方差和相關(guān)系數(shù),。
ICSNP包提供幾種數(shù)據(jù)描述方法，如：spatial.median()估計(jì)空間中值,，其它的函數(shù)估計(jì)scatter,。
MASS包里的cov.rob()提供更健壯的方差/協(xié)方差矩陣估計(jì)。
covRobust包用最近鄰方差估計(jì)法估計(jì)協(xié)方差,。
robustbase包的covMCD()估計(jì)協(xié)方差和covOGK()做Orthogonalized Gnanadesikan-Kettenring,。
rrcov包提供可擴(kuò)展和穩(wěn)健的估計(jì)函數(shù)covMcd()、covMest(),。
corpcor包可計(jì)算大規(guī)模的協(xié)方差和偏相關(guān)矩陣,。
密度估計(jì)和模擬（Densities (estimation and simulation)）：
MASS包的mvrnorm()產(chǎn)生多元正態(tài)分布的隨機(jī)數(shù)。
Mvtnorm包有多元t分布和多元正態(tài)分布的概率和分位數(shù)函數(shù),，還可計(jì)算多元正態(tài)分布的密度函數(shù),。 mvtnormpcs包提供基于Dunnett的函數(shù)。 mnormt包提供元t分布和多元正態(tài)分布的密度和分布函數(shù),，并可產(chǎn)生隨機(jī)數(shù),。 sn包提供多元偏t分布和偏正態(tài)分布的密度、分布,、隨機(jī)數(shù)函數(shù),。 delt包提供了許多估計(jì)多元密度的函數(shù)方法，如：CART和貪婪方法,。 CRAN的Cluster任務(wù)列表（http://cran./web/views/Cluster.html）有更全面的信息,，ks包里的rmvnorm.mixt()和dmvnorm.mixt()函數(shù)產(chǎn)生隨機(jī)數(shù)和估計(jì)密度,， bayesm包里有多種擬合方法,。很多地方都提供了模擬Wishart分布的函數(shù)，如：bayesm包里的rwishart()，MCMCpack包里的rwish(),，而且MCMCpack包還有密度函數(shù)dwish(),。KernSmooth 包里的bkde2D()和MASS包的kde2d()做分箱（binned）或不分箱二維核密度估計(jì)。 ks包也像ash和GenKern包樣可做核平滑（kernel smoothing）,。prim包用法找高維多元數(shù)據(jù)的高密度區(qū)域,，feature包可計(jì)算多元數(shù)據(jù)的顯著特征。
正態(tài)檢驗(yàn)（Assessing normality）：
mvnormtest包提供Shapiro-Wilks檢驗(yàn)的多元數(shù)據(jù)延伸方法,，mvoutlier包檢測(cè)多元離群點(diǎn)（outlier）,，ICS包可檢驗(yàn)多元正態(tài)分布。
energy 包里的mvnorm.etest()基于E統(tǒng)計(jì)量做正態(tài)檢驗(yàn),，k.sample()檢驗(yàn)多個(gè)數(shù)據(jù)是否來自同一分布,。 dprep 包里的mardia()用Mardia檢驗(yàn)正態(tài)性。stats包里的mauchly.test()可檢驗(yàn)Wishart分布的協(xié)方差矩陣,。
連接函數(shù)（Copulas）：
copula包提供常規(guī)的copula函數(shù)的程序,，包括：normal, t, Clayton, Frank, Gumbel。fgac包提供generalised archimedian copula,，mlCopulaSelection包可做二變量的copula,。
4） 線形模型（Linear models）：
stats包里的lm()可做多元線形模型，anova.mlm()比較多個(gè)多元線形模型,，manova()做多元方差分析（MANOVA）,。
sn包的msn.mle()和 and mst.mle()可擬合多元偏正態(tài)和偏t分布模型。 pls包提供偏最小二乘回歸（PLSR）和主成分回歸,； ppls包可做懲罰偏最小二乘回歸,； dr包提供降維回歸方法，如.：片逆回歸法(Sliced Inverse Regression),、片平均方差估計(jì)(sliced average variance estimation),。plsgenomics包做基于偏最小二乘回歸的基因組分析。relaimpo包可評(píng)估回歸參數(shù)的相對(duì)重要性,。
5） 投影方法（Projection methods）：
主成分（Principal components）：
stats包的prcomp()（基于svd()）和princomp()（基于eigen()）能計(jì)算主成分,。sca包做單分量分析。
nFactors可評(píng)價(jià)碎石圖(Scree plot),，paran包可評(píng)估主成分分析得到的主成分和因子分析得到的因子,。 pcurve包做主曲線（Principal Curve）分析和可視化。 gmodels包提供適合大矩陣的fast.prcomp()和fast.svd(),。 kernlab包里的kpca()用核方法做非線性的主成分分析,。 pcaPP包用投影尋蹤（projection pursuit）法計(jì)算穩(wěn)健/魯棒（robust）主成分。 amap包的acpgen()和acprob()函數(shù)分別針對(duì)廣義（generalized）和穩(wěn)?。╮obust）主成分分析,。 主成分在很多方面也有相應(yīng)的應(yīng)用,，如：涉及生態(tài)的ade4包，感官的SensoMinR包,。 psy包里有用于心理學(xué)的各種程序,，與主成分相關(guān)的有：sphpca()用球形直觀表示相關(guān)矩陣，類似于3D的PCA,； fpca()圖形展示主成分分析的結(jié)果,，而且允許某些變量間有相關(guān)性； scree.plot()圖形展示相關(guān)或協(xié)方差矩陣的特征值,。 PTAk包做主張量分析（Principal Tensor Analysis）,。 smatr包提供關(guān)于異速生長(zhǎng)（allometry）的函數(shù)。
典型相關(guān)（Canonical Correlation）：
stats包里的cancor()是做典型相關(guān)的函數(shù),。
kernlab包提供更穩(wěn)健的核方法kcca(),。 concor包提供了許多concordance methods。
冗余度分析（Redundancy Analysis）：
calibrate包里的rda()函數(shù)可做冗余度分析和典型相關(guān),。fso包提供了模糊集排序（Ordination）方法,。
獨(dú)立成分（Independent Components）：
fastICA包用fastICA算法做獨(dú)立成分分析（ICA）和投影尋蹤分析（Projection Pursuit），mlica包提供獨(dú)立成分分析的最大似然擬合,，PearsonICA包用基于互信息的打分函數(shù)分離獨(dú)立信號(hào),。ICS包能執(zhí)行不變坐標(biāo)系（invariant coordinate system）和獨(dú)立成分分析（independent components）。JADE包提供就JADE算法的接口,，而且可做一些 ICA,。
普魯克分析（Procrustes analysis）：
vegan包里的procrustes()可做普魯克分析，也提供排序（ordination）函數(shù),。更一般的普魯克分析可由FactoMineR包里的GPA()實(shí)現(xiàn),。
6） 主坐標(biāo)/尺度方法（Principal coordinates / scaling methods）：
stats包的cmdscale()函數(shù)執(zhí)行傳統(tǒng)的多維尺度分析（multidimensional scaling，MDS）（主坐標(biāo)分析Principal Coordinates Analysis）,，MASS包的sammon()和isoMDS()函數(shù)分別執(zhí)行Sammon和Kruskal非度量多維尺度分析,。
vegan包提供非度量多維尺度分析的包裝(wrappers)和后處理程序。
7） 無監(jiān)督分類（Unsupervised classification）：
聚類分析：
CRAN的Cluster任務(wù)列表全面的綜述了R實(shí)現(xiàn)的聚類方法,。stats里提供等級(jí)聚類hclust()和k-均值聚類kmeans(),。
cluster包里有大量的聚類和可視化技術(shù)， clv包里則有一些聚類確認(rèn)程序,， e1071包的classAgreement()可計(jì)算Rand index比較兩種分類結(jié)果,。 Trimmed k-means聚類分析可由trimcluster包實(shí)現(xiàn)，聚類融合方法（Cluster Ensembles）由clue包實(shí)現(xiàn),，clusterSim包能幫助選擇最佳的聚類,，hybridHclust包提供一些混合聚類方法。 energy包里有基于E統(tǒng)計(jì)量的距離測(cè)度函數(shù)edist()和等級(jí)聚類方法hclust.energy(),。 LLAhclust包提供基于似然（likelihood linkage）方法的聚類,，也有評(píng)定聚類結(jié)果的指標(biāo),。 fpc包里有基于Mahalanobis距離的聚類。 clustvarsel包有多種基于模型的聚類,。模糊聚類（fuzzy clustering）可在cluster包和hopach包里實(shí)現(xiàn)。 Kohonen包提供用于高維譜（spectra）或模式（pattern）的有監(jiān)督和無監(jiān)督的SOM算法,。 clusterGeneration包幫助模擬聚類,。 CRAN的Environmetrics任務(wù)列表里也有相關(guān)的聚類算法的綜述。mclust包實(shí)現(xiàn)了基于模型的聚類,，MFDA包實(shí)現(xiàn)了功能數(shù)據(jù)的基于模型的聚類,。
樹方法：
CRAN的MachineLearning任務(wù)列表有對(duì)樹方法的細(xì)節(jié)描述。分類樹也常常是重要的多元方法,，rpart包正是這樣的包,，rpart.permutation包還可以做rpart()模型的置換（permutation）檢驗(yàn)。
TWIX包的樹可以外部剪枝,。hier.part包分割多元數(shù)據(jù)集的方差,。 mvpart包可做多元回歸樹，party包實(shí)現(xiàn)了遞歸分割（recursive partitioning）,，rrp包實(shí)現(xiàn)了隨機(jī)遞歸分割,。 caret包可做分類和回歸訓(xùn)練，進(jìn)而caretLSF包實(shí)現(xiàn)了并行處理,。kknn包的k-近鄰法可用于回歸,，也可用于分類。
8） 有監(jiān)督分類和判別分析（Supervised classification and discriminant analysis）：
MASS包里的lda()和qda()分別針對(duì)線性和二次判別分析,。
mda包的mda() and fda()允許混合和更靈活的判別分析,，mars()做多元自適應(yīng)樣條回歸（multivariate adaptive regression splines），bruto()做自適應(yīng)樣條后退擬合（adaptive spline backfitting）,。 earth包里也有多元自適應(yīng)樣條回歸的函數(shù),。 rda包可用質(zhì)心收縮法（shrunken centroids regularized discriminant analysis）實(shí)現(xiàn)高維數(shù)據(jù)的分類。VR的class包的knn()函數(shù)執(zhí)行k-最近鄰算法,，knncat包里有針對(duì)分類變量的k-最近鄰算法,。 SensoMineR包的FDA()用于因子判別分析。許多包結(jié)合了降維（dimension reduction）和分類,。 klaR包可以做變量選擇,，可處理多重共線性，還有可視化函數(shù),。 superpc包利用主成分做有監(jiān)督的分類,，classPP包則可為其做投影尋蹤（projection pursuit），gpls包用廣義偏最小二乘做分類,。hddplot包用交叉驗(yàn)證的線性判別分析決定最優(yōu)的特征個(gè)數(shù),。 supclust包可以根據(jù)芯片數(shù)據(jù)做基因的監(jiān)督聚類,。ROCR提供許多評(píng)估分類執(zhí)行效果的方法。 predbayescor包可做樸素貝葉斯（naïve Bayes）分類,。 關(guān)于監(jiān)督分類的更多信息可以看MachineLearning任務(wù)列表,。
9） 對(duì)應(yīng)分析（Correspondence analysis）：
MASS包的corresp()和mca()可以做簡(jiǎn)單和多重對(duì)應(yīng)分析。ca包提供單一,、多重和聯(lián)合（joint）對(duì)應(yīng)分析,。
ade4包的ca()和mca()分別做一般的和多重對(duì)應(yīng)分析。 vegan包里也有類似的函數(shù),。cocorresp可實(shí)現(xiàn)兩個(gè)矩陣間的co-correspondence分析,。 FactoMineR 包的CA()和MCA()函數(shù)也能做類似的簡(jiǎn)單和多重對(duì)應(yīng)分析，還有畫圖函數(shù),。 homals執(zhí)行同質(zhì)分析（homogeneity）,。
10） 前向查找（Forward search）：
Rfwdmv包執(zhí)行多元數(shù)據(jù)的前向查找。
11） 缺失數(shù)據(jù)（Missing data）：
mitools包里有缺失數(shù)據(jù)的多重估算（multiple imputation)的函數(shù), mice包用chained equations實(shí)現(xiàn)了多重估算,，mvnmle包可以為多元正態(tài)數(shù)據(jù)的缺失值做最大似然估計(jì)（ML Estimation）,，
norm包提供了適合多元正態(tài)數(shù)據(jù)的估計(jì)缺失值的期望最大化算法（EM algorithm）， cat包允許分類數(shù)據(jù)的缺失值的多重估算,，mix包適用于分類和連續(xù)數(shù)據(jù)的混合數(shù)據(jù),。 pan包可為面版數(shù)據(jù)(panel data)的缺失值做多重估算。 VIM包做缺失數(shù)據(jù)的可視化和估算,。 Hmisc包的aregImpute()和transcan()提供了其它的估算缺失值方法,。 EMV包提供了knn方法估計(jì)缺失數(shù)據(jù)。monomvn包估計(jì)單調(diào)多元正態(tài)數(shù)據(jù)的缺失值,。
12） 隱變量方法（Latent variable approaches）：
stats包的factanal()執(zhí)行最大似然因子分析,，MCMCpack包可做貝葉斯因子分析。
GPArotation包提供投影梯度（Gradient Projection）旋轉(zhuǎn)因子法,。 FAiR包用遺傳算法作因子分析,。ifa包可用于非正態(tài)的變量。 sem包擬合線形結(jié)構(gòu)方程模型,。 ltm包可做隱含式語義分析 (Latent semantic analysis),，eRm包則可擬合Rasch模型(Rasch models)。 FactoMineR包里有很多因子分析的方法,，包括：MFA()多元因子分析,，HMFA()等級(jí)多元因子分析，ADFM()定量和定性數(shù)據(jù)的多元因子分析,。tsfa包執(zhí)行時(shí)間序列的因子分析,。 poLCA包針對(duì)多分類變量(polytomous variable)做潛類別分析（Latent Class Analysis）。
13） 非高斯數(shù)據(jù)建模（Modelling non-Gaussian data）：
bivpois包建模Poisson分布的二變量,。
mprobit包提供了適合二元和順序響應(yīng)變量的多元概率模型,。 MNP包實(shí)現(xiàn)了Bayesian多元概率模型,。polycor包可計(jì)算多組相關(guān)（olychoric correlation）和四分相關(guān)（tetrachoric correlation）矩陣。 bayesm包里有多種模型,，如：表面非相關(guān)回歸(Seemingly unrelated Regression),，多元logit/probit模型, 工具變量法(Instrumental Variables)。 VGAM包里有：廣義線形和可加模型（Vector Generalised Linear and Additive Models）,，減秩回歸（Reduced Rank regression）,。
14） 矩陣處理（Matrix manipulations）：
R作為一種基于向量和矩陣的語言，有許多處理矩陣的強(qiáng)有力的工具,，由包Matrix和，SparseM實(shí)現(xiàn),。
matrixcalc包增加了矩陣微積分的功能,。spam包提供了更深入的針對(duì)稀疏矩陣的方法。
15） 其它（Miscellaneous utitlies）：
DEA包執(zhí)行數(shù)據(jù)包絡(luò)分析(data envelopment analysis,DEA),。abind包組合多維array,。
Hmisc 包的mApply()擴(kuò)充了apply()的功能。 除了前面描述的功能,，sn包還未偏正態(tài)和偏t分布提供邊緣化（marginalisation）,、仿射變換（affine transformations）等。 SharedHT2包執(zhí)行芯片數(shù)據(jù)的Hotelling's T2檢驗(yàn),。panel包里有面版數(shù)據(jù)(panel data)的建模方法,。mAr包可做向量自回歸模型(vector auto-regression)， MSBVAR包里有貝葉斯向量自回歸模型,。 Hmisc包的rm.boot()函數(shù)bootstrap重復(fù)測(cè)量試驗(yàn)（Repeated Measures Models）,。compositions包提供復(fù)合數(shù)據(jù)分析（compositional data analysis）。
cramer包為兩樣本數(shù)據(jù)做多元非參Cramer檢驗(yàn),。
psy里有許多心理學(xué)的常用方法,。 cwhmisc包集合的cwhmath包里有許多有趣的功能，如各種旋轉(zhuǎn)函數(shù),。 desirability包提供了基于密度函數(shù)的多變量最優(yōu)化方法,。 geozoo包可以畫geozoo包里定義的幾何對(duì)象。
————————————————————————————————————————————————
以下所有資訊都來自與VRAN task view的 Machine Learning & Statistical Learning
轉(zhuǎn)載于：https://www.douban.com/note/500637572/
機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)的邊緣交叉領(lǐng)域,，R關(guān)于機(jī)器學(xué)習(xí)的包主要包括以下幾個(gè)方面：
1）神經(jīng)網(wǎng)絡(luò)（Neural Networks）：
nnet包執(zhí)行單隱層前饋神經(jīng)網(wǎng)絡(luò)，nnet是VR包的一部分（http://cran./web/packages/VR/index.html）,。
2）遞歸拆分（Recursive Partitioning）：
遞歸拆分利用樹形結(jié)構(gòu)模型,，來做回歸、分類和生存分析,，主要在rpart包（http://cran./web/packages/rpart/index.html）和tree包（http://cran./web/packages/tree/index.html）里執(zhí)行,，尤其推薦rpart包,。Weka里也有這樣的遞歸拆分法，如：J4.8, C4.5, M5,，包Rweka提供了R與Weka的函數(shù)的接口（http://cran./web/packages/RWeka/index.html）,。
party包提供兩類遞歸拆分算法，能做到無偏的變量選擇和停止標(biāo)準(zhǔn)：函數(shù)ctree()用非參條件推斷法檢測(cè)自變量和因變量的關(guān)系,；而函數(shù)mob()能用來建立參數(shù)模型（http://cran./web/packages/party/index.html）,。另外，party包里也提供二分支樹和節(jié)點(diǎn)分布的可視化展示,。
mvpart包是rpart的改進(jìn)包,，處理多元因變量的問題（http://cran./web/packages/mvpart/index.html）。rpart.permutation包用置換法（permutation）評(píng)估樹的有效性（http://cran./web/packages/rpart.permutation/index.html）,。knnTree包建立一個(gè)分類樹,，每個(gè)葉子節(jié)點(diǎn)是一個(gè)knn分類器（http://cran./web/packages/knnTree/index.html）。LogicReg包做邏輯回歸分析,，針對(duì)大多數(shù)自變量是二元變量的情況（http://cran./web/packages/LogicReg/index.html）,。maptree包（http://cran./web/packages/maptree/index.html）和pinktoe包（http://cran./web/packages/pinktoe/index.html）提供樹結(jié)構(gòu)的可視化函數(shù)。
3）隨機(jī)森林（Random Forests）：
randomForest 包提供了用隨機(jī)森林做回歸和分類的函數(shù)（http://cran./web/packages/randomForest/index.html）,。ipred包用bagging的思想做回歸,，分類和生存分析，組合多個(gè)模型（http://cran./web/packages/ipred/index.html）,。party包也提供了基于條件推斷樹的隨機(jī)森林法（http://cran./web/packages/party/index.html）,。varSelRF包用隨機(jī)森林法做變量選擇（http://cran./web/packages/varSelRF/index.html）。
4）Regularized and Shrinkage Methods：
lasso2包（http://cran./web/packages/lasso2/index.html）和lars包（http://cran./web/packages/lars/index.html）可以執(zhí)行參數(shù)受到某些限制的回歸模型,。elasticnet包可計(jì)算所有的收縮參數(shù)（http://cran./web/packages/elasticnet/index.html）,。glmpath包可以得到廣義線性模型和COX模型的L1 regularization path（http://cran./web/packages/glmpath/index.html）。penalized包執(zhí)行l(wèi)asso (L1) 和ridge (L2)懲罰回歸模型（penalized regression models）（http://cran./web/packages/penalized/index.html）,。pamr包執(zhí)行縮小重心分類法(shrunken centroids classifier)（http://cran./web/packages/pamr/index.html）,。earth包可做多元自適應(yīng)樣條回歸（multivariate adaptive regression splines）（http://cran./web/packages/earth/index.html）。
5）Boosting :
gbm包（http://cran./web/packages/gbm/index.html）和boost包（http://cran./web/packages/boost/index.html）執(zhí)行多種多樣的梯度boosting算法,，gbm包做基于樹的梯度下降boosting,，boost包包括LogitBoost和L2Boost。GAMMoost包提供基于boosting的廣義相加模型(generalized additive models)的程序（http://cran./web/packages/GAMMoost/index.html）,。mboost包做基于模型的boosting（http://cran./web/packages/mboost/index.html）,。
6）支持向量機(jī)（Support Vector Machines）：
e1071包的svm()函數(shù)提供R和LIBSVM的接口 （http://cran./web/packages/e1071/index.html）。kernlab包為基于核函數(shù)的學(xué)習(xí)方法提供了一個(gè)靈活的框架,，包括SVM,、RVM……(http://cran./web/packages/kernlab/index.html) 。klaR 包提供了R和SVMlight的接口（http://cran./web/packages/klaR/index.html）。
7）貝葉斯方法（Bayesian Methods）：
BayesTree包執(zhí)行Bayesian Additive Regression Trees (BART)算法（http://cran./web/packages/BayesTree/index.html,，http://www-stat.wharton./~edgeorge/Research_papers/BART%206--06.pdf）,。tgp包做Bayesian半?yún)?shù)非線性回歸（Bayesian nonstationary, semiparametric nonlinear regression）（http://cran./web/packages/tgp/index.html）。
8）基于遺傳算法的最優(yōu)化（Optimization using Genetic Algorithms）：
gafit包（http://cran./web/packages/gafit/index.html）和rgenoud包（http://cran./web/packages/rgenoud/index.html）提供基于遺傳算法的最優(yōu)化程序,。
9）關(guān)聯(lián)規(guī)則（Association Rules）：
arules包提供了有效處理稀疏二元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),，而且提供函數(shù)執(zhí)Apriori和Eclat算法挖掘頻繁項(xiàng)集、最大頻繁項(xiàng)集,、閉頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則（http://cran./web/packages/arules/index.html）,。
10）模型選擇和確認(rèn)（Model selection and validation）：
e1071包的tune()函數(shù)在指定的范圍內(nèi)選取合適的參數(shù)（http://cran./web/packages/e1071/index.html）。ipred包的errorest()函數(shù)用重抽樣的方法（交叉驗(yàn)證,，bootstrap）估計(jì)分類錯(cuò)誤率（http://cran./web/packages/ipred/index.html）,。svmpath包里的函數(shù)可用來選取支持向量機(jī)的cost參數(shù)C（http://cran./web/packages/svmpath/index.html）。ROCR包提供了可視化分類器執(zhí)行效果的函數(shù),，如畫ROC曲線（http://cran./web/packages/ROCR/index.html）,。caret包供了各種建立預(yù)測(cè)模型的函數(shù)，包括參數(shù)選擇和重要性量度（http://cran./web/packages/caret/index.html）,。caretLSF包（http://cran./web/packages/caretLSF/index.html）和caretNWS（http://cran./web/packages/caretNWS/index.html）包提供了與caret包類似的功能,。
11）統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)（Elements of Statistical Learning）：
書《The Elements of Statistical Learning: Data Mining, Inference, and Prediction 》（http://www-stat./~tibs/ElemStatLearn/）里的數(shù)據(jù)集,、函數(shù),、例子都被打包放在ElemStatLearn包里（http://cran./web/packages/ElemStatLearn/index.html）。
12）R統(tǒng)計(jì)軟件的Lars算法的軟件包提供了Lasso算法,。根據(jù)模型改進(jìn)的需要,，數(shù)據(jù)挖掘工作者可以借助于Lasso算法，利用AIC準(zhǔn)則和BIC準(zhǔn)則精煉簡(jiǎn)化統(tǒng)計(jì)模型的變量集合,，達(dá)到降維的目的,。因此，Lasso算法是可以應(yīng)用到數(shù)據(jù)挖掘中的實(shí)用算法,。glasso（graphical lasso）是lasso方法的一種擴(kuò)展,，采用加罰的極大似然方法估計(jì)變量間協(xié)方差矩陣的逆矩陣（這個(gè)逆矩陣在圖模型中被稱為Concentration Matrix或者Precision Matrix），加以適當(dāng)整理之后,，可以得到變量間的稀疏化的偏相關(guān)系數(shù)矩陣,，其中的零元素表示了變量間的條件獨(dú)立關(guān)系。我們可以利用其中的非零元素生成圖模型,。
|
