Dalam kehidupan sehari-hari, seringkali dijumpai hubungan antara suatu variabel dengan satu atau lebih variabel lain. Di dalam bidang pertanian sebagai contoh, dosis dan jenis pupuk yang diberikan berhubungan dengan hasil pertanian yang diperoleh, jumlah pakan yang diberikan pada ternak berhubungan dengan berat badannya, dan sebagainya. Secara umum ada dua macam hubungan antara dua atau lebih variabel, yaitu bentuk hubungan dan keeratan hubungan. Bila ingin mengetahui bentuk hubungan dua variabel atau lebih, digunakan analisis regresi. Bila ingin melihat keeratan hubungan, digunakan analisis korelasi.

Analisis regresi adalah teknik statistika yang berguna untuk memeriksa dan memodelkan hubungan diantara variabel-variabel. Penerapannya dapat dijumpai secara luas di banyak bidang seperti teknik, ekonomi, manajemen, ilmu-ilmu biologi, ilmu-ilmu sosial, dan ilmu-ilmu pertanian. Pada saat ini, analisis regresi berguna dalam menelaah hubungan dua variabel atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya belum diketahui dengan sempurna, sehingga dalam penerapannya lebih bersifat eksploratif.

Analisis regresi dikelompokkan dari mulai yang paling sederhana sampai yang paling rumit, tergantung tujuan yang berlandaskan pengetahuan atau teori sementara, bukan asal ditentukan saja.

Regresi Linier Sederhana,

Regresi linier sederhana bertujuan mempelajari hubungan linier antara dua variabel. Dua variabel ini dibedakan menjadi variabel bebas (X) dan variabel tak bebas (Y). Variabel bebas adalah variabel yang bisa dikontrol sedangkan variabel tak bebas adalah variabel yang mencerminkan respon dari variabel bebas.

Regresi Berganda

Regresi berganda seringkali digunakan untuk mengatasi permasalahan analisis regresi yang melibatkan hubungan dari dua atau lebih variabel bebas. Pada awalnya regresi berganda dikembangkan oleh ahli ekonometri untuk membantu meramalkan akibat dari aktivitas-aktivitas ekonomi pada berbagai segmen ekonomi. Misalnya laporan tentang peramalan masa depan perekonomian di jurnal-jurnal ekonomi (Business Week, Wal Street Journal, dll), yang didasarkan pada model-model ekonometrik dengan analisis berganda sebagai alatnya. Salah satu contoh penggunaan regresi berganda dibidang pertanian diantaranya ilmuwan pertanian menggunakan analisis regresi untuk menjajagi antara hasil pertanian (misal: produksi padi per hektar) dengan jenis pupuk yang digunakan, kuantitas pupuk yang diberikan, jumlah hari hujan, suhu, lama penyinaran matahari, dan infeksi serangga.

Regresi Kurvilinier

Regresi kurvilinier seringkali digunakan untuk menelaah atau memodelkan hubungan fungsi variabel terikat (Y) dan variabel bebas (X) yang tidak bersifat linier. Tidak linier bisa diartikan bilamana laju perubahan Y sebagai akibat perubahan X tidak konstan untuk nilai-nilai X tertentu. Kondisi fungsi tidak linier ini (kurvilinier) seringkali dijumpai dalam banyak bidang. Misal pada bidang pertanian, bisa diamati hubungan antara produksi padi dengan taraf pemupukan Phospat. Secara umum produksi padi akan meningkat cepat bila pemberian Phospat ditingkatkan dari taraf rendah ke taraf sedang. Tetapi ketika pemberian dosis Phospat diteruskan hingga taraf tinggi, maka tambahan dosis Phospat tidak lagi diimbangi kenaikan hasil, sebaliknya terjadi penurunan hasil. Untuk kasus-kasus hubungan tidak linier, prosedur regresi sederhana atau berganda tidak dapat digunakan dalam mencari pola hubungan dari variabel-variabel yang terlibat. Dalam hal ini, prosedur analisis regresi kurvilinier merupakan prosedur yang sesuai untuk digunakan.

Regresi Dengan Variabel Dummy (Boneka)

Analisis regresi tidak saja digunakan untuk data-data kuantitatif (misal : dosis pupuk), tetapi juga bisa digunakan untuk data kualitatif (misal : musim panen). Jenis data kualitatif tersebut seringkali menunjukkan keberadaan klasifikasi (kategori) tertentu, sering juga dikatagorikan variabel bebas (X) dengan klasifikasi pengukuran nominal dalam persamaan regresi. Sebagai contoh, bila ingin meregresikan pengaruh kondisi kemasan produk dodol nenas terhadap harga jual. Pada umumnya, cara yang dipakai untuk penyelesaian adalah memberi nilai 1 (satu) kalau kategori yang dimaksud ada dan nilai 0 (nol) kalau kategori yang dimaksud tidak ada (bisa juga sebaliknya, tergantung tujuannya). Dalam kasus kemasan ini, bila kemasannya menarik diberi nilai 1 dan bila tidak menarik diberi nilai 0. Variabel yang mengambil nilai 1 dan 0 disebut variabel dummy dan nilai yang diberikan dapat digunakan seperti variabel kuantitatif lainnya.

Regresi Logistik (Logistic Regression)

Bila regresi dengan variabel bebas (X) berupa variabel dummy,  maka dikatagorikan sebagai regresi dummy. Regresi logistik digunakan jika variabel terikatnya (Y) berupa variabel masuk katagori klasifikasi. Misalnya, variabel Y berupa dua respon yakni gagal (dilambangkan dengan nilai 0) dan berhasil (dilambangkan dengan nilai 1). Kondisi demikian juga sering dikatagorikan sebagai regresi dengan respon biner. Seperti pada analisis regresi berganda, untuk regresi logistik variabel bebas (X) bisa juga terdiri lebih dari satu variabel.Untuk menganalisa pengaruh variabel bebas terhadap variabel terikat ini digunakan alat analisa statistik berupa Analisa Regresi.

Residual adalah selisih antara nilai duga (predicted value) dengan nilai pengamatan sebenarnya apabila data yang digunakan adalah data sampel.

Error adalah selisih antara nilai duga (predicted value) dengan nilai pengamatan yang sebenarnya apabila data yang digunakan adalah data populasi. Persamaan keduanya : merupakan selisih antara nilai duga (predicted value) dengan pengamatan sebenarnya. Perbedaan keduanya: residual dari data sampel, error dari data populasi.

Predicted value adalah nilai duga yang dihasilkan dari model regresi yang diperoleh. Misal model regresi yang diperoleh: y = 2+3x. Apabila kita memasukkan nilai x = 1, maka predicted value dalam kasus ini  adalah y = 2+3*1 = 5.

Regresi berganda seringkali digunakan untuk mengatasi permasalahan analisis regresi yang melibatkan hubungan dari dua atau lebih variabel bebas. Pada awalnya regresi berganda dikembangkan oleh ahli ekonometri untuk membantu meramalkan akibat dari aktivitas-aktivitas ekonomi pada berbagai segmen ekonomi. Misalnya laporan tentang peramalan masa depan perekonomian di jurnal-jurnal ekonomi (Business Week, Wal Street Journal, dll), yang didasarkan pada model-model ekonometrik dengan analisis berganda sebagai alatnya. Salah satu contoh penggunaan regresi berganda dibidang pertanian diantaranya ilmuwan pertanian menggunakan analisis regresi untuk menjajagi antara hasil pertanian (misal: produksi padi per hektar) dengan jenis pupuk yang digunakan, kuantitas pupuk yang diberikan, jumlah hari hujan, suhu, lama penyinaran matahari, dan infeksi serangga.

Koefisien korelasi  berganda (R)  =  0,854  menunjukkan bahwa  korelasi/hubungan antara variabel bebas dengan variabel terikat adalah kuat.

Koefisien determinasi dengan  jumlah  variabel  bebas  lebih dari  dua  digunakan  Adjusted  R  Square  =  0,782.  Artinya  besarnya  pengaruh  seluruh variabel  bebas  terhadap  variabel terikat  secara  bersama-sama  adalah 78,2%, sedangkan sisanya 21,8% disebabkan oleh variabel lain yang tidak masuk dalam penelitian ini.

Df (degree of freedom), merupakan derajat kebebasan ketika sampel dianalisa dengan menggunakan distribusi probabilitas.