內容目錄

• 圖像基本操作
• 圖像處理
• 邊緣檢測、圖像輪廓處理和模板匹配
• 圖像金字塔、直方圖
• 傅裡葉變換和低通/高通濾波

圖像基本操作

方法含義數據讀取：圖像具體含義imread()從路徑中讀取圖片imshow()顯示圖像到窗口waitKey(0/ms)窗口顯示等待時間，0表示手動終止，ms表示毫秒後終止destroyAllWindows()關閉窗口操作IMREAD_GRAYSCALE讀取灰度圖IMREAD_GRAYSCALE讀取RGB三色圖imwrite()保存圖片至路徑數據讀取：視頻具體含義VideoCapture(path/0/1)讀取視頻，path視頻路徑，0/1表示攝像頭vc.isOpened()檢測視頻是否讀取/檢測攝像頭是否打開open, frame = vc.read()將視頻按幀讀取，open變量表示讀取是否成功(bool)，frame表示讀取到的每一幀cvtColor( frame, cv2.COLOR_BGR2GRAY)將視頻幀從BGR圖片轉換成灰度圖vc.release()釋放攝像頭，或者關閉視頻文件數據讀取：分離或組織通道具體含義b,g,r=cv2.split( img )分離圖像的BGR三個通道img=cv2.merge( (b,g,r) )將三個單通道的圖像組織成BGR彩色圖cur_img = img.copy()對圖片進行復制操作，復制後的結果就是cur_img邊界填充具體含義cv2.copyMakeBorder( img, top_size, bottom_size, left_size, right_size, borderType=cv2.BORDER_REPLICATE)BORDER_REPLICATE：復制法，也就是復制最邊緣像素。函數同上，最後一個參數：borderType=cv2.BORDER_REFLECTBORDER_REFLECT：反射法，對感興趣的圖像中的像素在兩邊進行復制函數同上，最後一個參數：borderType=cv2.BORDER_REFLECT_101BORDER_REFLECT_101：反射法，也就是以最邊緣像素為軸，對稱函數同上，最後一個參數：borderType=cv2.BORDER_WRAPBORDER_WRAP：外包裝法函數同上，最後一個參數：borderType=cv2.BORDER_CONSTANTBORDER_CONSTANT：常量法數值計算具體含義圖片 + 數字對圖片的所有像素點都增加這個數字圖片 + 圖片兩圖片對應像素點位置相加，當像素點之和大於255時，會對像素點和求256的余數作為最終結果cv2.add( img_cat,img_cat2 )兩圖片對應像素點位置相加，當像素點之和大於255時，值設置成255img_new = cv2.convertScaleAbs( img )對圖片裡面的像素取絕對值圖像融合具體含義img_dog = cv2.resize( img_dog, (500, 414) )對圖片重新設置w值和h值res = cv2.resize( img, (0, 0), fx=4, fy=4 )在x方向或者y方向增大fx,fy的倍數res = cv2.addWeighted( img_cat, 0.5, img_dog, 0.5, 0 )圖像融合，img_cat設置權重0.5，img_dog設置權重0.5，0偏置

圖像處理

方法含義阈值處理具體含義ret, dst = cv2.threshold(src, thresh, maxval, type)src：輸入圖，只能輸入單通道圖像，通常來說為灰度圖；dst：輸出圖；thresh：阈值；maxval：當像素值超過了阈值（或者小於阈值，根據type來決定），所賦予的值。type = cv2.THRESH_BINARY超過阈值部分取maxval（最大值），否則取0。亮的地方變得最亮，暗的地方變得最暗。type = cv2.THRESH_BINARY_INVcv2.THRESH_BINARY的反轉操作type = cv2.THRESH_TRUNC大於阈值部分設為阈值，否則不變，相當於向上截斷的操作type = cv2.THRESH_TOZERO大於阈值部分不改變，否則設為0，相當於向下截斷的操作type = cv2.THRESH_TOZERO_INVTHRESH_TOZERO的反轉圖像平滑濾波操作具體含義blur = cv2.blur(img, (3, 3))簡單的平均卷積操作，（3，3）是卷積核box = cv2.boxFilter(img,-1,(3,3), normalize=True)方框濾波，可以選擇進行歸一化處理Gaussian = cv2.GaussianBlur(img, (5, 5), 1)高斯濾波的卷積核裡的數值是滿足高斯分布，相當於更重視中間的median = cv2.medianBlur(img, 5)相當於用中值代替，目前來看效果最好圖像形態學操作（灰度圖）具體含義erosion = cv2.erode(img,kernel,iterations=1)腐蝕操作，周圍邊界向中心區域腐蝕，kernel是腐蝕的核，iterations表示腐蝕操作進行的次數dige_dilate = cv2.dilate(dige_erosion,kernel,iterations = 1)膨脹操作，中心區域向周圍區域膨脹，kernel是膨脹的核，iterations表示膨脹操作進行的次數opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)開運算：先腐蝕，再膨脹closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)開運算：先膨脹，再腐蝕圖像梯度運算具體含義gradient = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel)求梯度操作，梯度=膨脹-腐蝕，kernel是梯度的核tophat = cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel)求禮帽操作，禮帽=原始輸入-開運算結果，kernel是禮帽的核blackhat = cv2.morphologyEx(img,cv2.MORPH_BLACKHAT, kernel)求黑帽操作，黑帽=閉運算結果-原始輸入，kernel是黑帽的核dst = cv2.Sobel(src, ddepth, dx, dy, ksize)Sobel算子求梯度。ddepth：圖像的深度，當圖像涉及到負值的時候，選用cv2.CV_64F這個type；dx和dy分別表示水平和豎直方向，兩者中只能一個為1另一個為0，同時為1效果不好；ksize是Sobel算子的大小，基本上選取（奇數，奇數）類型dst = cv2.Scharr(src, ddepth, dx, dy, ksize)Scharr算子求梯度。ddepth：圖像的深度，當圖像涉及到負值的時候，選用cv2.CV_64F這個type；dx和dy分別表示水平和豎直方向，兩者中只能一個為1另一個為0，同時為1效果不好；ksize是SCharr算子的大小，基本上選取（奇數，奇數）類型。與Sobel算子類似，只是Scharr算子的數值差異較大一些。laplacian = cv2.Laplacian(src, ddepth)Laplace算子求梯度。ddepth：圖像的深度，當圖像涉及到負值的時候，選用cv2.CV_64F這個type。基本圖形繪制具體含義img = cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)在圖片上繪制矩形。img：進行操作的圖片；(x,y)：矩形繪制的起始點；(x+w,y+h)：舉行繪制的終點；(0,255,0)：矩形繪制的顏色；2：矩形繪制的線條粗細度。img = cv2.circle(img,center,radius,(0,255,0),2)在圖片上繪制圓形。img：進行操作的圖片；center：圓心坐標；radius：半徑長度；(0,255,0)：矩形繪制的顏色；2：矩形繪制的線條粗細度。

邊緣檢測、圖像輪廓處理和模板匹配

方法含義Canny邊緣檢測方法含義v1=cv2.Canny(img, minValue, maxValue)Canny邊緣檢測。(1) 使用高斯濾波器（隨後進行核歸一化操作），以平滑圖像，濾除噪聲。(2) 計算圖像中每個像素點的梯度強度（Sobel/Scharr）和方向（求 a r c t a n ( d y d x ) \mathbf{arctan}(\frac{\mathbf{d}y}{\mathbf{d}x}) arctan(dxdy​)）。(3) 應用非極大值（Non-Maximum Suppression）抑制，以消除邊緣檢測帶來的雜散響應。具體方法是線性插值法和八方向法。通過這兩個方法計算一條梯度線前後的兩個梯度的大小，當前後的兩個梯度的大小均小於中間的這個梯度，那麼這個梯度值就是梯度了。(4) 應用雙阈值（Double-Threshold）檢測來確定真實的和潛在的邊緣。當梯度值大於maxValue，則處理為邊界；當梯度值處在（minValue，maxValue）之間，與邊界連接的就保留，沒有與邊界連接的就捨去；當梯度值小於minValue，必定捨棄。(5) 通過抑制孤立的弱邊緣最終完成邊緣檢測。minValue, maxValue選值兩者較高，相當於邊緣檢測較嚴格，呈現結果的邊緣較少；兩者較低，相當於邊緣檢測不嚴格，呈現結果的邊緣較多輪廓檢測方法含義binary, contours, hierarchy = cv2.findContours(img,mode,method)尋找邊緣的方法。img：輸入的圖片；mode：邊緣檢測的模式；method：邊緣檢測的方法。【注意】需要將BGR圖像轉成灰度圖，再經過阈值處理（方法：cv2.THRESH_BINARY）。mode = RETR_EXTERNAL只檢索最外面的輪廓mode = RETR_LIST檢索所有的輪廓，並將其保存到一條鏈表當中mode = RETR_CCOMP檢索所有的輪廓，並將他們組織為兩層：頂層是各部分的外部邊界，第二層是空洞的邊界mode = RETR_TREE檢索所有的輪廓，並重構嵌套輪廓的整個層次（常用）method = CHAIN_APPROX_NONE以Freeman鏈碼的方式輸出輪廓，所有其他方法輸出多邊形（頂點的序列）。method = CHAIN_APPROX_SIMPLE壓縮水平的、垂直的和斜的部分，也就是，函數只保留他們的終點部分。（常用）return：contours輪廓本身return：hierarchy每條輪廓對應的屬性cv2.drawContours(img, contours, -1, (0, 0, 255), 2)繪制邊緣的方法。img：原圖，即在原圖上進行邊緣繪制；contours：存儲邊緣數據的變量；-1：繪制出全部邊緣，-1改成1/2/3時表示繪制第1/2/3邊緣；(0, 0, 255)：繪制邊緣的BGR顏色（當前是純紅色）；2：繪制邊緣的線條粗細。cv2.contourArea(cnt)計算輪廓圍成的面積。cnt：變量contours中的一個，contours本身是一個列表。cv2.arcLength(cnt,True)計算輪廓的周長。cnt：變量contours中的一個，contours本身是一個列表。True：表示是閉合輪廓；False表示張開輪廓。approx = cv2.approxPolyDP(cnt,epsilon,True)處理輪廓近似。目的：有時候不需要太精確的輪廓。cnt：變量contours中的一個，contours本身是一個列表。epsilon：參數，設置成輪廓周長的參數倍，參數要自己調參。第三個參數未說明默認為True。return：approx返回的也是一個輪廓，也需要用drawContours方法進行繪制。x,y,w,h = cv2.boundingRect(cnt)繪制包圍輪廓的矩形。cnt：變量contours中的一個，contours本身是一個列表。return：x，y繪制矩形的坐標起始點 (x,y) 。return：w，h繪制矩形的寬(w: width)和高(h: height)。(x,y),radius = cv2.minEnclosingCircle(cnt)繪制包圍輪廓的圓形。cnt：變量contours中的一個，contours本身是一個列表。return：（x，y）繪制圓形的坐標起始點 (x,y) 。return：radius繪制圓形的半徑。模板匹配方法含義res = cv2.matchTemplate(img, template, type)模板匹配方法。img：原圖片；template：模板圖片；type：進行模板匹配的方法。type = cv2.TM_SQDIFF計算平方不同，計算出來的值越小，越相關type = cv2.TM_CCORR計算相關性，計算出來的值越大，越相關type = cv2.TM_CCOEFF計算相關系數，計算出來的值越大，越相關type = cv2.TM_SQDIFF_NORMED計算歸一化平方不同，計算出來的值越接近0，越相關（准一些）type = TM_CCORR_NORMED計算歸一化相關性，計算出來的值越接近1，越相關（准一些）type = TM_CCOEFF_NORMED計算歸一化相關系數，計算出來的值越接近1，越相關（准一些）return：res假如原圖形是 A × B A \times B A×B 大小，而模板是 a × b a \times b a×b 大小，則輸出結果的矩陣是 ( A − a + 1 ) × ( B − b + 1 ) (A-a+1) \times (B-b+1) (A−a+1)×(B−b+1) 。min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)尋找最匹配/不匹配模板的方法。res：用matchTemplate生成的二維匹配值數組。return：min_val，max_val匹配程度的最小值和最大值。return：min_loc, max_loc當匹配程度達到最小值和最大值時候對應的位置。

圖像金字塔、直方圖

項目內容為什麼要進行金字塔生成？圖片放大/縮小後提取的特征可能不一樣down=cv2.pyrDown(img)高斯金字塔：向下采樣法。先將圖像與高斯內核進行卷積，然後減少偶數行和偶數列up=cv2.pyrUp(img)高斯金字塔：向上采樣法。先將圖像的每個方向擴大為原來的兩倍，新增的行和列以0填充；使用先前同樣的內核（乘以4）對擴充後的圖像進行卷積。down=cv2.pyrDown(img) // down_up=img - cv2.pyrUp(down)拉普拉斯金字塔：先對圖像做向下采樣，再對圖像做向上采樣，最後用原圖減去這個生成的圖，即可得到這次拉普拉斯金字塔的一層。為什麼要進行直方圖生成？查看圖片中0~255每個像素值的分布，有利於後面的均衡res = cv2.calcHist(images,channels,mask,histSize,ranges)用於生成直方圖的方法。images：原圖像圖像格式為uint8或float32。當傳入函數時應用中括號。channels：同樣用中括號括來它會告訴我們圖像的直方圖通道。如果入圖像是灰度圖它的值就是0+中括號；如果是彩色圖像，傳入的參數可以是0/1/2+中括號，它們分別對應著B/G/R。mask：掩模圖像。統計整幅圖像的直方圖就把它為None。但是想統計圖像某一部分的直方圖，就制作一個掩模圖像並使用它。histSize:BIN的數目，也應用中括號。ranges: 像素值范圍常為[0~256]。return：res每一個bin對應的統計結果。plt.hist(img.ravel(),256);調用生成直方圖的方法。注意要使用img的ravel()方法。mask = np.zeros(img.shape[:2], np.uint8) mask[100:300, 100:400] = 255生成mask的方法。采用與img同樣的shape，每個像素點的數據類型是無符號8位，其取值范圍正好是0~255。對mask的部分區域進行賦值，賦值255。使用時，將calcHist的None直接換成mask變量即可。masked_img = cv2.bitwise_and(img, img, mask=mask)與操作。將img圖像與mask掩膜圖像按像素與操作。equ = cv2.equalizeHist(img)對圖像進行均衡化操作。return：equ返回的是均衡後的圖片。clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))創建一個自適應均衡化實例。clipLimit：默認參數；tileGridSize：自適應均衡化的“小掩膜”，也可以說是窗口。res_clahe = clahe.apply(img)自適應均衡化實例作用在圖片上的方法。return：res_clahe返回的是自適應均衡化後的圖片結果。

傅裡葉變換和低通/高通濾波

方法含義傅裡葉變換的作用？可以檢測出高頻信息和低頻信息。高頻：變化劇烈的灰度分量；低頻：變化緩慢的灰度分量。傅裡葉變換的意義？在原圖像上檢測高頻/低頻信息很困難，轉換成頻域就很簡單。低通濾波器只保留低頻，會使得圖像模糊高通濾波器只保留高頻，會使得圖像細節增強img_float32 = np.float32(img)在進行頻域變換前需要將數據類型轉換成float32類型dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)對圖像進行傅裡葉變換的方法。img_float32是輸入的圖片；flags=cv2.DFT_COMPLEX_OUTPUT指的是傅裡葉變換輸出復數，這是默認值。return：dft返回值是一個頻譜。低頻信息在主要分布在右上角。dft_shift = np.fft.fftshift(dft)將低頻信息從右上角搬移到圖像中心。magnitude_spectrum = 20*np.log(cv2.magnitude(dft_shift[:,:,0],dft_shift[:,:,1]))將頻譜轉換成可見圖片的形式。固定格式。rows, cols = img.shape \ crow, ccol = int(rows/2) , int(cols/2) \ mask = np.zeros((rows, cols, 2), np.uint8) \ mask[crow-30:crow+30, ccol-30:ccol+30] = 1低通濾波器的制作過程。在圖片中實際上是制作一個掩膜。fshift = dft_shift*mask頻譜與掩膜的合並只需要做乘法即可。f_ishift = np.fft.ifftshift(fshift)將頻譜圖像從中心處轉移到左上角處。img_back = cv2.idft(f_ishift)傅裡葉反變換，將頻譜信息轉移成圖片信息。img_back = cv2.magnitude(img_back[:,:,0],img_back[:,:,1])最後將圖片合成可見圖片的形式。