diff --git a/conn.go b/conn.go
index 96b975846..7b18abea6 100644
--- a/conn.go
+++ b/conn.go
@@ -607,10 +607,6 @@ func (c *Conn) readAndBuffer(ctx context.Context) error {
 			hasHandshake = true
 		}
 
-		var e *alertError
-		if errors.As(err, &e) && e.IsFatalOrCloseNotify() {
-			return e
-		}
 		if err != nil {
 			return err
 		}
@@ -644,8 +640,7 @@ func (c *Conn) handleQueuedPackets(ctx context.Context) error {
 		var e *alertError
 		if errors.As(err, &e) && e.IsFatalOrCloseNotify() {
 			return e
-		}
-		if err != nil {
+		} else if err != nil {
 			return err
 		}
 	}