Là một hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay còn gọi là neural) tựa như neural thần kinh của não người, hoạt động song song và được nối với nhau bởi các liên kết neural. Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hoặc ức chế giữa các neural.

Có thể xem các trọng số là phương tiện để lưu trữ thông tin dài hạn trong mạng neural và nhiệm vụ của quá trình huấn luyện của mạng là cập nhật các trọng số khi có thêm thông tin về mẫu học. Hay nói một cách khác, các trọng số đều được điều chỉnh sao cho dáng điệu vào ra của mạng sẽ mô phỏng hoàn toàn phù hợp với môi trường đang xem xét.

1 Mạng Một Tầng

Mạng một tầng với S nơ-ron được minh họa trong hình 1. Chú ý rằng với mỗi một đầu vào trong số R đầu vào sẽ được nối với từng nơ-ron và ma trận trọng số bây giờ sẽ có S hàng.

Một tầng bao gồm ma trận trọng số, các bộ cộng, vector ngưỡng b, hàm chuyển và vector đầu ra a.

Mỗi phần tử của vector đầu vào p được nối với từng nơ-ron thông qua ma trận trọng số W. Mỗi nơ-ron có một ngưỡng b(i), một bộ cộng, một hàm chuyển f và một đầu ra a(i).

Cùng với nhau, các đầu ra tạo thành một vector đầu ra a.

Thông thường thì số lượng đầu vào của tầng khác với số lượng nơ-ron.(R#S).

Có phải tất cả các nơ-ron trong cùng một tầng phải có hàm chuyển giống nhau ? Câu trả lời là không; bạn có thể định nghĩa các nơ-ron trong một tầng có hàm chuyển khác nhau bằng cách kết hợp song song hai mạng nơ-ron giống ở trên. Cả hai sẽ có đầu vào giống nhau, và mỗi mạng sản xuất ra vài đầu ra.

Ma trận trọng số cho các phần tử trong vector đầu vào W:

Hình 1: Mô hình mạng 1 lớp

Các chỉ số hàng của các phần tử trong ma trận W chỉ ra nơ-ron đích đã kết hợp với trọng số đó, trong khi chỉ số cột cho biết đầu vào cho trọng số đó. Vì vậy, các chỉ số trong  nói rằng đây là trọng số của đầu vào thứ 2 nối với nơ-ron thứ 3.

2 Mạng Đa Tầng

Hình 2: Ví dụ về một mô hình mạng đa tầng

Mô hình mạng neural ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn(hidden) và lớp xuất (output). Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng.

Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp ­– ta gọi là tổng trọng số – và chuyển kết quả cho các nút trong lớp ẩn. Gọi là “ẩn” vì các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất, và chỉ có người thiết kế mạng mới biết lớp này (người sử dụng không biết lớp này).

Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp ẩn. Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc.