Nhất quán dữ liệu (Data consistency)

Có 2 cách để đạt được tính nhất quán dữ liệu:

- Nhất quán giao dịch(Transactional Consistency)

- Hội tụ dữ liệu (Data Convergence)

Độc lập site (site autonomy)

Độc lập site xét đến ảnh hưởng của những thao tác trên một site đến các site khác. Thường độc lập site càng tăng thì tính nhất quán dữ liệu giảm. Nhân bản kết hợp (Merge replication) có mức độc lập site cao nhất, tạo ra sự hội tụ nhưng lại không đảm bảo tính nhất quán dữ liệu. 2PC (two phase commit) có tính nhất quán dữ liệu cao nhưng lại không có tính độc lập site. Những giải pháp khác thì thường ở giữa hai tính này.

Các thành phần chính của nhân bản:

- Publisher: Là một server tạo dữ liệu để nhân bản đến các server khác. Nó xác định dữ liệu nào được nhân bản, dữ liệu nào thay đổi và duy trì những thông tin về các công bố tại site đó.

- Subscriber: Là một server lưu giữ nhân bản và nhận các tác vụ cập nhật. SQL Server 2000 cho phép Subsriber cập nhật dữ liệu nhưng quá trình cập nhập ở Subscriber không giống như ở Publisher. Một Subscriber có thể là một Publisher của các Subscriber khác.

- Distributor: Là một server mà chứa CSDL phân tán (distribution database) và lưu trữ metadata, history data và transaction. SQL Server sử dụng CSDL phân tán để lưu và chuyển (store_and_forward) dữ liệu nhân bản từ Publisher đến các Subscriber. Có 2 loại Distributor : Local Distributor và remote Distributor.

- Publication: Đơn giản là một tập hợp các mẩu dữ liệu (article). Một mẩu là một nhóm dữ liệu được nhân bản. Một mẩu có thể bao gồm một table hay chỉ là một vài hàng (horizontal fragment) hay cột (vertical fragment). Một Publication thường gồm nhiều mẩu.

Chiều di chuyển dữ liệu

Có 2 kiểu di chuyển dữ liệu:

Giới thiệu

Nhân bản snapshot là loại nhân bản đơn giản nhất, nhân bản snapshot sao chép toàn bộ dữ liệu cần nhân bản (còn gọi là quá trình làm tươi dữ liệu) từ Publisher đến các Subscriber. Nó đảm bảo sự nhất quán tiềm ẩn (Latent Transactional Consistency) giữa Publisher và Subscriber. Nhân bản snapshot được đánh giá cao trong các ứng dụng chỉ đọc như tìm kiếm hay các hệ thống không yêu cầu dữ liệu mới nhất và dung lượng dữ liệu không lớn.

Nhân bản Snapshot gửi tất cả dữ liệu đến cho Subscriber thay vì chỉ gửi những thay đổi. Nếu mẫu dữ liệu rất lớn nó phải cần đến hệ thống mạng đủ mạnh để truyền dữ liệu. Khi sử dụng nhân bản snapshot cần phải tính đến tỉ lệ giữa kích cỡ của toàn bộ dữ liệu và những thay đổi của nó.

Tác nhân (agent)

Cập nhật snapshot được thực hiện bởi snapshot agent và distribution agent. Snapshot agent chuẩn bị những snapshot file (snapshot file là file sao chép lược đồ và dữ liệu của những table phân bố) chứa lược đồ và dữ liệu của những table phân bố, lưu những file này vào snapshot folder trên Distributor và ghi lại những công v iệc đồng bộ trong CSDL phân bố (distribution database). Distribution agent gửi những snapshot job (tác vụ sao chép dữ liệu) giữ trong bảng dữ liệu phân bố đến Subsciber.

CSDL phân bố ( distribution database) chỉ được sử dụng trong nhân bản, không chứa user table.

Giới thiệu

Sử dụng nhân bản giao dịch để nhân bản hai kiểu đối tượng khác nhau: table và stored procedure. Bạn có thể chọn tất cả hay một phần của một table được nhân bản như là một article trong publication. Tương tự, bạn cũng có thể chọn một hay nhiều stored procedure được nhân bản như là một article trong cùng hay khác publication.

Nhân bản giao dịch sử dụng transaction log để giữ những thay đổi được làm trên dữ liệu trong một article. SQL Server giám sát những lệnh insert, update, delete hay những sửa đổi trên dữ liệu và lưu những thay đổi đó lên CSDL phân bố (distribution database). Những thay đổi đó sẽ được gửi đến Subscriber và tuân theo một trật tự nhất định.

Với nhân bản giao dịch, bất cứ yếu tố dữ liệu nào cũng có một publication. Những thay đổi được làm tại Publisher tiếp tục chảy đến một hay nhiều các Subsciber hay theo những khoảng thời gian định trước.

Tác nhân (agent)

Nhân bản giao dịch được thực hiện bởi Snapshot agent, Log Reader agent và Distribution agent. Log Reader agent giám sát transaction log của mỗi CSDL được thiết lập để nhân bản và sao chép những transaction cần nhân bản từ transaction log vào CSDL phân bố (distribution database) . Distribution agent di chuyển những transaction và những tác vụ khởi tạo snapshot được giữ trong table của CSDL phân bố.

Thu dọn trong nhân bản transaction

Tương tự cho nhân bản snapshot.

Khi CSDL phân tán(distribution database) được tạo, SQL Server sẽ tự động thêm vào 3 tác vụ tại Distributor:

- Agent checkup

- Transaction cleanup

- History cleanup

Những tác vụ này giúp cho việc nhân bản hiệu quả hơn trong môi trường long_running. Tác vụ cleanup giữ lại những transaction của mỗi publication trong một giai đoạn xác định sau khi tất cả Subscriber đã nhận chúng. Trong suốt giai đoạn này những transaction sẽ được giữ trong CSDL phân bố. Thiết lập một giai đoạn giữ lại kết hợp với lịch backup có thể được sử dụng khôi phục CSDL đích một cách tự động khi xảy ra sự cố.

Cập nhật Subscriber lập tức(Immediate_Updating Subscriber)

Trong trường hợp đơn giản nhất, cả hai nhân bản snapshot và giao dịch làm việc dựa trên mô hình nhân bản một chiều ( dữ liệu chỉ được nhân bản từ Publisher đến Subscriber). Tuy nhiên MS SQL Server cung cấp thêm một mô hình mới cho phép Subscriber sửa đổi dữ liệu nhân bản, tùy chọn Immediate_Updating Subscriber sẽ cung cấp sự nhất quán giao dịch ngầm (latent transactional consistency) giữa các Subscriber (những sửa đổi sẽ xảy ra lập tức giữa Subscriber thực hiện tác vụ cập nhật và Publisher) mà không yêu cầu cập nhật chỉ được làm tại Publisher site. Tùy chọn này được thiết lập vào lúc publication được tạo và cho phép Subscriber cập nhật bản sao dữ liệu cục bộ của nó và những thay đổi đó sẽ được phản ánh lập tức đến Publisher bằng cách sử dụng two-phase commit protocol (2PC). 2PC được qu 843;n lý bởi Microsoft Distributed Transaction Coordinator (MS DTC). Nếu cập nhật có thể được thực hiện bằng 2PC thì Publisher sẽ phổ biến những thay đổi đến tất cả các Subscriber khác theo lịch làm việc của distribution agent (hay là theo lần làm tươi snapshot kế tiếp). Bởi vì Subscriber gốc đã cập nhật những thay đổi dữ liệu rồi, nên user có thể tiếp tục làm việc với những dữ liệu đó và đảm bảo những thay đổi đó sẽ được cập nhật tại Publisher. Mô hình này đảm bảo tính toàn vẹn giao dịch.

Với mô hình này, tính độc lập site sẽ giảm, nhưng vẫn cao hơn khi tất cả các Subscriber cập nhật lập tức.

Tuỳ chọn Immediate-updating Subscribers được hỗ trợ sử dụng những công cụ :

- Triggers

- Stored procedues

- Microsoft Distributed Transaction Coordinator (MS DTC)

- Phát hiện tranh chấp

- Phát hiện Loopback

Triggers:

Triggers tại Subcriber theo dõi các transaction và báo về cho các publication bằng cách sử dụng những stored procedure gọi từ xa (remote stored procedure call) trong 2- phase commit protocol (2PC) mà được điều khiển bởi MS DTC . Trigger sẽ thực hiện các công việc:

- Trích giá trị từ những bảng insert hay delete

- Gọi lệnh BEGIN DISTRIBUTED TRAN{SACTION}

- Thực thi một remote procedure để gọi stored procedure thích hợp tại Publisher, thông qua những giá trị từ những bảng insert hay delete.

- Điều khiển cập nhật giá trị timestamp & indentity mới tại Subcriber

- Nếu gọi những stored procedure từ xa thành công, thì commit transaction phản ánh chính xác cùng những thay đổi tại cả hai Publisher và Subcriber. Sau đó, Publisher bảo đảm rằng những thay đổi được phổ biến đến tất cả các Subcriber khác. Ngược lại nếu không được Subscriber sẽ hủy bỏ (rollback) giao dịch và trả về những lỗi cho user.

Stored procedures:

Stored procedure tại Publisher thực thi những giao dịch khi giao dịch đó không tranh chấp với những thay đổi được làm tại Publisher. Nếu một tranh chấp được phát hiện, giao dịch bị hủy bỏ (roll back) ở cả hai site. Mỗi article có ba hàm insert, delete, update. Mỗi hàm tại Publisher sẽ thực hiện các công việc sau:

- Insert procedure : Cố gắng insert hàng (row). Sau đó kiểm tra giá trị @@ROWCOUNT/@@ERROR và trả về tín hiệu thành công hay sự cố cho lời gọi trigger đó của Subscriber.

- Delete procedure : Cố gắng xóa hàng . Sau đó kiểm tra giá trị @@ROWCOUNT/@@ERROR và trả về tín hiệu thành công hay sự cố cho lời gọi trigger đó của Subscriber.

- Update procedure : cố gắng cập nhật hàng có cùng giá trị khoá và timestamp với hàng trong bảng delete. Kiểm tra@@ROWCOUNT / @@ERROR. Nếu thành công, trả về một giá trị timestamp mới.

SQL Server tổ chức 2 bảng (table) : delete và insert để lưu những dữ liệu thay đổi được làm trên một bảng (table) mà chưa được commit. Thực tế lệnh update bao gồm 1 hàng trong bảng insert và 1 hàng trong bảng delete.

MS DTC (Microsoft Distributed Transaction Coordinator):

MS DTC quản lý những tác vụ 2-phase commit giữa một Subcriber và Publisher trong một lệnh gọi từ xa ( BEGIN DISTRIBUTED TRANSACTION trong Transact-SQL ).

Phát hiện tranh chấp:

Những stored procedure của Publisher sử dụng cột timestamp để phát hiện một hàng có thay đổi hay không sau khi nó được nhân bản đến Subcriber. Khi Subcriber yêu cầu một giao dịch cập nhật lập tức (immdediate-update transaction), nó gửi giá trị timestamp đến Publisher với tất cả những cột khác trong hàng. Khi đó stored procedure của Publisher so sánh giá trị này với giá trị timestamp hiện tại của hàng. Nếu giá trị này giống nhau thì hàng không được sửa đổi sau khi nó được nhân bản đến Subcriber v& 71c9 #224; vì thế giao dịch này được chấp nhận.

Timestamp là một giá trị tự động tăng và duy nhất trong một cơ sở dữ liệu.

Phát hiện loopback :

Nếu một transaction được thực thi thành công lên một Subcriber và Publisher, không cần thiết phổ biến những thay đổi trở về cho Subcriber gốc (Subscriber đưa những thay đổi đến Publisher ). SQL Server có một cơ chế gọi là phát hiện loopback (loopback detection ) để xử lý tình huống này.

Những thông tin sử dụng để phát hiện loopback đựoc lưu thành một transaction bởi cơ sở transaction. Những bảng mà định cư trong những cơ sở dữ liệu khác nhau tại immediate updating Subcriber hay những bảng mà định cư trong những cơ sở dữ liệu khác nhau ở phía bên kia của immediate-updating Subcriber không nên được update trong cùng 1 transaction.

Nhân bản những thực thi của Stored procedure

SQL server không những cho phép bạn nhân bản dữ liệu trong bảng mà còn hỗ trợ bạn nhân bản stored procedure một trong hai cách. Nếu bạn có một hay nhiều stored procedure như là những article trong một snapshot publication, SQL server sao chép toàn bộ store procedure từ Publisher đến Subcriber. Nếu bạn gồm một hay nhiều stored procedure như là article trong một nhân bản giao dịch, SQL Server sẽ nhân bản thực thi của stored procedure hơn là những dữ liệu thay đổi gây ra bởi sự thực thi những stored procedure đó. Cách làm này đặc biệt hữu ích trong nhân bản mà kết quả của những stored procedure có thể ảnh hưởng một số lượng lớn dữ liệu. Nhân bản những thay đổi như thực thi một lệnh đơn làm tăng hiệu quả ứng dụng của bạn.

Có 2 loại:

- Procedure execution

- Serializable Procedure execution

Procedure execution:

Nhân bản procedure execution đến tất cả Subcriber. Điều này xảy ra bất chấp những lệnh đơn trong stored procedure có thành công hay không. Bởi vì những thay đổi dữ liệu được làm bởi stored procedure có thể xảy ra trong nhiều giao dịch, nên dữ liệu tại Subcriber không thể bảo đảm là sẽ nhất quán với dữ liệu tại Publisher.

Serializable Procedure execution:

Chỉ thực hiện nhân bản procedure execution khi procedure được thực thi trong môt chuỗi giao dịch tuần tự. Cách này đảm bảo dữ liệu tại Subscriber nhất quán với dữ liệu tại Publisher.

Giới thiệu

Nhân bản kết hợp có tính độc lập site (site autonomy) cao nhất. Publisher và Subscriber có thể làm việc hoàn toàn độc lập và sẽ kết nối với nhau theo những khoảng thời gian để hội tụ các kết quả lại. Nếu đụng độ gây ra bởi các site cùng sửa đổi trên cùng một phần tử dữ liệu thì những đụng độ này sẽ được giải quyết một cách tự động. Khi đụng độ xảy ra, bộ giải quyết đụng độ sẽ chọn site có độ ưu tiên cao hơn hay site sửa đổi dữ liệu đó trước. Các xung đột này có thể được phát hiện và giải quyết theo cấp độ hàng hay cột của bảng dữ liệu.

Nhân bản kết hợp nhận biết những thay đổi trong một CSDL nguồn và đồng bộ những giá trị giữa Publisher và Subscriber. Cả hai Publisher và Subscriber đều có thể cập nhật dữ liệu. Trong nhân bản kết hợp, Publisher là server tạo publication. Mặc dù Publisher tạo publication nhưng nó không tự động “thắng” 1 tranh chấp với 1 Subscriber. "Người thắng cuộc" được xác định bởi tiêu chuẩn do bạn thiết lập và những thay đổi dữ liệu tại CSDL đích sẽ được phổ biến đến CSDL nguồn.

Tác nhân (agent)

Nhân bản kết hợp được thực hiện bởi snapshot agent và merge agent. Snapshot agent chuẩn bị những snapshot file chứa lược đồ và dữ liệu của những table phân bố, lưu những file này vào snapshot folder trên Distributor và ghi lại những công việc đồng bộ trong publication. Merge agent thực hiện những công việc khởi tạo snapshot được tổ chức trong bảng (table) của publication đến Subscriber. Nó cũng kết hợp những dữ liệu thay đổi xảy ra tại Publisher sau khi initial snapshot được tạo và giải quyết tranh chấp theo những luật mà bạn đặt ra hay sử dụng bộ giải quyết tranh chấp (conflict resolver).

Snapshot agent:

Tương tự như Snapshot agent của nhân bản transaction.

Merge agent:

Khi một hàng được cập nhật trong một mẩu (article) một trigger tạo cột generation cho hàng đó và gán nó bằng 0. Khi merge agent được thực thi nó sẽ thu thập tất cả những hàng có generation bằng 0 thành một hay nhiều nhóm và gán cho generation một giá trị lớn hơn tất cả những generation trước đó. Merge agent tại mỗi site sẽ theo dõi generation cao nhất mà nó gửi đến các site khác và các generation cao nhất mà các site khác đã gửi đến nó. Những generation này được lưu trong hàng (row) có thể khác nhau giữa các site bởi vì generation tại một site phản ánh thứ tự những thay đổi được xử lý tại site đó.

Vào lúc đồng bộ, merge agent gửi tất cả những dữ liệu thay đổi đến site khác. Tại CSDL nguồn, những giá trị đến được kết hợp với những giá trị đã tồn tại. Merge agent ước lượng cả hai giá trị dữ liệu đến và hiện có và bất cứ tranh chấp nào giữa hai giá trị cũ và mới cũng được giải quyết một cách tự động dựa theo độ ưu tiên hay user thay đổi dữ liệu trước hay kết hợp giữa hai cách trên (dùng với nhóm site có độ ưu tiên tương đương nhau). Bạn cũng có thể thực thi những chiến lược giải quyết tranh chấp thông qua COM hay bộ giải quyết stored procedure (stored procedure resolver). Những dữ liệu thay đổi được nhân bản đến những site khác chỉ khi một đồng bộ xảy ra và việc đồng bộ này có thể mất vài phút, vài ngày hay thậm chí vài tuần.

Nhân bản kết hợp có tính độc lập site rất cao. Tất cả site dều có thể thực hiện update, delete, insert trên dữ liệu phân bố trên site của nó và độc lập với những thay đổi được làm trên những site khác. Tuy nhiên nhân bản kết hợp không đảm bảo tính toàn vẹn giao dịch. Thay vì vậy nó đẩy mạnh sự hội tụ dữ liệu. Tất cả những thay đổi được làm tại tất cả các site sẽ hội tụ về cùng một giá trị, mặc dù giá trị đó không đảm bảo là giống nhau như là tất cả những thay đổi đó được áp dụng lên một site. Vì vậy kiểu này không thích hợp cho những ứng dụng yêu cầu toàn vẹn giao dịch.

Merger agent là một công cụ của SQL Server Agent và có thể được quản lý trực tiếp bằng cách sử dụng SQL Server Enterprise Manager. Snapshot agent thực thi trên Distribution. Merge agent thực thi trên Distribution khi dùng push subsciption hay thực thi trên Subsciber khi dùng pull subsciption.

Giải quyết tranh chấp trong nhân bản kết hợp

MA phát hiện tranh chấp thông qua một cột hệ thống gọi là lineage trong bảng MSmerge-contents, đại diện cho quá trình thay đổi trong một hàng. Agent cập nhật cột lineage trong MS merge-contents một cách tự động khi một user cập nhật hàng. Mỗi cột chứa một mục (entry) cho mỗi site mà cập nhật lên hàng. Mỗi entry kết hợp giữa chỉ số (id) của site và version cuối cùng của hàng được tạo bởi site đó. Khi MA kết hợp những thay đổi, và nó đụng phải một hàng mới thay đổi, nó sẽ xem xét cột lineage của hàng trên mỗi site để xác định có tranh chấp hay không ? Khi tranh chấp xảy ra, agent khởi động một bộ hoà giải tự động. “Người thắng” tranh chấp có thể dựa theo độ ưu tiên hoặc giải pháp chọn người đến trước nhất hay phương pháp truyền thống sử dụng bộ giải quyết tranh chấp COM hay store procedure.

Tranh chấp dữ liệu trong table có thể được nhận biết ở cấp độ cột hoặc cấp độ hàng. Chọn lựa (option) mặc định là cột (column-tracked articles). Chọn lựa này cho phép những thay đổi được làm trên từng cột riêng biệt nhau, chỉ những thay đổi trên cùng một cột bị đánh dấu như là một tranh chấp. Tuy nhiên trong một vài ứng dụng, những luật của ứng dụng của bạn có thể đối xử đồng thời những thay đổi đến toàn bộ hàng như là một tranh chấp. Trong trường hợp này, cấp độ hàng là một chọn lựa.