Операция теневого копирования тома не выполнена ошибка 0x800423f4

Резервное копирование виртуальной машины с SharePoint Server 2019 в  Veeam Backup & Replication v12 выполнялось успешно до тех пор, пока в SharePoint не была настроена и запущена служба поиска Search Service Application. Каждое последующее задание резервного копирования ВМ стало завершаться ошибкой создания контрольной точки Hyper-V production checkpoint следующего вида:

Failed to create VM recovery checkpoint (mode: Veeam application-aware processing) Details: Failed to create VM (ID: ba7b4b0c-3fbd-4c51-8737-2ae39aee005f) recovery checkpoint. Job failed ('Checkpoint operation for 'KOM-WEB01' failed. (Virtual machine ID BA7B4B0C-3FBD-4C51-8737-2AE39AEE005F) 'KOM-WEB01' could not initiate a checkpoint operation: %%2147754996 (0x800423F4). (Virtual machine ID BA7B4B0C-3FBD-4C51-8737-2AE39AEE005F)'). Error code: '32768'.
Retrying snapshot creation attempt (Failed to create production checkpoint.)
Task has been rescheduled
Unable to allocate processing resources. Error: Failed to create production checkpoint.

Анализ логов на сервере SharePoint в момент выполнения задания в VBR показал наличие ошибки с кодом Event ID 8194:

Log Name:      Application
Source:        VSS
Date:          29.04.2023 3:12:51
Event ID:      8194
Level:         Error
Keywords:      Classic
Computer:      KOM-WEB01.holding.com
Description:   Volume Shadow Copy Service error: Unexpected error querying for the IVssWriterCallback interface.  hr = 0x80070005, Access is denied. This is often caused by incorrect security settings in either the writer or requestor process. 
Operation:   PrepareForSnapshot Event
Context:
   Execution Context: Writer
   Writer Class Id: {0ff1ce16-0201-0000-0000-000000000000}
   Writer Name: OSearch16 VSS Writer
   Writer Instance Name: OSearch Replication Service
   Writer Instance ID: {4ce2a6c6-2cf2-4f58-872f-9ce95adf804a}

Попытка создать контрольную точку ВМ вручную в консоли Hyper-V Manager также приводила к ошибке «could not initiate a checkpoint operation: %%2147754996 (0x800423F4)«

При этом в логе Application фиксировалась аналогичная ошибка с кодом 8194.

Команда листинга модулей записи теневого копирования на сервере SharePoint показала ошибочное состояние модуля «OSearch16 VSS Writer«:

vssadmin list writers
...
Writer name: 'OSearch16 VSS Writer'
   Writer Id: {0ff1ce16-0201-0000-0000-000000000000}
   Writer Instance Id: {268f99a2-1231-41d2-81e2-8f3ee565ee8e}
   State: [8] Failed
   Last error: Non-retryable error
...

Так как в тексте ошибки в event-логе фигурирует информация о нехватке прав («…0x80070005, Access is denied…»), в первую очередь нужно понять о какой учётной записи идёт речь.

Если посмотреть на стандартные поля в событии об ошибке, то в поле User мы не увидим информации о пользователе:

Однако, если переключиться на отображение подробностей на вкладке Details, то в варианте просмотра Friendly View в разделе с листингом бинарных данных мы сможем увидеть имя учётной записи, в контексте которой возникла шибка:

В нашем случае, это учётная запись фермы SharePoint (Farm account). И в контексте именно этой учётной записи у нас выполняется служба поиска SharePoint. При этом данная учётная запись не имеет полных административных прав на сервере.

Теперь относительного того, куда именно не может получить доступ учётная запись.

При проблемах с резервным копированием службы поиска SharePoint, в качестве одного из моментов, на который стоит обращать внимание, является состояние ключа реестра для службы «Volume Shadow Copy» (VSS):

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\VSS

Как минимум, в этом ключе:

1) В под-ключе \VssAccessControl должен присутствовать параметр REG_DWORD с именем учётной записи, в контексте которой работает ферма/служба поиска, и значением «1»;

2) В под-ключе \Diag должен присутствовать под-ключ с именем VSS модуля для службы поиска SharePoint (в нашем случае должен быть под-ключ с именем «OSearch16 VSS Writer«):

В нашем случае обнаружилось, что под-ключа «OSearch16 VSS Writer» нет.

В такой ситуации некоторые граждане предлагают выдать полные права доступа для учётной записи фермы/службы поиска на под-ключ \Diag. Однако, если присмотреться к действующим разрешениям на этот ключ реестра, то можно заметить, что запись в него разрешена локальной группе безопасности «Backup Operators«.

Включаем учётную запись фермы/службы поиска в эту группу на нашем виртуальном сервере SharePoint со службой поиска и перезагружаем этот сервер.

После перезагрузки удостоверимся в наличии ключа реестра «OSearch16 VSS Writer» и увидим, что владельцем этого ключа является учётная запись, включенная нами ранее в группу «Backup Operators».

После этого снова попробуем создать контрольную точку виртуальной машины в оснастке Hyper-V Manager.

В нашем случае контрольная точка создалась успешно и в гостевой системе виртуального сервера SharePoint ошибка с кодом 8194 больше не появляется.

Теперь можно проверить, как изменилась ситуация в Veeam Backup & Replication. Убеждаемся в том, что в ходе выполнения задания резервного копирования для ВМ успешно создаётся, а затем автоматически удаляется временная контрольная точка, и, как следствие задание VBR отрабатывает без ошибок.

Стоит отметить, что описанная проблема является не проблемой VBR, а проблемой корректной настройки прав доступа для сервисных учётных записей SharePoint. При этом в официальном документе «Plan for administrative and service accounts in SharePoint Server» мне не удалось найти каких-либо явных указаний по включению сервисных учётных записей SharePoint в группу «Backup Operators» или каких-либо схожих по смыслу рекомендаций.

The SBS 2011 (Exchange is at SP1) Windows 2008 R2 suddenly stopped making backups with error

Backup unsuccessful. A Volume Shadow Copy Service operation failed. Unknown error (0x800423f4).

When manually starting the backup from SBS console, the backup will fail after 52 seconds.

Hardware setup

The source of the backup are two RAID-1 volumes connected to a P420:

• 2 x 128GB Samsung SSD 840 — 78 GB out of 119 GB available
• 2 x 300GB ATA WDC WD3000HLFS — 218 GB out of 279 GB available

The backup destination is a USB drive with 298 GB of (free) space.

System State backup fails

> wbadmin start systemstatebackup -backuptarget:\\?\Volume{3956a561-b129-11e3-805c-7446a0f49555}
...(203.18 MB)...

Failure in a Volume Shadow Copy Service operation.

ERROR - Volume Shadow Copy Service operation error (0x800423f4)
The writer experienced a non-transient error.  If the backup process is retried,
the error is likely to reoccur.

I could not read .etl files

The wbadmin command output also points to log files that should be available at C:\Windows\Logs\WindowsServerBackup\, however there are no .log files there (only .etl files).

NTDS writer is in state «[11] Failed»

> Vssadmin list writers

The only item with an error is the NTDS writer:

Writer name: 'NTDS'
   Writer Id: {b2014c9e-8711-4c5c-a5a9-3cf384484757}
   Writer Instance Id: {d88809aa-a5ef-460e-84c0-4dd8a8350184}
   State: [11] Failed
   Last error: Non-retryable error

Event viewer

In the event viewer Application event log the wbadmin start systemstate command registers

• an error for application Backup with Event-ID 521 and error number 2155348129.
• After starting the command the ESENT event-IDs occur is this order: 2001, 2001, 2003, 2006, 2003, 2006,
• then there is the VSS event 8229 with error 0x800423f4,
• then there are 18264 events (MSSQL database backup succeeded for MICROSOFT##SSEE, SBSMONITORING and SHAREPOINT),
• and finally there is the Backup event 521 with error 2155348129.

Regression

• Reboot
• Disable CrashPlan backup service
• Disable SQL Server VSS Writer
• C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN>PSConfig.exe -cmd upgrade -inplace b2b -force -cmd applicationcontent -install -cmd installfeatures

• Clear Volume Shadow Copy files for boot volume

  > vssadmin delete shadows /for=c: /all

• Set Volume Shadow Copy to use unlimited space on both volumes

• Delete backup catalog

  > wbadmin delete catalog

• Restart the Com and DCOM services

• Restart the Volume Shadow Copy Service
• Uninstall Windows Backup component; reboot; install Windows Backup component
• Install Update Rollup 4 for Windows Small Business Server 2011 Standard (KB2885319)
• Re-registering Vss Dlls
• Install Sharepoint 2010 Foundation SP2
• cd "C:\Program Files\Common Files\Microsoft Shared\Web Server Extensions\14\BIN";PSConfig.exe -cmd upgrade -inplace b2b -force -cmd applicationcontent -install -cmd installfeatures
• increase swap file from 32MB to 1.5x RAM (90000 MB)
• Run dcdiag /fix; remove old domain controller; reboot; run dcdiag /fix again

Command «dcdiag /fix» fails

Starting test: NCSecDesc
    Error NT AUTHORITY\ENTERPRISE DOMAIN CONTROLLERS doesn't have
       Replicating Directory Changes In Filtered Set
    access rights for the naming context:
    DC=DomainDnsZones,DC=CONTOSO,DC=COM
    Error NT AUTHORITY\ENTERPRISE DOMAIN CONTROLLERS doesn't have
       Replicating Directory Changes In Filtered Set
    access rights for the naming context:
    DC=ForestDnsZones,DC=CONTOSO,DC=COM
    ......................... Contoso-DC1 failed test NCSecDesc 

FRS evntvwr

File Replication Service log shows some errors with id 13568, De File Replication-service de volgende fout aangetroffen in de replicaset DOMAIN SYSTEM VOLUME (SYSVOL SHARE): JRNL_WRAP_ERROR.

How do I let this backup complete its backups again?