[go: up one dir, main page]

WO2018171940A1 - Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs - Google Patents

Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs Download PDF

Info

Publication number
WO2018171940A1
WO2018171940A1 PCT/EP2018/000108 EP2018000108W WO2018171940A1 WO 2018171940 A1 WO2018171940 A1 WO 2018171940A1 EP 2018000108 W EP2018000108 W EP 2018000108W WO 2018171940 A1 WO2018171940 A1 WO 2018171940A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
state
workflow
dynamic sequence
knowledge model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2018/000108
Other languages
English (en)
French (fr)
Inventor
Patrick PHILIPP
Yvonne Fischer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of WO2018171940A1 publication Critical patent/WO2018171940A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Definitions

  • Embodiments of the present invention relate to methods and apparatus for determining a state of a workflow.
  • Workflow modeling can be used to help people get on with their work - providing the opportunity to increase efficiency, avoid mistakes, and increase satisfaction.
  • a workflow eg. As a medical intervention, recorded multi-sensorially.
  • the actual progress and anomalies can be recognized and converted into an interactive assistance for the acting person. This is necessary to be able to implement a needs-based assistance.
  • an assistant who can offer a suitably adequate assistance function depending on the current context (actual progress).
  • the condition for this is that a workflow model is available in a suitable way (machine-readable).
  • the development of such models is often a lengthy process. This is illustrated herein by way of example from the field of medicine. For example, if a model is developed only by technical experts, a lack of medical domain knowledge can lead to model errors and low acceptance by medical domain experts. A tutelage through defined workflow models, which are not sufficiently comprehensible for the physician, can be another hurdle.
  • Embodiments according to the invention provide a device with a sensor device, which is designed to detect a work area in which a workflow is executable, and to provide a sensor signal.
  • the apparatus further comprises processing means adapted to obtain a graphical knowledge model of the workflow, for example a deterministic model of the workflow, and to assign a dynamic sequence model of the workflow, for example a probabilistic model of the workflow, based on the graphical knowledge model create.
  • the processing device is designed to determine a state of a dynamic sequence model of the workflow based on the sensor signal.
  • the apparatus has an interface for providing a status signal, wherein the apparatus is configured to provide the status signal based on the determined state of the dynamic sequence model.
  • the present embodiment is based on the idea that a graphical knowledge model may be more accessible to a domain professional, such as a medical professional, than a dynamic sequence model, but dynamic sequence models may provide reliable depiction and tracking of a workflow. Since dynamic sequence models are mostly based on complex mathematical structures, these are difficult to access for non-specialist personnel.
  • graphic knowledge models for example, can be displayed in a manner similar to a conventional flow diagram.
  • the flowchart may contain, for example, textual information and therefore non-specialist persons, ie persons without knowledge of probabilistic workflow modeling, be very accessible.
  • the dynamic sequence model in terms of determining the state of a workflow, has the advantage of allowing interpretation of sensor information regarding the likelihood of even unexpected events, thereby allowing accurate determination of the state.
  • the observation of an unlikely object can be ignored by means of the dynamic sequence model, since the detection may be based on a faulty or noisy sensor signal.
  • a more reliable assignment of states of a planned workflow to an actual workflow can be assigned.
  • the device is designed to adapt the dynamic sequence model based on the sensor signal.
  • the device described can adapt flexibly to a field of application by adapting the dynamic sequence model to the conditions of use.
  • the device provides a self-learning mechanism to adapt to changing environmental conditions.
  • the device is configured to provide an instruction to an assistant configured to interfere with the workflow, in the current state or in a subsequent state of the dynamic sequence model, based on the state signal.
  • the described device can advantageously provide information that the assistant device can use to influence the workflow in a desired direction.
  • the assisting device may include a gripping arm that can assist a worker in lifting heavy objects or mounting workpieces.
  • the display of general information or possible options for action for example on a screen or using head-worn spectacles in the sense of a virtual or augmented reality, represents a further possibility to favorably influence the workflow.
  • the dynamic sequence model is based on a dynamic Bayesian network.
  • Bayesian networks are particularly advantageous for sequence modeling since they are suitable for incorporating prior knowledge of courses of action or work processes in state decisions and for determining the dynamic or temporal behavior of sensor signals and the sequence of features derived therefrom. to model. Furthermore, by means of Bayesian networks, events which have been detected in the sensor signal can be classified and evaluated.
  • the graphical knowledge model is based on an activity diagram and is designed to map the workflow.
  • An activity diagram may be advantageous to allow a simple modeling of a workflow.
  • activity diagrams are easy to understand, especially for people who can not readily understand a modeling in the form of the dynamic sequence model.
  • the activity diagram is based on the Unified Modeling Language (UML).
  • UML Unified Modeling Language
  • the use of UML allows well-structured and normalized creation of activity diagrams. As a result, a high degree of order can be achieved, which in turn can lead to an easier understanding of the graphical model of knowledge.
  • the processing device is designed to map output pins and objects of activity nodes of the graphic knowledge model to nodes of the dynamic sequence model.
  • the described mapping rule for mapping the starting points of the graphic knowledge model to nodes of the dynamic sequence model, can be advantageously used to efficiently and simply obtain a dynamic sequence model based on parts, for example the output pins, of the graphical knowledge model.
  • the processing device is designed to associate activity nodes of the graphical knowledge model with states of the workflow.
  • the processing device is designed to associate nodes of the dynamic sequence model with states of the dynamic sequence model.
  • the exemplary embodiment described can advantageously map elements of the graphic knowledge model onto the dynamic sequence model by means of a simple mapping rule. Thus, with little effort, for example, automated, portions of the graphical knowledge model can be mapped to the dynamic sequence model.
  • the processing device is designed to include annotations associated with the activity node or annotations and edges of the graphical knowledge model associated with branch nodes of the graphical knowledge model to associate nodes of the dynamic sequence model.
  • the device can simply translate or transmit a graphical knowledge model into a dynamic sequence model.
  • the processing means is adapted, for creating the dynamic sequence model, to link an activity during the workflow with an object of the workflow in the graphical knowledge model. Furthermore, the processing device is designed based on the link to obtain an object flow of the graphic knowledge model and to map the object flow onto a directional path of the dynamic sequence model, wherein an object flow can also be referred to as a data flow.
  • the directional path is arranged between a root node and a corresponding child node. The described mapping can be advantageously used to associate observations of the sensor signal of objects corresponding states of the dynamic sequence model.
  • the state is a first state and wherein the device is configured to detect an event in the work area based on the sensor signal. Furthermore, the device is designed to determine a second state of the dynamic sequence model based on the first state and based on a probability of occurrence of the event in the first or the second state.
  • the disclosed embodiment may advantageously use occurrence probabilities of events, such as tool observing, to utilize an assessment of the probability of the observation associated with a new condition, such as the second condition.
  • the device formed considers an observation to be probable for a state, then based on the dynamic sequence model, the device may enable the decision to be made in a more probable state. For example, a state transition from the first state to the second state may be initiated due to observation of a tool that is more likely to occur in the second state than in the first state.
  • the device is designed to obtain or derive the occurrence probability from the graphic knowledge model.
  • the described embodiment can advantageously occurrence probabilities of serving To take on staff that is not skilled in dealing with dynamic sequence models by enabling input via the graphical knowledge model.
  • a person who is not experienced in dealing with dynamic sequence models still very easy to parameterize the device.
  • expert knowledge of persons who are very familiar with the workflow, but who are not familiar with dynamic sequence models can thus be transferred into the dynamic sequence model.
  • the processing device is designed to determine the state of the dynamic sequence model using transition probabilities based on nodes of the dynamic sequence model. For example, if a node of the dynamic sequence model corresponds to a state of the workflow, the device may determine the likelihood of a state transition using the dynamic sequence model and based on the knowledge that the dynamic sequence model is in the state Change state, for example, in a state of a temporally subsequent step is assigned.
  • transition probabilities By using transition probabilities, a precise determination of a transition from one state to another state can be made possible.
  • the processing device is designed to adapt the occurrence probabilities and / or the transition probabilities with the aid of recorded sensor data.
  • the described embodiment may advantageously use the recorded sensor data describing the work area to adjust the probability values that parameterize the dynamic sequence model. As a result, any missing or incorrect initial parameterization can be compensated.
  • an occurrence probability of an event is correlated with a stay or change of a state of the dynamic sequence model.
  • a transition probability describes a likelihood of going from a first state to a second state, and the processing device is configured to estimate the current state during the operation based on evaluations of the sensor signal.
  • initial initialization may include providing occurrence probabilities of events, or transition probabilities of states, as known to a medical professional during an operation, for example.
  • the processing means is adapted to determine the state based on a time average of the sensor signals based on a plurality of time-spaced detections of the work area. Using temporal averaging, noise or spurious components of the sensor signal, ie the detection, can be suppressed. Thus, improved sensor signals may be provided to the processing device to more reliably determine the state of the dynamic sequence model.
  • the sensor device is configured to provide the sensor signal based on a visual detection of the work area.
  • a visual capture can be easily performed with a camera, which can easily capture a variety of information from the workspace.
  • the sensor device is designed to provide the sensor signal based on an acoustic detection of the work area.
  • An acoustic detection may be advantageous, for example, to detect the tools used in a work step based on noise, or to allow a classification of the current work step based on dialogues of personnel.
  • the sensor device is designed to provide the sensor signal based on a high-frequency (radio frequency) detection of the work area.
  • a high-frequency detection of the work area For example, allow the detection of tools used.
  • the device comprises a user interface adapted to receive input from a user that at least partially describes the workflow.
  • the apparatus is configured to provide the graphical knowledge model based on the input of the user.
  • the exemplary embodiment described can enable a simple parameterization of the graphic knowledge model for a user, for example via a computer by means of keyboard and mouse.
  • Embodiments according to the invention describe a system for workflow support, the system comprising a device as described herein, as well as a workspace and an assistant facility. The described system can advantageously assist a worker in a difficult or complicated job.
  • Embodiments according to the invention provide a method.
  • the method includes detecting a workspace in which a workflow is executable. Furthermore, the method includes providing a sensor signal based on the detected work area. Further, the method includes obtaining a graphical knowledge model of the workflow and creating a dynamic sequence model of the workflow based on the graphical knowledge model of the workflow. Furthermore, the method comprises determining a state of the dynamic sequence model based on the sensor signal. Incidentally, the method includes providing a state signal based on the determined state of the dynamic sequence model. The method may be extended to include all features and functionalities mentioned in connection with the device described herein. Fiqurenkurzbeschreibunq
  • FIG. 1 is a schematic block diagram of a device according to embodiments of the invention.
  • FIG. 2 is a flow chart of a graphical knowledge model according to embodiments of the invention.
  • Fig. 4 shows a creation of a workflow, by means of a graphical knowledge model and a dynamic sequence model, according to embodiments of the invention
  • Fig. 5 shows a dynamic portion of a dynamic Bayesian network for two
  • Time periods according to embodiments of the invention shows a dynamic Bayesian network according to embodiments of the invention, which is rolled out over three time steps;
  • FIG. 1 shows a schematic block diagram of a device 100 according to exemplary embodiments of the invention.
  • the device 100 has a sensor device 110, a processing device 120 and an interface 130.
  • the device 100 may include an optional user interface 140 and / or an optional assistant device 150.
  • the sensor device 110 is designed to detect a work area 160 in which a work sequence can be executed and to provide a sensor signal 12 based on the detection.
  • the processing device 120 is designed to obtain a graphical knowledge model 122 of the workflow and to create a dynamic sequence model 124 based on the graphical knowledge model 122. Furthermore, the processing device 120 is designed to determine a state of the dynamic sequence model 124 of the workflow based on the sensor signal 1 12. The processing device 120 can access both the graphical knowledge model 122 and the dynamic sequence model 124.
  • the interface 130 is configured to provide a status signal, wherein the device 100 is formed, to obtain the state signal based on the determined state of the dynamic sequence model 124.
  • the sensor device 110 can be set up in such a way that it detects the work area 160 in such a way that tools occurring or appearing in it can be detected.
  • the sensor signal 112 of the processing device 120 can provide information about occurring objects.
  • the processing device 120 may provide an estimate or statement about the current state or a subsequent state of the workflow based on the sensor signal and a current state of the dynamic sequence model 124 associated with a state of the workflow. For example, when the sensor signal detects a particular item, the apparatus 100 may rate the likelihood of the item occurring in the current condition.
  • the evaluation may include, for example, that the processing means evaluates how likely the occurrence of the item is in the current state.
  • the processing device 120 may change to a state in which the mentioned object is more likely to occur. Based on the determined state of the dynamic sequence model 124, the processing device 120 may estimate a state of the workflow and provide that estimate or state via the interface 130 in the form of the state signal. For example, interventions for the workflow may be scheduled based on the status signal. For example, a worker performing the operation may be warned if, for example, B. a step was skipped or a wrong tool is used. Also, based on the estimated state, for example, an assisting device, such as the assisting device 150, may interact with the workflow, in other words, act, intervene or participate in the course of action.
  • an assisting device such as the assisting device 150
  • the assistant device 150 could be a gripper arm assisting a worker.
  • the processing device 120 could detect that an object is too heavy to be lifted by a human, and, for example, instruct a gripper arm to lift the object.
  • the device 100 offers the advantage that the derivative of the dynamic sequence model 124 is based on a graphical knowledge model 122. This makes it easy to parameterize the workflow, since a graphical knowledge model, in general, is more accessible or easier to understand for people who are not experts in the field of probability calculus.
  • graphic knowledge modeling allows a simple graphical modeling, for example via a workflow diagram. Graphical modeling can be easier to understand for staff who are not otherwise involved in probabilistic workflow planning.
  • FIG. 2 shows a flow chart 200 of a graphical knowledge model according to embodiments of the invention.
  • flowchart 200 may describe a cholecystectomy, that is, a medical workflow to remove the gallbladder.
  • States 210, 215, 220, 225, 230, 235, 240, 245, and 250 represent states of the workflow, and the states associated with a workflow plan may also be referred to as operations.
  • a pneumoperitoneum can be generated, i. Gas is pumped into the abdomen of the patient to inflate the abdomen of the patient. For example, this process may take 186 seconds, as indicated by annotation 210a.
  • trocars may be placed, with trocars being tubes with sharpened endings.
  • the state 215 is associated with a probability of occurrence of 0.95, that trocars 200a are used or detected in the work area, that is, in the state of interest. H. with 95 percent probability, the sensor device z. B. the sensor device 1 10 detect trocars in the detection of the work area. State 215, for example, lasts for 195 seconds, which is indicated by annotation 215a.
  • the free preparation of the bile duct can be performed. For example, this state may take 558 seconds, which is indicated by annotation 220a.
  • the probability of occurrence of trocars 200a remains 95%. Coming in addition, but also other tools can be detected, such.
  • a fourth state 225 for example, stapling and cutting (stapling and cutting) of the bile duct can be performed.
  • the described fourth state 225 may last for example 14 seconds, characterized by Annotation 225a.
  • the known devices or tools 200a and 200b can occur with the known occurrence probabilities.
  • the tools 200e, z As a laparoscopic scissors (lap scissors) with a probability of 90% and 200f, z.
  • a stapling device (Abemmemm réelle, Tacker), occur with a probability of occurrence of 91%.
  • the gallbladder artery can be dissected free, which state can last, for example, 108 seconds, characterized by annotation 230a.
  • the known devices 200a, 200b, and 200c may occur with the known probabilities.
  • a sixth state 235 for example, the gallbladder artery can be clamped and cut.
  • this sixth state 235 may last for 1 to 15 seconds, indicated by annotation 235a.
  • the already known tools 200a, 200b, 200e and 200f with the known occurrence probabilities can be observed.
  • an optional state 240 can be reached in the workflow, this is indicated by the branch 236.
  • branch 236 a case distinction is made that is conditioned, for example, by the worker's knowledge.
  • a physician may recognize before or during the operation that the optional step 240 may be necessary.
  • the physician may indicate this to the device 100 via the user interface 140.
  • 600 seconds may be paused, as annotated 240.
  • optional state 240 may be associated with a task that requires bile duct imaging.
  • the sensor device should only detect the tools 200a, such as the trocars mentioned.
  • the dynamic system can also detect without input that step 240 is present, since it is highly probable that only trocars are used, whereas in step 245 more tools are used. Furthermore, it is known via the annotation 234 at junction 236 (expert knowledge) that intraoperative imaging (240) is necessary in 45% of the OPs, ie a transition from 235 to 240 takes place. After carrying out the optional work step 240, it is possible to return to the standard work path via the node 241. In another If, for example, 245, which according to annotation 245a, can last 534 seconds, the gallbladder can be removed (removed). During this state, the known tools 200a, 200b, 200c, 200d, 200e and 200f with the known occurrence probabilities can be observed.
  • coagulation of the liver bed can be performed.
  • the known tools 200a and 200d may occur with the known probabilities.
  • a workflow plan as per workflow 200, may also describe, for example, a workflow for assembling automobiles or other complex activities.
  • the workflow plan can have any number of states, which can be assigned to objects 200a-f in the form of output pins 200a'-f, or their occurrence probabilities for a particular state, such as by means of a user input.
  • the probability of occurrence of an object or event can vary in different workflow states, i.
  • Object 200a could be 95% expected in a first step and 60% expected in a second step. These probabilities may indicate how frequent or likely an event is during the state, such as a specific object being used or present in the workspace. Alternatively, the associated probability may also relate to another event, such as the change of an object with respect to location or state. This may include a partial or complete consumption of the object.
  • Paths between the states may describe a change from one state to another state, such as when the activities are performed in a state, an associated time period 210a, 215a, 220a, 225a, 230a, 235a, 240a, 245a or 250a has expired and / or another criterion is met.
  • the states 210, 215, 220, 225, 230, 235, 240, 245, and 250 may be understood as activity nodes that are expected to have an associated activity in the workflow.
  • an object flow connects an output pin 200a'-f to an object 200a-f.
  • the graphical knowledge model 200 is poorly suited for direct sensor signal processing, but allows comfortable and easy assignment of activities to be performed in the workflow to the states / activity nodes 210, 215, 220, 225, 230, 235, 240, 245, and 250 as well as an association of occurrence probabilities of certain events in the states, which is represented by the output pins 200a'-f. Relationships and transitions between states may be represented by paths 21 1, 216, 221, 226, 231 or 246.
  • the graphical knowledge model can represent an expected flow of the working diagram. However, deviations from the illustrated workflow are not taken into account or only inadequately considered, but this is made possible by dynamic sequence models, which also include dynamic Bayesian networks, which are explained in conjunction with FIGS. 5 and 6.
  • Devices in accordance with the present invention are configured to obtain a graphical knowledge model, such as the graphical knowledge model 200, and translate it into a dynamic sequence model and to sensibly capture the execution of the workflow and determine states in the dynamic sequence model using or evaluating the sensor data.
  • a graphical knowledge model such as the graphical knowledge model 200
  • the model 200 may be supplied to the device 100 via the user interface 140 and used there to coordinate or assist the described workflow.
  • Figure 2 may show the UML activity of a cholecystectomy. At the beginning is a sequential order of actions. The action "intraoperative cholangiography" is optionally performed, the activity being derived from a description in [14], [15] and [16]
  • Figures 3a-c show elements of flowcharts and / or complete flowcharts according to embodiments of the invention 3a and 3b show flowcharts with a start node 310 and an end point 390 and therefore represent complete flow charts. On the other hand, the operations arranged between the start node 310 and end node 390 may also serve as elements of other flow charts.
  • FIG. 3a shows an activity 1 which has a start node 310 and changes into the state A starting from this start node.
  • a transition from state A to state B is indicated. This sequential order can be mapped by processor 120 to a dynamic sequence model and then used for state determination.
  • the workflow flows to an endpoint 390 in Figure 3a.
  • Figure 3b shows an activity 2 describing a decision possibility or branching capability within a workflow. Starting from a starting point 310, the workflow runs into a decision node 320.
  • a decision criterion here, for example, a threshold decision, it can be decided here whether the workflow is performed in state A, ie the activities associated with state A.
  • the thresholding decision for selecting the branching path may, for example, be performed by the processing device 120 and the resulting state of the workflow therefrom determined by the processing device 120.
  • the decision node 320 is accompanied by an annotation which describes information about the probability of the change into the respective branches. Say: how often is a given branch taken? Thereafter, the flowchart merges back into node 330 to end at end node 390.
  • Figure 3c shows excerpts of activities, activity 3 and activity 4 that may be part of workflows.
  • Activity 3 shows the workflow state A, which is coupled to an object y, via an object flow, whereby the object y can occur in state A with a probability of 95%.
  • an annotation is attached, which can provide information about the state A.
  • the linking of the workflow state A with the object y can be used by the processing device 120 to conclude the state A via the dynamic sequence model if the sensor signal detects the object y.
  • Activity 4 can be interpreted analogously to activity 3, where state A is here associated with an object y in another representation with a probability of occurrence of 95% via an output pin of the activity node A and an object flow.
  • state A in activity 4 has an annotation that can provide information about state A.
  • the connection between state A and object y in activity 3 can also be characterized as flow or stream.
  • Figures 3a and b show two typical flowcharts of workflow models in the context of surgical procedures.
  • the actions A and B are carried out successively (consecutively).
  • a decision must be made to perform either A or B.
  • the decision is represented by a guardian (expression). If it evaluates to "true”, the corresponding action is taken
  • Fig. 3c) shows two equivalent representations of a streamed object, that is, an object flow may occur while A is still executing (not after execution) the activities text annotations that can be used to store additional information.
  • FIG. 4 shows an illustration of a workflow in a graphic knowledge model, here a UML activity diagram, and its conversion into a dynamic sequence model, here a dynamic Bayesian network.
  • the example shown in FIG. 4 is based on a medical example. For this purpose, knowledge from medical textbooks and guidelines is used either in combination with a medical expert or in a dialogue between domain experts to define a workflow. Domain experts can be, for example, engineers or physicians.
  • a UML activity diagram can be generated, which is then automatically translated into a dynamic Bayesian network.
  • the device 100 may receive the defined workflow, here in the form of the UML activity diagram, via the user interface 140 to define the graphical knowledge model 122.
  • the device can now determine the dynamic sequence model 124, here the dynamic Bayesian network, and use it to determine the state.
  • Figure 4 shows that medical knowledge can be converted to UML activity of the surgical procedure.
  • the formalization process may be performed by an expert dialogue or by the medical expert himself.
  • the resulting activity serves as an interface to more complex models used for actual detection of a surgical procedure.
  • Embodiments of the invention describe translation rules to translate a given UML activity into a Bayesian Dynamic Network (DBN)
  • Bayesian networks have been described as an example of a dynamic sequence model.
  • Other examples of bases of dynamic sequence models are neural networks, hidden Markov models, Markov networks or partially observable Markov decision processes.
  • states for example, individual phases of operation, are hidden from the observer (technical system).
  • Markov nets (Markov Random Fields) are similar to Bayesian nets (BN), but the dependencies are nondirective, i. Unlike BNs, cyclic dependencies can be modeled directly.
  • Partially observable Markov decision processes are similar to the Hidden Markov model, but it is not a purely observational model, but actions are modeled. A sequence of the partially observable Markov decision-making processes, however, is hidden from the actual observer (technical system), as in the Hidden Markov models.
  • FIG. 5 shows a dynamic part of a dynamic Bayesian network 500.
  • FIG. 5 shows a simplified graph of a two-part temporal Bayesian network (2TBN).
  • a 2TBN (or: ⁇ _) is used as a template for consecutive time steps t.
  • a DBN consists of two networks.
  • B 0 represents the starting distribution and ß_ describes how a network evolves over time.
  • a Bayesian network (B 0 ) serves as an initial starting point for consecutive time steps. For simplicity, was omitted, since in this
  • a transition to a second state may occur take place in a second time period t.
  • the condition observations can be associated with the state X °.
  • Observations can be, for example, which, for example, occurrence probability of 4 plant
  • the Bayesian network can be applied to the nodes by mapping phases of a workflow, for example, phases 210, 215, 220, 225, 230, 235, 240, 245, or 250 of the graphical knowledge model 200 of a Bayesian network in the processing device 120.
  • the Bayesian network can be generated by mapping objects of a workflow and their probabilities, for example, object probabilities of the objects 200a-f, onto nodes in the processing device 120.
  • the device 100 is designed, for example, to create the dynamic sequence model using the graphical knowledge model.
  • the processing device 120 can map at least one, several or all of the activity nodes 210, 215, 220, 225, 230, 235, 240, 245, 250 into a state or node of the dynamic sequence model.
  • the processing device can be designed to apply a mapping rule according to where V B is a set of nodes of the dynamic sequence model, v e is a node of the dynamic sequence model, (e i ( ey) is an edge e or path between an object e y and an action e , - of the graphical knowledge model , DF is an amount of object flows of the graphical knowledge model, a is the amount of actions or conditions of the graphical knowledge model, O is the amount of object nodes of the graphi ⁇ rule knowledge model, v r is a root node of the dynamic sequence model and wherein an object flow connects an action of the set A with an object of the set 0 in the graphical knowledge model.
  • V B is a set of nodes of the dynamic sequence model
  • v e is a node of the dynamic sequence model
  • (e i ( ey) is an edge e or path between an object e y and an action e , - of the graphical knowledge model
  • DF
  • the processing device 120 is configured to generate a node v e of the dynamic sequence model for an object e ; - to generate, which is associated with a state or an action e t and whose such link is included in the graphic knowledge model.
  • the quantity is calculated by combining the nodes v e with the
  • the apparatus 100 is, for example, designed to create the dynamic sequence model using the graphical knowledge model.
  • the processing device can for this purpose nodes of the dynamic sequence model based on activity nodes of the graphical knowledge model according to
  • v * characterizes the root node of the dynamic sequence model, for example, at an advanced time t, which differs from a previous time t - 1, describes child nodes, the be added to characterize the objects or their probability of occurrence.
  • the processing device 120 is configured to be nodes an original or initial node set of the dynamic sequence model that corresponds to a state (root node or an object (child node whose link is included in the graphic knowledge model to obtain the set.
  • the device 100 is, for example, designed to create the dynamic sequence model using the graphical knowledge model.
  • the processing device 120 may be directed thereto paths between nodes of the dynamic sequence model based on object flows of the graphical knowledge model according to where E Bo is the set of directed paths of the dynamic sequence model, v r is a root node of the dynamic sequence model that characterizes a state where DF is the set of object flows of the graphical knowledge model, A is the set of actions or states of the graphical knowledge model and 0 is the set of object nodes of the graphical knowledge model.
  • the processing device 120 is configured to generate a path ( r , e) of the dynamic sequence model to an object e- associated with a state or action e £ , and whose such link is included in the graphical knowledge model to link using the path.
  • the crowd gets through
  • the device 100 is, for example, designed to create the dynamic sequence model using the graphical knowledge model.
  • the processing device 120 may determine paths of the dynamic sequence model based on structures of the graphic knowledge model according to FIG.
  • An object describes a path between a current action and the one
  • root node is an object and a path between
  • a current root node For example, at time t, and a predetermined root node v r , for example, at time t - 1 describes.
  • the set of paths is not added because the child nodes of v r in the 2TBN at the time
  • point t-1 have no direct influence on the nodes at time t.
  • the processing device 120 is configured to connect temporally preceding root nodes to immediately succeeding root nodes, the root nodes describing states of the workflow and, in addition, creating paths between root nodes and child nodes, corresponding to links of actions or states to objects in the graphical knowledge model.
  • the processing device 120 is designed to create the 2TBN for the creation of the directed paths in such a way that in the time step t-1 only those random variables are contained which actually have an influence on the access have variable variables in time step t (so-called interface variables). According to embodiments, this is just the variable and thus node v r . This can also be understood that way
  • the root node is linked by the processing device 120.
  • the nodes can describe the same state of the workflow, or
  • the processing device is designed to associate annotations associated with the activity node or annotations and edges of the graphical knowledge model assigned to branch nodes of the graphic knowledge model with nodes of the dynamic sequence model.
  • Equation (1) As described in equations (1) and (3).
  • the matrix A according to equation (13) and ⁇ can be calculated or generated according to equation (12) and be assigned via equation (2).
  • FIG. 6 shows a dynamic Bayesian network 600 consisting of the pair which is rolled out over three time steps. For simplicity, some nodes have been omitted, which is graphically represented by "".
  • FIG. 7 shows a method 700 according to exemplary embodiments of the invention, comprising the following steps: Detecting 710 a work area in which a workflow is executable. Providing 720 a sensor signal based on the detected work area. Obtain 730 of a graphical knowledge model of the workflow. Create 740 a workflow dynamic sequence model based on the graphical knowledge model of the workflow. Determining 750 a state of the dynamic sequence model based on the sensor signal. Providing 760 a state signal based on the determined state of the dynamic sequence model.
  • graphic knowledge models can be generated offline, ie before execution of a workflow, and for parameterization of the dynamic sequence model.
  • dynamic sequence models can be characterized as real-time-capable sequence models or online-capable classifiers, since they are used to detect successive steps or states of a currently executed workflow, based on evaluation of the sensor signal.
  • the later target model (which can serve to evaluate the actual sensor values ("online", so while the sensor values enter the system is successively operated on a classification, that is, it tries to detect the current phase)
  • graphic knowledge models can also be referred to as parameterization models, since they are designed to allow a parameterization of a workflow.
  • dynamic sequence models can also be referred to as processing models, since they are designed to directly process data based on sensor signals in order to detect the data State of the workflow.
  • DBN Dynamic Sequence Model
  • An illustrated UML activity can be converted into a dynamic sequence model by means of the executed conversion or transfer of the parameters.
  • This mapping can be ambiguous, because a DBN can be executed differently (network structures etc.).
  • a concrete DBN is generated from the knowledge represented in the graphic knowledge model, which can actually be used for classification.
  • the transfer can thus, for example, smoothing properties have.
  • the output of the model is smoothed (ie the classification result). It is smoothed by the model storing other classification results during the current execution, thus relating the current classification to the previous classifications. So a sequence of sensor data is considered, not just single feature values at a time. This allows the model to pay less attention to "false” or "noisy” data, and so the output is smoothed out.
  • Phase_1 of a workflow prevails due to the incoming sensor data.
  • feature values are typical in the system which are typical for Phase_10 (e.g., due to sensor noise).
  • a system that does not consider the sequence would immediately classify Phase_10.
  • a system which incorporates the sequence may smooth out here by e.g. the previous hypothesis (Phase_1) is initially maintained.
  • the DBN contains additional knowledge than the UML model, which is introduced during the transfer into the DBN, for example in the form that e.g. a specific destination network structure has been selected. This knowledge is thus added by the described transmission, for example according to equations (6) to (11).
  • not all degrees of freedom of the target model are covered by the initial model. By defining a concrete transfer, these degrees of freedom are first set in the target model. For example, a degree of freedom may be the number of layers using a neural network, which may be determined depending on transmission rules.
  • a DBN is represented as a graphical knowledge model
  • this model can not be used to classify the state of the workflow, ie, no sensor data can be evaluated online and features can be classified.
  • the DBN also makes further assumptions which are necessary for a specific classification (eg concrete network structure of the DBN, or eg structure of the layers in a neural network).
  • the parameters can be present in the DBN in such a way that they can advantageously be used for a classification (eg by smoothing, suppression of noise).
  • the following describes backgrounds and examples of graphical knowledge modeling. In general, these are models that focus on the collection of expert knowledge (not the classification of observation sequences).
  • Such a model can be presented to the operator in exemplary embodiments according to the invention, and by using machine-supported dialogues, it is possible to determine the individual elements of the graphic knowledge model.
  • the knowledge can be represented in the form of a graph for easy comprehension.
  • UML activities for example, this concerns the definition of possible sequences of actions. This can be expressed there by directed edges (arrows) (A-> B).
  • a transition in such a model can be deterministic. Alternatively, it may be determined, for example, using a branch, that in 50% of the cases a first path is followed up and in 50% of the cases a second path is followed, whereby both the number of paths and the probabilities are arbitrarily variable.
  • sequence modeling In a classification task, the prediction of the current class can be dependent on other classification results, ie feature vectors that flow into the system must be in Example Speech Recognition: If at a time 1 the word "good” was predicted, at time 2, the prediction “goulash” (though most likely considered isolated) is highly unlikely in the context of the sequence, and eg the word "day” more likely.
  • Classic probabilistic methods are HMMs, DBNs. Neural networks are becoming increasingly important. Even if neural networks are not generally referred to as probabilistic models, they will be referred to and understood as such in the context of the probabilistic analysis performed. Properties of these models can be represented as graphs.
  • DBNs for example, the independence of random variables, in neural networks, for example, the interconnection of individual layers.
  • These graphs are not (or only with difficulty) suitable for an expert dialogue in the sense of formalizing the expert knowledge.
  • the graphic knowledge model is understood to mean those models that are designed for the graphic preparation of a workflow, such as UML activities, and therefore go beyond the mere possibility of graphical representability.
  • Devices and methods according to the invention provide for transferring the graphic knowledge model into the dynamic sequence model and for monitoring the Work area by sensory detection. The sensor data is evaluated to determine the state of the dynamic sequence model of the workflow. This means that the dependency of the graphic knowledge model on the procedure described therein is overcome by the devices, methods and computer programs described herein according to the invention.
  • Embodiments according to the invention describe a framework for expert-based workflow modeling (workplan modeling) for interactive work process support.
  • the framework can involve all involved experts in a dialogue for knowledge formalization.
  • an activity of the Unified Modeling Language can be selected as the formalization basis. This is so easy to understand that a formalization can be worked out together in the expert dialogue. This means (using the example of medicine) that e.g.
  • a further advantage is a transfer / processing of work process relationships into process assistant control processes that are adjusted based on observations of the sensor signal. This is done by using the dynamic sequence model obtained by translating the graphical knowledge model.
  • an automatic translation of the UML activity into a more complex model a dynamic Bayesian network (DBN) takes place.
  • DBN dynamic Bayesian network
  • This is used for the actual recognition eg of the actual progress of the intervention.
  • This model itself does not provide any suitable interfaces for expert knowledge To bring in dialogue (see above) directly. It is not understandable for all experts involved. For this reason, a transfer of the models is necessary.
  • the framework can be used to design a total of assistance systems that are accepted by the assistants, for example because of their simplicity, and that can actually be integrated into the working days as a relief tool.
  • Embodiments according to the invention can be used in all industries in which work processes are interactively supported. These can be: assembly processes in industry, surgical interventions in medicine, emergency processes in civil protection, etc.
  • aspects of the invention relate to surgical procedures, Bayesian Dynamic Networks, Unified Modeling Language, Assistance and Planning.
  • Embodiments of the invention relate to expert-based sequence modeling of workflows in the context of surgical procedures.
  • computer-based support both software and hardware
  • computer-based support can be implemented in a number of ways - therefore the next subsections outline three typical types of support and their relationship to situational awareness.
  • the following discusses a modeling approach and corresponding requirements for tailored support, taking into account the specific conditions of a current operation: firstly, a suitable representation of the underlying work process; second, reliable capture of current progress by synchronizing this workflow model with sensor data.
  • UML Unified Modeling Language
  • the Unified Modeling Language (UML) can be used to provide a graphical representation of the workflow through UML activities, facilitating the dialogue between technical and medical experts.
  • UML Unified Modeling Language
  • DBN dynamic Bayesian networks
  • UML activities To model workflows through UML activity, medical knowledge must be focused and formalized. This formalization process can be realized by means of a dialogue between medical and technical experts, see Figure 4. Due to its ease of understanding, UML activities also provide the medical expert with the ability to modify an already formalized workflow itself. Barriers can be broken as the representation of activity serves as a by-pass. The fact that physicians can understand and modify the formalized representation of the workflow reduces their fear of paternalism and allows them, for example, to easily run a workflow based on specific constraints adapt. For the actual implementation of a support function that supports the physician during an operation, UML activities are translated into more complex models. The structure and parameters of these models are generated automatically.
  • tet a cholecystectomy (the surgical removal of the gallbladder).
  • This approach can be easily adapted to other applications, eg. B. a hip joint replacement [1 1]. The following is a closer look at UML activities.
  • UML is used and accepted in various disciplines worldwide [12]. UML activities have been selected as an interface for medical and technical experts due to their ease of understanding [13]. Understanding the workflow representation is a necessary precondition for dialogue between experts.
  • FIG. 3 shows typical flowcharts that may occur in operations such as cholecystectomy.
  • the beginning of an activity is represented by a black dot (beginning node), the end of an activity is symbolized by a double circle (end of activity).
  • Individual actions of the workflow are symbolized by rounded squares. Arrows represent the flow and thereby the order in which the actions can be performed.
  • sub-figures a) and b) show two different types of flowcharts in FIG. 3
  • sub-figure c) represents two equivalent parts of an activity.
  • the fact that an object flow can occur while action A is being performed (and not only after A is completed) is specified by the keyword ⁇ stream ⁇ .
  • An abbreviated form is a black pin, which is shown in activity 4.
  • the activities in subfigures b) and c) include text annotations associated with action A and / or a decision node to store additional information.
  • FIG. 2 Modeling a surgical workflow Figure 2 can be interpreted as a formalized model of cholecystectomy (surgical removal of the gallbladder).
  • the top part of this UML activity shows a sequence of actions.
  • the first action 210 is the injection of carbon dioxide to inflate the abdomen (stomach).
  • the average time of this action is represented by the corresponding note.
  • the trocars are used 215 to break through the abdominal wall.
  • trocars are used to facilitate the placement of additional medical instruments during surgery.
  • Black pins output pins represent the observation probability (values in parentheses next to tools 200a-f) of trocars in this act ( Figure 2).
  • the gallbladder duct and artery are exposed 220 and 2230, as well as clamped and severed 225 and 235.
  • An intraoperative cholangiography 240 (radiographic imaging of the bile ducts with contrast agent) is optional, so a decision must be made.
  • the gallbladder is separated from the liver bed 245 and the liver bed is coagulated for hemostasis, i. Tissue is destroyed or burned by electricity.
  • DBN dynamic Bayesian networks
  • sequence models that have proven to be successful in practice (eg hidden Markov models) [10].
  • DBN models allow for improved modularity and interpretability. Unlike a hidden Markov model, its state space can be expressed in a factorized manner rather than just a single discrete random variable.
  • DBN allow arbitrary probability distributions (not just unimodal linear Gaussian distributions) with respect to Kalman filter models [16].
  • Dialogue is less suitable for medical and technical experts.
  • modification of the model by the medical expert himself does not seem feasible, for example because of the complexity.
  • translation rules are introduced to translate understandable UML activity into a DBN.
  • a Bayesian network is a probabilistic graphical model (PGM) that combines theoretical approaches with probability theory approaches [20].
  • a dynamic Bayesian network is an extension of a BN, which also takes into account the temporal dependencies of variables [19].
  • a DBN is given by a pair: the Bayesian network used the a-priori probability distribution over random variables in a time step with index 0 to specify. Further, S_ specifies the conditional probability distribution over discrete time steps t by using:
  • In (1) is the set of parents of in the corresponding graph.
  • Fig. 5 is an exemplary graph of which is also known as a two-bay temporal Bayesian network (2TBN). Since the child nodes in 2TBN have no direct influence on the nodes at time t-1 at time t-1, they are not connected by edges to the root-to-root at time t-1. In this case, with respect to equation (1): Those nodes which have a direct influence on the nodes at time t are also referred to as interface. For simplicity, the time t-1 of a 2TBN can be represented or defined via the corresponding interface.
  • the composite distribution can be represented graphically by "rolling" the DBN, where B 0 is the initial distribution and be used as a template for each subsequent time slice.
  • B 0 is the initial distribution and be used as a template for each subsequent time slice.
  • FIG. 6 Similar to HM, parameters of such DBN with N children can be grouped as follows (see Fig. 6):
  • a (i, j) is an adjacency matrix that is extended by transition probabilities for nonzero entries.
  • the probability distribution is given for observations concerning a child. It should be noted that an HMM can be specified by a single matrix B (i, j), since the corresponding probability distribution can not be factored as in the case of a DBN - ie, graphically, the root node would have only one child, the whole Probability distribution contains.
  • the set N can be further subdivided into different sets of nodes:
  • A set of actions, for example 210, 215, 220, 225, 230, 235, 240, 245 and 250,
  • O set of object nodes, for example 200a-f.
  • the set of object nodes is given by the set of data pins.
  • a node that is part of one of the node sets E, B is called a control node. Further, the amount. given by the following:
  • output pins of UML actions are converted into vertices (vertices) of the graph of S 0 .
  • an auxiliary node v r is added to the mesh to represent the root of the resulting Bayesian structure.
  • the object flow connecting an action to an object is translated into a directed edge from the root node v r of the graph of B 0 to the corresponding child.
  • the vertex amount of the graph of is given by (8) and (9).
  • Fig. 5 is the amount which contains and the vertex set with the vertex set united.
  • An asterisk (star) is used to avoid ambiguity and to mark vertices that belong to the time slice t of the graph of belongs. See Fig. 5 for an example of a simplified 2TBN.
  • the simplification in Fig. 5 is that the child nodes of v r are not shown, since they have no edges in the 2TBN and thus can not serve as an interface to the next time slice.
  • the amount of edges (10) contains edges of the root node to the appropriate children.
  • the edges are derived from the object flow that connects an action to an object.
  • a unique natural number is assigned. Without limiting the generality, the numbers assigned by / correspond to a lexicographical order. You get: in which is used to denote the set of values that a linked random variable can take. For all other random variables, a Bernoulli distribution is used. That is, random variables those with child nodes of are linked, are binary, eg, where used. Furthermore, the
  • conditional state distribution and the CPD (conditional probability distribution) of observations and state transformations are specified.
  • initial state distribution ⁇ is given by:
  • the bijective function is that of every act A assigns a unique natural number as defined above. Since there is only one earmarked initial state, the probability of its presence in the initial distribution is 1; all other states are assigned 0 as the initial probability (12).
  • the probability distribution of state transitions is given by (13). Their representation is similar to an adjacency matrix with transition probabilities as edge weights (similar to HMM).
  • the matrix A is given by the following:
  • the number u.an.du indicates the average duration of the phase, that with action 6.an.prob (u, ⁇ ) indicates the probability of a transition to a phase ⁇ , provided phase u is exited.
  • Both u.an.du and ö.an.prob (u, v) are in note for the corresponding action or branch node b 6 B, as explained in the section on Dynamic Bayesian networks. It should be noted that a directed edge from a source node to a destination node ⁇ is given by the edge (u, v), whereas ⁇ u, v ⁇ denotes an amount of a source and a destination node.
  • pins denote the features observed during an operation. Some of the pins oe 0 are attached to different actions but represent the same feature, ie they have the same name. 0 name is the set of unique pin names that exist in the activity. A surjective function is defined. This function gives the name of a given
  • This function h assigns each item of 0 name lexiko
  • each matrix ⁇ is given by:
  • the conditional probabilities are of the condition of the goal
  • Each destination node is linked to a probability value o.prob,
  • a UML activity can be translated into a DBN, where vector ⁇ is the initial state distribution, state transition matrix A and Matrices B k are used for the probability distributions of observations.
  • B 2 is shown, which encodes the probabilities of grasped grasped use according to the surgical phase.
  • the transposition (T) is used to facilitate the representation of the matrix B 2 in landscape format.
  • the 9 columns of the illustrated matrix in (15) represent the different surgical phases.
  • the first row corresponds to the probability that the gripper will not be used in one phase.
  • the second line is the probability that the gripper will be used depending on the phase. That is, the columns add up to 1.
  • the probabilities contain two sources of expertise: First, the likelihood that a specific instrument will be used depending on the specific phase (medical knowledge). Secondly, the likelihood of detecting a specific instrument used in the specific phase (technical knowledge). For example, even if a medical expert estimates a likelihood of using an instrument in a specific phase as 1, the technical expert must consider the accuracy of the algorithms used, e.g. B. Accuracy of 90% usage detection. Furthermore, the processing device 120 may also use, for example, prior knowledge of detection algorithms to adapt the occurrence probabilities, i. Uncertainty regarding the recognition already to be determined based on an uncertainty of the algorithm.
  • Embodiments according to the invention introduce a framework for modeling surgical procedures.
  • the framework uses UML activities as an interface for dynamic Bayesian networks (DBN). These models are used for the actual estimation of the progress of a surgical procedure.
  • DBN dynamic Bayesian networks
  • a framework is proposed that permits a formalization of medical devices. workflows allows. It is promoted through a dialogue between medical and technical experts and is based on the Unified Modeling Language (UML).
  • UML Unified Modeling Language
  • a simple, understandable UML activity serves as the starting point for automatically creating complex models that can be used to actually estimate the progress of a surgical procedure.
  • Translation rules allow a given UML activity to be transmitted into a dynamic Bayesian network (DBN).
  • DBN dynamic Bayesian network
  • the procedures are presented for the application of a cholecystectomy (surgical removal of the gallbladder) BIBLIOGRAPHIEVERZEICHNIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Eine Vorrichtung (100) umfasst eine Sensoreinrichtung (110), die ausgebildet ist, um einen Arbeitsbereich (160), in dem ein Arbeitsablauf ausführbar ist, zu erfassen, und um ein Sensorsignal (112) bereitzustellen, eine Verarbeitungseinrichtung (120) und eine Schnittstelle (130) zum Bereitstellen eines Zustandssignals. Die Verarbeitungseinrichtung (120) ist ausgebildet, um eine Beschreibung eines graphischen Wissensmodells (122) des Arbeitsablaufs zu erhalten und, um ein dynamisches Sequenzmodell (124) des Arbeitsablaufs basierend auf dem graphischen Wissensmodell zu erstellen und zu parametrisieren; und um einen Zustand des dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem Sensorsignal zu bestimmen, Die Vorrichtung ist ausgebildet, um das Zustandssignal basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells bereitzustellen.

Description

Vorrichtung und Verfahren zur Bestimmung eines Zustands eines Arbeitsablaufs
Beschreibung
Technischer Hintergrund
Ausführungsbeispiele der vorliegenden Erfindung betreffen Verfahren und Vorrichtungen zur Bestimmung eines Zustands eines Arbeitsablaufs.
Hintergrund der Erfindung
Workflowmodellierung kann eingesetzt werden, um Menschen gezielt bei ihrer Arbeit zu unterstützen - dies bietet die Möglichkeit zur Steigerung der Effizienz, der Vermeidung von Fehlern und einer Erhöhung der Zufriedenheit. Hierfür wird ein Arbeitsablauf, z. B. eine medizinische Intervention, multisensoriell erfasst.
Durch Analyse der Daten und Abgleich mit einem Workflowmodell können beispielsweise der Ist-Fortschritt und Anomalien erkannt und in eine interaktive Assistenz für die handelnde Person umgesetzt werden. Die ist notwendig, um eine bedarfsgerechte Assistenz umsetzen zu können. D. h., eine Assistenz die abhängig vom aktuellen Kontext (Ist- Fortschritt) eine entsprechend angemessene Assistenzfunktion anbieten kann. Bedingung hierfür ist, dass ein Workflowmodell in geeigneter Weise (maschinenlesbar) zur Verfügung steht. Die Erarbeitung solcher Modelle ist häufig ein langwieriger Prozess. Dies ist im Vorliegenden anhand eines Beispiels aus der Medizin illustriert. Wird ein Modell beispielsweise nur von technischen Experten entwickelt, kann ein Mangel an medizinischen Domänenwissen zu Fehlern im Modell und zu einer niedrigen Akzeptanz seitens der medizinischen Domänenexperten führen. Eine Bevormundung durch festgelegte Workflowmodelle, die für den Mediziner nicht hinreichend nachvollziehbar sind, kann eine weitere Hürde sein. Die genannten Hürden können dazu führen, dass das gesamte Assistenzsystem von den zu Assistierenden abgelehnt wird. Weiterhin ist diese Problematik in anderen Anwendungsbereichen zu erwarten. Im Bereich der Assistenz lassen sich analoge sowie elektronische Assistenzsysteme unterscheiden. Erstere bestehen z.B. in Form von Werkzeugen oder Aufbauten. Bei elektronischen Assistenzsystemen sind robotische Systeme und Informations-Assistenten bekannt. Diese können direkt in den Handlungsablauf eingreifen bzw. diesen durch Informa- tionen und Entscheidungsunterstützung beeinflussen. Ein aktuelles Patent im Sinne eines computerassistierten Eingriffs findet sich unter der Veröffentlichungsnummer US 9,532,848 B2.
Es besteht daher ein Bedarf zur verbesserten Zustandsbestimmung während eines Ar- beitsablaufs.
Zusammenfassung der Erfindung
Ausführungsbeispiele gemäß der Erfindung schaffen eine Vorrichtung mit einer Sen- soreinrichtung, die ausgebildet ist, um einen Arbeitsbereich, in dem ein Arbeitsablauf ausführbar ist, zu erfassen, und um ein Sensorsignal bereitzustellen. Ferner weist die Vorrichtung eine Verarbeitungseinrichtung auf, die ausgebildet ist, um ein graphisches Wissensmodell des Arbeitsablaufs, beispielsweise ein deterministisches Modell des Arbeitsablaufs, zu erhalten und ein dynamisches Sequenzmodell des Arbeitsablaufs, beispielswei- se ein probabilistisches Modell des Arbeitsablaufs, basierend auf dem graphischen Wissensmodell zu erstellen. Des Weiteren ist die Verarbeitungseinrichtung ausgebildet, um einen Zustand eines dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem Sensorsignal zu bestimmen. Des Weiteren weist die Vorrichtung eine Schnittstelle zum Bereitstellen eines Zustandssignals auf, wobei die Vorrichtung ausgebildet ist, um das Zustandssignal basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells bereitzustellen.
Das vorliegende Ausführungsbeispiel basiert auf der Idee, dass ein graphisches Wissensmodell für einen Domänenfachmann, beispielsweise für einen Mediziner, zugängli- eher oder verständlicher ist als ein dynamisches Sequenzmodell, gleichzeitig aber dynamische Sequenzmodelle eine zuverlässige Abbildung und Nachverfolgung eines Arbeitsablaufs bieten. Da dynamische Sequenzmodelle zumeist auf komplexen mathematischen Strukturen beruhen, sind diese für fachfremdes Personal schwer zugänglich. Graphische Wissensmodelle hingegen können beispielsweise ähnlich einem herkömmlichen Flussdi- agramm dargestellt werden. Das Flussdiagramm kann beispielsweise textuelle Informationen enthalten und daher auch fachfremden Personen, d.h. Personen ohne Wissen über probabilistische Arbeitsablaufsmodellierung, sehr leicht zugänglich sein. Ferner bietet das dynamische Sequenzmodell, in Bezug auf die Bestimmung des Zustande eines Arbeitsablaufs den Vorteil, dass es eine Interpretation von Sensorinformationen im Hinblick auf die Wahrscheinlichkeit auch bei unerwarteten Ereignissen ermöglicht, wodurch eine präzise Bestimmung des Zustands ermöglicht wird. Beispielsweise kann die Beobachtung eines unwahrscheinlichen Objekts mittels des dynamischen Sequenzmodells ignoriert werden, da die Erfassung womöglich auf einem fehlerhaften oder verrauschten Sensorsignal beruht. Somit kann mittels des dynamischen Sequenzmodells eine zuverlässigere Zuordnung von Zuständen eines geplanten Arbeitsablaufs einem tatsächlich ablaufenden Ar- beitsablauf zugeordnet werden.
Gemäß Ausführungsbeispielen ist die Vorrichtung ausgelegt, das dynamische Sequenzmodell basierend auf dem Sensorsignal anzupassen. Die beschriebene Vorrichtung kann sich flexibel einem Einsatzbereich anpassen, indem das dynamische Sequenzmodell an die Einsatzbedingungen angepasst wird. In anderen Worten bietet die Vorrichtung einen selbstlernenden Mechanismus zur Anpassung an sich ändernde Umgebungsbedingungen.
Gemäß Ausführungsbeispielen ist die Vorrichtung ausgelegt, eine Anweisung für eine Assistenzeinrichtung, die ausgelegt ist, in den Arbeitsablauf einzuwirken, im aktuellen oder in einem folgenden Zustand des dynamischen Sequenzmodells, basierend auf dem Zustandssignal bereitzustellen. Die beschriebene Vorrichtung kann vorteilhaft Informationen bereitstellen, die die Assistenzeinrichtung nutzen kann, um den Arbeitsablauf in eine gewünschte Richtung zu beeinflussen. Beispielsweise kann die Assistenzeinrichtung ei- nen Greifarm aufweisen, der einen Arbeiter beim Heben von schweren Gegenständen oder Montieren von Werkstücken assistieren kann. Die Anzeige von allgemeinen Informationen oder möglichen Handlungsoptionen beispielsweise auf einem Bildschirm oder unter Nutzung von kopfgetragenen Brillen im Sinne einer virtuellen- oder erweiterten Realität, stellt eine weitere Möglichkeit dar, den Arbeitsablauf günstig zu beeinflussen.
Gemäß Ausführungsbeispielen basiert das dynamische Sequenzmodell auf einem dynamischen Bayes'schen Netz. Bayes'sche Netze sind insbesondere Vorteilhaft für die Sequenzmodellierung, da sie geeignet sind, um Vorwissen über Handlungsabläufe bzw. Arbeitsabläufe in Zustandsentscheidungen einfließen zu lassen und das dynamische bzw. zeitliche Verhalten von Sensorsignalen und den daraus gewonnen Sequenz von Merkma- len zu modellieren. Des Weiteren können mittels Bayes'scher Netze Ereignisse, die in dem Sensorsignal detektiert worden sind, klassifiziert und bewertet werden.
Gemäß Ausführungsbeispielen basiert das graphische Wissensmodell auf einem Aktivi- tätsdiagramm und ist ausgelegt, den Arbeitsablauf abzubilden. Ein Aktivitätsdiagramm kann vorteilhaft sein, um eine simple Modellierung eines Arbeitsablaufs zu ermöglichen. Insbesondere sind Aktivitätsdiagramme leicht verständlich, insbesondere auch für Personen, die nicht ohne Weiteres eine Modellierung in Form des dynamischen Sequenzmodells nachvollziehen können.
Gemäß Ausführungsbeispielen basiert das Aktivitätsdiagramm auf der Unified Modeling Language (UML). Die Verwendung von UML ermöglicht eine gut strukturierte und normierte Erstellung von Aktivitätsdiagrammen. Dadurch kann ein hoher Ordnungsgrad erzielt werden, der wiederum zu einem leichteren Verständnis des graphischen Wissens- modells führen kann.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, Ausgangspins und Objekte von Aktivitätsknoten des graphischen Wissensmodells auf Knoten des dynamischen Sequenzmodells abzubilden. Die beschriebene Abbildungsregel, zum Abbil- den der Ausgangpunkte des graphischen Wissensmodells auf Knoten des dynamischen Sequenzmodells, kann vorteilhaft genutzt werden, um effizient und einfach ein dynamisches Sequenzmodell basierend auf Teilen, beispielsweise den Ausgangspins, des graphischen Wissensmodells zu erhalten. Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, Aktivitätsknoten des graphischen Wissensmodells Zuständen des Arbeitsablaufs zuzuordnen. Ferner ist die Verarbeitungseinrichtung ausgelegt, um Knoten des dynamischen Sequenzmodells Zuständen des dynamischen Sequenzmodells zuzuordnen. Das beschriebene Ausführungsbeispiel kann vorteilhaft mittels einer einfachen Abbildungsregel Elemente des gra- phischen Wissensmodells auf das dynamische Sequenzmodell abbilden. Somit können mit wenig Aufwand, beispielsweise automatisiert, Anteile des graphischen Wissensmodells auf das dynamische Sequenzmodell abgebildet werden.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, um den Aktivi- tätsknoten zugeordnete Annotationen oder um Verzweigungsknoten des graphischen Wissensmodells zugeordnete Annotationen und Kanten des graphischen Wissensmodell auf Knoten des dynamischen Sequenzmodells zuzuordnen. Die Beschriebene
Figure imgf000007_0001
Vorrichtung kann mittels der beschriebenen Abbildungsvorschrift einfach ein graphisches Wissensmodell in ein dynamisches Sequenzmodell übersetzen oder übertragen.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, für das Erstellen des dynamischen Sequenzmodells, eine Aktivität während des Arbeitsablaufs mit einem Objekt des Arbeitsablaufs in dem graphischen Wissensmodell zu verknüpfen. Ferner ist die Verarbeitungseinrichtung ausgelegt, basierend auf der Verknüpfung einen Objekt- fluss des graphischen Wissensmodells zu erhalten und um den Objektfluss auf einen gerichteten Pfad des dynamischen Sequenzmodells abzubilden, wobei ein Objektfluss auch gleichbedeutend als Datenfluss bezeichnet werden kann. Hierbei ist der gerichtete Pfad zwischen einem Wurzelknoten und einem dazugehörigen Kindknoten angeordnet. Die beschriebene Abbildung kann vorteilhaft genutzt werden, um Beobachtungen des Sen- sorsignals von Objekten entsprechenden Zuständen des dynamischen Sequenzmodells zuzuordnen.
Gemäß Ausführungsbeispielen ist der Zustand ein erster Zustand und wobei die Vorrichtung ausgebildet ist, um ein Ereignis in dem Arbeitsbereich basierend auf dem Sensorsig- nal festzustellen. Ferner ist die Vorrichtung ausgelegt, um einen zweiten Zustand des dynamischen Sequenzmodells basierend auf dem ersten Zustand und basierend auf einer Auftrittswahrscheinlichkeit des Ereignisses in dem ersten oder dem zweiten Zustand zu bestimmen. Das beschriebene Ausführungsbeispiel kann vorteilhaft Auftrittswahrscheinlichkeiten von Ereignissen, beispielsweise Beobachtung von Werkzeugen, nutzen, um eine Bewertung der Wahrscheinlichkeit der Beobachtung in Zusammenhang mit einem neuen Zustand, beispielsweise dem zweiten Zustand, zu nutzen. In anderen Worten, wenn die Vorrichtung ausgebildet eine Beobachtung als wahrscheinlich erachtet für einen Zustand, so kann die Vorrichtung basierend auf dem dynamischen Sequenzmodell die Entscheidung in Richtung eines wahrscheinlicheren Zustande ermöglichen. Beispielswei- se kann ein Zustandsübergang von dem ersten Zustand in den zweiten Zustand angestoßen werden, auf Grund von Beobachtung eines Werkzeugs, welches mit größerer Wahrscheinlichkeit im zweiten Zustand auftritt, als im ersten Zustand.
Gemäß Ausführungsbeispielen ist die Vorrichtung ausgebildet, die Auftrittswahrschein- lichkeit aus dem graphischen Wissensmodell zu erhalten oder abzuleiten. Das beschriebene Ausführungsbeispiel kann vorteilhaft Auftrittswahrscheinlichkeiten von bedienendem Personal entgegennehmen, das nicht im Umgang mit dynamischen Sequenzmodellen geübt ist, indem es die Eingabe über das graphische Wissensmodell ermöglicht. Somit kann auch eine Person, die nicht im Umgang mit dynamischen Sequenzmodellen geübt ist, trotzdem sehr einfach die Vorrichtung parametrisieren. Insbesondere kann so Exper- tenwissen von Personen, die sich mit dem Arbeitsablauf sehr gut auskennen, sich aber hingegen nicht mit dynamischen Sequenzmodellen auskennen, in das dynamische Sequenzmodell überführt werden.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, unter Verwendung von Übergangswahrscheinlichkeiten, ausgehend von Knoten des dynamischen Sequenzmodells, den Zustand des dynamischen Sequenzmodells zu bestimmen. Wenn beispielsweise ein Knoten des dynamischen Sequenzmodells einem Zustand des Arbeitsablaufs entspricht, kann die Vorrichtung, basierend auf dem Wissen, dass das dynamische Sequenzmodell sich in dem Zustand befindet, die Wahrscheinlichkeit für einen Zustands- wechsel mittels des dynamischen Sequenzmodells bestimmen und basierend darauf in einen neuen Zustand wechseln, beispielsweise in einen Zustand der einem zeitlich darauffolgenden Arbeitsschritt zugeordnet ist. Durch die Nutzung von Übergangswahrscheinlichkeiten kann eine präzise Bestimmung eines Übergang eines Zustands in einen anderen Zustand ermöglicht werden.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, die Auftrittswahrscheinlichkeiten und/oder die Übergangswahrscheinlichkeiten mit Hilfe von aufgezeichneten Sensordaten zu adaptieren. Das beschriebene Ausführungsbeispiel kann vorteilhaft die aufgezeichneten Sensordaten nutzen, die den Arbeitsbereich beschreiben, um die Wahrscheinlichkeitswerte, die das dynamische Sequenzmodell parametrisieren, anzupassen. Dadurch kann eine etwaige fehlende oder fehlerhafte Initiajparametrisierung kompensiert werden.
Gemäß Ausführungsbeispielen ist eine Auftrittswahrscheinlichkeit eines Ereignisses mit einem Verbleiben oder Wechsel eines Zustands des dynamischen Sequenzmodells korreliert. Ferner beschreibt eine Übergangswahrscheinlichkeit eine Wahrscheinlichkeit, eines Wechseins von einem ersten Zustand zu einem zweiten Zustand, und ist die Verarbeitungseinrichtung ausgelegt, um den aktuellen Zustand während des Arbeitsablaufs, anhand von Auswertungen des Sensorsignals zu schätzen. Das beschriebene Ausführungs- beispiel kann vorteilhaft mittels aufgezeichneten Sensordaten nachadaptiert werden, so dass ein Fachmann nur eine anfängliche Initialisierung durchzuführen braucht. Die an- fängliche Initialisierung kann beispielsweise das Bereitstellen von Auftrittswahrscheinlichkeiten von Ereignissen, oder Übergangswahrscheinlichkeit von Zuständen umfassen, wie es einem Mediziner beispielsweise während einer Operation bekannt ist. Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgebildet, basierend auf einer Mehrzahl von zeitlich beabstandeten Erfassungen des Arbeitsbereichs den Zustand basierend auf einer zeitlichen Mittelung der Sensorsignale zu bestimmen. Unter Verwendung einer zeitlichen Mittelung können Rausch- oder Störanteile des Sensorsignals, d. h. der Erfassung, unterdrückt werden. Somit können verbesserte Sensorsignale der Verarbeitungseinrichtung zur Verfügung gestellt werden, um den Zustand des dynamischen Sequenzmodells zuverlässiger zu bestimmen.
Gemäß Ausführungsbeispielen ist die Sensoreinrichtung ausgelegt, das Sensorsignal basierend auf einer visuellen Erfassung des Arbeitsbereichs bereitzustellen. Eine visuelle Erfassung kann beispielsweise einfach mit einer Kamera durchgeführt werden, womit leicht eine Vielzahl von Informationen des Arbeitsbereichs erfasst werden kann.
Gemäß Ausführungsbeispielen ist die Sensoreinrichtung ausgelegt, um das Sensorsignal basierend auf einer akustischen Erfassung des Arbeitsbereichs bereitzustellen. Eine akustische Erfassung kann vorteilhaft sein, beispielsweise um anhand von Geräuschen die eingesetzten Werkzeuge eines Arbeitsschritts zu erkennen, oder basierend auf Dialogen von Personal eine Klassifizierung des aktuellen Arbeitsschritts zur ermöglichen.
Gemäß Ausführungsbeispielen ist die Sensoreinrichtung ausgelegt, das Sensorsignal basierend auf einer hochfrequenten (radio frequency) Erfassung des Arbeitsbereichs bereitzustellen. Die Erfassung von Hoch-Frequenz-Identitäts-Nummern (RFIDs) kann beispielsweise das Erkennen eingesetzter Werkzeuge ermöglichen.
Gemäß Ausführungsbeispielen der Erfindung weist die Vorrichtung eine Benutzerschnitt- stelle auf, die ausgebildet ist, um eine Eingabe eines Benutzers zu erhalten, die den Arbeitsablauf zumindest teilweise beschreibt. Ferner ist die Vorrichtung ausgelegt, um basierend auf der Eingabe des Benutzers das graphische Wissensmodell bereitzustellen. Das beschriebene Ausführungsbeispiel kann eine einfache Parametrisierung des graphischen Wissensmodells für einen Benutzer ermöglichen, beispielsweise über einen Com- puter mittels Tastatur und Maus. Ausführungsbeispiele gemäß der Erfindung beschreiben ein System zur Arbeitsablaufunterstützung, wobei das System eine Vorrichtung umfasst wie sie hierin beschrieben ist, sowie einen Arbeitsbereich und eine Assistenzeinrichtung. Das beschriebene System kann vorteilhaft einem Arbeiter bei einer schwierigen oder komplizierten Tätigkeit assistie- ren.
Ausführungsbeispiele gemäß der Erfindung schaffen ein Verfahren. Das Verfahren umfasst ein Erfassen eines Arbeitsbereichs, in dem ein Arbeitsablauf ausführbar ist. Des Weiteren umfasst das Verfahren ein Bereitstellen eines Sensorsignals basierend auf dem erfassten Arbeitsbereich. Ferner umfasst das Verfahren ein Erhalten eines graphischen Wissensmodells des Arbeitsablaufs und ein Erstellen eines dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem graphischen Wissensmodell des Arbeitsablaufs. Weiterhin umfasst das Verfahren ein Bestimmen eines Zustands des dynamischen Sequenzmodells basierend auf dem Sensorsignal. Im Übrigen umfasst das Verfahren ein Bereitstellen eines Zustandssignals basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells. Das Verfahren kann um alle Merkmale und Funktionalitäten erweitert werden, die im Zusammenhang mit der hierin beschriebenen Vorrichtung genannt sind. Fiqurenkurzbeschreibunq
Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen: Fig. 1 ein schematisches Blockdiagramm einer Vorrichtung gemäß Ausführungs- beispielen der Erfindung;
Fig. 2 einen Arbeitsablaufplan eines graphischen Wissensmodells gemäß Ausführungsbeispielen der Erfindung;
Fig. 3a-c Elemente von Arbeitsablaufdiagrammen gemäß Ausführungsbeispielen der
Erfindung;
Fig. 4 eine Erstellung eines Arbeitsablaufs, mittels eines graphischen Wissensmodells und einem dynamischen Sequenzmodells, gemäß Ausführungsbeispielen der Erfindung; Fig. 5 einen dynamische Anteil eines dynamischen Bayes'sches Netzes für zwei
Zeitabschnitte gemäß Ausführungsbeispielen der Erfindung; Fig. 6 ein dynamisches Bayes'sches Netz gemäß Ausführungsbeispielen der Erfindung, das über drei Zeitschritte ausgerollt ist; und
Fig. 7 ein Verfahren gemäß Ausführungsbeispielen der Erfindung.
Detaillierte Beschreibung der Ausführungsbeispiele
Arbeitsabläufe, gemäß der Erfindung, können jede Art von Arbeiten beschreiben. Beispiele für Arbeitsabläufe sind Operationen für medizinisches Personal, Fertigung und/oder Montage von Produkten. Im allgemeinen kann ein Arbeitsablauf eine regelmäßig zu wiederholende Tätigkeit sein in verschiedenen Bereichen. Ein Arbeitsablauf kann in einem Arbeitsablaufsplan modelliert werden, der im Allgemeinen unterschiedliche Arbeitsschritte darstellt. Fig. 1 zeigt ein schematisches Blockdiagramm einer Vorrichtung 100 gemäß Ausführungsbeispielen der Erfindung. Die Vorrichtung 100 weist eine Sensoreinrichtung 110, eine Verarbeitungseinrichtung 120 sowie eine Schnittstelle 130 auf. Ferner kann die Vorrichtung 100 eine optionale Benutzerschnittstelle 140 und/oder eine optionale Assistenzeinrichtung 150 aufweisen.
Die Sensoreinrichtung 1 10 ist ausgebildet, um einen Arbeitsbereich 160, in dem ein Arbeitsablauf ausführbar ist, zu erfassen und basierend auf der Erfassung ein Sensorsignal 1 12 bereitzustellen. Die Verarbeitungseinrichtung 120 ist ausgebildet, um ein graphisches Wissensmodell 122 des Arbeitsablaufs zu erhalten und um ein dynamisches Sequenzmo- dell 124 basierend auf dem graphischen Wissensmodell 122 zu erstellen. Des Weiteren ist die Verarbeitungseinrichtung 120 ausgebildet, um einen Zustand des dynamischen Sequenzmodells 124 des Arbeitsablaufs basierend auf dem Sensorsignal 1 12 zu bestimmen. Die Verarbeitungseinrichtung 120 kann sowohl auf das graphische Wissensmodell 122 als auch auf das dynamische Sequenzmodell 124 zugreifen. Die Schnittstelle 130 ist ausgelegt, ein Zustandssignal bereitzustellen, wobei die Vorrichtung 100 ausgebildet ist, um das Zustandssignal basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells 124 zu erhalten.
Die Sensoreinrichtung 1 10 kann beispielsweise so eingerichtet sein, dass sie den Ar- beitsbereich 160 so erfasst, dass darin auftretende oder erscheinende Werkzeuge detek- tierbar sind. Basierend auf der Detektion kann das Sensorsignal 1 12 der Verarbeitungseinrichtung 120 Informationen über auftretende Objekte bereitstellen. Die Verarbeitungseinrichtung 120 kann basierend auf dem Sensorsignal und einem aktuellen Zustand des dynamischen Sequenzmodells 124, der einem Zustand des Arbeitsablaufs zugeordnet ist, eine Schätzung oder eine Aussage über den aktuellen Zustand oder einen folgenden Zustand des Arbeitsablaufs bereitstellen. Beispielsweise kann die Vorrichtung 100, wenn das Sensorsignal einen bestimmten Gegenstand erkennt, die Wahrscheinlichkeit des Auftretens des Gegenstands in dem aktuellen Zustand bewerten. Die Bewertung kann beispielsweise umfassen, dass die Verarbeitungseinrichtung evaluiert wie wahrscheinlich das Auftreten des Gegenstands in dem aktuellen Zustand ist. Basierend auf der Bewertung kann die Verarbeitungseinrichtung 120, beispielsweise im Falle, dass das Auftreten im aktuellen Zustand als unwahrscheinlich bewertet wird, in einen Zustand wechseln, im dem der genannte Gegenstand mit größerer Wahrscheinlichkeit auftritt. Basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells 124 kann die Verarbei- tungseinrichtung 120 einen Zustand des Arbeitsablaufs schätzen und diese Schätzung bzw. diesen Zustand über die Schnittstelle 130 in Form des Zustandssignals zur Verfügung stellen. Basierend auf dem Zustandssignal können beispielsweise Interventionen für den Arbeitsablauf geplant werden. Z. B. kann ein Arbeiter, der den Arbeitsablauf durchführt, gewarnt werden, wenn z. B. ein Schritt übersprungen wurde oder ein falsches Werkzeug zum Einsatz kommt. Ebenfalls kann, beispielsweise basierend auf dem geschätzten Zustand, eine Assistenzeinrichtung, etwa die Assistenzeinrichtung 150, mit dem Arbeitsablauf interagieren, in anderen Worten in den Handlungsablauf einwirken, eingreifen oder mitwirken. Die Assistenzeinrichtung 150 könnte beispielsweise ein Greifarm sein, der einem Arbeiter unterstützend zuarbeitet. Beispielsweise könnte die Verarbeitungsein- richtung 120 erkennen dass ein Objekt zu schwer ist, um von einem Menschen angehoben zu werden und infolgedessen beispielsweise einen Greifarm instruiert das Objekt anzuheben. Im allgemeinen bietet die Vorrichtung 100 den Vorteil, dass die Ableitung des dynamischen Sequenzmodells 124 auf einem graphischen Wissensmodell 122 beruht. Dadurch lässt sich eine leichte Parametrisierung des Arbeitsablaufs durchführen, da ein graphisches Wissensmodell, im Allgemeinen, zugänglicher oder verständlicher ist für Personen, die nicht bewandert sind auf dem Gebiet der Wahrscheinlichkeitsrechnung. Insbe- sondere erlaubt eine graphische Wissensmodellierung eine simple graphische Modellierung, beispielsweise über ein Arbeitsflussdiagramm. Eine graphische Modellierung kann für Personal, das ansonsten nicht mit probabilistischer Arbeitsablaufplanung befasst ist, leichter verständlich sein.
Fig. 2 zeigt ein Flussdiagramm 200 eines graphischen Wissensmodells gemäß Ausführungsbeispielen der Erfindung. Das Flussdiagramm 200 kann beispielsweise eine Cholezystektomie beschreiben, also einen medizinischen Arbeitsablaufsplan zur Entfernung der Gallenblase. Zustände 210, 215, 220, 225, 230, 235, 240, 245 und 250 stellen Zustände des Arbeitsablaufs dar, wobei die Zustände in Zusammenhang mit einem Arbeitsablaufplan auch als Arbeitsschritte bezeichnet sein können. In dem ersten Zustand 210, bzw. dem Arbeitsschritt, kann beispielsweise ein Pneumoperitoneum erzeugt werden, d.h. Gas in den Unterleib des Patienten gepumpt werden, um den Unterleib des Patienten aufzublasen. Dieser Vorgang kann beispielsweise 186 Sekunden dauern, was durch die Annotierung 210a dargestellt wird.
In einem zweiten Schritt 215 können beispielsweise Trokare platziert werden, wobei Trokare Rohre mit geschärften Endungen sind. Dem Schritt bzw. Zustand 215 ist eine Auftrittswahrscheinlichkeit von 0,95 zugeordnet, dass Trokare 200a in dem Arbeitsbereich verwendet oder erfasst werden, d. h. mit 95-prozentiger Wahrscheinlichkeit wird die Sensoreinrichtung z. B. die Sensoreinrichtung 1 10, Trokare in der Erfassung des Arbeitsbereichs detektieren. Der Zustand 215 dauert beispielsweise 195 Sekunden an, was durch die Annotation 215a gekennzeichnet ist. In einem dritten Zustand 220 kann beispielsweise das Freipräparieren des Gallengangs durchgeführt werden. Dieser Zustand kann beispielsweise 558 Sekunden dauern, was durch die Annotation 220a gekennzeichnet ist. Während des dritten Zustande 220 ist die Auftrittswahrscheinlichkeit von Trokaren 200a weiterhin 95 %. Hinzukommend können nun aber auch weitere Werkzeuge erkannt werden, wie z. B. ein Greifer 200b mit einer Wahrscheinlichkeit von 90 %, ein Seziergerät (Abtrenngerät) 200c mit einer Wahrscheinlichkeit von 92 % und ein HF-Koagulationsgerät bzw. -Schneider 200d mit einer Wahrscheinlichkeit von 59 %.
In einem vierten Zustand 225 kann beispielsweise eine Klammerung und Schneiden (Ab- klammern und Schneiden) des Gallengangs durchgeführt werden. Der beschriebene vierte Zustand 225 kann beispielsweise 1 14 Sekunden dauern, gekennzeichnet durch die Annotation 225a. Während des vierten Zustande können die bekannten Geräte bzw. Werkzeuge 200a und 200b mit den bekannten Auftrittswahrscheinlichkeiten auftreten. Hinzukommend können nun die Werkzeuge 200e, z. B. eine laparoskopische Schere (lap. Schere) mit einer Wahrscheinlichkeit von 90 % und 200f, z. B. ein Klammergerät (Ab- klemmgerät, Tacker), mit einer Auftrittswahrscheinlichkeit von 91 % auftreten.
In einem fünften Schritt 230 kann beispielsweise die Gallenblasenarterie freipräpariert werden, wobei dieser Zustand beispielsweise 108 Sekunden dauern kann, gekennzeichnet durch Annotation 230a. Während der Präparation der Gallenblasenarterie können die bekannten Gerätschaften 200a, 200b und 200c mit den bekannten Wahrscheinlichkeiten auftreten.
In einem sechsten Zustand 235 kann beispielsweise die Gallenblasenarterie geklammert und geschnitten werden. Dieser sechste Zustand 235 kann beispielsweise 1 15 Sekunden andauern, gekennzeichnet durch Annotation 235a. Hierzu können die bereits bekannten Werkzeuge 200a, 200b, 200e und 200f mit den bekannten Auftrittswahrscheinlichkeiten beobachtet werden.
Im Folgenden kann ein optionaler Zustand 240 im Arbeitsablauf erreicht werden, dies ist durch die Abzweigung 236 gekennzeichnet. In der Abzweigung 236 wird eine Fallunterscheidung durchgeführt, die beispielsweise über Wissen des Arbeiters konditioniert wird. Beispielsweise kann ein Mediziner vor oder während der Operation erkennen, dass der optionale Schritt 240 notwendig sein könnte. Der Mediziner kann dies beispielsweise der Vorrichtung 100 über die Benutzerschnittstelle 140 anzeigen. In dem Zustand 240 kann beispielsweise 600 Sekunden verharrt werden, gemäß Annotation 240. Der optionale Zustand 240 kann beispielsweise einen Arbeitsschritt zugeordnet sein, der eine Bildgebung des Gallengangs erfordert. Während des Zustande 240 sollte die Sensoreinrichtung nur die Werkzeuge 200a erfassen, beispielsweise die genannten Trokare. Das dynamische System kann auch ohne Eingabe erkennen, dass Schritt 240 vorliegt, da hier mit hoher Wahrscheinlichkeit nur Trokare genutzt werden wohingegen in Schritt 245 mehr Werkzeuge zum Einsatz kommen. Des Weiteren ist über die Annotation 234 an Abzweigung 236 (Expertenwissen) bekannt, dass in 45% der OPs eine intraoperative Bildgebung (240) notwendig ist, also ein Übergang von 235 nach 240 stattfindet. Nach Durchführung des optionalen Arbeitsschritts 240 kann wieder auf den standardgemäßen Arbeitsweg zurückgekehrt werden über den Knoten 241 . In einem weiteren Zu- stand 245, der gemäß Annotation 245a, 534 Sekunden andauern kann, kann beispielsweise die Gallenblase entfernt (abgenommen) werden. Während dieses Zustands können die bekannten Werkzeuge 200a, 200b, 200c, 200d, 200e und 200f mit den bekannten Auftrittswahrscheinlichkeiten beobachtet werden.
In einem letzten Schritt 250, der, gemäß Annotation 250a, 192 Sekunden andauern kann, kann eine Koagulation des Leberbetts durchgeführt werden. Während des Zustands 250 können die bekannten Werkzeuge 200a und 200d mit den bekannten Wahrscheinlichkeiten auftreten.
In dem Arbeitsablaufplan 200 sind die Werkzeuge bzw. Objekte 200a-f mit den Zuständen 210, 215, 220, 225, 230, 235, 240, 245 und 250 mittels Ausgangspins 200a'-f über Objektflüsse verbunden. Auch wenn Flussdiagramm 200 vorwiegend im Zusammenhang mit einem medizinischen Arbeitsablauf beschrieben wurde, kann ein Arbeitsablaufplan, ge- mäß Arbeitsablaufplan 200, auch beispielsweise einen Arbeitsablauf zur Montage von Kraftfahrzeugen oder andere komplexe Tätigkeiten beschreiben. Der Arbeitsablaufplan kann eine beliebige Zahl von Zuständen aufweisen, denen in Form von Ausgangspins 200a'-f Objekte 200a-f zugeordnet werden können bzw. deren Auftrittswahrscheinlichkeiten für einen bestimmten Zustand, etwa mittels einer Benutzereingabe. Hierbei kann die Auftrittswahrscheinlichkeit eines Objekts oder Ereignis in unterschiedlichen Arbeitsablauf- zuständen variieren, d.h. Objekt 200a könnte in einem ersten Schritt zu 95% erwartet werden und zu 60% in einem zweiten Schritt erwartet werden. Diese Wahrscheinlichkeiten können angeben, wie häufig oder wahrscheinlich ein Ereignis während des Zustands ist, etwa, dass ein spezifisches Objekt in dem Arbeitsbereich verwendet oder präsent ist. Alternativ kann sich die zugeordnete Wahrscheinlichkeit auch auf ein anderes Ereignis beziehen, etwa die Veränderung eines Objekts bezüglich des Orts oder Zustands. Hierunter können auch ein teilweiser oder vollständiger Verbrauch des Objekts fallen.
Pfade zwischen den Zuständen, etwa Pfade oder Kanten 21 1 , 216, 221 , 226, 231 oder 246 können einen Wechsel von einem Zustand in einen anderen Zustand beschreiben, etwa wenn die Aktivitäten in einem Zustand ausgeführt sind, eine zugeordnete Zeitdauer 210a, 215a, 220a, 225a, 230a, 235a, 240a, 245a oder 250a abgelaufen ist und/oder ein anderes Kriterium erfüllt ist. Die Zustände 210, 215, 220, 225, 230, 235, 240, 245 und 250 können als Aktivitätsknoten verstanden werden, bei deren Erreichung im Arbeitsablauf eine zugeordnete Aktivität vermutet wird. Ferner verbindet ein Objektfluss einen Ausgangspin 200a'-f mit einem Objekt 200a-f. Das graphische Wissensmodell 200 ist für eine direkte Sensorsignalverarbeitung wenig geeignet, ermöglicht jedoch eine komfortable und einfache Zuordnung von in dem Arbeitsablauf auszuführenden Aktivitäten zu den Zuständen/Aktivitätsknoten 210, 215, 220, 225, 230, 235, 240, 245 und 250 sowie eine Zuordnung von Auftrittswahrscheinlichkeiten bestimmter Ereignisse in den Zuständen, was über die Ausgangspins 200a'-f dargestellt ist. Zusammenhänge und Übertritte zwischen den Zuständen können durch die Pfade 21 1 , 216, 221 , 226, 231 oder 246 dargestellt werden. Zusammengefasst kann das graphische Wissensmodell einen erwarteten Ablauf des Arbeitsdiagramms darstellen. Abwei- chungen von dem dargestellten Arbeitsablauf werden jedoch nicht oder nur unzulänglich berücksichtigt, was jedoch durch dynamische Sequenzmodelle ermöglicht ist, wozu auch dynamische Bayes'sche Netzwerke gehören, die im Zusammenhang mit Fig. 5 und Fig. 6 erläutert sind. Erfindungsgemäße Vorrichtungen sind konfiguriert, um ein graphisches Wissensmodell, etwa das graphische Wissensmodell 200 zu erhalten und in ein dynamisches Sequenzmodell zu überführen, und um die Ausführung des Arbeitsablaufs sensorisch zu erfassen und Zustände in dem dynamischen Sequenzmodell unter Verwendung oder Auswertung der Sensordaten zu bestimmen.
Das Modell 200 kann über die Benutzerschnittstelle 140 der Vorrichtung 100 zugeführt werden und dort verwendet werden, um den beschriebenen Arbeitsablauf zu koordinieren oder zu unterstützen. Ferner kann Fig. 2 die UML-Aktivität einer Cholezystektomie zeigen. Am Anfang steht eine sequentielle Reihenfolge von Handlungen. Die Handlung„Intraoperative Cholangiographie" wird optional ausgeführt. Die Aktivität ist aus einer Beschreibung in [14], [15] und [16] abgeleitet. Fig. 3a-c zeigen Elemente von Arbeitsablaufdiagrammen und/oder vollständige Arbeitsablaufdiagrammen gemäß Ausführungsbeispielen der Erfindung. Insbesondere zeigen Fig. 3a und Fig. 3b Arbeitsablaufsdiagramme mit einem Startknoten 310 und einem Endpunkt 390 und stellen daher vollständige Arbeitsablaufdiagramme dar. Andererseits können die zwischen dem Startknoten 310 und Endknoten 390 angeordneten Arbeitsschritte auch als Elemente von anderen Arbeitsablaufdiagrammen dienen. Fig. 3a zeigt eine Aktivität 1 , die einen Startknoten 310 hat und ausgehend von diesem Startknoten in den Zustand A wechselt. Wenn Arbeitshandlungen des Arbeitsablaufs, die dem Zustand A zugeordnet sind, beendet oder durchgeführt sind, ist ein Übergang von Zustand A zu Zustand B angezeigt. Diese sequentielle Reihenfolge kann von der Verar- beitungseinrichtung 120 auf ein dynamisches Sequenzmodell abgebildet werden und dann zur Zustandsbestimmung genutzt werden. Nach Fertigstellung von Tätigkeiten, die dem Zustand B zugeordnet sind, fließt der Arbeitsablauf in Fig. 3a zu einem Endpunkt 390. Fig. 3b zeigt eine Aktivität 2, die eine Entscheidungsmöglichkeit oder Abzweigmöglichkeit innerhalb eines Arbeitsablaufs beschreibt. Beginnend von einem Startpunkt 310 läuft der Arbeitsablauf in einen Entscheidungsknoten 320. Abhängig von einem Entscheidungskriterium, hier beispielsweise einer Schwellwertentscheidung, kann hier entschieden werden, ob der Arbeitsablauf in den Zustand A, d. h. die Aktivitäten, die dem Zustand A zu- geordnet sind, durchgeführt werden oder der Arbeitsablauf in den Zustand B überwechselt, d. h. die Arbeitsschritte, die dem Zustand B zugeordnet sind, durchgeführt werden. Die Schwellwertentscheidung zur Wahl des Abzweigungsweges, kann beispielsweise von der Verarbeitungseinrichtung 120 durchgeführt werden, und der daraus resultierende Zustand des Arbeitsablaufs daraus von der Verarbeitungseinrichtung 120 bestimmt werden. Des Weiteren ist dem Entscheidungsknoten 320 eine Annotation beigefügt, die Informationen über die Wahrscheinlichkeit für den Wechsel in die jeweiligen Zweige beschreibt. Sprich: wie häufig wird ein bestimmter Zweig beschritten. Anschließend fließt der Arbeitsablaufplan in den Knoten 330 wieder zusammen, um im Endknoten 390 zu enden. Fig. 3c zeigt Ausschnitte von Aktivitäten, Aktivität 3 und Aktivität 4, die Teil von Arbeitsabläufen sein können. Aktivität 3 zeigt den Arbeitsablaufzustand A, der mit einem Objekt y gekoppelt ist, über einen Objektfluss, wobei das Objekt y mit einer Wahrscheinlichkeit von 95 % in Zustand A auftreten kann. Des Weiteren ist im Zustand A eine Annotation beigefügt, die Informationen über den Zustand A bereitstellen kann. Die Verknüpfung des Ar- beitsablaufszustands A mit dem Objekt y kann von der Verabeitungseinrichtung 120 genutzt werden, um über das dynamische Sequenzmodell auf den Zustand A zu schließen, falls das Sensorsignal das Objekt y erfasst. Aktivität 4 kann analog zur Aktivität 3 interpretiert werden, wobei dem Zustand A hier in einer anderen Darstellung ein Objekt y zugeordnet ist mit einer Auftrittswahrscheinlichkeit von 95 % über einen Ausgangspin des Akti- vitätsknoten A und einen Objektfluss. Ebenfalls weist der Zustand A in Aktivität 4 eine Annotation auf, die Informationen über den Zustand A bereitstellen kann. Die Verbindung zwischen Zustand A und Objekt y in Aktivität 3 kann auch als Fluss oder Strom (Stream) charakterisiert werden.
Fig. 3a und b zeigen zwei typische Ablaufpläne von Arbeitsablaufmodellen im Kontext von chirurgischen Eingriffen. In a) werden die Handlungen A und B nacheinander (aufeinanderfolgend) ausgeführt. In b) muss eine Entscheidung getroffen werden, entweder A oder B durchzuführen. Die Entscheidung wird durch einen Wächter (Ausdruck) dargestellt. Falls dieser zu„wahr" evaluiert, wird die entsprechende Handlung ausgeführt. Fig. 3c) zeigt zwei äquivalente Darstellungen eines geströmten Objektes. Das heißt, ein Objekt- fluss kann auftreten, während A noch ausgeführt wird (nicht erst nach Ausführung). Ferner beinhalten die Aktivitäten textliche Anmerkungen (Annotationen), die dazu verwendet werden kann, zusätzliche Informationen zu speichern.
Fig. 4 zeigt eine Darstellung eines Arbeitsablaufs in einem graphischen Wissensmodell, hier ein UML-Aktivitätendiagramm, und dessen Überführung in ein dynamisches Sequenzmodell, hier ein dynamisches Bayes'sches Netz. Das in Fig. 4 gezeigte Beispiel basiert auf einem medizinischen Beispiel. Hierzu wird Wissen aus medizinischen Lehrbüchern und Leitlinien entweder in Kombination mit einem medizinischen Experten oder in einem Dialog zwischen Domänenexperten genutzt um einen Arbeitsablauf zu definieren. Domänenexperten können beispielsweise Ingenieure oder Mediziner sein. Basierend auf dem Arbeitsablaufplan kann ein UML-Aktivitätendiagramm erzeugt werden, welches anschließend automatisch übersetzt wird in ein dynamisches Bayes'sches Netz. Die Vorrichtung 100 kann den definierten Arbeitsablauf, hier in Form des UML-Aktivitätendiagramm, über die Benutzerschnittstelle 140 entgegennehmen, um das graphische Wissensmodell 122 zu definieren. Basierend auf dem graphischen Wissensmodell 122 kann nun die Vorrichtung das dynamische Sequenzmodell 124, hier das dynamische Bayes'sche Netz, bestimmen und zur Zustandsbestimmung nutzen.
Ferner zeigt Fig. 4 dass Medizinisches Wissen in eine UML-Aktivität des chirurgischen Arbeitsablaufes umgewandelt werden kann. Der Formalisierungsprozess kann durch einen Expertendialog oder durch den medizinischen Experten selbst ausgeführt werden. Die resultierende Aktivität dient als Schnittstelle zu komplexeren Modellen, die für eine tatsächliche Erfassung eines chirurgischen Schrittes verwendet werden. Ausführungsbeispiele gemäß der Erfindung beschreiben Übersetzungsregeln, um eine gegebene UML- Aktivität in ein dynamisches Bayes'sches Netz (DBN) zu übertragen Im Vorangegangenen wurden Bayes'sche Netze als Beispiel für ein dynamisches Sequenzmodell beschrieben. Andere Beispiele für Grundlagen von dynamischen Sequenzmodellen sind neuronale Netzwerke, Hidden Markov-Modelle, Markov-Netze oder teilweise observierbare Markov-Entscheidungsprozesse.
Bei Hidden Markov Modellen (Versteckte Markov Modelle) sind Zustände, beispielsweise einzelne Operationsphasen, sind dem Beobachter (technischem System) verborgen. Das technische System versucht allerding mittels Beobachtungen (=erfasste Sensorwerte) auf mögliche Zustände (z.B. den aktuellen Zustand) zu ziehen. Dies kann als Spezial- falls des DBN betrachtet werden.
Neuronale Netzwerke oder rekurrente neuronale Netzwerke, wie z.B. long short-term memory Netze (lang-kurz-Speicher Netze), können zeitliche bzw. sequentielle Abhängigkeiten in Daten berücksichtigen. Hiermit kann nicht nur erkannt werden, dass z.B. gerade „geschnitten" oder„genäht" wird (Action Recognition = Aktionserkennung) sondern es kann berücksichtigt werden, dass zunächst mit hoher Wahrscheinlichkeit„geschnitten" wurde und deswegen nun mit hoher Wahrscheinlichkeit„genäht" wird.
Markov Netze (Markov Random Fields) sind ähnlich Bayes'schen Netzen (BN), allerdings sind die Abhängigkeiten ungerichtet, d.h. im Gegensatz zu BNs können zyklische Abhängigkeiten direkt modelliert werden.
Teilweise beobachtbare Markov-Entscheidungsprozesse (Partially observable Markov decision process (POMDP)) sind ähnlich den Hidden Markov Modell, allerdings ist es kein rein beobachtendes Modell, sondern es werden Aktionen modelliert. Ein Ablauf der teilweise observierbaren Markov-Entscheidungsprozesse ist aber, wie bei den Hidden Markov Modellen, dem eigentlichen Beobachter (technischem System) verborgen.
Des Weiteren sind Alternativen für das graphische Wissensmodell, neben dem bereits genannten UML, Business Process Modelling Notation (BPMN), Event Driven Process Chain (EPC) und farbige Petri-Netze.
Fig. 5 zeigt einen dynamischen Teil eines dynamisches Bayes'sches Netzes 500 ß_ Insbesondere zeigt Fig. 5 einen vereinfachten Graph eines zweischeibigen temporalen Bayes'schen Netzes (2TBN). Im Kontext eines DBN wird ein 2TBN (oder: ß_) als eine Vorlage für konsekutive Zeitschritte t verwendet. Ein DBN besteht aus zwei Netzen. Dem Tupel (B0, ß_). Dabei stellt B0 die Startverteilung dar und ß_ beschreibt wie sich ein Netz über die Zeit entwickelt. Ein Bayes'sches Netz (B0) dient dabei als initialer Ausgangspunkt für konsekutive Zeitschritte. Zur Vereinfachung wurde ausgelassen, da bei diesem
Figure imgf000020_0005
Beispiel keine direkte Abhängigkeit auf besteht. Ausgehend von einem Zustand
Figure imgf000020_0004
Figure imgf000020_0006
kann in einem ersten Zeitabschnitt t-1 ein Übergang zu einem zweiten Zustand
Figure imgf000020_0007
in einem zweiten Zeitabschnitt t stattfinden. Ausgehend von dem Zustand
Figure imgf000020_0008
können Beobachtungen mit dem Zustand X° assoziiert werden. Beobachtungen können beispielsweise sein, denen beispielsweise Auftrittswahrscheinlichkeiten von 4 Werk
Figure imgf000020_0003
zeugen zugeordnet sind. Die Auftrittswahrscheinlichkeiten können aus den in Fig. 2 dar- gestellten Wahrscheinlichkeiten für die Beobachtung von Merkmalen, wie z.B. der Benutzung von Instrumenten, gewonnen. Weiterhin werden aus Fig. 2 die a-priori Wahrscheinlichkeit einzelner Phasen sowie die Wahrscheinlichkeit in einzelne Phasen überzuwechseln in die Wurzelknoten des dynamischen Bayes'schen Netzes übernommen. In anderen Worten kann das Bayes'sche Netzwerk durch Abbildung von Phasen eines Arbeitsab- laufs, beispielsweise Phasen bzw. Zustände 210, 215, 220, 225, 230, 235, 240, 245 oder 250 des graphischen Wissensmodells 200, auf die Knoten
Figure imgf000020_0002
eines Bayes'schen Netzwerks in der Verarbeitungseinrichtung 120 erzeugt werden. Des Weiteren kann das Bayes'sche Netzwerk durch Abbildung von Objekten eines Arbeitsablaufs und deren Wahrscheinlichkeiten, beispielsweise Objektwahrscheinlichkeiten der Objekte 200a-f, auf Knoten in der Verarbeitungseinrichtung 120 erzeugt werden.
Figure imgf000020_0009
Die Vorrichtung 100 ist bspw. ausgebildet, um das dynamische Sequenzmodell unter Verwendung des graphischen Wissensmodell zu erstellen. Die Verarbeitungseinrichtung 120 kann hierfür zumindest einen, mehrere oder alle der Aktivitätsknoten 210, 215, 220, 225, 230, 235, 240, 245, 250 in einen Zustand oder Knoten des dynamischen Sequenzmodells abbilden. Hierfür kann die Verarbeitungseinrichtung ausgelegt sein, um eine Abbildungsregel gemäß anzuwenden
Figure imgf000020_0001
wobei VB eine Menge an Knoten des dynamischen Sequenzmodells ist, ve ein Knoten des dynamischen Sequenzmodells ist, (ei( ey) eine Kante (Edge) e oder Pfad zwischen einem Objekt ey und einer Aktion e;- des graphischen Wissensmodells ist, DF eine Menge an Objektflüssen des graphischen Wissensmodell ist, A die Menge an Aktionen oder Zuständen des graphischen Wissensmodell ist, O die Menge an Objektknoten des graphi¬ schen Wissensmodells ist, vr ein Wurzelknoten des dynamischen Sequenzmodells ist und wobei ein Objektfluss eine Aktion der Menge A mit einem Objekt der Menge 0 in dem graphischen Wissensmodell verbindet. Ferner kann beispielsweise eine initiale Netz
Figure imgf000021_0013
struktur des Sequenzmodells beschreiben, die in einem ersten Schritt durch die Verarbeitungseinrichtung 20 erzeugt wird.
Das bedeutet, die Verarbeitungseinrichtung 120 ist ausgebildet, um einen Knoten ve des dynamischen Sequenzmodells für ein Objekt e;- zu erzeugen, dem ein Zustand oder eine Aktion et zugeordnet ist und deren derartige Verknüpfung in dem graphischen Wissensmodell enthalten ist. Die Menge wird durch Kombination der Knoten ve mit dem Wur-
Figure imgf000021_0012
zelknoten vr erhalten, wobei der Wurzelknoten den Zustand des Arbeitsablauf beschreibt.
Die Vorrichtung 100 ist bspw. ausgelegt, um das dynamisch Sequenzmodell unter Verwendung des graphischen Wissensmodell zu erstellen. Die Verarbeitungseinrichtung kann hierfür Knoten des dynamischen Sequenzmodells basierend auf Aktivitätsknoten des graphischen Wissensmodells gemäß
Figure imgf000021_0001
zu erzeugen, wobei eine vorher bereits bestimmte Menge an Knoten des dynami
Figure imgf000021_0002
schen Sequenzmodells ist, wobei v* den Wurzelknoten des dynamischen Sequenzmodells charakterisiert, beispielsweise zu einem fortgeschrittenen Zeitpunkt t , der sich von einem vorangegangenen Zeitpunkt t - 1 unterscheidet, beschreibt Kindknoten, die
Figure imgf000021_0003
Figure imgf000021_0004
hinzugefügt werden, die Objekte beziehungsweise deren Auftrittswahrscheinlichkeit charakterisieren.
Das bedeutet, die Verarbeitungseinrichtung 120 ist ausgebildet, um Knoten
Figure imgf000021_0005
einem ursprünglichen oder initialen Knotensatz
Figure imgf000021_0007
des dynamischen Sequenzmodells hinzuzu- fügen, die einem Zustand (Wurzelknoten
Figure imgf000021_0008
oder einem Objekt (Kindknoten
Figure imgf000021_0006
zugeordnet sind, deren derartige Verknüpfung in dem graphischen Wissensmodell enthalten ist, um die Menge zu erhalten.
Figure imgf000021_0009
Die Vorrichtung 100 ist bspw. ausgelegt, um das dynamisch Sequenzmodell unter Ver- wendung des graphischen Wissensmodell zu erstellen. Die Verarbeitungseinrichtung 120 kann hierfür gerichtete Pfade
Figure imgf000021_0011
zwischen Knoten des dynamischen Sequenzmodells basierend auf Objektflüssen des graphischen Wissensmodells gemäß
Figure imgf000021_0010
erzeugen, wobei EBo die Menge der gerichteten Pfade des dynamischen Sequenzmodells ist, vr ein Wurzelknoten des dynamischen Sequenzmodells ist, der einen Zustand charakterisiert, DF die Menge an Objektflüssen des graphischen Wissensmodell ist, A die Menge an Aktionen oder Zuständen des graphischen Wissensmodell ist und 0 die Menge an Ob- jektknoten des graphischen Wissensmodells ist.
Das bedeutet, die Verarbeitungseinrichtung 120 ist ausgebildet, um einen Pfad ( r, e ) des dynamischen Sequenzmodells zu erzeugen, um ein Objekt e-, das einem Zustand oder einer Aktion e£ zugeordnet ist, und deren derartige Verknüpfung in dem graphischen Wissensmodell enthalten ist, mittels des Pfads zu verknüpfen. Die Menge wird durch
Figure imgf000022_0009
Verbindung des Wurzelknoten vr mit den Objekten e; erhalten, wobei der Wurzelknoten den Zustand des Arbeitsablauf beschreibt.
Die Vorrichtung 100 ist bspw. ausgelegt, um das dynamische Sequenzmodell unter Ver- wendung des graphischen Wissensmodell zu erstellen. Die Verarbeitungseinrichtung 120 kann hierfür gerichtete Pfade des dynamischen Sequenzmodells basierend auf Strukturen des graphischen Wissensmodells gemäß
Figure imgf000022_0001
erzeugen, wobei einen Pfad zwischen einem aktuellen Wurzelknoten und ei
Figure imgf000022_0002
Figure imgf000022_0008
nem Objekt beschreibt, ein Pfad zwischen einer aktuellen Aktion die dem
Figure imgf000022_0003
Figure imgf000022_0007
Wurzelknoten
Figure imgf000022_0004
zugeordnet wird, und einem Objekt ist und einen Pfad zwi
Figure imgf000022_0005
Figure imgf000022_0006
schen einem aktuellen Wurzelknoten
Figure imgf000022_0011
beispielsweise zum Zeitpunkt t, und einem vorher bestimmten Wurzelknoten vr, beispielsweise zum Zeitpunkt t - 1, beschreibt. Die Menge der Pfade wird nicht hinzugefügt, da die Kindknoten von vr im 2TBN zum Zeit
Figure imgf000022_0010
punkt t-1 keinen direkten Einfluss auf die Knoten zum Zeitpunkt t haben.
In anderen Worten, ist die Verarbeitungseinrichtung 120 ausgelegt, um zeitlich vorangehende Wurzelknoten mit unmittelbar zeitlich folgenden Wurzelknoten zu verbinden, wobei die Wurzelknoten Zuständen des Arbeitsablaufs beschreiben und hinzukommend Pfade zwischen Wurzelknoten und Kindknoten zu erzeugen, entsprechend Verknüpfungen von Aktionen oder Zuständen mit Objekten in dem graphischen Wissensmodell.
Gemäß einer Ausführungsform ist die Verarbeitungseinrichtung 120 ausgelegt, für die Erstellung der gerichteten Pfade das 2TBN so zu erstellen, dass in Zeitschritt t - 1 nur diejenigen Zufallsvariablen enthalten sind, die auch tatsächlich einen Einfluss auf die Zu- fallsvariablen in Zeitschritt t haben (sog. Interface-Variablen). Gemäß Ausführungsbeispielen ist dies nur die Variable und damit Knoten vr. Dies kann auch so verstanden
Figure imgf000023_0003
werden, dass das 2TBN so erzeugt wird, dass in Zeitschritt t - 1 alle Zufallsvariablen des Netzes enthalten sind. Da aber nicht zwangsläufig alle Variablen einen Einfluss auf den nächsten Zeitschritt t haben, erhalten Variablen ohne Einfluss dann keine Kante im Graph. Beispielsweise sind das alle Kinder der Wurzel aus Zeitschritt t - 1. Diese Definition ist konsistent mit der Gleichung (1 ). Man beachte allerdings, dass gemäß den beschriebenen Ausführungsbeispielen, beispielsweise in Fig. 5 und Fig. 6,
Figure imgf000023_0002
Figure imgf000023_0001
gilt.
Ferner bedeutet das, dass ein Wurzelknoten, beispielsweise mit einem zeitlich folgen
Figure imgf000023_0005
den Wurzelknoten
Figure imgf000023_0006
verknüpft wird durch die Verarbeitungseinrichtung 120. Hierbei können die Knoten den selben Zustand des Arbeitsablaufs beschreiben, oder
Figure imgf000023_0007
basierend auf den Kindknoten bzw. den Beobachtungen und Zeitinformation, beispiels- weise wie lange ein Zustand anhält, zwei aufeinanderfolgende Zustände des Arbeitsablauf beschreiben. Des Weiteren können
Figure imgf000023_0004
als ein Knoten betrachtet werden beziehungsweise dessen zeitliche Evolution oder Dynamik, die den Arbeitsablauf charakterisiert. Alternative kann
Figure imgf000023_0008
als eine Mehrzahl von Knoten betrachtet werden, entsprechend einem betrachteten Zeitpunkt t.
Gemäß Ausführungsbeispielen ist die Verarbeitungseinrichtung ausgelegt, um den Aktivitätsknoten zugeordnete Annotationen oder um Verzweigungsknoten des graphischen Wissensmodells zugeordnete Annotationen und Kanten des graphischen Wissensmodell auf Knoten des dynamischen Sequenzmodells zuzuordnen. Die Wurzel X° von
Figure imgf000023_0009
kann darüber hinaus auch Parameter, nämlich die Übergangswahrscheinlichkeiten
(Matrix A) enthalten. Wie beschrieben in Gleichungen (1 ) und (3). Hierbei kann die Matrix A entsprechend Gleichung (13) und
Figure imgf000023_0010
zugeordnet werden, π kann gemäß Gleichung (12) berechnet oder erzeugt werden und
Figure imgf000023_0011
über Gleichung (2) zugeordnet werden.
Fig. 6 zeigt ein dynamisches Bayes'sches Netz 600, bestehend aus dem Paar
Figure imgf000023_0012
das über drei Zeitschritte ausgerollt ist. Zur Vereinfachung wurden einige Knoten ausgelassen, was graphisch durch„... " dargestellt ist. Fig. 7 zeigt ein Verfahren 700 gemäß Ausführungsbeispielen der Erfindung, das folgende Schritte umfasst: Erfassen 710 eines Arbeitsbereichs, in dem ein Arbeitsablauf ausführbar ist. Bereitstellen 720 eines Sensorsignals basierend auf dem erfassten Arbeitsbereich. Erhalten 730 eines graphischen Wissensmodells des Arbeitsablaufs. Erstellen 740 eines dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem graphischen Wissensmodell des Arbeitsablaufs. Bestimmen 750 eines Zustande des dynamischen Sequenzmodells basierend auf dem Sensorsignal. Bereitstellen 760 eines Zustandssignals basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells. Im Allgemeinen können graphischen Wissensmodelle offline erzeugt werden, d.h. vor Ausführung eines Arbeitsablaufs, und zur Parametrisierung des dynamischen Sequenzmodells dienen. Ferner können dynamische Sequenzmodelle als echtzeitfähige Sequenzmodelle oder online-fähige Klassifikatoren charakterisiert werden, da sie genutzt werden um sukzessive Schritte oder Zustände eines aktuell ausgeführten Arbeitsablaufs zu erkennen, basierend auf Auswertung des Sensorsignals. In anderen Worten, das spätere Zielmodell (kann dazu dienen, die tatsächlichen Sensorwerte auszuwerten („online", also während die Sensorwerte in das System hereinkommen wird sukzessive eine Klassifikation betrieben, das bedeutet, es wird versucht die aktuelle Phase zu erkennen). Im Allgemeinen können graphische Wissensmodelle auch als Parametrisierungsmodelle be- zeichnet werden, da sie ausgelegt sind um eine Parametrisierung eines Arbeitsablaufs zu ermöglichen. Weiterhin können dynamische Sequenzmodelle auch als Verarbeitungsmodelle bezeichnet werden, da sie ausgelegt sind um direkt Daten basierend auf Sensorsignalen zu verarbeiten, um eine Erkennung des Zustands des Arbeitsablaufs zu ermöglichen.
Ein Beispiel für ein dynamisches Sequenzmodell ist ein DBN. Zwar können theoretisch dynamische Sequenzmodelle wie etwa DBN offline durch Benutzereingaben erzeugt werden, allerdings sind diese Modelle zu komplex, um diese im Expertendialog zu bearbeiten/erzeugen.
Eine dargestellte UML Aktivität kann mittels der ausgeführten Umsetzung oder Übertragung der Parameter in ein dynamisches Sequenzmodell überführt werden. Diese Abbildung kann mehrdeutig sein, denn ein DBN kann unterschiedlich ausgeführt werden (Netzstrukturen etc.). Durch die Umsetzung wird aus dem in dem graphischen Wissens- modell repräsentierten Wissen ein konkretes DBN erzeugt, welches tatsächlich zur Klassifikation genutzt werden kann. Die Überführung kann also bspw. glättende Eigenschaften besitzen. Die Ausgabe des Modells wird geglättet (also das Klassifikationsergebnis). Es wird geglättet, indem das Modell andere Klassifikationsergebnisse während der aktuellen Ausführung speichert und so die aktuelle Klassifikation in Beziehung zu den bisherigen Klassifikationen setzt. Es wird also eine Sequenz von Sensordaten betrachtet, nicht nur einzelne Merkmalswerte zu einem Zeitpunkt. Dadurch kann das Modell „falsche" bzw. „verrauschte" Daten weniger Beachtung schenken und so wird die Ausgabe geglättet.
Beispiel: Das Modell, oder die Verarbeitungseinrichtung mittels des dynamischen Sequenzmodells, ist durch die eintreffenden Sensordaten bisher davon ausgegangen dass Phase_1 eines Arbeitsablauf vorherrscht. Nun kommen kurzfristig Merkmalswerte ins System die typisch für Phase_10 sind (z.B. aufgrund von Sensorrauschen). Ein System, welches die Sequenz nicht betrachtet würde sofort Phase_10 klassifizieren. Ein System welches die Sequenz miteinbezieht kann hier glätten, indem es z.B. die bisherige Hypothese (Phase_1 ) zunächst beibehalten wird.
In anderen Worten, das DBN enthält gegenüber dem UML-Modell zusätzliches Wissen, das im Zuge der Überführung in das DBN mit eingebracht wird, bspw. in der Form, dass z.B. eine bestimmte Ziel-Netzstruktur gewählt wurde. Dieses Wissen somit wird durch die beschriebene Übertragung hinzugefügt, beispielsweise gemäß Gleichungen (6) bis (1 1). Genauso sind bei den anderen möglichen dynamischen Sequenzmodellen nicht alle Freiheitsgrade des Zielmodells durch das Ausgangsmodell abgedeckt. Indem eine konkrete Übertragung festgelegt wird, werden diese Freiheitsgrade dann im Zielmodell zunächst gesetzt. Beispielsweise kann ein Freiheitsgrad die Anzahl von Schichten bei Verwendung eines Neuronalen Netzwerks sein, diese kann in Abhängigkeit von Übertragungsregeln bestimmt werden.
In anderen Worten, wenn ein DBN als graphisches Wissensmodell repräsentiert ist, kann dieses Modell nicht zur Klassifikation des Zustands des Arbeitsablaufs eingesetzt werden, d.h. damit können keine Sensordaten online ausgewertet und Merkmale klassifiziert wer- den. Das liegt daran, dass das DBN zusätzlich zum graphischen Wissensmodell noch weitere Annahmen trifft, welche für eine konkrete Klassifikation notwendig sind (z.B. konkrete Netz-Struktur des DBNs, oder z.B. Aufbau der Schichten bei einem Neuronalen Netz). Außerdem können im DBN die Parameter so vorliegen, dass diese vorteilhaft für eine Klassifikation (z.B. durch Glättung, Unterdrückung von Rauschen) genutzt werden können. Im folgenden werden Hintergründe und Beispiele für die graphische Wissensmodellierung beschrieben. Im Allgemeinen sind dies Modelle, bei denen die Erfassung von Expertenwissen im Vordergrund steht (nicht die Klassifikation von Beobachtungssequenzen). Ein derartiges Modell kann dem Bediener in erfindungsgemäßen Ausführungsbeispielen dar- geboten werden, und durch Anwendung von maschinengestützten Dialogen kann eine Bestimmung der einzelnen Elemente des graphischen Wissensmodells erfolgen. Das Wissen kann zur leichten Verständlichkeit in Form eines Graphen repräsentiert werden. Bei UML Aktivitäten betrifft dies zum Beispiel die Festlegung möglicher Abfolgen von Aktionen. Dies kann dort durch gerichtete Kanten (Pfeile) ausgedrückt werden (A->B). Ein Übergang in einem solchen Modell kann deterministisch sein. Alternativ kann etwa unter Verwendung einer Verzweigung festgelegt sein, das in 50% der Fälle ein erster Pfad weiterverfolgt wird und in 50% der Fälle ein zweiter Pfad weiterverfolgt wird, wobei sowohl die Anzahl der Pfade als auch die Wahrscheinlichkeiten beliebig variierbar sind. Im folgenden werden Hintergründe und Beispiele für die Sequenzmodellierung, die im englischen auch als„sequence modelling" bezeichnet wird, beschrieben. Bei einer Klassifikationsaufgabe kann die Vorhersage der aktuellen Klasse abhängig von anderen Klassifikationsergebnissen sein. D.h. Merkmalsvektoren, die in das System einströmen, müssen in deren zeitlichem Verlauf betrachtet werden. Beispiel Spracherkennung: Wenn zu einem Zeitpunkt 1 , das Wort„Guten" vorhergesagt wurde, ist im Zeitpunkt 2, die Vorhersage„Gulasch" (obwohl isoliert betrachtet u.U. höchst wahrscheinlich) im Kontext der Sequenz sehr unwahrscheinlich, und z.B. das Wort„Tag" wahrscheinlicher. Klassische pro- babilistische Verfahren sind hier z.B. HMMs, DBNs. Neuronale Netze gewinnen zunehmend an Bedeutung. Selbst wenn neuronale Netze im Allgemeinen nicht als probabilisti- sehe Modelle bezeichnet werden, so werden sie im Zusammenhang mit der ausgeführten Wahrscheinlichkeitsbetrachtung hierin als solche bezeichnet und verstanden. Eigenschaften dieser Modelle können als Graph repräsentiert werden. Bei DBNs z.B. die Unabhängigkeiten von Zufallsvariablen, bei neuronalen Netzen z.B. die Verschaltung einzelner Schichten. Diese Graphen sind für einen Expertendialog im Sinne einer Formalisierung des Expertenwissens nicht (oder nur schwer) geeignet. Als graphisches Wissensmodell werden deshalb solche Modelle verstanden, die zur graphischen Aufbereitung eines Arbeitsablaufs konzipiert sind, etwa UML Aktivitäten, und deshalb über die reine Möglichkeit der graphischen Darstellbarkeit hinausgehen. Erfindungsgemäße Vorrichtungen und Verfahren sehen vor, das graphische Wissensmodell in das dynamische Sequenzmodell zu überführen, und um eine Überwachung des Arbeitsbereichs durch die sensorische Erfassung auszuführen. Die Sensordaten werden ausgewertet, um den Zustand des dynamischen Sequenzmodells des Arbeitsablaufs zu bestimmen. Das bedeutet, die Abhängigkeit des graphischen Wissensmodells von dem darin beschriebenen Ablauf wird durch die erfindungsgemäß hierin beschriebene Vorrich- tungen, Verfahren und Computerprogramme überwunden.
Ausführungsbeispiele gemäß der Erfindung beschreiben ein Rahmenwerk für expertenbasierte Workflowmodellierung (Arbeitsplanmodellierung) zur interaktiven Arbeitsprozessunterstützung. Das Rahmenwerk kann alle beteiligte Experten in einen Dialog zur Wis- sensformalisierung einbeziehen.
Gemäß Ausführungsbeispielen kann in einem ersten Schritt eine Aktivität der Unified Mo- deling Language als Formalisierungsgrundlage gewählt. Diese ist so leicht verständlich, dass im Expertendialog gemeinsam eine Formalisierung erarbeitet werden kann. Das bedeutet (am Beispiel der Medizin), dass z.B. Mediziner, Wissensingenieure und Techniker„auf Augenhöhe" miteinander den Formalisierungsprozess beschreiten können. Dies erhöht die Effizienz und Effektivität der Formalisierung, sowie nachgelagert, die Akzeptanz der Formalisierung durch die beteiligten Entscheidungsträger. Durch die leichte Verständlichkeit der UML Aktivität, ist es für den Mediziner bspw. leicht möglich, selbst einen Workflow abzuändern. Dies kann notwendig sein, um kurzfristiges Wissen (bspw. in Folge von medizinischen Fachkonferenzen), persönlichen Präferenzen oder patientenspezifische Rahmenbedingungen in die Modelle einbringen zu können. Hierdurch können einerseits Hürden gesenkt werden, d.h. die Akzeptanz der Modellierung durch die Mediziner erhöht werden, dem Gefühl einer„Bevormundung" vorgebeugt werden sowie die Lücke zwischen theoretischem Wissen und praktischem Handeln geschlossen werden. Ein Vorteil ist weiterhin, eine Überführung/Verarbeitung von Zusammenhängen des Arbeitsabiaufs in Prozessch ritte zur Steuerung der Assistenz, die basierend auf Beobachtungen der Sensorsignal angepasst werden. Dies erfolgt durch Nutzung des dy- namischen Sequenzmodells, das durch Übersetzung des graphischen Wissensmodells erhalten wird.
Gemäß Ausführungsbeispielen erfolgt in einem zweiten Schritt eine automatische Übersetzung der UML Aktivität in ein komplexeres Modell, ein dynamisches Bayes'sches Netz (DBN). Diese wird zum eigentlichen Erkennen z.B. des Ist-Fortschritts der Intervention genutzt. Diese Modell bietet selbst keine geeigneten Schnittstellen um Expertenwissen im Dialog (s.o.) direkt einzubringen. Es ist nicht für alle beteiligten Experten verständlich. Aus diesem Grunde ist eine Überführung der Modelle notwendig.
Mit dem Rahmenwerk können so insgesamt Assistenzsysteme konzipiert werden, die von den Assistierenden akzeptiert werden, beispielsweise auf Grund ihrer Einfachheit, und tatsächlich auch als entlastendes Werkzeug in den Arbeitsalltage integriert werden können.
Im Folgenden werden Unterschiede zu herkömmlichen Konzepten dargelegt.
Bei bestehenden System kann der Mediziner nicht eigenständig genug den zugrunde liegenden Workflow anpassen. Die Erarbeitung des Workflowmodells durch die verschiedenen Domänenexperten (Bereichsexperten) kann aufgrund einer fehlenden gemeinsamen Formalisierungsbasis weniger effizient und effektiv durchgeführt werden. Folge kann bspw. fehlende Akzeptanz des Assistenzsystems in Teilen oder im Ganzen sein. D. h. bestehende System senken nicht hinreichend genug mögliche Barrieren und schließen nicht die Lücke zwischen theoretischen Wissen und praktischem Handeln.
Ausführungsbeispiele gemäß der Erfindung können in allen Branchen eingesetzt werden, bei denen Arbeitsprozesse interaktiv unterstützt werden. Dies können sein: Montageprozesse in der Industrie, operative Eingriffe in der Medizin, Notfallprozesse im Katastrophenschutz, etc.
Aspekte der Erfindung betreffen Chirurgischer Arbeitsabläufe, dynamische Bayes'sches Netze, Unified Modeling Language, Unterstützung/Assistenz und Planung.
Ausführungsbeispiele der Erfindung betreffen expertenbasierte Sequenzmodellierung von Arbeitsabläufen im Kontext von chirurgischen Eingriffen Im heutigen Medizinwesen ist die Verwendung von fortschrittlicher computerbasierter Unterstützung (sowohl Software als auch Hardware) zu einem sich weiterentwickelnden Gebiet geworden [1]. Es wird beispielsweise prognostiziert, dass der weltweite Markt für medizinische Robotik und computergestützte chirurgische Ausrüstung bis 2019 auf 4,6 Milliarden Dollar steigt (unter Verwendung einer jährlichen Wachstumsrate von 7 % über fünf Jahre) [2]. Hinsichtlich des Beispielfalles von chirurgischen Eingriffen kann eine computerbasierte Unterstützung auf zahlreiche Arten umgesetzt werden - daher werden in den nächsten Unterabschnitten drei typische Arten von Unterstützung und ihre Beziehung auf eine Situationserfassung skizziert.
Bei der robotergestützten Chirurgie [3], bei der medizinische Roboter spezifische Teilhandlungen einer Operation ausführen, sollte sich die Unterstützung idealerweise nahtlos in den Arbeitsablauf des menschlichen Operationsteams einfügen. Die Basis ist die Beurteilung des Fortschrittes der Operation, d. h., die aktuelle Phase eines zugrundeliegenden medizinischen Arbeitsablaufes. Eine weitere Art von computerbasierter Unterstützung im medizinischen Kontext, beispielsweise ausgeführt durch die Assistenzeinrichtung 150, ist die Einleitung von administrativen Prozessen (z. B. eine automatische Benachrichtigung der medizinischen Station, dass eine Operation bald endet) oder die Unterstützung bei der Vorbereitung eines chirurgischen Berichtes (z. B. Bereitstellen einer Anfangs- und Endzeit einer Operation) [4], Beide Arten hängen stark sowohl von der Erfassung des Fortschrittes einer laufenden Operation als auch dem Wissen eines vordefinierten chirurgischen Arbeitsablaufes ab.
Um die Herausforderung der riesigen verfügbaren Datenmenge (z. B. Patientenakten oder chirurgische Richtlinien einschließlich spezifischer Handlungen bei Notfallprozeduren) zu meistern, ist eine Unterstützung von Interesse, die während einer laufenden Operation zugeschnittene (z. B. kontextsensitive) Informationen bereitstellt [5], beispielsweise über die Benutzerschnittstelle 140. Dadurch wird davon ausgegangen, dass der aktuelle Fortschritt einer Operation und mögliche Ableitungen eines vordefinierten chirurgischen Ar- beitsablaufes das Operationsteam (z. B.) mit geeigneten Untersuchungsergebnissen oder Optionen für Handlungen unterstützen. Die Führung eines Operationsteams eröffnet Raum zur Optimierung. Dies umfasst zum Beispiel die Entscheidungsunterstützung des Chirurgen. Im Allgemeinen kann dies dabei helfen, Behandlungsfehler zu vermeiden, den Behandlungserfolg des Patienten zu verbessern und einen hohen Zufriedenheitsgrad so- wohl für Patienten als auch Mitarbeiter zu wahren.
Im Folgenden wird ein Modellierungsansatz diskutiert und dementsprechende Voraussetzungen einer zugeschnittenen Unterstützung, wobei die spezifischen Bedingungen einer laufenden Operation berücksichtigt werden: erstens, eine geeignete Darstellung des zu- grundeliegenden Arbeitslaufes; zweitens, eine zuverlässige Erfassung des aktuellen Fortschrittes durch Synchronisieren dieses Arbeitsablaufmodells mit Sensordaten. Um sich der ersten Herausforderung einer ordnungsgemäßen Arbeitsablaufdarstellung zuzuwenden, wird ein Rahmenwerk für eine expertenbasierte Formalisierung von medizinischem Wissen eingeführt. Die Unified Modeling Language (UML) kann dazu verwendet, eine graphische Darstellung des Arbeitsablaufes durch UML-Aktivitäten bereitzustellen, wodurch der Dialog von technischen und medizinischen Experten erleichtert wird. Hinsichtlich der zweiten Herausforderung einer zuverlässigen Fortschrittserfassung wird die Verwendung eines dynamischen Sequenzmodells basierend auf dynamischen Bayes'schen Netzen (DBN) ausgearbeitet. Um beide Aspekte zu verknüpfen, wird ein Rahmenwerk vorgeschlagen, das die automatische Übersetzung von UML-Aktivitäten in DBN ermöglicht. Um Arbeitsabläufe durch eine UML-Aktivität zu modellieren, muss medizinisches Wissen konzentriert und formalisiert werden. Dieser Formalisierungsprozess kann mittels eines Dialogs von Experten aus dem medizinischen und dem technischen Bereich realisiert werden, siehe Fig. 4. Aufgrund ihrer einfachen Verständlichkeit bieten UML-Aktivitäten dem medizinischen Experten außerdem die Möglichkeit, einen bereits formalisierten Arbeitsablauf selbst zu modifizieren. Da die Aktivitätsdarstellung als eine Umgehung dient, können Barrieren abgebaut werden: Der Fakt, dass Ärzte die formalisierte Darstellung des Arbeitsablaufes verstehen und selbst modifizieren können, verringert ihre Angst vor Bevormundung und er- möglicht es ihnen zum Beispiel, einen Arbeitsablauf hinsichtlich spezifischer Randbedingungen ohne weiteres anzupassen. Für die tatsächliche Implementierung einer Unterstützungsfunktion, die den Arzt während einer Operation unterstützt, werden UML-Aktivitäten in komplexere Modelle übersetzt. Die Struktur und Parameter dieser Modelle werden automatisch erzeugt.
Das Konzept, UML-Aktivitäten mit anderen, komplexeren Modellen zu kombinieren, ist das Thema zahlreicher Forschungsarbeiten [6], [7], [8]. Nach dem aktuellen Kenntnisstand vermittelt keine der aktuellen Forschungsarbeiten UML-Aktivitäten im Kontext eines Dialoges von Experten aus unterschiedlichen Bereichen (z. B. Experten aus dem techni- sehen und medizinischen Bereich). Dies gilt auch für die Übersetzung von UML- Aktivitäten in DBN. In [1 ] wird die Übersetzung von UML-Aktivitäten diagnostischer Prozesse in Bayes'sche Netze (BN) vorgestellt. Im Rahmen der vorliegenden Erfindung ist gezeigt, wie dieser Ansatz hinsichtlich chirurgischer Arbeitsabläufe angepasst werden kann. Das heißt, dies kann geschehen durch das Ausweiten der Übersetzung von UML- Aktivitäten auf dynamische Bayes'schen Netze (DBN). Die resultierenden DBN werden mit einem geläufigen Anwendungsfall für eine chirurgische Prozessormodellierung bewer- tet [10]: einer Cholezystektomie (die chirurgische Entfernung der Gallenblase). Dieser Ansatz kann ohne weiteres auf andere Anwendungsfälle angepasst werden, z. B. einen Hüftgelenkersatz [1 1]. Im folgenden werden UML-Aktivitäten genauer betrachtet.
UML wird in unterschiedlichen Fachbereichen weltweit verwendet und akzeptiert [12]. UML-Aktivitäten wurden aufgrund ihrer einfachen Verständlichkeit für die Experten aus dem medizinischen sowie technischen Bereich als eine Schnittstelle ausgewählt [13]. Das Verständnis der Arbeitsablaufdarstellung ist eine notwendige Vorbedingung für den Dialog zwischen Experten.
A. Grundlegendes UML-Aktivitäten können dazu verwendet werden, graphisch darzustellen, wie ein bestimmter Prozess oder Algorithmus abläuft [17]. Die Aktivitätsdiagramme werden aus unterschiedlichen Notationselementen konstruiert, die mit gerichteten Kanten (Pfeilen) verbunden sind, und unterstützen die Modellierung von Sequenzen von Handlungen sowie von Auswahl und Iteration [12].
Fig. 3 zeigt typische Ablaufpläne, die in Arbeitsabläufen, wie zum Beispiel einer Cholezystektomie, auftreten können. Der Anfang einer Aktivität wird durch einen schwarzen Punkt (Anfangsknoten) dargestellt, das Ende einer Aktivität wird durch einen Doppelkreis (Aktivitätsende) symbolisiert. Einzelne Handlungen des Arbeitsablaufes werden durch abgerun- dete Vierecke symbolisiert. Pfeile stellen den Fluss und dadurch die Reihenfolge dar, in der die Handlungen ausgeführt werden können.
Während Teilfiguren a) und b) in Fig. 3 zwei unterschiedlichen Arten von Ablaufplänen zeigen, stellt Teilfigur c) zwei äquivalente Teile einer Aktivität dar. Der Fakt, dass ein Ob- jektfluss auftreten kann, während Handlung A ausgeführt wird (und nicht nur nachdem A abgeschlossen ist), wird durch das Schlüsselwort {Strom} spezifiziert. Eine abgekürzte Form ist ein schwarzer Pin, der in Aktivität 4 dargestellt ist. Die Aktivitäten in Teilfigur b) und c) beinhalten textliche Anmerkungen, die mit Handlung A bzw. einem Entscheidungsknoten verknüpft sind, um zusätzliche Informationen zu speichern.
B. Modellierung eines chirurgischen Arbeitsablaufes Fig. 2 kann als formalisiertes Modell einer Cholezystektomie (chirurgische Entfernung der Gallenblase) interpretiert werden. In dem oberen Teil dieser UML-Aktivität wird eine Sequenz von Handlungen gezeigt. Die erste Handlung 210 ist die Injektion von Kohlenstoff- dioxid, um das Abdomen (Magen) aufzublähen. Die durchschnittliche Zeit dieser Handlung wird durch die entsprechende Anmerkung dargestellt. Dann werden die Trokare (geschärfte Röhren) verwendet 215, um die abdominale Wand zu durchbrechen. Trokare werden beispielsweise dazu verwendet, um die Platzierung zusätzlicher medizinischer Instrumente während der Operation zu ermöglichen. Schwarze Pins (Ausgangspins) stel- len die Beobachtungswahrscheinlichkeit (Werte in Klammern neben den Werkzeugen 200a-f) von Trokaren in dieser Handlung dar (Fig. 2).
In nachfolgenden Handlungen werden der Gallenblasengang und die Arterie freigelegt 220 und 2230, sowie abgeklemmt und abgetrennt 225 und 235. Eine intraoperative Cho- langiographie 240 (radiographische Bildgebung der Gallengänge mit Kontrastmittel) wird optional durchgeführt, daher muss eine Entscheidung getroffen werden. Nach dem Zusammenführen der zwei möglichen Flüsse, wird die Gallenblase von dem Leberbett abgetrennt 245 sowie das Leberbett zur Blutstillung koaguliert, d.h. es wird Gewebe mittels Strom zerstört bzw. verbrannt.
Im Folgenden werden Hintergründe zu Dynamischen Bayes'schen Netzen behandelt.
Es bestehen viele Gründe dafür, dynamische Bayes'sche Netze (DBN) [18] als Modellierungswerkzeug für dynamische Systeme zu berücksichtigen [19]. In Bezug auf die Model- lierung medizinischer Arbeitsabläufe wurden DBN gewählt, da diese einen angemessenen Kompromiss zwischen Aussagekraft und Komplexität aufweisen und Sequenzmodelle umfassen, die sich in der Praxis als erfolgreich bewährt haben (z. B. Hidden-Markov- Modelle) [10]. Zusätzlich dazu ermöglichen DBN-Modelle aufgrund ihres faktorisierten Zustandsraumes eine verbesserte Modularität und Interpretierbarkeit. Im Gegensatz zu einem Hidden-Markov-Modeli kann ihr Zustandsraum auf eine faktorisierte Art und nicht nur als eine einzelne diskrete Zufallsvariable ausgedrückt werden. Ferner ermöglichen DBN in Bezug auf Kalman-Filter-Modelle beliebige Wahrscheinlichkeitsverteilungen (nicht nur unimodale lineare Gauß-Verteilungen) [16]. Obwohl das DBN einem Wissensingenieur einen guten Kompromiss zwischen Aussagekraft und Komplexität bietet, ist die formale Darstellung eines DBN für einen gemeinsa- men Dialog von Experten aus dem medizinischen und technischen Bereich weniger geeignet. Darüber hinaus scheint die Modifizierung des Modelles durch den medizinischen Experten selbst nicht durchführbar, beispielsweise auf Grund der Komplexität. Folglich werden Übersetzungsregeln eingeführt, um eine verständliche UML-Aktivität in ein DBN zu übertragen.
A. Grundlegendes
Ein Bayes'sches Netz (BN) ist ein probabilistisches graphisches Modell (PGM), das gra- phen-theoretische Ansätze mit Ansätzen der Wahrscheinlichkeitstheorie kombiniert [20]. Ein dynamisches Bayes'sches Netz (DBN) ist eine Erweiterung eines BN, die auch die zeitlichen Abhängigkeiten von Variablen berücksichtigt [19]. Ein DBN ist durch ein Paar gegeben:
Figure imgf000033_0001
wobei das Bayes'sche Netz
Figure imgf000033_0002
dazu verwendet, die A-priori- Wahrscheinlichkeitsverteilung über Zufallsvariablen
Figure imgf000033_0006
in einem Zeitschritt mit Index 0 zu spezifizieren. Ferner spezifiziert S_ die bedingte Wahrscheinlichkeitsverteilung über diskrete Zeitschritte t durch die Verwendung von:
Figure imgf000033_0003
In (1 ) ist die Menge der Eltern von in dem entsprechenden Graphen. Die Eltern
Figure imgf000033_0005
Figure imgf000033_0007
können in der gleichen Zeitscheibe liegen (wobei z. B. eine sofortige Verursachung dargestellt wird) oder in dem vorherigen (d. h., es wird angenommen, dass das Modell ein Markov Modell erster Ordnung ist). In letzterem Fall zeigen Bögen auf Zeitscheiben mit zunehmendem Index, wodurch der kausale Zeitfluss wiedergegeben wird [19]. In Fig. 5 ist ein beispielhafter Graph von
Figure imgf000033_0008
dargestellt, was auch als ein zweischeibiges temporales Bayes'sches Netz (2TBN) bekannt ist. Da die Kindknoten im 2TBN zum Zeitpunkt t-1 keinen direkten Einfluss auf die Knoten zum Zeitpunkt t haben, sind diese nicht durch Kanten mit dem Wurzelnoten zum Zeitpunkt t-1 verbunden. In diesem Fall ergibt sich hinsichtlich Gleichung (1 ):
Figure imgf000033_0004
Diejenigen Knoten die einen direkten Einfluss auf die Knoten zum Zeitpunkt t haben, werden auch als Schnittstelle (Interface) bezeichnet. Zur Vereinfachung kann der Zeitpunkt t- 1 eines 2TBN über das entsprechende Interface dargestellt oder auch definiert werden.
Für T Zeitscheiben kann die Verbundverteilung graphisch durch ein„Abrollen" des DBN dargestellt werden, wobei B0 als die Anfangsverteilung und
Figure imgf000034_0004
als Vorlage für jede folgende Zeitscheibe verwendet werden. Hinsichtlich eines DBN, das für 3 Zeitscheiben abgerollt ist, ist auf Fig. 6 Bezug zu nehmen. Ähnlich wie bei HM können Parameter eines solchen DBN mit N Kindern wie folgt gruppiert werden (siehe Fig. 6):
Figure imgf000034_0001
Dadurch zeigt (2) die Anfangswahrscheinlichkeitsverteilung, die bei Zeitschritt 0
Figure imgf000034_0003
mit Wurzelknoten X° verknüpft ist. Es ist zu beachten, dass die Aussage P(X = x) eine Kurzschrift für ein Ereignis ist, wobei die Menge möglicher Ergebnisse
Figure imgf000034_0002
durch Ω angegeben ist und fx ein Ereignis ω auf einen möglichen Wert einer Zufallsvariable X abbildet. Mögliche Werte x von X werden durch Val(X) bezeichnet [20]. In (3) sind die Wahrscheinlichkeitsverteilungen von Zustandsübergängen gegeben. Damit werden die Abhängigkeiten über der Zeit (und zwischen Zuständen) ausgedrückt. Folglich ist A(i, j) eine Adjazenzmatrix, die durch Übergangswahrscheinlichkeiten für Einträge ungleich 0 erweitert wird. In (4) und (5) ist die Wahrscheinlichkeitsverteilung für Beobachtungen gegeben, die ein Kind betreffen. Es ist zu beachten, dass ein HMM durch eine einzelne Matrix B(i, j) spezifiziert werden kann, da die entsprechende Wahrscheinlichkeitsverteilung nicht wie im Falle eines DBN faktorisiert werden kann - d. h., graphisch würde der Wurzelknoten nur ein Kind aufweisen, das die gesamte Wahrscheinlichkeitsverteilung enthält.
Folgenden wird die Übersetzung einer UML Aktivität in ein DBN besprochen. Eine UML-Aktivität, die als ein Graph U = (N, F) dargestellt ist, ist gegeben. Die Menge N kann weiter in unterschiedliche Mengen von Knoten unterteilt werden:
• A: Menge von Handlungen, beispielsweise 210, 215, 220, 225, 230, 235, 240, 245 und 250,
• I,E: Menge von Anfangsknoten, beispielsweise 205, Menge von Endknoten, beispielsweise 255, · B: Menge von Entscheidungs- und Zusammenführungsknoten (Verzweigungsknoten), beispielsweise 236 und 241 ,
• O: Menge von Objektknoten, beispielsweise 200a-f. Die Menge von Objektknoten ist durch die Menge von Datenpins gegeben. Ein Knoten, der Teil einer der Knotenmengen E, B, ist, wird Steuerknoten genannt. Ferner ist die Menge . durch Folgendes gegeben:
• KF: Steuerfluss, d. h. Aktivitätskanten, die Handlungen und Steuerknoten sowie Kanten zwischen sich selbst verbinden, beispielsweise Verbindungen 21 1 , 216,
221 , 226, 231 und 246.
• DF: Objektfluss, d. h. Aktivitätskanten, die Handlungen und Objektknoten oder zwischen Steuerknoten und Objektknoten verbinden, beispielsweise 200a'-f.
A. Aufbauen der DBN-Struktur
Formal ist die Übersetzung [[U\] einer UML-Aktivität U in die Netzstruktur von
Figure imgf000035_0002
des DBN durch Folgendes gegeben:
Figure imgf000035_0001
unter Verwendung von:
Figure imgf000036_0001
Gemäß (6) werden Ausgangspins von UML-Handlungen in Vertices (Knoten) des Graphen von S0 umgewandelt. Zusätzlich wird ein Hilfsknoten vr zu dem Netz hinzugefügt, um die Wurzel der resultierenden Bayes'schen Struktur darzustellen. Es ist zu beachten, dass UML-Knoten mit gleichen Namen (z. B. wie gleiche Ausgangspins unterschiedlicher Handlungen) in der Tat mehrere Male übersetzt werden. Da jedoch der Zielknoten in jedem Fall den gleichen Namen aufweist, wird dieser nur einmal zu der Vertexmenge (Knotenmenge) des Graphen von S0 hinzugefügt. Dies geschieht, da das Hinzufügen eines Elementes zu einer Menge, deren Teil das Element bereits ist, die Menge nicht ändert.
Ferner wird in (7) der Objektfluss, der eine Handlung mit einem Objekt verbindet, in eine gerichtete Kante von dem Wurzelknoten vr des Graphen von B0 zu dem entsprechenden Kind übersetzt.
Die Vertexmenge
Figure imgf000036_0007
des Graphen von
Figure imgf000036_0006
ist durch (8) und (9) gegeben. Zuerst werden Ausgabepins von UML Handlungen in Vertices des Graphen umgewandelt. Weiterhin
Figure imgf000036_0002
wird die Menge welche
Figure imgf000036_0005
enthält und die Vertexmenge mit der Vertexmenge
Figure imgf000036_0003
Figure imgf000036_0004
vereinigt. Ein Asterisk (Stern) wird verwendet, um Mehrdeutigkeiten zu vermeiden und Vertices zu markieren, die zu Zeitscheibe t des Graphen von
Figure imgf000036_0008
gehört. Siehe Fig. 5 für ein Beispiel eines vereinfachten 2TBN. Die Vereinfachung in Fig. 5 besteht darin, dass die Kindknoten von vr nicht dargestellt sind, da diese im 2TBN keine Kanten besitzen und somit nicht als Interface (Schnittstelle) zur nächsten Zeitscheibe dienen können. Die Menge der Kanten
Figure imgf000036_0013
(10) enthält Kanten des Wurzelknotens
Figure imgf000036_0009
zu den entsprechenden Kindern. Die Kanten sind von dem Objektfluss abgeleitet, der eine Handlung mit einem Objekt verbindet.
Schließlich wird der Wurzelknoten vr von Scheibe t-1 und der Wurzelknoten
Figure imgf000036_0010
von Scheibe t durch die gerichtete Kante
Figure imgf000036_0012
verbunden (1 1 ) und der Menge hinzu-
Figure imgf000036_0011
gefügt. ß. Parametrisierung der DBN-Struktur
Neben der Struktur müssen die Parameter des DBN spezifiziert werden. Zuerst müssen die Werte der (diskreten) Zufallsvariablen spezifiziert werden, die mit verknüpft
Figure imgf000037_0006
sind. sind die Zufallsvariablen, die mit für Zeitschritte t verknüpft sind, und
Figure imgf000037_0007
Figure imgf000037_0005
sind die Zufallsvariablen, die mit vr verknüpft sind. Die Werte dieser Zufallsvariablen entsprechen einer natürlichen Zahl, wobei jeder der unterschiedlichen möglichen Phasen der Operation durch eine bijektive Funktion unter Verwendung von N = \A\
Figure imgf000037_0004
eine eindeutige natürliche Zahl zugewiesen wird. Ohne Beschränkung der Allgemeinheit, entsprechen die durch / zugewiesenen Zahlen einer lexikographischen Reihenfolge. Man erhält:
Figure imgf000037_0001
wobei
Figure imgf000037_0013
verwendet wird, um die Menge von Werten zu bezeichnen, die eine verknüpfte Zufallsvariable annehmen kann. Für alle anderen Zufallsvariablen wird eine Bernoulli-Verteilung verwendet. Das heißt, dass Zufallsvariablen
Figure imgf000037_0011
die mit Kindknoten von
Figure imgf000037_0012
verknüpft sind, binärwertig sind, z.B.,
Figure imgf000037_0008
wobei verwendet wird. Ferner werden die An-
Figure imgf000037_0002
fangszustandsverteilung und die CPD (Conditional Probability Distribution, bedingte Wahrscheinlichkeitsverteilung) von Beobachtungen und Zustandsumwandlungen spezifiziert. Dadurch ist die Anfangszustandsverteilung π durch Folgendes gegeben:
Figure imgf000037_0003
wobei
Figure imgf000037_0010
die bijektive Funktion ist, die jeder Handlung
Figure imgf000037_0009
A eine eindeutige natürliche Zahl zuweist, wie oben definiert ist. Da es nur einen zweckgebundenen Anfangszustand gibt, ist die Wahrscheinlichkeit seines Vorhandenseins in der Anfangsverteilung 1 ; allen anderen Zuständen wird als Anfangswahrscheinlichkeit 0 zugewiesen (12). Die Wahrscheinlichkeitsverteilung von Zustandsübergängen ist durch (13) gegeben. Ihre Darstellung gleicht einer Adjazenzmatrix mit Übergangswahrscheinlichkeiten als Kantengewichte (ähnlich HMM). Die Matrix A ist durch Folgendes gegeben:
Figure imgf000038_0001
wobei erneut die bijektive Funktion ist, die jeder
Figure imgf000038_0002
Handlung eine eindeutige natürliche Zahl zuweist, wie oben definiert ist. Die Zahl u.an.du gibt die durchschnittliche Dauer der Phase an, die mit Handlung
Figure imgf000038_0006
verknüpft ist, und 6.an.prob(u, υ) gibt die Wahrscheinlichkeit eines Übergangs zu einer Phase υ an, vorausgesetzt, dass Phase u verlassen wird. Sowohl u.an.du als auch ö.an.prob(u, v) werden in der Anmerkung für die entsprechende Handlung
Figure imgf000038_0005
bzw. Abzweigungsknoten b 6 B spezifiziert, wie im Abschnitt zu Dynamischen Bayes'schen Netzen erläutert ist. Es ist zu beachten, dass eine gerichtete Kante von einem Quellknoten zu einem Zielknoten υ durch die Kante (u, v) gegeben ist, wohingegen {u,v} eine Menge eines Quell- und eines Zielknoten bezeichnet.
In der UML-Aktivität bezeichnen Pins die Merkmale, die während einer Operation beo- bachtet werden. Einige der Pins o e 0 sind unterschiedlichen Handlungen beigefügt, stellen jedoch dasselbe Merkmal dar, d. h. sie weisen den gleichen Namen auf. 0Name ist die Menge von eindeutigen Pinnamen, die in der Aktivität vorhanden sind. Eine surjektive Funktion wird definiert. Diese Funktion gibt den Namen eines gegebenen
Figure imgf000038_0004
Objektknotens o wieder. Eine zweite, bijektive Funktion h■ wird defi-
Figure imgf000038_0003
niert, wobei gilt. Diese Funktion h weist jedem Element von 0Name lexiko
Figure imgf000038_0007
graphisch eine eindeutige natürliche Zahl zu. Um die zugrunde liegende CPD für jedes Merkmal zu spezifizieren, wird eine Matrix Bk für jedes Element definiert:
Figure imgf000039_0007
Figure imgf000039_0004
Die Elemente jeder Matrix ß sind durch Folgendes gegeben:
Figure imgf000039_0006
Figure imgf000039_0005
wobei gilt, wie oben definiert ist.
Figure imgf000039_0008
Die bedingten Wahrscheinlichkeiten sind von dem Zustand der Ziel
Figure imgf000039_0001
knoten abgeleitet. Jeder Zielknoten
Figure imgf000039_0009
ist mit einem Wahrscheinlichkeitswert o.prob verknüpft,
Figure imgf000039_0002
und
Figure imgf000039_0003
Wobei Θ = 0,1 den voreingestellten Wert (default value) einer falsch-positiven Vorhersage eines Merkmals repräsentiert. Damit kann eine UML-Aktivität in ein DBN übersetzt werden, wobei Vektor π als Anfangszustandsverteilung, Matrix A für Zustandsübergänge und Matrizen Bk für die Wahrscheinlichkeitsverteilungen von Beobachtungen verwendet werden.
Im folgenden werden Ergebnisse des beschriebenen Ansatzes diskutiert.
Hinsichtlich der UML-Aktivität der Cholezystektomie ergibt die Übersetzung in eine Struktur der DBN Graphen, die den in Fig. 5 und Fig. 6 veranschaulichten ähneln. In dem vorliegenden Fall weisen die Strukturen 6 Kinder auf, da 6 unterschiedliche Merkmale verwendet werden. Diese Merkmale sind (in lexikographischer Reihenfolge) die Verwendung von:
1 ) clipping device (Abklemmgerät)
2) dissection device (Abtrenngerät)
3) grasper (Greifer)
4) HF coag./ cutting (HF-Koagul./-Schneiden)
5) lap. scissors (lap. Schere)
6) trocars (Trokare)
Die Werte der (diskreten) Zufallsvariablen, die mit vr und verknüpft sind, lauten wie folgt:
Figure imgf000040_0001
Dadurch wird eine lexikographische Reihenfolge der Namen von chirurgischen Phasen verwendet, um die entsprechende Zahl zuzuweisen. Die Reihenfolge ist wie folgt gege- ben:
1 ) Clipping and cutting bile duct (Abklemmen und Schneiden des Gallengangs)
2) Clipping and cutting cystic artery (Abklemmen und Schneiden der Gallenblasenarterie)
3) Detaching of the gallbladder (Abnehmen der Gallenblase)
4) Dissection bile duct (Freipräparieren des Gallengangs)
5) Dissection cystic artery (Freipräparieren der Gallenblasenarterie)
6) Generation of Pneumoperitoneum (Erzeugung von Pneumoperitoneum)
7) Intraoperative Cholangiogram (Intraoperative Cholangiographie)
8) Liver bed coagulation (Leberbettkoagulation)
9) Placement of trocars (Platzierung von Trokaren) Folglich ist die Anfangszustandsverteilung entsprechend:
Figure imgf000041_0001
gegeben, da der chirurgische Eingriff (die beschriebene Cholezystektomie) (und die entsprechende UML-Aktivität) immer mit der Erzeugung eines Pneumoperitoneums beginnt.
Hinsichtlich der Zustandsübergangswahrscheinlichkeiten ist A durch (14) gegeben. Hinsichtlich der Gleichung in (13) ergeben die Zeileneinträge der Matrix (14) in Summe 1. Es ist zu beachten, dass die Werte gerundet sind, um eine kompakte Darstellung von A zu ermöglichen. Matrix A beinhaltet Einträge, die Zustandsübergänge charakterisieren. Insbesondere ist ersichtlich, dass einen Zustandsübergang weniger wahrscheinlich ist als ein Wechseln in einen anderen Zustand, dadurch dass die Hauptdiagonalelemente der Matrix A größer sind als die Elemente auf den Nebendiagonalen. Ferner beinhalten die meisten Zeilen, mit Ausnahme der 2. Zeile, nur 2 Einträge, dies beschreibt die sequentielle Abarbeitung des Arbeitsablaufs. In anderen Worten ein Zustand kann in den meisten Fällen nur in sich selber verharren oder kann nur in einen vordefinierten anderen Zustand wechseln. Zeile 2 beschreibt die Abzweigungsmöglichkeit, d.h. dass in entweder in den 3. Zustand oder in den 7. Zustand gewechselt werden kann. Dies entspricht der Verzwei- gungsmöglichkeit nach Zustand 235 in Fig. 2. Beispielsweise ergeben sich die Werte der ersten Zeile der Matrix A unter Verwendung von Gleichung (13) zu:
Figure imgf000041_0002
Da die Phase mit Index 1 (Abklemmen und Schneiden des Gallengangs)
Figure imgf000041_0003
nur eine mögliche Nachfolgephase mit Index 5 (Freipräparieren des Gallenblasenarterie) hat, ergibt sich nach Gleichung (13) der Matrixeintrag Λ(1,5) zu Hat eine
Figure imgf000041_0004
Phase keine Nachfolgephase ist nur der Übergang in sich selbst möglich. Folglich ergibt sich für die letzte Phase mit Index 8 (Leberbettkoagulation) der Matrixeintrag i4(8,8) = 1. Hat eine Phase mehrere mögliche Nachfolgephasen, teilt sich die Wahrscheinlichkeit die Phase zu verlassen auf. So ergibt sich beispielsweise für i4(2,2) = 0,9913. Die Wahrscheinlichkeit die Phase zu verlassen ergibt sich dann zu -0,0087. Diese wird nun gemäß dem Verhältnis der Übergangswahrscheinlichkeit der möglichen Nachfolgephasen aufgeteilt. Konkret ergeben sich damit die Matrixeinträge A(2,3) = 0,0048 und .4(2,7) = 0,0039. Die Addition beider Einträge ergibt wiederrum 0,0087 und beschreibt somit die Wahrscheinlichkeit die aktuelle Phase zu verlassen. Weil nach jedem Zeitschritt ein Phasenübergang stattfinden muss (dies schließt den Übergang einer Phase in sich selbst mit ein), ergibt sich die Summe jeder Zeile der Matrix stets zu 1. Es ist zu beachten, dass die Dezimalwerte gerundet sind, um eine kompakte Darstellung von A zu ermöglichen.
Der Einfachheit halber sind nicht alle Beobachtungswahrscheinlichkeiten gezeigt, die durch Bk dargestellt werden. In (15) ist B2 gezeigt, womit die Wahrscheinlichkeiten der erfassten Verwendung des Greifers je nach chirurgischer Phase codiert werden. Die Transposition (T) dient der leichteren Darstellung der Matrix B2 im Querformat.
Die 9 Spalten der dargestellten Matrix in (15) stellen die unterschiedlichen chirurgischen Phasen dar. Die erste Zeile entspricht der Wahrscheinlichkeit, dass der Greifer in einer Phase nicht verwendet wird. Die zweite Zeile ist die Wahrscheinlichkeit, dass der Greifer je nach Phase verwendet wird. Das heißt, die Spalten ergeben in Summe 1.
Es ist zu beachten, dass die Wahrscheinlichkeiten zwei Quellen von Expertenwissen ent- halten: Erstens, die Wahrscheinlichkeit, dass je nach spezifischer Phase ein spezifisches Instrument verwendet wird (medizinisches Wissen). Zweitens, die Wahrscheinlichkeit, dass ein je nach spezifischer Phase verwendetes spezifisches Instrument erfasst wird (technisches Wissen). Selbst falls beispielsweise ein Experte aus dem medizinischen Bereich eine Wahrscheinlichkeit der Verwendung eines Instruments in einer spezifischen Phase als 1 schätzt, muss der technische Experte die Genauigkeit der verwendeten Algorithmen berücksichtigen, z. B. eine Genauigkeit der Erfassung einer Verwendung von 90 %. Ferner kann auch die Verarbeitungseinrichtung 120 beispielsweise Vorwissen über Detektionsalgorithmen nutzen um die Auftrittswahrscheinlichkeiten anzupassen, d.h. Unsicherheit bezüglich der Erkennung bereits basierend auf einer Unsicherheit des Algo- rithmus zu bestimmen.
Einerseits stellen Schätzungsfehler, die durch eine begrenzte Anzahl von Experten eingeführt werden, die die entsprechenden Wahrscheinlichkeiten bereitstellen, und der Einfluss unbekannter Variablen, die nicht in dem UML-Modell ausgedrückt werden, Einschränkun- gen des vorgeschlagenen Prozesses dar. Andererseits können die resultierenden (expertenbasierten) Modelle mit Wissensquellen weiter verfeinert werden, z. B. mit einer großen Menge an Beobachtungs- und/oder Expertendaten, sobald diese verfügbar sind. Um mit unbekannten Variablen umzugehen, ist es ferner möglich, durchlässige Variablen im Kontext von Konstrukten wie„noisy or" [21] einzuführen, um nichtmodellierte Ursachen darzu- stellen. Leistungsmessungen für das vorgeschlagene DBN-Modell können in [22] gefun- den werden. Dadurch wurde ein DBN verwendet, um den Fortschritt einer synthetischen Operation zu schätzen.
Im Folgenden werden einige Schlussfolgerungen des beschriebenen Konzepts diskutiert.
Ausführungsbeispiele gemäß der Erfindung führen ein Rahmenwerk zum Modellieren von chirurgischen Eingriffen ein. Das Rahmenwerk nutzt UML-Aktivitäten als eine Schnittstelle für dynamische Bayes'sche Netze (DBN). Diese Modelle werden für die tatsächliche Schätzung des Fortschritts eines chirurgischen Eingriffs verwendet. Als eine Beispielsan- wendung wurde eine Cholezystektomie (Entfernung der Gallenblase) vorgestellt, die ein geläufiger Anwendungsfall ist.
Aktivitäten werden aufgrund ihrer Verständlichkeit für den Experten aus dem medizinischen sowie technischen Bereich als eine Schnittstelle genutzt. Dies ist eine notwendige Vorbedingung für den Dialog von Experten und ermöglicht außerdem Arbeitsablaufmodifizierungen durch den behandelnden Arzt selbst. Dies kann dabei helfen, Barrieren von Arbeitsablaufmodellierung abzubauen - beispielsweise die Furcht einer Reglementierung seitens des Experten des medizinischen Bereichs zu verringern. Gleichzeitig kann die selbstbestimmte Formalisierung dabei helfen, die Lücke zwischen theoretischem Wissen und praktischen Lösungen im Kontext eines chirurgischen Eingriffs zu schließen.
Mittels nur einer verständlichen Aktivität können durch die Verwendung von Übersetzungsregeln mehrere erweiterte Modelle erhalten werden. Bei Ausführungsbeispielen gemäß der Erfindung lag der Schwerpunkt auf der Übersetzung einer UML-Aktivität in dynamische Bayes'sche Netze. Dieses Modell kann dann dazu verwendet werden, eine Basis für hochentwickelte Unterstützungsfunktionen bereitzustellen, wobei der Fortschritt einer Operation berücksichtigt wird.
Zusammenfassend spielt die Verwendung von medizinischen Arbeitsabläufen eine wichti- ge Rolle, um Unterstützungsfunktionen im Kontext von chirurgischen Eingriffen bereitzustellen. Arbeitsablaufmodelle können dazu verwendet werden, den Fortschritt einer laufenden Operation zu beurteilen, wodurch dem behandelnden Arzt eine zugeschnittene (d. h., kontextsensitive) Unterstützung ermöglicht wird. Dies bietet anschließend Möglichkeiten dafür, Behandlungsfehler zu vermeiden, den Behandlungserfolg des Patienten zu ver- bessern und einen hohen Zufriedenheitsgrad zu wahren. Gemäß Ausführungsbeispielen wird ein Rahmenwerk vorgeschlagen, das eine Formalisierung von medizinischen Ar- beitsabläufen ermöglicht. Es wird durch einen Dialog von medizinischen sowie technischen Experten befördert und basiert auf der Unified Modeling Language (UML). Eine einfache verständliche UML-Aktivität dient als Anfangspunkt für die automatische Erzeugung komplexer Modelle, die für eine tatsächliche Schätzung des Fortschrittes eines chi- rurgischen Eingriffs verwendet werden können. Übersetzungsregeln, gemäß Ausführungsbeispielen, ermöglichen es, eine gegebene UML-Aktivität in ein dynamisches Bayes'sches Netz (DBN) zu übertragen. Die Verfahren werden für das Anwendungsbeispiel einer Cholezystektomie (chirurgische Entfernung der Gallenblase) vorgestellt BIBLIOGRAPHIEVERZEICHNIS
[1] P. Philipp, Y. Fischer, D. Hempel, and J. Beyerer, "Framework for an interactive assis- tance in diagnostic processes based on probabilistic modeling of clinical practice guide- lines," in Emerging Trends in Applications and Infrastructures for Computational Biology, Bioinformatics, and Systems Biology. Elsevier, 2016, pp. 371-390.
[2] A. McWilliams, Medical Robotics and Computer-Assisted Surgery: The Global Market. Baishideng Publishing Group Inc, 2014, vol. HLC036F. [3] R. A. Faust, Robotics in surgery: history, current and future applications. Nova Pub- Iishers, 2007.
[4] N. Padoy, T. Blum, H. Feussner, M.-O. Berger, and N. Navab, "On-Iine recognition of surgical activity for monitoring in the operating room." in AAAI, 2008, pp. 1718-1724.
[5] S. Glöser, "Frage der Woche an Prof. Dr. med. Markus Schwarz," Dtsch Arztebl International, vol. 2, no. 23, pp. [4]-, 2015, Accessed: 2016/11/01. [Online]. Available:
http://www.aerzteblatt.de/int/article.asp?id=170832 [6] Z. Han, L. Zhang, and J. Ling, "Transformation of uml activity diagram to yawl," in Enterprise Interoperability IV. Berlin: Springer, 2010, pp. 289-299.
[7] W. van der Aalst and K. M. Van Hee, Workflow management: models, methods, and Systems. MIT press, 2000. [8] A. Hofstede, N. Russell, W. Aalst, and M. Adams, Modem Business Process Automation: YAWL and its Support Environment. Berlin Heidelberg: Springer, 2010.
[9] H. Störrle, "Semantics of control-flow in UML 2.0 activities," in Visual Languages and Human Centric Computing, 2004 IEEE Symposium on, 2004, pp. 235-242.
[10] F. Lalys and P. Jannin, "Surgical process modelling: a review," International journal of Computer assisted radiology and surgery, vol. 9, no. 3, pp. 495-51 1 , 2014. [1 1 ] I. D. Learmonth, C. Young, and C. Rorabeck, "The Operation of the Century: total hip replacement," The Lancet, vol. 370, no. 9597, pp. 1508 - 1519, 2007.
[12] OMG, "Unified Modeling Language Superstructure Version 2.4.1 ," 201 1 , Accessed: 2014/08/28. [Online]. Available: http://www.omg.Org/spec/UML/2.4.1/Superstructure/PDF/
[13] P. Philipp, Y. Fischer, D. Hempel, and J. Beyerer, "Modeling of clinical practice guide- lines for interactive assistance in diagnostic processes," in HIMS 2015, International Conference on Health Informatics and Medical Systems, july 27-30, Las Vegas, Nevada, USA, 2015, pp. 3-9.
[14] N. J. Soper, L. L. Swanström, and S. Eubanks, Mastery of endoscopic and laparo- scopic surgery. Lippincott Williams & Wilkins, 2008.
[15] G.-Q. Ding, W. Cai, and M.-F. Qin, "Is intraoperative cholangiography necessary dur- ing laparoscopic cholecystectomy for cholelithiasis?" World Journal of Gastroenterology: WJG, vol. 21 , no. 7, p. 2147, 2015.
[16] N. Padoy, "Workflow and activity modeling for monitoring surgical procedures," Ph.D. dissertation, Universite Henri Poincare-Nancy I, 2010.
[17] C. Rupp, S. Queiris, et al., UML 2 glasklar. München: Carl Hanser Verlag GmbH Co KG, 2012.
[18] T. Dean and K. Kanazawa, "A model for reasoning about persistence and causation," Computational intelligence, vol. 5, no. 2, pp. 142-150, 1989. [19] K. P. Murphy, "Dynamic bayesian networks: representation, inference and learning," Ph.D. dissertation, University of California, Berkeley, 2002.
[20] D. Koller and N. Friedman, Probabilistic graphical models: principles and techniques. MIT press, 2009.
[21 ] F. J. Diez, "Parameter adjustment in Bayes networks. The generalized noisy OR- gate," in Proceedings of the Ninth international Conference on Uncertainty in artificial intel- ligence, 1993, pp. 99-105.
[22] P. Philipp, L. Schreiter, J. Giehl, Y. Fischer, J. Raczkowsky, M. Schwarz, H. Woern, and J. Beyerer, "Situation detection for an interactive assistance in surgical interventions based on dynamic bayesian networks," CRAS 2016, 6th Joint Workshop on New Technologies for Computer/Robot Assisted Surgery, 2016

Claims

Patentansprüche 1. Vorrichtung (100) mit: einer Sensoreinrichtung (110), die ausgebildet ist, um einen Arbeitsbereich (160), in dem ein Arbeitsablauf ausführbar ist, zu erfassen, und um ein Sensorsignal (112) bereitzustellen; einer Verarbeitungseinrichtung (120), die ausgebildet ist, um eine Beschreibung eines graphischen Wissensmodells (122) des Arbeitsablaufs zu erhalten und, um ein dynamisches Sequenzmodell (124) des Arbeitsablaufs basierend auf dem graphischen Wissensmodell zu erstellen und zu parametrisieren; und um einen Zustand des dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem Sensorsignal zu bestimmen; einer Schnittstelle (130) zum Bereitstellen eines Zustandssignals; wobei die Vorrichtung ausgebildet ist, um das Zustandssignal basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells bereitzustellen.
2. Vorrichtung gemäß Anspruch 1 , wobei die Vorrichtung ausgelegt ist, um das dynamische Sequenzmodell basierend auf dem Sensorsignal anzupassen.
3. Vorrichtung gemäß Anspruch 1 oder Anspruch 2, wobei die Vorrichtung ausgelegt ist, um eine Anweisung für eine Assistenzeinrichtung (150), die ausgelegt ist, um in den Arbeitsablauf einzuwirken, im aktuellen oder einem folgenden Zustand des dynamischen Sequenzmodells, basierend auf dem Zustandssignal bereitzustellen.
4. Vorrichtung gemäß einem der Ansprüche 1 bis 3, wobei das dynamische Sequenzmodell auf einem dynamischen Bayes'schen Netz (500, 600) basiert.
5. Vorrichtung gemäß einem der Ansprüche 1 bis 4, wobei das graphische Wissensmodell auf einem Aktivitätsdiagramm (200) basiert und ausgelegt ist, um den Arbeitsablauf abzubilden.
6. Vorrichtung gemäß Anspruch 5, wobei das Aktivitätsdiagramm auf der Unified Mo- deling Language (UML) basiert.
7. Vorrichtung gemäß einem der Ansprüche 1 bis 6, bei der das graphische Wissensmodell eine Mehrzahl von Aktivitätsknoten aufweist, wobei die Verarbeitungseinrichtung ausgelegt ist, um Ausgangspins (200a'-f) und Objekte (200a-f) von Aktivitätsknoten (210, 215, 220, 225, 230, 235, 240, 245, 250) des graphischen Wissensmodells auf Knoten des dynamischen Sequenzmodells abzu
Figure imgf000048_0001
bilden.
8. Vorrichtung gemäß Anspruch 7, wobei die Verarbeitungseinrichtung ausgelegt ist, um einen Aktivitätsknoten (210, 215, 220, 225, 230, 235, 240, 245, 250) des graphischen Wissensmodells einem Zustand des Arbeitsablaufs zuzuordnen, und um einen Knoten des dynamischen Sequenzmodells dem Aktivitätsknoten
Figure imgf000048_0002
des graphischen Wissensmodells zuzuordnen.
9. Vorrichtung gemäß Anspruch 7 oder 8, wobei die Verarbeitungseinrichtung ausgelegt ist, um den Aktivitätsknoten (210, 215, 220, 225, 230, 235, 240, 245, 250) zugeordnete Annotationen oder um Verzweigungsknoten (236) des graphischen Wissensmodells zugeordnete Annotationen und Kanten (211 , 216, 221 , 226, 231 , 246) des graphischen Wissensmodell auf Knoten des dynamischen Se
Figure imgf000048_0005
quenzmodells zuzuordnen.
10. Vorrichtung gemäß einem der Ansprüche 7 bis 9, wobei die Verarbeitungseinrichtung ausgelegt ist, um den Knoten des dynamischen Sequenzmodells basierend auf Aktivitätsknoten basierend auf
Figure imgf000048_0003
zu erzeugen, wobei ve ein Knoten der Menge ist, der ein Objekt repräsentiert,
Figure imgf000048_0004
(ej. e ) eine Kante e oder Pfad zwischen einem Objekt e;- und einer Aktion e; des graphischen Wissensmodells ist, DF eine Menge an Objektflüssen des graphischen Wissensmodell ist, A die Menge an Aktionen oder Zuständen des graphischen Wissensmodell und e^ eine Aktion oder Zustand ist, 0 die Menge an Objektknoten des graphischen Wissensmodells und e; ein Objektknoten ist, vrein Wurzelknoten ist und wobei ein Objektfluss eine Aktion der Menge A mit einem Objekt der Menge 0 in dem graphischen Wissensmodell verbindet.
1 1. Vorrichtung gemäß einem der Ansprüche 7 bis 10 wobei die Verarbeitungseinrichtung ausgelegt ist um Knoten des dynamischen Sequenzmodells basierend auf Aktivitätsknote
Figure imgf000049_0001
zu erzeugen, wobei eine ursprüngliche Menge an Knoten des dynamischen
Figure imgf000049_0003
Sequenzmodells ist,
Figure imgf000049_0004
ein Wurzelknoten aus einem aktuellen Schritt, eine
Figure imgf000049_0002
Kante e* oder Pfad zwischen einem Objekt und einer Aktion des graphischen
Figure imgf000049_0006
Figure imgf000049_0005
Wissensmodells ist, DF eine Menge an Objektflüssen des graphischen Wissensmodell ist, A die Menge an Aktionen oder Zuständen des graphischen Wissensmodell und eine Aktion oder Zustand ist, 0 die Menge an Objektknoten des gra
Figure imgf000049_0008
phischen Wissensmodells und ein Objektknoten ist, ein Stern ein Verknüpfung
Figure imgf000049_0007
mit einem aktuellen Zustand des graphischen Wissensmodells anzeigt und wobei ein Objektfluss eine Aktion der Menge A mit einem Objekt der Menge 0 in dem graphischen Wissensmodell verbindet.
12. Vorrichtung gemäß einem der Ansprüche 1 bis 11 , wobei die Verarbeitungseinrichtung ausgelegt ist, um für das Erstellen des dynamischen Sequenzmodells eine Aktivität während des Arbeitsablaufs mit einem Objekt des Arbeitsablaufs in dem graphischen Wissensmodell zu verknüpfen, um einen Objektfluss des graphischen Wissensmodells zu erhalten, und um den Objektfluss auf einen gerichteten Pfad des dynamischen Sequenzmodells abzubilden, wobei der gerichtete Pfad zwischen einem Wurzelknoten und einem dazugehörigen Kindknoten angeordnet ist.
13. Vorrichtung gemäß einem der Ansprüche 7 bis 12, wobei die Verarbeitungseinrichtung ausgelegt ist, um Pfade des dynamischen Sequenzmodells basierend auf Objektflüssen des graphischen Wissensmodells gemäß
Figure imgf000050_0002
zu erzeugen, wobei EBo die Menge der gerichteten Pfade des dynamischen Sequenzmodells ist, vr ein Wurzelknoten des dynamischen Sequenzmodells ist, DF die Menge an Objektflüssen des graphischen Wissensmodell ist, A die Menge an Aktionen oder Zuständen des graphischen Wissensmodell ist, 0 die Menge an Objektknoten des graphischen Wissensmodells ist, et eine Aktion der Menge A ist, e, ein Objekt der Menge und (ei( ej) eine Kante zwischen einer Aktion und einem Objekt des graphischen Wissensmodells bezeichnet.
14. Vorrichtung gemäß einem der Ansprüche 7 bis 13, wobei die Verarbeitungseinrichtung ausgelegt ist, um in einem weiteren Schritt gerichtete Pfade des dynamischen Sequenzmodells basierend auf Objektflüssen des graphischen Wissensmodells gemäß
Figure imgf000050_0001
zu erzeugen, wobei EB^ die Menge der gerichteten Pfade des dynamischen Sequenzmodells in einem aktuellen Schritt ist, vr ein Wurzelknoten des dynamischen Sequenzmodells aus einem vorangegangenem Schritt ist,
Figure imgf000050_0003
ein Wurzelknoten aus dem aktuellen Schritt ist,
Figure imgf000050_0008
ein Pfad zwischen dem Wurzelknoten aus dem vorangegangenem Schritt und dem aktuellen Schritt ist, ein Pfad zwischen
Figure imgf000050_0004
dem Wurzelknoten des aktuellen Schritts und einem Kindknoten des aktuellen
Figure imgf000050_0005
Schritts ist, wobei der Pfade des dynamischen Sequenzmodells mit einem
Figure imgf000050_0009
Pfad
Figure imgf000050_0010
des graphischen Wissensmodells korrespondiert, wobei eine Akti
Figure imgf000050_0006
on des graphischen Wissensmodells in dem aktuellen Zustand ist und ein Ob
Figure imgf000050_0007
jekt des graphischen Wissensmodells in dem aktuellen Zustand ist.
1 5. Vorrichtung gemäß einem der Ansprüche 1 bis 14, wobei der Zustand ein erster Zustand ist, und wobei die Vorrichtung ausgebildet ist, um ein Ereignis in dem Arbeitsbereich basierend auf dem Sensorsignal festzustellen, und um einen zweiten Zustand des dynamischen Sequenzmodells basierend auf dem ersten Zustand und basierend auf einer Auftrittswahrscheinlichkeit des Ereignisses in dem ersten oder zweiten Zustand zu bestimmen.
16. Vorrichtung gemäß Anspruch 15, wobei die Vorrichtung ausgebildet ist, um die Auftrittswahrscheinlichkeit aus dem graphischen Wissensmodell zu erhalten oder abzuleiten.
17. Vorrichtung gemäß einem der Ansprüche 1 bis 16, wobei die Verarbeitungseinrichtung ausgelegt ist, um unter Verwendung von Übergangswahrscheinlichkeiten ausgehend von Knoten des dynamischen Sequenzmodells, den Zustand des dynamischen Sequenzmodells zu bestimmen.
18. Vorrichtung gemäß einem der Ansprüche 15 bis 17, wobei die Verarbeitungseinrichtung ausgelegt ist, um die Auftrittswahrscheinlichkeiten und/oder die Übergangswahrscheinlichkeiten mit Hilfe von aufgezeichneten Sensordaten zu adaptieren
19. Vorrichtung gemäß einem der Ansprüche 1 bis 18, wobei eine Auftrittswahrscheinlichkeit eines Ereignisses (200a-f) mit einem Verbleiben oder Wechsel eines Zustande des dynamischen Sequenzmodells korreliert ist, und wobei eine Übergangswahrscheinlichkeit eine Wahrscheinlichkeit eines Wechsels von einem ersten Zustand zu einem zweiten Zustand beschreibt, wobei die Verarbeitungseinrichtung ausgelegt ist, um den aktuellen Zustand während des Arbeitsablaufs anhand von Auswertungen des Sensorsignals zu schätzen.
20. Vorrichtung gemäß einem der Ansprüche 1 bis 19, wobei die Verarbeitungseinrichtung ausgebildet ist, um basierend auf einer Mehrzahl von zeitlich beabstandeten Erfassungen des Arbeitsbereichs den Zustand des dynamischen Sequenzmodells basierend auf einer zeitlichen Mittelung der Sensorsignal zu bestimmen.
21. Vorrichtung gemäß einem der Ansprüche 1 bis 20, wobei die Sensoreinrichtung ausgelegt ist, um das Sensorsignal basierend auf einer visuellen Erfassung des Arbeitsbereichs bereitzustellen.
22. Vorrichtung gemäß einem der Ansprüche 1 bis 21 , wobei die Sensoreinrichtung ausgelegt ist, um das Sensorsignal basierend auf einer akustischen Erfassung des Arbeitsbereichs bereitzustellen.
23. Vorrichtung gemäß einem der Ansprüche 1 bis 22, wobei die Sensoreinrichtung ausgelegt ist, um das Sensorsignal basierend auf einer Erfassung von Hochfrequenz-Identitäts-Nummern (RFIDs) des Arbeitsbereichs bereitzustellen.
24. Vorrichtung gemäß einem der Ansprüche 1 bis 23, wobei die Vorrichtung eine Benutzerschnittstelle aufweist, die ausgebildet ist, um eine Eingabe eines Benutzers zu erhalten, die den Arbeitsablauf zumindest teilweise beschreibt, und wobei die Vorrichtung ausgelegt ist, um basierend auf der Eingabe des Benutzers das graphische Wissensmodell bereitzustellen.
25. System zur Arbeitsablaufunterstützung umfassend: eine Vorrichtung gemäß einem der Ansprüche 1 bis 24; einen Arbeitsbereich; und einer Assistenzeinrichtung.
26. Verfahren (700) mit:
Erfassen (710) eines Arbeitsbereichs, in dem ein Arbeitsablauf ausführbar ist,
Bereitstellen (720) eines Sensorsignals, basierend auf dem erfassten Arbeitsbereich;
Erhalten (730) einer Beschreibung eines graphischen Wissensmodells des Arbeitsablaufs;
Erstellen und Parametrisieren (740) eines dynamischen Sequenzmodells des Arbeitsablaufs basierend auf dem graphischen Wissensmodell des Arbeitsablaufs,
Bestimmen (750) eines Zustands des dynamischen Sequenzmodells basierend auf dem Sensorsignal;
Bereitstellen (760) eines Zustandssignals basierend auf dem bestimmten Zustand des dynamischen Sequenzmodells.
27. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 26, wenn das Programm auf einem Computer abläuft.
PCT/EP2018/000108 2017-03-24 2018-03-22 Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs Ceased WO2018171940A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017205048.9 2017-03-24
DE102017205048.9A DE102017205048B4 (de) 2017-03-24 2017-03-24 Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs

Publications (1)

Publication Number Publication Date
WO2018171940A1 true WO2018171940A1 (de) 2018-09-27

Family

ID=61837704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/000108 Ceased WO2018171940A1 (de) 2017-03-24 2018-03-22 Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs

Country Status (2)

Country Link
DE (1) DE102017205048B4 (de)
WO (1) WO2018171940A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211634A1 (de) * 2022-11-04 2024-05-08 Forschungszentrum Jülich GmbH Orchestrator-basiertes Forschungs- und Entwicklungssystem und Verfahren zu dessen Betrieb

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067413A1 (en) * 2012-08-29 2014-03-06 David S. GHIVIZZANI Operating room management system and related methods
US9532848B2 (en) 2007-06-15 2017-01-03 Othosoft, Inc. Computer-assisted surgery system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9532848B2 (en) 2007-06-15 2017-01-03 Othosoft, Inc. Computer-assisted surgery system and method
US20140067413A1 (en) * 2012-08-29 2014-03-06 David S. GHIVIZZANI Operating room management system and related methods

Non-Patent Citations (24)

* Cited by examiner, † Cited by third party
Title
"Unified Modeling Language Superstructure", 2011, OMG
A. HOFSTEDE; N. RUSSELL; W. AALST; M. ADAMS: "Modern Business Process Automation: YAWL and its Support Environment", 2010, SPRINGER
A. MCWILLIAMS: "Medical Robotics and Computer-Assisted Surgery: The Global Market", 2014, BAISHIDENG PUBLISHING GROUP INC
C. RUPP; S. QUEINS ET AL.: "UML 2 glasklar", 2012, CARL HANSER VERLAG GMBH CO KG
D. KOLLER; N. FRIEDMAN: "Probabilistic graphical models: principles and technique", 2009, MIT PRESS
F. J. DIEZ: "Parameter adjustment in Bayes networks. The generalized noisy ORgate", PROCEEDINGS OF THE NINTH INTERNATIONAL CONFERENCE ON UNCERTAINTY IN ARTIFICIAL INTELLIGENCE, 1993, pages 99 - 105
F. LALYS; P. JANNIN: "Surgical process modelling: a review", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, vol. 9, no. 3, 2014, pages 495 - 511
FLORENT LALYS ET AL: "Surgical process modelling: a review", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, vol. 9, no. 3, 1 May 2014 (2014-05-01), DE, pages 495 - 511, XP055468024, ISSN: 1861-6410, DOI: 10.1007/s11548-013-0940-5 *
G.-Q. DING; W. CAI; M.-F. QIN: "Is intraoperative cholangiography necessary during laparoscopic cholecystectomy for cholelithiasis?", WORLD JOURNAL OF GASTROENTEROLOGY: WJG, vol. 21, no. 7, 2015, pages 2147
H. STÖRRLE: "Semantics of control-flow in UML 2.0 activities", VISUAL LANGUAGES AND HUMAN CENTRIC COMPUTING, 2004 IEEE SYMPOSIUM, 2004, pages 235 - 242, XP010752311, DOI: doi:10.1109/VLHCC.2004.46
I. D, LEARMONTH; C. YOUNG; C. RORABECK: "The operation of the century: total hip replacement", THE LANCET, vol. 370, no. 9597, 2007, pages 1508 - 1519, XP022314334, DOI: doi:10.1016/S0140-6736(07)60457-7
K, P. MURPHY: "Ph.D. dissertation", 2002, UNIVERSITY OF CALIFOMIA, article "Dynamic bayesian networks: representation, inference and learning"
N. J. SOPER; L. L. SWANSTRÖM; S. EUBANKS: "Mastery of endoscopic and laparoscopic surgery", 2008, LIPPINCOTT WILLIAMS & WILKINS
N. PADOY: "Ph.D. dissertation", 2010, UNIVERSITE HENRI POINCARE-NANCY I, article "Workflow and activity modeling for monitoring surgical procedures"
N. PADOY; T. BLUM; H. FEUSSNER; M.-O. BERGER; N. NAVAB: "On-line recognition of surgical activity for monitoring in the operating room", 2008, AAAI, pages: 1718 - 1724
P. PHILIPP; L. SCHREITER; J. GIEHL; Y. FISCHER; J. RACZKOWSKY; M. SCHWARZ; H. WOERN; J. BEYERER: "Situation detection for an interactive assistance in surgical interventions based on dynamic bayesian networks", CRAS 2016, 6TH JOINT WORKSHOP ON NEW TECHNOLOGIES FOR COMPUTER/ROBOT ASSISTED SURGERY, 2016
P. PHILIPP; Y. FISCHER; D. HEMPEL; J. BEYERER: "Emerging Trends in Applications and Infrastructures for Computational Biology, Bioinformatics, and Systems Biology", 2016, ELSEVIER, article "Framework for an interactive assistance in diagnostic processes based on probabilistic modeling of clinical practice guidelines", pages: 371 - 390
P. PHILIPP; Y. FISCHER; D. HEMPEL; J. BEYERER: "Modeling of clinical practice guidelines for interactive assistance in diagnostic processes", HIMS 2015, INTERNATIONAL CONFERENCE ON HEALTH INFORMATICS AND MEDICAL SYSTEMS, 27 July 2015 (2015-07-27), pages 3 - 9
R. A. FAUST: "Robotics in surgery: history, current and future applications", 2007, NOVA PUB-IISHERS
S. GLÖSER, DTSCH ARZTEBL INTERNATIONAL, vol. 112, no. 23, 2015, pages 4, Retrieved from the Internet <URL:http://www.aerzteblatt.de/int/article.asp?id=170832>
STORRLE H: "Semantics of Control-Flow in UML 2.0 Activities", VISUAL LANGUAGES AND HUMAN CENTRIC COMPUTING, 2004 IEEE SYMPOSIUM ON ROME 26-29 SEPT. 2004, PISCATAWAY, NJ, USA,IEEE, 26 September 2004 (2004-09-26), pages 235 - 242, XP010752311, ISBN: 978-0-7803-8696-9, DOI: 10.1109/VLHCC.2004.46 *
T. DEAN; K. KANAZAWA: "A model for reasoning about persistence and causation", COMPUTATIONAL INTELLIGENCE, vol. 5, no. 2, 1989, pages 142 - 150
W. VAN DER AALST; K. M. VAN HEE: "Workflow management: models, methods, and systems", 2000, MIT PRESS
Z. HAN; L. ZHANG; J. LING: "Enterprise Interoperability IV", 2010, SPRINGER, article "Transformation of uml activity diagram to yawl", pages: 289 - 299

Also Published As

Publication number Publication date
DE102017205048B4 (de) 2025-03-06
DE102017205048A1 (de) 2018-09-27

Similar Documents

Publication Publication Date Title
DE69736552T2 (de) Intelligente anwenderunterstützungsfunktion
Zeleny Management support systems: Towards integrated knowledge management
Khang et al. Application of computer vision (cv) in the healthcare ecosystem
Forestier et al. Automatic matching of surgeries to predict surgeons’ next actions
Jabbar et al. Survey on development of expert system in the areas of Medical, Education, Automobile and Agriculture
De Grasf et al. A case study in structured knowledge acquisition
Shaalan et al. A multiagent approach for diagnostic expert systems via the internet
EP4627419A1 (de) Selbstlernendes verfahren für einen fertigungs- und/oder montageprozess
WO2018171940A1 (de) Vorrichtung und verfahren zur bestimmung eines zustands eines arbeitsablaufs
Langer et al. How morphological computation shapes integrated information in embodied agents
DE10132014A1 (de) Verfahren zum Erstellen eines Kausalen Netzes auf Grundlage einer Wissensakquisition
DE102022103737A1 (de) Computergestütztes Assistenzsystem und Verfahren
Song et al. Addressing challenges to problem complexity: Effectiveness of AI assistance during the design process
EP3923218A1 (de) Computerimplementiertes digitales bildungsassistenzverfahren und computerimplementiertes digitales bildungsassistenszsystem
Miah et al. Ontology development for context-sensitive decision support
WO2024008232A1 (de) Verfahren zur dynamischen erkennung von ratcheting bei einem kollaborativen roboter mittels künstlicher intelligenz und dynamischer kompensation der trajektorien
DE102005009056A1 (de) Verfahren zum Betrieb eines medizinischen Informationssystems
DE102014000086A1 (de) Arbeitsverfahren für Behandlung von abstrakten Objekten (Gedanke-Substanzen) von einem Computersystem von Künstlicher Intelligenz von einem Cyborg oder einem Android.
Ogden Human computer interaction in complex process control: developing structured mental models that allow operators to perform effectively
Menzies Limits to Knowledge Level-B Modeling (and KADS)
DE19626142A1 (de) Computer-Aided-Text-Design-System
DE102007014970B3 (de) Konfiguration von medizintechnischen Prozessen
EP1480149A2 (de) Verfahren und eine Vorrichtung zur Verarbeitung und Ausgabe einer Versionsänderung eines medizinische Therapiehinweise umfassenden Datensatzes
WO2025061379A1 (de) Computerimplementiertes verfahren zum betrieb einer medizintechnikeinrichtung, medizintechnikeinrichtung, computerprogramm und elektronisch lesbarer datenträger
DE102023209205A1 (de) System und Verfahren zur Segmentierung medizinischer Bildgebungsdaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18714681

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18714681

Country of ref document: EP

Kind code of ref document: A1