Ist eine „emotionale“ Anbieter-Bewertung sinnvoll?

Die Studie ist Daten-orientiert. Grundlage sind die Bewertungen von Anwendern. Vieles ist daher nicht immer objektiv einzuschätzen. Deshalb gibt es in dem Bericht auch die Kriterien „Net Emotional Footprint“ und „Net Emotional Footprint Distribution“. Es ist der Versuch, „weiche“ Kriterien, bzw. die Einschätzungen zu diesen Kriterien, messbar zu machen.

Die Studie von Info~Tech Research Group startet mit einem Überblick:

Für den „Score“ und die grünen lachenden Gesichter werden „Vendor Capabilities“, also die Leistungsfähigkeit des Anbieters, „Product Features“, also die Zufriedenheit mit dem Umfang der Funktionen, sowie die „Likeliness to recommend“, also ob man das Produkt weiterempfehlen würde, verwendet. Der „Category Overview zeigt auch in der letzten Spalte, wie viele Beurteilungen seitens der Anwender der Einordnung zu Grunde liegen (sehr unterschiedlich). Letztlich stellen die grünen Balken die subjektive Zufriedenheit von Anwendern dar.

ECM: Eine veraltete Einordnung?

Enterprise Content Management ist nach Meinung vieler Analysten und Anbieter „out“. man setzt eher auf „Content Services“ oder „Content Services Platforms (CSP)“ als Ersatz für die Einordnung „Enterprise Content Management System (ECMS)“. bei den Anwender kursiert aber noch der Begriff ECM als Branchenbezeichnung und so ist es legitim auch hier weiterhin von Enterprise Content Management zu sprechen.

Software Reviews benutzt natürlich andere Kriterien für die Einordnung der ECM-Anbieter als Gartner & Co. Hier spielen die Erfahrungen der Anwender selbst eine wichtige Rolle. Nutzbarkeit und Zufriedenheit sind auschlaggebend. Senkrecht ist daher im Data Quadrant neben dem Vorhandensein der notwendigen Funktionalität die Zufriedenheit des Anwenders mit dem Produkt, bzw. mit dem Anbieterunternehmen kartiert. Waagerecht geht es dann um die Erfahrung und die grundsätzlichen Fähigkeiten des Anbieters.

Die Quadrantensegmente sind „Product Innovators“ (offenbar keine) und „Leader“ mit Fabasoft, M-Files, Box, Nuxeo, Xerox, Laserfiche, Hyland, Docusign und Docuware. Als „Challenger“ werden Oracle, IBM, Microsoft und OpenText aufgeführt (also deutlich anders als bei anderen Auswertungen und Kriterien). Als „Service Star“ wird Adobe gelistet. Also wieder die „üblichen Verdächtigen“. Aber offenbar ist Erfahrung „Experience“ doch nicht so wichtig, weil Unternehmen, die am Längsten mit ECM am Markt sind, auch durchaus bei den Challengern landen können (IBM, OpenText). Offenbar alles sehr gefühlsgetrieben in der Aussage. Die Zahlen versuchen die emotionale Einschätzung zu übertünchen.

Man muss weiterhin auch konstatieren, dass hier wieder „Äpfel und Birnen“ verglichen werden. Zu den Namen der Firmen einfach ECM dazuzuschreiben, langt nicht. Auch kann dies nicht als Erklärung dienen, warum manchmal darauf verzichtet wurde (Docuware, Xerox), bei Hyland und Fabasoft Produktnamen anstelle von ECM genannt werden, was CLM bei Docusign in Bezug auf ECM meint (wohl das angeflanschte SpringCM-System) und warum bei Nuxeo Platform als Kategorisierung verwendet wird. Alles sehr undurchsichtig. Nimmt man die klassische Definition und den Funktionsumfang eines ECM Enterprise Content Management Systems als Maßstab, dann passen schon einmal Unternehmen wie Adobe oder Docusign nicht in das Raster. Auch Oracle wäre dann als ECM-Anbieter sehr fragwürdig.

Aber wie wird ECM überhaupt von Software Reviews definiert? Die 35 Folien des Reports geben keine echte Definition aber listen die einzelnen Produkt-Feature-Kategorien auf.

Features des Produkte als Definition von ECM 2.0?

Als Pflichtfunktionen werden von Info~Tech Research Group genannt:

• Access Permissions Management
  The granularity of user-access controls that can be configured in the ECM system
• Capture Channels
  Variety of ways a file can be ingested into the ECM system
• Collaboration
  Ability to create, edit and review files
• ECM Document Management
  Includes lifecycle management, access and permissions, and ability to administer, view, create, edit, and delete content assets.
• Ediscovery Audit Trail
  The extent to which files and file histories are tracked & ability to manage files en masse for the purposes of legal proceedings
• File Approvals Esignatures
  Ability to capture approvals by the ECM system as part of a workflow
• File Conversion
  You can convert files from given types to other formats within the ECM system (e.g. from Word to PDF).
• Metadata Management
  A metadata layer makes reporting easy and eliminates the need for coding and SQL, allowing users and report writers to see and access information in simple business language.
• Mobile
  Ability to support multiple devices, OSes and platforms using mobile optimized, HTML-based web access and/or native applications.
• Search
  The system can search an entire body of a document for a keyword or phrase.
• Workflow Process Automation
  The extent to and ease of which actions within the system can be configured to be performed automatically

Es wird hier also eine Auswahl von Grundfunktionalitäten eines ECM-Systems aufgeführt, deren Vorhandensein, Nutzbarkeit und Qualität dann bewertet wurde.

„Weiche Kriterien“ zur Einschätzung der Leistungsfähigkeit der Anbieter

Zu den Fähigkeiten der Produkte kommen dann noch die Fähigkeiten der Unternehmen. Die Kriterien von Info~Tech Research Group sind hier:

• Business Value Created
  The underlying purpose of software is to create value for employees, customers, partners and ultimately shareholders. As a result, it is imperative that any software selection be aligned with the organization’s needs and deliver enough business value to justify the cost. The data below highlights the satisfaction level associated with the business value derived from various product offerings. Use this information to identify the software that consistently creates business value for its customers.
• Breadth of Features
  Users prefer to work with feature rich software that enables them to perform diverse series of tasks as opposed to one they find restrictive. The data below highlights the satisfaction level associated with the breadth of features from various product offerings. Use this information to identify which software offers valuable comprehensive functionality that extends beyond the basic level.
• Quality of Features
  Feature quality is just as important as quantity. Software needs to do what you’re purchasing it to do, easily, intuitively, reliably, and effectively.
  Use the data in this section to gauge whether or not a product follows through on the marketing hype by delivering high quality features.
• Product Strategy and Rate of Improvement
  Purchasing software can be a significant commitment, so it’s important to know if your vendor is serious about the need for constant improvement and deliberate strategic direction. Vendors who don’t stay on top of emerging needs and trends won’t enable you to meet your business goals. Use the data in this section to separate innovators from imposters.
• Usability and Intuitiveness
  End user learning curves cost the organization money.
  Pay attention to your end users’ technical ability to determine how important UX is in your purchase.
• Vendor Support
  The importance of vendor support will vary for each organization depending on internal capabilities, but there will always be issues that only the vendor can resolve.
  Use the data in this section to see which vendors tend to under-service their product and which will offer quality support.
• Ease of Data Integration
  The ability to integrate with other systems is increasingly important; without this, manual data loading and extraction can be time-consuming and prone to error.
  Use this section to see which vendors will cause headaches and which will make data integration easy.
• Ease of IT Administration
  Administrative interfaces don’t get the same attention as those built for end users, but they shouldn’t be clunky or unintuitive.
  Use the data in this section to determine which vendors make administration easy, so that your IT personnel can resolve issues and perform configurations efficiently and effectively.
• Ease of Customization
  Out-of-the-box functionality often isn’t enough, especially for niche or industry-specific software, and the reason you’re buying rather than building is to save time and money in the first place. Don’t get bogged down in a difficult customization;
  use the data in this section to make sure you can easily achieve the functionality you need for your particular situation.
• Availability and Quality of Training
• Effective and readily available training enables users to get the most out of the software you’ve chosen. Use this section to make sure your vendor’s training programs and materials measure up.
• Ease of Implementation
  Choosing the right software is only the first step. Successfully implementing the new solution is necessary in order to realize its full value and promote end user adoption.
  Use the data in this section to determine which software is easy to implement, and which may jeopardize your goals by causing trouble in this stage.

Die Kriterien selbst machen durchaus Sinn. Sie finden sich auch in ähnlicher Form in allen Ausschreibungen zur Beschaffung von Lösungen wieder. Ob man sie aber auf reine numerische Werte herunterbrechen kann, ist fraglich.

Eine Studie mehr …

Auch wenn der Ansatz, die Zufriedenheit mit Produkten und Anbietern zu kartieren mal eine erfrischende andere Sicht auf den Markt bietet, bleibt sie doch vielfach in der „Featuritis“ stecken. Es fehlt auch an Transparenz, wie die Antworten und Einschätzungen der befragten Endanwender bewertet wurden. Die Einschätzungen als – ausschließliches – Kriterium für eine Produktauswahl zu benutzen, ist ohne Transparenz gefährlich. Referenzbesuche, selbst Anwender aus vergleichbaren Branchen, Größenordnungen, Geschäftsfeldern etc. mit ähnlichen Infrastrukturen und Aufgabenstellungen zu befragen, wird durch die Studie nicht ersetzt. Sie liefert allenfalls ein Stimmungsbild, wie die Anbieter in Bezug auf die Zufriedenheit ihrer Anwender einzuschätzen sind.

Und … bei Info~Tech Research Group ist das Thema ECM Enterprise Content Management noch lange nicht tot.